CloudSync Synchronisation zwischen CloudSync und Seafile (WebDav)

[DerAndre]

Moin zusammen,

ich habe eine DS918+ mit DSM 6.2.4-25556 und wollte mein Foto Ordner (RAW aufnahmen, große Dateien), die auf meinem Seafile Server liegen, mit meiner Synology per CloudSync lokal verfügbar machen.

Mein Foto Ordner hat ~500GB und knappe 17.000 Dateien. Da Seafile WebDav anbietet, dachte ich mir das CloudSync sich dafür ja prima eignet. Ich habe zwar gelesen das es nicht für massive viele Dateien ausgelegt ist, jedoch nicht raus gefunden ab wann "massive viele" beginnt. Ich habe die Abrufzeit (wann er prüft das es Änderungen gibt) auf 1 Tag verlängert, da sich nur gelegentlich etwas in dem Ordner ändert.

Die Synchronisation läuft nun seit 4 Tagen, ich habe 3 TB an Traffic verursacht und er ist zu 3/4 durch. Da stimmt doch etwas nicht oder? Schaue ich mir den Verlauf an, scheint er Dateien auch nicht doppelt herunterzuladen. Es passt an der zahl genau auf meine 3/4.

Hat die WebDav Verbindung ein so hohes Grundrauschen? Kann ich etwas besser machen bzw habt ihr eine bessere Idee?

Schönes Wochenende,
Andre

 

[blurrrr]

WebDAV ist generell nicht unbedingt für solche Massentransfers gedacht (meine Meinung), sondern eher für spodarische Zugriffe (Dokumentenzugriff, etc.). Wenn Dir via Seafile nichts anderes angeboten wird, bleibt ja nur diese Option. Dauert dann halt initial eben etwas...

Aber ganz davon ab: Es hängt natürlich auch (und sowieso) von "Deiner" Bandbreite ab. An einem gehosteten Server mit Gbit-Anbindung wird es sicher nicht liegen, wohl eher an Deinem eigenen Upstream (zu dem Du Dich auch nicht geäussert hast).

Die Übertragung von 3TB mit z.B. 40Mbit Upload (ISP-Standard bei einer 100Mbit-Download-Rate) würde knapp 7 Tage dauern. Natürlich "nur", wenn die Upload-Rate dem Transfer "komplett" zur Verfügung stehen "würde". Da die Leitung aber vermutlich auch noch anderweitig genutzt wird, wird sich die Zeitspanne also noch etwas verlängern. Bei 100Mbit Upload (nicht Download) wären es auch noch immer fast 3 Tage.

Kurzum: So ein "Brocken" an Daten ist halt nicht "mal eben" übertragen, so einfach ist das. Wer viel sammelt, hat auch viel zu bewegen. Ein vollgestelltes Haus mit 300m² ist halt auch nicht mit einem Sprinter an einem Tag umgezogen, also: Geduldig bleiben... ??

 

[DerAndre]

Ich gebe dir natürlich vollkommen recht, dass 3TB etwas dauern, aber mein Foto Ordner hat nur 500GB. Mir ging es auch nicht um die Zeit die er braucht, da bin ich geduldig. Sonst hätte ich die Synology einfach kurz an die Arbeit gefahren, wo mein Seafile Server steht.

Aber wie aus 500 GB Bildern >3 TB Traffic zustande kommen... interessiert mich da schon eher. Aktuell hat er 362GB an "echtdaten" heruntergeladen, das mit den 3 TB Traffic verrechnet bedeutet ein Verhältnis von ca 1:8. Ich weiß das WebDav nicht ideal ist, aber das achtfache an eigentlichen Daten an Traffic, ist schon eine krasse Hausnummer.

Um es mit deinem Umzug zu vergleichen, es fühlt sie an als würde jede Schraube, jedes Brett einzeln im Sprinter gefahren werden.

 

[DerAndre]

Kleiner Nachtrag, nachdem nur noch ca. 2000 Dateien zu Synchronisieren waren ging es mit einem schlag so schnell wie ich es mir eigentlich gedacht habe. Die letzten ~60gb gingen 1:1 durch. Kaum Overhead. Das muss ein bug sein ... entweder im Cloud-Sync oder mein Seafile Server.

Die Synchronisation funktioniert jetzt ebenfalls ohne besonderes vorkommen. Bei einer ~30mb Datei entstehen auch nur knappe 32MB an Traffic. Also alles tako.

Habe mir den Traffic per Wireshark auch mal genauer angeschaut und sehe ein, dass WebDav für viele Dateien/Ordner eher weniger geeignet ist. Er muss Ordner für Ordner abgrasen wo es Änderungen gab. Für ~17.000 Dateien und 250 Ordner ist er ca 1 1/2 Minuten beschäftigt.

Bedeutet ich muss mich gezwungenermasen doch mal mit Docker beschäftigen und den Hauseigenen CLI Client zum laufen bekommen.