Sehr unterschiedliche Geschwindigkeit bei Datensicherung von NAS zu NAS - warum?

[Doktor-Parnassus]

Hallo,

ich habe zwei Synology NAS (DS-215j und DS-716+ II), die über einen Gigabit-Switch miteinander verbunden sind.

Wenn ich nun eine Sicherung bzw. einen Datenabgleich (Synchronisierung) vom einen NAS (DS-716+ II) zum anderen NAS (DS-215j) vornehme, dann bekomme ich sehr unterschiedliche Geschwindigkeiten, je nachdem welche Methode ich für die Datenübertragung verwende. Wenn ich den Weg über den PC gehe, ist es klar, dass dann die Geschwindigkeit niedriger ausfällt, aber ansonsten sollte sie bei einer Gigabit-Verbindung doch eigentlich recht hoch sein.

1) Datenabgleich mittels GoodSync mit FTP als Quelle und FTP als Ziel: ca. 15 MB/sec - hätte mehr erwartet,weil ich annahm, dass der Transfer im Falle von FTP direkt von NAS zu NAS erfolgt (FXP)
2) Datenübertragung über Windows Explorer: ca. 10-15 MB/sec (OK, habe ich erwartet)
3) Datenübertragung mittels FTP Rush mit FPT als Quelle und FTP als Ziel: ca. 50-70 MB/sec (das Programm beherrscht FXP)
4) Datenabgleich mittels Ultimate Backup (das Paket hier aus dem Forum, neueste Version heruntergeladen aus dem Community Package Hub): ca. 15 MB/sec

Warum bekomme ich v.a. bei der Datenübertragung mittels Ultimate Backup auch nur so niedrige Transferraten? Hier erfolgt doch ebenso ein direkter Transfer von NAS zu NAS, oder nicht? Kann bzw. muss ich irgendwas an den Einstellungen ändern, damit ich dort ähnlich hohe Transferraten wie mit FTP Rush bekomme?

FTP Rush nutze ich übrigens nicht so gerne, weil es keine ordentlichen Synchronisationsfunktionen besitzt und beim Transfer alle Dateien einen neuen Zeitstempel bekommen.


P.S.: Ebenfalls recht hohe Datentransferraten von etwa 40-50 MB/sec bekomme ich, wenn ich das Ziel-NAS als NFS-Freigabe in die File Station des ersten einhänge und dann Drag & Drop für die Dateiübertragung verwende. Aber ebenfalls keine optimale Lösung für mich, weil keine Synchronisation.

 

[Fusion]

Die Leitungsgeschwindigkeit ist ja erst mal nur ein theoretisches Maximum. Was die Software / Hardware darüber dann real verschicken kann hängt noch an anderen Faktoren.

Mit Punkt 3) hast du dir ja Punkt 1) selber erklärt.

Zu 2) Das hängt hauptsächlich am Client PC.
Hier bekomme ich (Linux, Einbindung der zwei DS per SMB v3) Raten von ca 50MB/s, also Vollauslastung der 1GBit Leitung, da die Daten ja zweimal über die Leitung müssen.
Hier kann es auch helfen anstatt dem Windows Explorer mal ein anderes Tool ala TeraCopy, xcopy oder Total Commander oder ähnlich zu probieren.

Ob ein Engpass an einer DS besteht siehst du ganz gut, wenn der Transfer läuft und die CPU Auslastung bei 25% (4-Kerne) oder 50% (2-Kerne) hängt. Dann ist die ausführende Software auf einen CPU Kern beschränkt und lastet diesen zu 100% aus.

zu 4) bei dem alten rsync welches Synology ausliefert ist einiges nicht so optimal. Da Ultimate Backup aber möglichst ohne Nutzereingriffe arbeiten soll greift man hier eben auf diese rsync Version zu.
Raten sind dabei (egal ob 1812+, 415+,..) ungefähr bei 25MB/s. Helfen kann dabei wenn mehrere Jobs parallel laufen.
Oder du musst mal den UB Thread durchgehen, da wurden auch ein paar Optimierungen diskutiert, die man aber selber vornehmen muss.

Snapshot & Replication scheitert ja leider an der DS215j mangels btrfs.
Systemsteuerung > Sync Gemeinsamer Ordner wäre auch noch eine rsync Methode

Wenn du mit Remote Ordner Einbindung arbeitest könntest du darauf auch mit rsync probieren, da hier dann nur die lokale rsync Instanz beteiligt ist. vielleicht holt die dann mehr raus, wenn die 215j nicht beteiligt ist.

 

[Doktor-Parnassus]

Hallo Fusion,

erstmal danke für deine Antworten.

Die Leitungsgeschwindigkeit ist ja erst mal nur ein theoretisches Maximum. Was die Software / Hardware darüber dann real verschicken kann hängt noch an anderen Faktoren.

Mit Punkt 3) hast du dir ja Punkt 1) selber erklärt.

Hab ich das? Also scheinbar beherrscht GoodSync kein FXP, sonst wäre es wohl schneller, wenn sowohl Quelle als auch Ziel über FTP angesprochen werden, richtig?

Zu 2) Das hängt hauptsächlich am Client PC.
Hier bekomme ich (Linux, Einbindung der zwei DS per SMB v3) Raten von ca 50MB/s, also Vollauslastung der 1GBit Leitung, da die Daten ja zweimal über die Leitung müssen.
Hier kann es auch helfen anstatt dem Windows Explorer mal ein anderes Tool ala TeraCopy, xcopy oder Total Commander oder ähnlich zu probieren.

Habe ich ausprobiert. Liefert auch keine schnelleren Übertragungsraten. Manche sind sogar noch schlechter.

Ob ein Engpass an einer DS besteht siehst du ganz gut, wenn der Transfer läuft und die CPU Auslastung bei 25% (4-Kerne) oder 50% (2-Kerne) hängt. Dann ist die ausführende Software auf einen CPU Kern beschränkt und lastet diesen zu 100% aus.

Ja, an die CPU-Auslastung hatte ich im Nachhinein auch noch gedacht und vermutet, dass diese der limitierende Faktor sein könnte. rsync und SSH sind ja beide recht CPU-intensiv und die DS-215j ist ziemlich schwach, was die CPU angeht. Die CPU-Auslastung ist jedoch sowohl bei der Verwendung von Ultimate Backup als auch beim Transfer über die Einbindung als NFS-Remote-Freigabe praktisch gleich hoch. Darum wundert es mich dann wieder, dass ich mit der einen Methode solch eine höhere Geschwindigkeit bekommen kann als mit der anderen.

zu 4) bei dem alten rsync welches Synology ausliefert ist einiges nicht so optimal. Da Ultimate Backup aber möglichst ohne Nutzereingriffe arbeiten soll greift man hier eben auf diese rsync Version zu.

Richtig - das finde ich auch das Tolle an Ultimate Backup.

Raten sind dabei (egal ob 1812+, 415+,..) ungefähr bei 25MB/s. Helfen kann dabei wenn mehrere Jobs parallel laufen.
Oder du musst mal den UB Thread durchgehen, da wurden auch ein paar Optimierungen diskutiert, die man aber selber vornehmen muss.

OK, danke für den Tipp und die Angabe, was hier übliche Raten sind.

Systemsteuerung > Sync Gemeinsamer Ordner wäre auch noch eine rsync Methode.

Habe ich auch bereits getetest und liefert bei mir Geschwindigkeiten um 25 MB/sec. Was ich an dem Tool nicht so mag ist, dass es nicht steuerbar ist (abgesehen davon, dass man die Synchronisierung pausieren/aussetzen und manuell starten kann). Es synchronisiert halt üblicherweise kontinuierlich.

Wenn du mit Remote Ordner Einbindung arbeitest könntest du darauf auch mit rsync probieren, da hier dann nur die lokale rsync Instanz beteiligt ist. vielleicht holt die dann mehr raus, wenn die 215j nicht beteiligt ist.

Habe ich ausprobiert mit der in HyperBackup integrierten rsync-Funktion. Hatte Probleme, eine rsync-Verbindung zwischen den beiden DS aufzubauen.

 

[Tommes]

Ich klink mich hier mal kurz ein...

Erstmal! Ein initiales Backup dauert, je nach Datenvolumen, immer ziemlich lange. Bei den anschließenden Backups werden dann nur noch die Änderungen übertragen und diese halten sich vom Datenvolumen her doch sehr in Grenzen. Die Frage der Übertragungsgeschwindigkeit sollte bei einem Backup also anders bewertet werden als bei einer einfachen Datenübertragung, da es hierbei erstmal um die Datensicherheit geht und nicht um die Geschwindigkeit.

Anyway... speziell auf Ultimate Backup bezogen kommt neben der Verwendung von rsync, welches für sich schon einige Besonderheiten der Datenbehandlung besitzt, kommt beim Übertragen per LAN auch noch der SSH Flaschenhals hinzu, da wir hierbei die Datenübertragung verschlüsseln. Und Verschlüsselung kostet Leistung und somit Geschwindigkeit.

Du kannst innerhalb Ultimate Backup also an zwei Schrauben drehen, einmal an rsync und einmal an der SSH Verbindung. Hierzu gab es auch schon einige Tests in unserem Thread, welche teilweise die Geschwindigkeit steigerten, teilweise so aber nicht praxistauglich waren bzw. sogar nicht vollständig auf eine Synology portiert werden konnte.

Unterm Strich ist mir aber immer noch am wichtigsten, das meine Daten im Sicherungsziel ankommen und nicht wie schnell sie das tun.

Tommes

 

[Fusion]

Genau, nur weil in einem FTP Programm links Quelle und rechts Ziel angezeigt werden fließen die Daten noch lange nicht direkt. Dazu müssen alle beteiligten FXP unterstützen/zulassen.

Da x % CPU nicht y MB/s an Datenübertragung entsprechen, wieso wunderst dich da, dass verschiedene Software mit derselben CPU Auslastung verschiedene Übertragungsraten zu Stande bekommen?

Synchronisierung Gemeinsamer Ordner in der Systemsteuerung kann man doch nach Zeitplan laufen lassen, oder nicht?
Was willst du denn genau? Einmal-Abgleich? Zeit-gesteuerter Abgleich? Sync (das ist eben definitionsgemäß normal kontinuierlich bzw instantan)?

Hyper Backup kann das denke ich nicht, da hier ja kein entfernter Server beteiligt ist. Die entfernten Ordner sind ja schon lokal eingehängt, stellen aber auch eine Dateisystemgrenze dar (glaube ich).
Das muss man denke auf der Konsole probieren, wo man einfach rsync einen Quell- und Zielordner vorgibt.

Wie schnell sind denn deine Übertragungsraten wenn du nur von der 716+ auf deinen Client Daten kopierst? Kommst du da in die Nähe von GBit?

 

[Doktor-Parnassus]

@Tommes: Ja, das ist richtig. Und dadurch, dass Ultimate Backup unbeaufsichtigt und ohne dass ich dafür einen eingeschalteten Computer bräuchte, im Hintergrund laufen kann, ist die Übertragungsgeschwindigkeit in der Tat sekundär. Trotzdem ist es natürlich immer gut, wenn etwas schneller ablaufen kann. Darum habe ich nach den Ursachen für diese Unterschiede gesucht und nach Optimierungsmöglichkeiten.

 

[Doktor-Parnassus]

Genau, nur weil in einem FTP Programm links Quelle und rechts Ziel angezeigt werden fließen die Daten noch lange nicht direkt. Dazu müssen alle beteiligten FXP unterstützen/zulassen.

Und zu den Beteiligten zählt leider auch die Software und nicht nur Quelle und Ziel, wie ich feststellen musste. Dieses GoodSync bietet zwar auch noch ein Paket (GoodSync Connect) an, das Direktzurgiff auf das NAS ermöglicht, aber das gibt es nicht für alle Synology NAS-Modelle, meine eingeschlossen.

Synchronisierung Gemeinsamer Ordner in der Systemsteuerung kann man doch nach Zeitplan laufen lassen, oder nicht?

Mensch, wie konnte ich das nur übersehen. Das war mir nicht bekannt, dass hier auch ein Zeitplan möglich ist. Danke für den Hinweis. Möchte einen zeitgesteuerten Abgleich.

Ein Problem mit der Funktion "Synchronisierung gemeinsamer Ordner" hatte ich jedoch teilweise schon und zwar, dass immer ein neuer Ordner als Zielordner erstellt wurde, wenn der Zielordner nicht leer war. Dann wurde alles komplett neu übertragen anstatt die vorhandenen Dateien abzugleichen. Zum Beispiel: Quell-Ordner hieß "Pictures", dann wurde der ursprüngliche Zielordner in "Pictures1" umbenannt und ein neuer leerer namens "Pictures" erstellt.

Wie schnell sind denn deine Übertragungsraten wenn du nur von der 716+ auf deinen Client Daten kopierst? Kommst du da in die Nähe von GBit?

Mein Client ist die DS-215j, oder nicht? Wie meinst du das genau?

 

[Fusion]

Ja, die Daten müsen neu übertragen werden, wenn man auf Quelle und Ziel denselben Namen auf Quelle und Ziel haben will bei der Sync Gemeinsamer Ordner. Der Abgleich ist nicht vorgesehen.
Vermutlich wollten sie sich unnötige Probleme vom Hals halten indem sie nur diesen definierten Zustand zulassen.

Ich meinte, wie schnell kopierst du Daten von einer oder beiden NAS auf deinen Client PC? Geht das ähnlich schnell oder schneller als das FXP zwischen den NAS direkt?
Also wirklich nur NAS > PC, ohne eine zweite Beteiligte NAS bzw ohne weiterschaufeln von Daten woanders hin.

 

[Doktor-Parnassus]

Ja, die Daten müsen neu übertragen werden, wenn man auf Quelle und Ziel denselben Namen auf Quelle und Ziel haben will bei der Sync Gemeinsamer Ordner. Der Abgleich ist nicht vorgesehen.
Vermutlich wollten sie sich unnötige Probleme vom Hals halten indem sie nur diesen definierten Zustand zulassen.

Ja, wahrscheinlich - denn man kann mit einer solchen Ein-Wege-Synchronisierung natürlich auch Daten ungewollt zerstören. Trotzdem eher lästig, wenn man weiß, was man tut, und bei großen Datenmengen nicht alles wieder von Null beginnend synchronisieren möchte.

Ich meinte, wie schnell kopierst du Daten von einer oder beiden NAS auf deinen Client PC? Geht das ähnlich schnell oder schneller als das FXP zwischen den NAS direkt?
Also wirklich nur NAS > PC, ohne eine zweite Beteiligte NAS bzw ohne weiterschaufeln von Daten woanders hin.

Da mein PC und meine NAS aufgrund der räumlichen Trennung zum Telefonanschluss und Router nicht direkt per Kabel, sondern per PowerLAN miteinander verbunden sind, ist das hier der limitierende Faktor, d.h. immer wenn Daten vom NAS zum PC transferiert werden müssen, verläuft das über Router und PowerLAN. Dementsprechend bekomme ich hier auch eher mäßige Datentransferraten. Die Raten, die von den PowerLAN angepriesen werden, erreicht man in der Praxis kaum und es kommt auch auf die Stromleitungsverhältnisse in der Wohnung an.

 

[Doktor-Parnassus]

Habe es nun mal getestet: Bei Direktverbindung NAS und Client PC über LAN-Kabel komme ich auf 50 MB/sec. Bewegt sich also auch in dem Bereich, den ich bei Direktübertragung von NAS zu NAS bekomme, wenn eine Software verwendet wird, die FXP unterstützt.