Datentransferrate bricht bei vielen kleinen Dateien extrem ein

[Abeer]

Hallo Zusammen,

habe ein DS212j im Netzwerk per LAN über eine Fritz 7390 laufen. Jetzt versuche ich gerade für alle Computer in unserem Heimnetzwerk per Data Replicator Backups zu erstellen. Dabei stellt sich folgendes Phänomen ein. Für normale Datein >100kB bekomme ich super Transferraten, sobald die Dateien kleiner werden bricht der Datentransfer ein und die Prozessorauslastung der DS geht auf 99%. Extrem ist gerade die Sicherung der freeDB-Daten. Hier sind einige Verzeichnisse mit jeweils über 100000 kleinere Dateien abgelegt. Da bricht der Datentransfer dann auf <150kB/s ein.
Im Endefekt nudelt die DS jetzt bereits 2 Tage nonstop nur an diesen Dateien rum. Ein Ende ist noch nicht abzusehen.
Da ich weder eine Dateikomprimierung noch eine Verschlüsselung für das Backup aktiviert habe verwundert das jetzt etwas. Ist das Einbrechen der Tranferrate in dem Zusammenhang normal oder kann ich hier noch was optimieren?

Viele Grüße
Klaus

 

[Frogman]

Also zunächst schreibst Du nicht, wie das Netzwerk aufgebaut ist. Wenn Du kein GBit-LAN hast, dann beschneidest Du die Performance ohnehin unnötig. Du schreibst außerdem, dass Du "für alle Computer im Heimnetzwerk" ein Backup anlegst - hoffentlich aber nicht für alle gleichzeitig - das wäre dann nämlich tödlich für die Performance. Außerdem solltest Du schon bei dert vielen kleinen Dateien mit einem erheblichen Einbrucb der Datenrate rechnen (was aber von vielen Parametern abhängt, über die oben genannten Umstände hinaus).

 

[Abeer]

Hallo Frogman,

danke für Deine Antwort. Ich habe kein generelles Problem mit meinem Netzwerk. Daher ist die Netzwerkstruktur erst mal unerheblich, zumal der Datendurchsatz generell i.O. ist und nur beim Backup von Massen an kleineren Dateien extrem einbricht. Natürlich läuft das Lan im GBit-Modus und es wird auch nur ein Backup nach dem anderen und nicht parallel gefahren.
Trotzdem macht mich der Datentransfereinbruch und die max. Prozessorauslastung nachdenklich. Brauch ich evtl. doch mehr Rechenpower in der DS, sprich die + Variante oder sogar die DS213+. Der Flaschenhals beim Backup scheint eindeutig meine DS zu sein. Aber vielleicht kann man ja noch ein ein paar Parametern basteln um den Datendurchsatz zu optimieren. Hierfür brauche ich aber Eure Erfahrung hier im Forum.

Viele Grüße
Klaus

 

[Frogman]

...Daher ist die Netzwerkstruktur erst mal unerheblich, zumal der Datendurchsatz generell i.O. ist und nur beim Backup von Massen an kleineren Dateien extrem einbricht. ...

Naja, wenn Du meinst. So als Tipp: verbinde mal die DS und den PC über einen guten GBit-Switch zB. von D-Link oder vergleichbares, anstatt den Fritzbox-Switch zu verwenden - da kann man sich dann schon mal wundern. Und sicherlich ist die 212j jetzt kein Weltmeister bei der Konstellation, irgendwo müssen ja die Probleme sein, wenn die CPU kein Sprinter ist. Ach so, und auch die Festplatte kommt dann an die Grenzen, wenn der Daten-Overhead derart hohe Anteile hat...

 

[itari]

auch mal mit den Jumbo-Frames spielen

Itari

 

[Abeer]

Hallo Itari,

Jumbo-Frames sorgen bei mir für ????. Was hat es damit auf sich?

Viele Grüße

Klaus

 

[Merthos]

Lass es lieber, damit kann man mehr kaputtmachen als es wert ist. Und in Deinem Fall wird es auch nichts helfen; viele kleine Dateien sind nun mal (ja auch extrem) langsam da der Verwaltungsoverhead im Verglich zu den Nutzdaten steigt. Hier empfiehlt es sich, diese in ein Archiv (ggf. auch ohne Komprimierung) zu verpacken.

 

[itari]

Jumbo-Frames machen die Transfereinheiten im Netzwerk größer ... bei der LAN-Schnittstellenkonfiguration. Bei mir macht es etwa den Faktor 6 aus (6 x schneller).

Itari

 

[Abeer]

Hallo Zusammen,

erst mal danke für die Infos. Für mich ist jetzt klar, daß die Ursache im Dateihändling liegt. Dafür brauch die DS halt Prozessorleistung und die ist bei mir klein.

@ Merthos:
Die Daten in ein Archiv packen hatte ich mir im Nachhinein auch schon gedacht. Leider lief das Backup da schon. Ich werd das einfach laufen lassen, irgend wann wird die DS schon damit fertig und ab da werden eh nur noch die Änderungen gesichert. Bei den anderen Computern werde ich das aber vorher prüfen und ggf. dann auch mit Archivbildung durchziehen.

@ Itari: Ich bin jetzt, was die Netzwerkdetails angeht, zu sehr Frischling um an diesen Parametern zu drehen. Da geht mir die Sicherheit der Datensicherung vor Geschwindigkeit. Und die ist bis auf die vielen Minidateien gut.

Falls nicht noch einer eine zündende und einfache Idee hat, war es das für mich.

Viele Grüße

Klaus

 

[swissbite]

Hallo Klaus

Kurzum etwas technisch:
Viele kleine Dateien werden immer langsam übertragen als einzelne grosse Dateien. Ausser das Protokoll ist dazu angelegt und die Programme dazu intelligent. (Windows Share wäre da mal die schlechteste Variante, via FTP schon einiges besser).
Dazu gibt es noch das Problem deines Computers bzw. des Filesystems und deiner HDD welches die Geschwindigkeit weiter drosselt. (Defragmentierung unter Windows, so ein Thema)

Was kann man dagegen machen?
Eine - oder mehrere - grössere Dateien anlegen. Wenn man - wie bei FTP - die Möglichkeit hat Dateien parallel hochzuladen (hierzu ein anständiges FTP-Programm verwenden) empfiehlt sich nicht nur eine Datei anzulegen sondern das ganze zu splitten. Eine gute Grösse ist bei etwa 50MB. Diese Grösse ist in der Regel gross genug um den Speed zu erhalten, klein genug um andere Netzwerkgeräte und Teilnehmer nicht zu gross zu bremsen.

Wie am besten?
Nimm dir ein Sicherungstool welche dir die Dateien zusammenstellt und die Möglichkeit bietet sie dir auf einen externen Speicher zu legen (wie gesagt: FTP, SFTP, SSH (SCP)). Das Windows-interne Backuptool reicht da theoretisch schon, ist aber nicht so Benutzerfreundlich. Eine Möglichkeit wäre z.B. Duplicati für Windows, Deja Dup bei Ubuntu, Timemachine unter MAC.

Warum ein Sicherungstool?
Es bietet dir inkrementelle Backups was in der Zukunft den Traffic auf dem Netzwerk verkleinert. (Siehe u.A. wikipedia oder google)

Fazit:
Gibt es eine schnelle Lösung?
Nein, denn selbst die defragmentierung kostet Zeit.
Eine gute Lösung wäre ein Backuptool wie oben beschrieben. Es wird dir Ärger ersparen, glaub mir.

 

[Abeer]

Hallo swissbite,

mein Backup ist nun durch, nach 5 Tagen. Jetzt werkelt meine DS noch intern, um die Daten auf die zweite Harddisk zu spiegeln. Mein Fazit aus meinem 1. Backup ist:

- Je größer die Dateinen um so besser die Übertragungsrate, um so geringer die Prozessorauslastung der DS. Datenraten >14MB/s werden erreicht.
- Viele kleine Dateien lassen die Übertragungsrate auf <150kB/s zusammenbrechen und die Prozessorlast der DS geht auf 99%.
- Abhilfe würde eine schnellere DS bieten (213+) oder die von Euch bereits aufgeführte Archivbildung, die ich zukünftig umsetzen werden.

Ein Sicherungstool (Data Replicator) nutze ich ja bereits und bei den zukünftigen inkrementellen Backups wird es wohl auch schneller laufen, wobei sich die Archivbildung dann negativ bemerkbar machen wird. Ändert sich eine Datei im Archiv, müsste ich das ganze Archiv neu speichern. Das schau ich mir aber im Einzelfall genauer an.

@Alle,

danke für Eure Unterstützung und Informationen. Das hat mir die Zusammenhänge und Möglichkeiten verständlich gemacht. Vieleicht melde ich mich noch mal, wenn die anderen Computer mit ihren Backups durch sind (einer nach dem anderen .

Viele Grüße

Klaus

 

[swissbite]

Hallo Klaus

Nun, gute Backuptools senden nur ein Diff zum letzten Archiv (z.B. Deja DUP unter Ubuntu). Das heisst dass das Archivtool auch für Archive nur sogenannte diff-tars versendet. Ich benutze dies seit Jahren (auch mit Verschlüsselung), so dass der Standort meines Backups egal ist.

Wie gesagt: Es kommt auf die Wahl der Software an.

Gruss

Swissbite

 

[itari]

Viele kleine Dateien werden immer langsam übertragen als einzelne grosse Dateien.

das halte ich für ein Gerücht *gg* warum sollte man den Übertragunggeschwindigkeit kleiner Dateien drosseln wollen ... die Verarbeitung auf der Client wie Serverseite ist aufwändiger und deshalb dauert es länger, aber dass das GBit-Netzwerk auf sagen wir 300MBit/Sek gedrosselt werden würde, wäre mir neu

Itari

 

[itari]

ansonsten bitte bitte bitte lest euch mal genau durch (bei Google oder sonst wo) was der Unterschied zwischen 'inkrementellem' Sichern, 'differenziellen' Sichern und Sichern von 'Versionen' ist ...

Itari

 

[swissbite]

das halte ich für ein Gerücht *gg* warum sollte man den Übertragunggeschwindigkeit kleiner Dateien drosseln wollen ... die Verarbeitung auf der Client wie Serverseite ist aufwändiger und deshalb dauert es länger, aber dass das GBit-Netzwerk auf sagen wir 300MBit/Sek gedrosselt werden würde, wäre mir neu
Itari

Jein. Es ist nicht so dass das Netzwerk den Speed drosseln würde. Das Problem liegt darin dass - in der Regel - für jede Datei das ganze Prozedere von Verbindungsaufbau, Handshake, Überprüfung der Berechtigung, Signalisierung für die Bereitschaft zum Senden/Empfangen und anschliessend das Senden neu gestartet wird.
Du siehst, haufen kleine Dateien entspricht einem haufen Overhead.

ansonsten bitte bitte bitte lest euch mal genau durch (bei Google oder sonst wo) was der Unterschied zwischen 'inkrementellem' Sichern, 'differenziellen' Sichern und Sichern von 'Versionen' ist ...

Dazu verlinke ich nur auf Wikipedia.

 

[itari]

Dazu verlinke ich nur auf Wikipedia.

dann wirst du sicherlich festgestellt haben, dass der rsync nur differenziell sichern kann und dieser ist ja immer das Arbeitspferd ... also 'inkrementell' geht nicht auf der DS

Itari

 

[swissbite]

dann wirst du sicherlich festgestellt haben, dass der rsync nur differenziell sichern kann und dieser ist ja immer das Arbeitspferd ... also 'inkrementell' geht nicht auf der DS

Ich habe kurz meine Posts angeschaut und dort nichts von rsync gelesen.

Es kommt auf das Tool darauf an, auch mit der DS kann man - soweit - inkrementell sichern. Nur nicht mit der mitgelieferten Backup-Variante. Setzte ich aber ein anderes Tool - als Beispiel sei hier Déjà Dup genannt - ein, dann kann man auch mit der DS Inkrementell sichern.

Gute Tools bedeutet nicht zwingend jene, welche Synology liefert.

Und bevor jetzt Fragen kommen wo man Déjà Dup für Windows/Os X findet: Gibt es nicht.

PS: Rsync macht nur eine Vollsicherung. Es überträgt aber nur geänderte Dateien und ermöglicht so das Verhindern von unnötigen Dateiübertragungen. Rsync selber ermöglicht keine "Versionierung" bzw. braucht als Pfad immer eine Vollsicherung und übermittelt die Änderungen direkt auf die Vollsicherung.

Rsync kann nicht aus einem differenziellen Backup wiederherstellen.

Rsync ist kein Backuptool sondern ein Synchronsisationstool über remote (daher der Name).

 

[itari]

Déjà Dup nutzt 'duplicity' [guck: http://wiki.ubuntuusers.de/Déjà_Dup ]

duplicity nutzt rsync-Algorithmus [guck: http://wiki.kartbuilding.net/index....ental_backup#About_Duplicity_Encrypted_Backup ]

rsync macht (nur) differenzielle Backups [siehe auch: http://wiki.kartbuilding.net/index....ental_backup#About_Duplicity_Encrypted_Backup ]

daraus folgt: 'Déjà Dup' macht differenzielle Backups



Itari

 

[swissbite]

Ich hasse es widersprechen zu müssen.
https://wiki.gnome.org/DejaDup/HowItWorks http://duplicity.nongnu.org/

Um das ganze klären zu können, der unterschied zwischen Inkrementell und Differenziell:
Differenziell über einen Zeitraum A-D:

A: (Fullbackup), B (Differenz A-B), C (Differenz A-C), D(Differenz A-D)
Incrementell:
A: (Fullbackup), B (Differenz A-B), C(Differenz B-C), D(Differenz C-D) (Natürlich unter berücksichtigung vorhergehender History)

Vorteil/Nachteil je:
Differenzelle Backups brauchen genau das Fullbackup und das diff
Incrementelle brauchen die ganze Kette.
(Aber das stand ja schon alles in Wikipedia, darum sorry für die Wiederholung)

Nochmal: RSync macht keine Backups. RSync ist nur ein Sync-Tool welches nur die Differenzen ermitteln kann und jene übermittelt (Darum stimmt deine Aussage dass rsync nur differential übermitteln kann, rsync kann aber keine Diff-Backups erstellen).
Um die Differenzen zu ermitteln gibt es rdiff, welches eine Erweiterung von der rsync-Bibliothek entspringt. Es ermöglicht eben genau jene Diffs zu extrahieren.

Ebenfalls stimmt deine Aussage das Duplicity auf rsync aufbaut, diese aber - unter der obrigen berücksichtigung - erweitert um incrementelle updates zu machen. D.H. es wirft rdiff die bei Stand D die "Sammlung" von A-C vor, welches ja identisch einem aktuellen Fullbackup wäre. Anhand von dem wird die Differenz ermittelt welches einem inkrementellen Delta entspricht.

PS: Dem ersten link folgend wird unten auch noch ein Beispiel gezeigt wie Déjà Dup bzw. Duplicity funktioniert und ab wann Duplicity eine Kette wieder löschen wird/kann.

 

[itari]

Nochmal: RSync macht keine Backups. RSync ist nur ein Sync-Tool welches nur die Differenzen ermitteln kann und jene übermittelt (Darum stimmt deine Aussage dass rsync nur differential übermitteln kann, rsync kann aber keine Diff-Backups erstellen).

hmmmmm .... also ich mache damit differenzielle, versionierte Backups ... kannst dir ja bei Gelegenheit mal in meinem AdminTool anschauen, wo ich vom System der DS Backups anfertige

Itari