DSM 6.x und darunter 10 Tage Defragmentierung 26TB NAS

[GeorgeXXX]

Hallo,
Ich habe sehr viele duplizierte Daten, da ich vorher Backups vom System oder der Cloud einfach auf das Synology NAS 416 Plus mit BTRFS kopiert habe.
Nun habe ich entschieden aufzuräumen.
Snapshots habe ich nicht benutzt.

Dazu habe ich folgendes Programm vorgehabt.

1. Erstelle 10-12 Shared Folders für jeden Datentyp (wie Filme, Bilder, Programme, Music ...)
2. Schiebe die Files in den richtigen Shared Folder
3. Da 2 sehr langsam war, habe ich danach ein Defrag gestartet.
   ... Vielleicht ein wenig früh, da ich ja erst die Duplikate löschen müsste, siehe auch hier
4. Eliminiere die Duplikate pro Shared Folder (gleiche typen) mit Antitwin und Dropit
5. Mach das Defrag nochmal .

Problem jetzt:

Schritt 3 scheint ca. 10 Tage zu dauern. 13 Mio Dateien , 1,7 Mio in 32 Stunden.
90% des NAS is belegt. Usage geht leicht runter dank Defrag (ohne Snapshots!).
Kein Anzeichen für Probleme, ausser dass es langsam ist.

Wie weiter?
A) Abbrechen und erst die Duplikate löschen. Wie abbrechen?
B) Duplicate gleichzeitig löschen (siehe auch hier )
C) 10 Tage warten

 

[Synchrotron]

Man sollte während der laufenden Defragmentierung keine anderen größeren Dateioperationen ausführen. Das führt zu überschneidenden Zugriffen.

Die sind dann erstens langsamer als zu normalen Zeiten, zweitens kann es worst case tatsächlich Datenverluste geben.

Aus meiner Sicht abwarten, erst die begonnene Aufgabe durchlaufen lassen.

 

[GeorgeXXX]

Die andere Meinung ist (allerdings bei Windows):

It is perfectly safe to delete files while defragmenting your drive. If a file is in use by the defragmenter, it will not be able to be moved. And conversely, if the file is being defragmented, it wont be able to be deleted. But the crossover window is likely to be small. You might get an error, however nothing nothing bad will happen. Obviously, two programs accessing the disk the same time while slow each program down. However, deleting files is relatively fast. You would probably not notice a difference.

Ich weiss leider nicht wo gerade defragmentiert wird. Aber wenn er gerade auf dem Bereich vom Shared Folder z.B. Movie arbeitet, könnte ich doch schon woanders anfangen, die Duplikate zu löschen.

 

[GeorgeXXX]

Kleines Update 2 1/2 Tage Defragmentierung sind rum: 4 Mio von 13Mio Dateien defragmentiert (Total 23 TB Daten)

 

[Synchrotron]

Ich weiss leider nicht wo gerade defragmentiert wird. Aber wenn er gerade auf dem Bereich vom Shared Folder z.B. Movie arbeitet, könnte ich doch schon woanders anfangen, die Duplikate zu löschen.

Eine Defragmentierung erzeugt einen permanenten Zugriff auf die Daten. Bei BTRFS wird m.w „von überall“ der Inhalt zusammen gelesen und am Ende blockweise wieder geschrieben.

Eine automatische Duplikatesuche und -Löschung ist ein anderer lese-und ggf. auch schreibintensiver Zugriff. Eine mechanische Festplatte hat aber nur eine begrenzte physikalische Möglichkeit, auf Daten zuzugreifen.

Wenn beides parallel läuft, erzeugt das eine hohe Last auf den Laufwerken. Es muss ständig zwischen den beiden Jobs gesprungen werden - egal ob „die Daten anderswo liegen“. Der Kopf muss trotzdem laufend neu positionieren. Das kostet Zeit und treibt die Performance in den Keller.

Normales Arbeiten während der Defragmentierung erzeugt so eine Last nicht, da wird punktuell mal zugegriffen oder geschrieben.

Fazit: Alle großen Dateioperationen (maschinell, umfangreiche Zugriffe) jeweils für sich ausführen, eine abschließen (lassen), bevor man mit der nächsten anfängt.

 

[GeorgeXXX]

Kleines Update nach 3 1/2 Tagen Defrag (keine Paralleljobs): nun bei 8,8 Mio von 13 Mio Files,
Die letzten 4 Millionen gingen vergleichsweise schnell.

Nun zum "Sequenzialisieren":

Wenn beides parallel läuft, erzeugt das eine hohe Last auf den Laufwerken. Es muss ständig zwischen den beiden Jobs gesprungen werden

Du schlägst vor, alle Jobs zu sequenzialisieren, ein Job nach dem anderen.
Das betrifft die Aufgaben, die ich gerade gemacht habe:
1) Dateien in den richtigen Shared Folder schieben.
2) Defrag
3) Duplikate suchen

Das Problem beim Sequenzialisieren von Dateioperationen bei (1) ist der manuelle Aufwand,

• Ich muss regelmäßig schauen, ob der vorherige Job schon fertig ist.
• Unter Synology Filestation Background Jobs kann ich einen Job nicht anhalten. Leider nur wenn es im Vordergrund ist.
• Ich muss das Suchen auch sequenzialisieren, d.h. mir eine Liste von Foldern schreiben, die ich nachher sequentiell abarbeite und verschiebe.
  Anstatt einfach alle diese Ordner parallel zu verschieben.
  
  Gibt es einen Synology Filemanager, der das Sequenzialisieren oder zumindest das Pausieren von Jobs erlaubt?
  Oder muss ich Windows benutzen?

 

[GeorgeXXX]

Das Defragmentieren ist doch schnell geworden. Nach 4.25 Tagen war es fertig.
Die zweite Frage bzgl. Sequenzialisierung ist natürlich:
Warum kann ich bei 4 Platten nur einen Job parallel laufen lassen?
Ausserdem greift das NAS doch auf verschiedene Platten gleichzeitig zu. Theoretisch heisst das 4 Prozesse gleichzeitig.

 

[Fusion]

Dateisystem-Defragmentierung, du hast nur 1 Dateisystem. Dass das Raid5 auf 4 Block devices aufgebaut ist spielt hier keine Rolle.