+-Serie Volume Datenbereinigung --> was passiert hier genau?

[ozzac]

Hallo,

unter Speichermanager --> Volume --> Verwalten gibt es die Option „Datenbereinigung starten“.
Was passiert hier genau? Der Hinweis „Diese Option sucht nach und bereinigt Dateninkonsistenzen“ ist irgendwie nicht genug aussagekräftig.
Ist die Ausführung empfehlenswert?

 

[MoritzDorn]

Hallo,

auf jeden Fall,

das hört sich so an als wäre mal eine Festplatte bei der getauscht worden und jetzt steht scheinbar mehr Platz zur Verfügung.

Bei mir gibt es diese Option nicht, da meine zwei 3 TB Festplatten im RAID1 laufen und in Ordnung sind, würde ich eine Tauschen, dann würde mir die Synology auch anbieten diesen Fehler zu bereinigen, dadurch kann ich z.B.: von zwei 3 TB Festplatten auf zwei 4 TB Festplatten wechseln, dann müsste er Dateiinkonsistenzen prüfen und würde mir dann 4 TB zur Verfügung stellen.

Welche Diskstaion hast du bzw. welcher RAID Typ wird dir im Speichermanager angezeigt?

Gruß

 

[ozzac]

Hallo,

habe die 412+. Ich hatte zuerst 2 x 2TB Platten installiert und eine Woche später 2 x 3TB eingebaut. Als Raid verwende ich SHR.
Als ich die beiden 3TB Platten eingebaut habe, wurde das Volume automatisch erweitert, so wie das sein soll. Jetzt habe ich eben die Funktion „Datenträger“ bereinigen gefunden und frage mich, was bei Ausführung genau passiert bzw. ob das sinnvoll ist?

Gruß

 

[MoritzDorn]

Hi,

hier die Lösung zu dem ganzen aus der Hilfe von Synology:

Datenbereinigung

Die Datenbereinigung ist eine Wartungsfunktion für Daten, die Volumes oder Diskgruppen überprüft und erkannte Dateninkonsistenzen repariert. Diese Funktion kann mit Volumes oder Diskgruppen verwendet werden, die SHR (bestehend aus drei oder mehr Festplatten), RAID 5 oder RAID 6 nutzen.

Wir empfehlen eine regelmäßige Ausführung der Datenbereinigung, um die Datenkonsistenz zu erhalten und den Verlust wichtiger Daten im Fall eines Festplattendefektes zu vermeiden.
Datenbereinigung ausführen:

Wählen Sie das Volume oder die Diskgruppe, auf der die Datenbereinigung ausgeführt werden soll.
Klicken Sie auf Verwalten.
Wählen Sie Datenbereinigung.

Hinweis:

Die Datenbereinigung kann nur ausgeführt werden, wenn der Status des Volume oder der Diskgruppe Normal ist.
Bitte fahren Sie das System nicht herunter, bevor die Datenbereinigung abgeschlossen wurde. Wenn das System vor dem Abschluss heruntergefahren wird, muss die Datenbereinigung wieder vom Anfang gestartet werden.

 

[ozzac]

dann probiere ich das gleich mal aus...danke!

 

[AndreasP80]

Könnte man das auch als monatliche Aufgabe einstellen? Wie?Oder ist ein mal im Monat zu oft?

 

[DarkSoul]

Hi,

hier die Lösung zu dem ganzen aus der Hilfe von Synology:

Die Datenbereinigung kann nur ausgeführt werden, wenn der Status des Volume oder der Diskgruppe Normal ist.

Kann das jemand bestätigen? Ich hatte gerade einen Stromtotalausfall, der Wasserkocher hat ihn verursacht und natürlich hab ich zwar schon mit einer USV geliebäugelt, aber noch keine gekauft.
Meine DS hat das zwar "bemerkt" (war im System Hibernation Modus, was hier viele Deep Sleep nennen), der Volume-Status ist aber nach wie vor "Normal" und die Datenbereinigungs-Funktion unauffindbar. Der Punkt "Verwaltung" ist bei mir deaktiviert.

 

[goetz]

Hallo,
aus der DSM Hilfe:

Diese Funktion kann mit Volumes oder Diskgruppen verwendet werden, die SHR (bestehend aus drei oder mehr Festplatten), RAID 5 oder RAID 6 nutzen.

somit bei Deinem RAID1 nicht anwendbar.

Gruß Götz

 

[DarkSoul]

Danke, goetz! Das hab ich doch glatt überlesen.

 

[tesme33]

Das macht nix weiter als ein "echo check > /sys/block/mdX/md/sync_action" dann rennt das Ding über die Platten und vergleicht die Checksumme mit den Daten.
Wobei mir noch keiner sagen konnte wem im Fehlerfall mehr geglaubt wird. Den Daten auf der Platte oder der Checksumme bei einem Raid5.
Und beim Raid 6 hat man ja eigentlich 2 Checksummen. Wird da eine Mehrheitsvotum genommen ? Also wenn die Daten im Unterschied zu beiden Checksummen sind. Werden dann die Daten korrigiert ?


Gruss

 

[the_baker]

Wir empfehlen eine regelmäßige Ausführung der Datenbereinigung

Was ist denn regelmäßig?
Einmal im Jahr? Zweimal ...?

 

[SoniX]

Also die Datenbereinigung hat weniger etwas mit migrierten Festplatten oder vergrößerten Volumes oder Raid zu tun als mit dem Dateisystem.

Man benötigt für die Datenbereinigung zwingend btrfs; mit ext4 funktioniert es nicht. Nur btrfs speichert Prüfsummen welche bei der Datenbereinigung abgeglichen werden.

Datenbereinigung ist auch ein ziemlich schlechter Bergriff dafür. Man hätte es Datenkonsistenzprüfung nennen sollen.

Ein Raid ist aber trotzdem wichtig. Ohne Raid kann die Prüfung anhand der Prüfsummen nur feststellen ob Fehler aufgetreten sind. Mit Raid aber können diese auch korrigiert werden. Das beantwortet nun auch die Frage von tesme33. Ich zB habe ein btrfs Basisvolume; ich kann die Prüfung durchlaufen lassen und kann mir anzeigen lassen ob Fehler existieren; korrigiert werden können diese aber nicht automatisch; da muss ich dann mit einem Backup ran und das manuell erledigen.

Zur Häufigkeit der Ausführung: Nunja, im Prinzip bin ich jemand solche Dinge möglichst oft, also wöchentlich ausführt. Diese Prüfung aber dauert sehr lange; bei meiner 10TB HDD welche etwa zu 50% belegt ist geht n Tag rum bis das durchgelaufen ist. Also einmal im Monat Datenbereinigung durchlaufen lassen muss reichen würde ich sagen.

Das Ganze ist ja sowieso nur ein Zusatz zur laufend sowieso durchgeführten Prüfung beim hantieren mit den Daten. Bei jedem Lesevorgang werden die Prüfsummen abgeglichen. Für Daten die einfach nur rumliegen ohne benutzt zu werden ist eine Prüfung ab und an aber schon sinnvoll.

Liebe Grüße

 

[DustFireSky]

Das macht nix weiter als ein "echo check > /sys/block/mdX/md/sync_action" dann rennt das Ding über die Platten und vergleicht die Checksumme mit den Daten.
Wobei mir noch keiner sagen konnte wem im Fehlerfall mehr geglaubt wird. Den Daten auf der Platte oder der Checksumme bei einem Raid5.
Und beim Raid 6 hat man ja eigentlich 2 Checksummen. Wird da eine Mehrheitsvotum genommen ? Also wenn die Daten im Unterschied zu beiden Checksummen sind. Werden dann die Daten korrigiert ?


Gruss

Das ist eine gute Frage!

Vorab: Das ist alles rein spekulativ und sind nur lediglich ein paar Gedankengänge meinerseits zu deiner Frage.

Normalerweise wird die Checksumme ja erstellt/geändert, wenn die Datei geändert wird oder halt angelegt wird. Sprich, sich der Wert eines Bits ändert. Wenn die Datei aber durch einen Hardwaredefekt (z.b. fehlerhafte Sektoren, Festplattenfehler usw.) verändert wird, müsste die Checksumme davon ja unberührt bleiben, da nicht die RAID Steuerungssoftware die Datei verändert hat, sondern dies durch einen Hardwaredefekt herbeigeführt wurde. Ergo sollte dann bei einer Datenträgerbereinigung auch dann der Checksumme geglaubt werden und somit die Datei damit im Originalzustand wiederhergestellt werden können.

Das Problem hierbei ist allerdings, was passiert denn, wenn sowohl die betroffene Datei, als auch die Checksumme davon betroffen ist? Normalerweise liegen diese zwei Dinge aber nie auf der selben Platte. Da liegt dann die Datei auf Platte A1, aber die Parität dafür auf Platte A2. Tja... Dann wäre ja beides hinüber und somit eine Rekonstruktion der Originaldatei nicht mehr herstellbar. Ich vermute einfach mal, dass die betroffene Datei dann einfach verloren geht oder halt beschädigt wiederhergestellt würde. Ich weiß es aber auch nicht.

Das Wiki selbst sagt dazu irgendwie auch nichts:
https://de.wikipedia.org/wiki/RAID#...l_Striping_mit_verteilter_Paritätsinformation
Oder ich bin blind.

 

[vater]

Also die Datenbereinigung hat weniger etwas mit migrierten Festplatten oder vergrößerten Volumes oder Raid zu tun als mit dem Dateisystem.

Man benötigt für die Datenbereinigung zwingend btrfs;

Um das noch mal gerade zu rücken, hier noch mal aus der Hilfe der Unterschied zwischen Dateisystembereinigung und der RAID-Bereinigung. Ich führe letztere monatlich durch. Quartalsweise ginge vermutlich auch. Den monatl. Task richtet DSM bei der Erstellung von unterstützten Arrays seit einer der 6er Versionen selbst ein, wenn mich nicht alles täuscht. Man sollte nur darauf achten, nicht zeitgleich die Smart Tests zu planen.
Link zur Anleitung: hier

Die Datenbereinigung ist eine Wartungsfunktion für Daten, die Speicherpools überprüft. Die nachfolgenden zwei Datenbereinigungsarten werden nacheinander ausgeführt:

• Dateisystembereinigung: Diese Funktion überprüft die Volumes im Btrfs-Dateisystem. Wenn bei der Prüfsumme eine Dateninkonsistenz erkannt wird, versucht das System die Daten mit einem Backup zu reparieren, wobei der Dateipfad im Protokoll-Center erfasst wird.
• RAID-Bereinigung: Diese Funktion kann bei Speicherpools verwendet werden, die SHR (bestehend aus drei oder mehr Laufwerken), RAID 5 oder RAID 6 nutzen. Sie kann alle gefundenen Datenunstimmigkeiten reparieren.

Wir empfehlen eine regelmäßige Datenbereinigung, um die Datenkonsistenz sicherzustellen und den Datenverlust im Fall eines Festplattenfehlers zu vermeiden.

 

[SoniX]

Aha, dann gibt es da scheinbar zwei verschiedene "Bereinigungen". Wobei der Begriff in beiden Fällen unglücklich gewählt wurde.

Wieso die RAID Bereinigung zwingend aus drei oder mehr Laufwerken bestehen muss? Paritätsinformationen sind bei zwei Laufwerken genausoviele vorhanden wie bei drei oder mehr, solange man nicht SHR-2 oder Raid-6 nutzt.

btw: Auch sehr interessant dass das DSM scheinbar auch ohne Raid mittels eines Backups (!) eine Dateiwiederherstellung versucht. Das ist sehr positiv, kann aber auch in die Hose gehen. Ein Einstellungsmöglichkeit oder ein Nachfragen vorab wäre schon angebracht.

 

[TB-UB]

Ich habe hier 2 Volumes jeweils im RAID1 laufen (BtrFS).

Sowohl bei einer Datenbereinigung (was bei BtrFS ja anscheinend eine "Dateisystembereinigung" ist), als auch bei einem diff (zwischen 2 Shares auf unterschiedlichen Volumes) kann man beobachten, dass pro Volume nur jeweils von einer Platte gelesen wird. Das kann man an den blinkenden LEDs beobachten, die ja angeblich 1:1 Plattenzugriffe anzeigen, als auch im Ressourcen-Monitor->Datenträger (alle anzeigen).

Beim diff lasse ich mir das ja noch eingehen, wenngleich da bei einer CPU-Last <20% und Speicher nahe 0 schon mehr rausgeholt werden könnte (falls jemand weiss ob es da eine Einstellung gibt?!)

ABER:

Bei der Datenbereinigung würde ich mir schon erwarten, dass alle Platten eines RAID1 überprüft werden. Ich habe nicht den Eindruck, dass dies der Fall ist. Jemand eine Idee?!