Dateiintegrität sicherstellen

Status
Für weitere Antworten geschlossen.

SynKlaus

Benutzer
Mitglied seit
14. Feb 2013
Beiträge
384
Punkte für Reaktionen
0
Punkte
16
Hallo,

mir sind meine Daten schon seit jeher wichtig und ich schleife auch schon eine ganze Menge Daten seit 199x mit. In den letzten Jahren sind da großen Mengen an privaten Fotos und Full-HD /UHD(4K)-Videos hinzugekommen und so wächst die Datenmenge unaufhörlich. Bisher jongliere ich mit internen Platten und externen Platten herum. Eine DS212+ habe ich auch schon seit ein paar Jahren, die ich hauptsächlich als Backupziel verwende (rsync-Script mit Versionierung). Ein extern lagerndes Backup habe ich auch, so dass ich da soweit ganz gut aufgestellt bin.
Was mir aber schon immer Sorgen macht, dass Daten mit der Zeit theoretisch degenerieren können - Ganz früher auf analogen Medien war das ja normal und hat mich da schon immer gewurmt - Aber auch im digitalen Zeitalter passiert das ja leider.
Um überhaupt etwas über den Zustand meiner Daten zu wissen, mache ich ab und zu mal einen binären Vergleich der Daten. Also z.B. synce ich die Daten von meiner internen Festplatte mit dem Backup. Ist alles identisch, weiß ich zumindest schon mal, dass den Daten nichts passiert ist - zumindest seitdem das Backup erstellt wurde. Bis auf einmal, war bisher auch immer alles identisch. Videoschnittprojekte komprimiere ich am Schluss immer mit WinRar, welches ja auch Prüfsummen erstellt und solange in dem RAR-Archiv keine Fehler sind, weiß ich, dass die Daten intakt sind.
Wenn der binäre Vergleich jedoch fehlschlägt, dann weiß ich nicht, welche Version die intakte ist. Zum Beispiel bei einem Video sieht man ein fehlerhaftes Bit auch nicht. Daher habe ich auch mal damit angefangen, Checksummen ganzer Ordner berechnen zu lassen. Mit Ordnern, wo nur Daten gelagert und nicht verändert werden, ist das kein Problem, aber Verzeichnisse, wo sich ständig Dateien ändern, schon - Den hier müsste man ständig die Checksummen aktualisieren.
Seit Synology BTRFS als Dateisystem eingeführt hat, mit welchem Lesefehler der Festplatte und damit defekte Dateien, aufgedeckt werden, plane ich, meine Daten auf einer Synology mit BTRFS abzulegen. In diesem Zuge sollen auch alle herumschwirrenden Platten damit überflüssig werden. Den ersten Schritt des Plans habe ich diese Woche nun umgesetzt und habe mir eine DS916+ zugelegt, in welche zunächst einmal 2 8TB-Platten als SHR-Raid mit BTRFS kommen.
Nachdem DSM 6.0 Lesefehler schon erkennen kann und DSM 6.1 diese dann auch bereinigen können soll, denke ich, bin ich schon wieder etwas mehr auf der sicheren Seite.
Weiß jemand, ob ich von diesen Vorgängen überhaupt etwas mitbekomme - Werden diese Ereignisse in einem Logfile abgelegt? Wenn die Platte defekte Sektoren usw. hat, sehe ich dies theoretisch in den SMART-Werten - Was ist aber mit den Lesefehlern, die erst durch die BTRFS-Checksummen aufgedeckt werden - Wo werden diese erfasst?
Weiterhin suche ich eine zusätzliche Prüf-/Reperaturmöglichkeit z.B. über PAR2. Setzt jemand so etwas ein? Wenn ja, würde mich das brennend interessieren. Wie sieht da Eurer Workflow aus und welche Tools verwendet ihr?

Grüße!
 
Zuletzt bearbeitet:

SynKlaus

Benutzer
Mitglied seit
14. Feb 2013
Beiträge
384
Punkte für Reaktionen
0
Punkte
16

SynKlaus

Benutzer
Mitglied seit
14. Feb 2013
Beiträge
384
Punkte für Reaktionen
0
Punkte
16
Keiner der hier etwas beitragen kann und ähnlich paranoid ist wie ich? ;)
 

LeeRoy

Benutzer
Mitglied seit
14. Aug 2010
Beiträge
38
Punkte für Reaktionen
0
Punkte
6
<paranoid>
Das wäre dann wohl ich :)

Mich treibt das gleiche um wie Dich, nämlich Bit rod bei (mir) wichtigen Daten wie z.B. Baby-Fotos von den Kindern etc. Aber da hat jeder was anderes, was ihm wichtig ist.
BTRFS (wie auch ZFS oder NetApp's WAFL) erstellt beim schreiben der Datenblöcke Checksummen und schreibt die zusammen mit den Datenblöcken. Beim späteren Lesen wird aus den Datenblöcken wieder eine Checksumme gebildet und die wird mit der seinerzeit erstellten verglichen. Bei Bit rod gäbe es eine Abweichung und BTRFS könnte theoretisch den Fehler beheben.
Theoretisch deshalb, weil Synology von BTRFS nur das Filesystem, nicht aber den Volume Manager benutzt. Somit schreibt Synology's BTRFS implementierung nur die Metadaten doppelt, nicht aber die Nutzdaten (was aus Platzsicht, absolut ok ist). Da BTRFS aber nichts mit dem RAID Mgr darunter am Hut hat, kennt BTRFS hier keine weitere gute "Variante" des beschädigten Datenblocks (z.b. Parität). Also kann BTRFS unter Synology nur eine Defekte Datei feststellen, aber sie nicht reparieren.
Besser als nix, wenigstens kann man dann aus einem Backup (USB Disk, Remote Bkp o.ä.) die Datei wieder herstellen.

Mit dem BTRFS scrub kann man das Lesen aller Datenblöcke triggern und damit den Checksummenvergleich provozieren auch ohne dass die Daten über ein NAS/SAN Protokoll gelesen werden.

Deshalb gibt es im Syno Volume Manager unter Volume --> Manager auch zwei Scrubs: Den RAID Scrub (der schaut nur die Integrität durch die RAID Brille an) und den BTRFS Scrub. Auf der Kommandozeile kann an mit "btrfs scrub status /volume1" auch sehen, wie weiter der ist und ob er 0 Errors hat oder >0). Wenn er Fehler hat, kann man die betroffene Datei / inode mit "dmesg | grep -i btrfs" sehen oder mit "btrfs filesystem corrupted /volume1". Letzteres hab ich aber noch nicht probiert - kenne ich nur aus der Manpage.

Obwohl ich es schade finde, dass Syno nicht BTRFS auch als RAID Mgr einsetzt (ggf. sind in der relativ alten Kernel Version von Synology DSM noch zu viele bugs von BTRFS drin ???) ist es besser als nichts, denn wenigstens kann man sicher stellen, OB die Datenintegrität stimmt. Meine Paranoia geht noch so weit, dass ich ein Backup auf meine alte DS (dort mit ext4) und noch auf ein selber gebasteltes kleines NAS mit ZFS macht. Irgendein FS wird am Ende schon zuverlässig sein (so meine Hoffnung).
</paranoid>
 

dil88

Benutzer
Contributor
Sehr erfahren
Mitglied seit
03. Sep 2012
Beiträge
29.889
Punkte für Reaktionen
1.172
Punkte
754
Mit DSM 6.1 bringt Synology jetzt auch die Korrekturfunktion für RAID-Volumes mit Redundanz.
 

SynKlaus

Benutzer
Mitglied seit
14. Feb 2013
Beiträge
384
Punkte für Reaktionen
0
Punkte
16
@LeeRoy: Schön zu wissen, dass es noch mehr gibt, wie mich. ;) Ja, bei mir sind es auch hauptsächlich Bilder/Videos von den Kindern.

Danke für die Konsolenbefehle. So kann man während des Prozesses mal schauen, wie es steht und hängt nicht stundenlang in der Luft.

Das Prinzip hinter BTRFS ist mir klar - Jedoch verstehe ich nicht, wieso Du meinst, dass Synology die Daten nur theoretisch wiederherstellen kann, wenn unter dem BTRFS ein RAID läuft, was die ja die Voraussetzung für Self Healing ist? Ohne RAID kann natürlich über die Prüfsumme nur festgestellt werden, dass die Datei nicht in Ordnung ist - Aber durch das RAID-System existiert ja im Prinzip eine Kopie der Datei (ebenfalls inkl. Prüfsumme). Wurde nun beim Lesen einer Datei von Platte 1 festgestellt, dass die Datei nicht mit der Prüfsumme übereinstimmt, dann schaut das System sich die Datei von Platte 2 an und liest sie von dort - Stimmt bei der Kopie der Datei auf Platte 2 die Prüfsumme überein, dann wird diese Version der Datei an den Anwender übergeben und gleichzeitig die defekte Version auf Platte 1 damit repariert. So ähnlich sollte es doch auf einem RAID 1-System oberflächlich betrachtet ablaufen!?

Grüße.
 
Status
Für weitere Antworten geschlossen.
 

Kaffeautomat

Wenn du das Forum hilfreich findest oder uns unterstützen möchtest, dann gib uns doch einfach einen Kaffee aus.

Als Dankeschön schalten wir deinen Account werbefrei.

:coffee:

Hier gehts zum Kaffeeautomat