Dateien auf Fehler Prüfen

[jasonts]

Hi,
ich bin Fotograf und suche nach einer Lösung meine Fotos zuverlässig zu sichern. Bisher mache ich das über 2 separate USB-Festplatten und wäre damit eigentlich zufrieden, wenn ich folgendes Problem nicht hätte.

Nach einiger Zeit werden von den vielen tausend Fotos einige unbrauchbar. Das ist angeblich auch ganz normal, weil Festplatten nicht darauf ausgelegt sind Daten für Jahre zu Speichern, wenn diese nicht umkopiert werden. Theoretisch habe ich zwar ein Backup der kaputten Fotos auf der anderen Platte, aber ich habe keine automatische Lösung, um die Schäden auf zu spüren und zu beheben.

Darum die Frage: Kann mir ein Synology-Produkt dabei helfen dieses Problem automatisch zu beheben? Welches Produkt wäre für mich geeignet?

Ich brauche:
-4TB Platz
-Erweiterbarkeit in der Zukunft
-usb 3.0
-gigabitlan (optional)
-wlan (wäre nett, aber nur wenns nicht viel kostet)

 

[MoritzDorn]

Hallo und Willkommen =)

am besten wäre hier wohl mindestens eine 2-Bay NAS, oder 4, wenn du zukünftig erweitern möchtest.

http://www.synology.com/products/co...duct_id_list=110,109,108,113#compare_show_top

In der Übersicht siehts du sehr gut, was die Systeme bieten. 4 TB könnte man in allen realisieren, Erweiterbar wäre zunächst mal nur die DS413, hier könnte man mit 2 oder 3 Festplatten starten und dann ggf. bei Bedarf eine Weitere hinzufügen. USB 3.0 haben diese Modelle alle und Gbit LAN, WLAN hat nur die DS213 AIR.

Was die Kapazität und die Erweiterbarkeit angeht, könnte ich dir die DS413 und 3x3 TB Festplatten empfehlen, diese im SHR oder RAID5 Modus, wären 6 TB Nutzkapazität und eine Festplatte kann ausfallen, bei Bedarf noch eine Festplatte einstecken und du hast 9 TB Nutzkapazität.

Gruß

 

[X5_492_Neo]

nun, woran liegt das denn konkrett das die unbrauchbar werden? was für Datei System haben denn die Platten? Als Fotograf müsstest du eigentlich Apple Mensch sein oder?
wie oft werden die Platten denn benutzt? und wie soll das Nas benutzt werden?? persönlich hatte ich sowas schon mal vor jahren mit IDE Platten und Windows, jedoch bei Filmen. ich konnte es mir damals nicht so ganz erklären...

Das was du dir vorstellst ist an für sich locker umsetzbar! Gigabit hat jede Syno! WLAN läßt sich per USB Dongle nachrüsten es sei denn du nimmst eine 213air ! die hat jedoch auschliesslich WLAN "n" mit 2,4 GHz ! Da geht also noch was!

"Wie" stellst du dir denn die 4 TB Platz vor? Brutto? Netto? Raid? 2Bay? 4 Bay?

Arbeitest du mit SD Karten?

 

[jasonts]

Danke für die schellen Antworten. Allerdings ist für mich die wichtigere Frage, ob eine Software dabei ist die automatisch nach korrupten Daten sucht. Selbst im RAID wäre es für mich nicht ok, wenn Daten vor sich hin gammeln und nur bei Zugriff ein Fehler auf einer der Platten festgestellt und repariert wird. Fällt nämlich eine Platte aus, könnte ich dann nicht mehr die fehlerhaften Fotos retten. Ich bräuchte also etwas was möglichst einmal monatlich guckt, ob die Daten noch auf beiden Platten im Originalzustand sind. Möglichst ohne, dass ich da mehr als nen Knopfdruck machen muss und ich will auch nicht meinen Laptop anschließen müssen, weil das garantiert viele Stunden dauert.

Die Frage ist jetzt ob die Synology-Systeme so etwas können. Wenn nicht müsste ich zu einem ganzen Computer greifen und mir selber ein Script schreiben, dass Prüfsummen abgleicht. Hätte aber lieber eine Out-of-the-Box-Lösung dafür.

@X5_492_Neo:
Ich bin Thinkpaduser und deshalb mit Windows 7 unterwegs. Außerdem arbeite ich noch mit Debian, damit gehe ich aber fast nie an die Platten. Darum habe ich NTFS. Die Platten verwende ich im Grunde nicht! Circa einmal im Monat lege ich dort 50 Gigabyte Daten ab und dann kommen sie wieder in den Schrank. Wenn es hoch kommt, gibt es dann noch nen zweiten Tag im Monat, wo ich mal alte Fotos raussuchen muss.

Den Datenverlust erkläre ich mir so, dass die magnetische Aufladung der Bits nachlässt. Bei großen Dateien wie Filmen würde es Kaum auffallen, wenn sich mal ein bit dreht, aber bei einigen tausend mini Dateien, ist die Warscheinlichkeit sehr hoch, dass die Datei kaputt geht.

Zur Zeit habe ich 2TB an Fotos. 4TB wären deshalb eine gute Arbeitsgröße. Ich denke ein Raid aus 2 mal 4TB Platten sollte reichen. Ein Kollge meinte ich könnte dann an das 2-Bay später noch ein 5-Bay Gerät anschließen und so upgraden. Ein 4-Bay System wäre sicher schön, aber kostet eben auch gleich mehr.

Ich habe SD-Karten, aber das Gerät braucht keinen Card-Reader, weil die Daten eh über den Computer gehen müssen.

 

[sonoio]

Hallo, ich bin mir nicht sicher, ob das zur Lösung Deiner Problemstellung beiträgt, aber Netgear hat doch gerade das OS6 veröffentlicht, welches mit BtrFS arbeitet, gibts da nicht auch integrierte Prüfsummen? Z.B. hier: http://www.admin-magazin.de/News/Erste-NAS-Systeme-auf-Btrfs-Basis
SONOiO

 

[Puppetmaster]

Die Frage ist jetzt ob die Synology-Systeme so etwas können.

Nein, das können sie nicht. Gibt es überhaupt ein System, das so etwas out-of-the-box kann?
Es gab hier schon einmal einen Thread vor längerer Zeit, dass Bilddateien teilweise mit der Zeit defektieren können. Ursache ist mir nicht wirklich bekannt. Das sich die magnetische Ausrichtung auf der Platte ändern kann ist denkbar, aber dann wären ja auch andere Dateien betroffen, nicht nur Fotos.
Evtl. gehst du einen Schritt weiter und sicherst deine Fotos zusätzlich noch auf einem anderen Medium wie DVD/BluRay, die sind zwar auch nicht für die Ewigkeit, aber haben zumindest andere Alterungseigenschaften.

Hier noch der Thread bzgl. defekter Bilder. Ich weiß aber nicht, ob er dir eine tiefere Erkenntnis bringen wird.

 

[Perry2000]

Ich kann mir eigentlich nicht vorstellen, dann im RAID die Aufladung der Bits nachlässt
Wenn eine HD ausfällt, ist immer noch alles da und Du kannst arbeiten als wenn nix wäre. Eine neue HD rein und die ganzen Daten werden wieder frisch verteilt. Da kann doch nix "nachlassen" und unlesbar werden.....
Empfehle dir auch die DS413 mit 3 x 3TB.

Unser Server (nicht Syno) läuft auch seit fast 10 Jahren im RAID und die alten Daten gehen immer noch.

 

[jasonts]

@sonoio
Selbst wenn es Prüfsummen hat, ist die Frage ob es selbständig alle Files regelmäßig prüft oder nur dann, wenn ich auf die Dateien zugreife. Danke aber erstmal für den Tipp.

 

[jasonts]

Nein, das können sie nicht. Gibt es überhaupt ein System, das so etwas out-of-the-box kann?
Es gab hier schon einmal einen Thread vor längerer Zeit, dass Bilddateien teilweise mit der Zeit defektieren können. Ursache ist mir nicht wirklich bekannt. Das sich die magnetische Ausrichtung auf der Platte ändern kann ist denkbar, aber dann wären ja auch andere Dateien betroffen, nicht nur Fotos.
Evtl. gehst du einen Schritt weiter und sicherst deine Fotos zusätzlich noch auf einem anderen Medium wie DVD/BluRay, die sind zwar auch nicht für die Ewigkeit, aber haben zumindest andere Alterungseigenschaften.

Hier noch der Thread bzgl. defekter Bilder. Ich weiß aber nicht, ob er dir eine tiefere Erkenntnis bringen wird.

Ich vermute der Grund liegt darin, dass Fotos kleiner sind und dadurch ein Schaden eine höhere Chance hat das Bild zu zerstören. Wenn dir bei einem Kinofilm ein Frame kaputt geht, wird das kaum auffallen. Das Problem betrifft aber auch nur 1 von 10000 Fotos.

Extra Medien fallen aus. Wenn ein Bild kaputt ist, kann ich es nicht mehr sehen. Dann weiß ich nicht, ob es sich überhaupt lohnt die DVD raus zu kramen. Ich brauche ein automatisiertes System. Es geht hier um etliche Tausend Dateien (Fotos, Metadaten-Files etc).

 

[Jongleur]

Ich hatte mir genau darüber ausch schon Gedanken gemacht. Man kann zumindest ein Backup mittels Prüfsummen verifizieren. Man könnte diese Prüfsummen auch nach Jahren mal probeweise überprüfen. Ich höre allerdings zum ersten mal, dass sich Daten auf Festplatten selbstständig ändern!?
http://teimotronic.de/?page_id=324
Vielleicht kann man den Gedanken mit den Prüfsummen ja noch was weiter spinnen. Aber generell gefällt mir der Ansatz, zumindest in der Lage zu sein, einen Defekt überhaupt zu erkennen.

 

[jasonts]

Ich rede hier erstmal nicht von einem Totalausfall, sondern von Degeneration. Diese stellt sich nach Monaten ein und ist sehr unauffällig. Ohne automatische Überprüfung würden auf beiden Platten einige Dateien kaputt gehen. Diese könnte ich zwar retten, wenn es mir auffällt, aber die Chance dazu ist Gering. Es geht hier schließlich um ein Archiv und nicht um Speicher mit dem ich regelmäßig arbeite. Sollte dann irgendwann mal eine Platte aussteigen könnte ich nur die Dateien retten, die auf der anderen nicht degeneriert sind. Das ist das Problem nach dem ich hier frage.

 

[Puppetmaster]

Ich kann mir eigentlich nicht vorstellen, dann im RAID die Aufladung der Bits nachlässt
Wenn eine HD ausfällt, ist immer noch alles da und Du kannst arbeiten als wenn nix wäre.

Na, das ist aber doch jetzt ein Trugschluss.
Wenn in einem RAID1 (alles außer RAID1 = Spiegelung kommt ja hier nicht in Betracht) auf der einen Platte plötzlich einzelne Bits sich verändern, dann bekommt das System davon ja nichts mit, außer vielleicht, du greifst auf die Daten zu. Dann wäre interessant was dann passiert, denn es ist ja nicht mehr klar, welche Daten die richtigen wären und welche die falschen.
Bei einem RAID5, 6, ... würde einfach die Parität nicht mehr konform zum Rest des Files sein, und eine Wiederherstellung ist dann auch nicht mehr möglich.

 

[Jongleur]

Ok, wenn es erstmal bloß um die Erkennung einer Datenänderung geht, dann könnte man einen Cronjob einrichten, der die Daten zyklisch gegen die MD5 Hashes prüft. Das wäre eigentlich eine schöne Idee für ein Plugin, welches die Daten zyklisch prüft, neue oder tatsächlich geänderte Dateien in die Prüfsummen aufnimmt und zyklisch eine Mail verschickt mit einem Dateiänderungsprotokoll. Darin enthalten sein könnten Warnungen über unerwartete Datenänderungen. Eigentlich wäre sowas kein Hexenwerk.
Vielleicht nehm ich mir mal sowas vor.

 

[jasonts]

Ich hatte mir genau darüber ausch schon Gedanken gemacht. Man kann zumindest ein Backup mittels Prüfsummen verifizieren. Man könnte diese Prüfsummen auch nach Jahren mal probeweise überprüfen. Ich höre allerdings zum ersten mal, dass sich Daten auf Festplatten selbstständig ändern!?
http://teimotronic.de/?page_id=324
Vielleicht kann man den Gedanken mit den Prüfsummen ja noch was weiter spinnen. Aber generell gefällt mir der Ansatz, zumindest in der Lage zu sein, einen Defekt überhaupt zu erkennen.

Ja, das sollte funktionieren, aber die Frage ist jetzt ob das NAS eine solche Prüffunktion hat. Sonst müsste ich mir halt nen kleinen Computer bauen und mir ein Pythonskript schreiben, dass das tut. Das will ich aber gerade vermeiden. Im Grunde müsste das System beim beschreiben der Platten eine Prüfsumme speichern. Dann hätte ich Platte A, Platte B und die Prüfsumme. Ein Daemon müsste dann regelmäßig auf beiden Platten gucken, ob die Prüfsumme noch stimmt. Ist eine Datei degeneriert, kann sie von der anderen rüber kopiert werden. Das ist nicht so kompliziert, aber da es hier um meinen Lebenserwerb und um alle meine "Werke" geht, möchte ich da nicht rumpfuschen. Ich hätte das gerne out-of-the-box.

 

[Jongleur]

Naja, wenn der Fehler erst mal erkannt wurde, könnte man die Datei ja auch noch manuell kopieren, da sehe ich nicht das Problem. Eigentlich braucht man nur ein kleines Shellskript welches über den Cronjob gestartet wird. Schwups, gibts schonmal eine statische Prüfung aller Dateiinhalte. Selbst wenn nur ein einziges Bit kippen sollte, wird das zuverlässig über diesen Weg erkannt.

 

[Puppetmaster]

Ich hätte das gerne out-of-the-box.

Gibt es bei der Syno nicht, s.o. Wüßte auch nicht, wo es das gäbe.
Aber einen eigenständigen Rechner benötigst du doch nicht. Ein Python-Script kannst du dir ja auch direkt auf der DS schreiben und ausführen.

 

[X5_492_Neo]

Ich rede hier erstmal nicht von einem Totalausfall, sondern von Degeneration. Diese stellt sich nach Monaten ein und ist sehr unauffällig. Ohne automatische Überprüfung würden auf beiden Platten einige Dateien kaputt gehen. Diese könnte ich zwar retten, wenn es mir auffällt, aber die Chance dazu ist Gering. Es geht hier schließlich um ein Archiv und nicht um Speicher mit dem ich regelmäßig arbeite. Sollte dann irgendwann mal eine Platte aussteigen könnte ich nur die Dateien retten, die auf der anderen nicht degeneriert sind. Das ist das Problem nach dem ich hier frage.

ist das ganze möglicherweise ein Virus?!? so mal laut gedacht....

 

[sgreg]

Hi

IMHO wäre nicht ZFS eine Lösung für das beschriebene Problem.

http://de.wikipedia.org/wiki/ZFS_(Dateisystem)

..."
Neben den Möglichkeiten, Daten gegen Festplattenausfälle zu sichern, wird außerdem jeder einzelne Block im Dateisystem mit einer Prüfsumme versehen, so dass Datenfehler im Dateisystem (z. B. verursacht durch Datenübertragungsfehler) automatisch erkannt und ggf. ohne manuellen Eingriff behoben werden können. Der Performance-Verlust ist dabei minimal. Auch stellt ZFS sicher, dass der Zustand des Dateisystems zu jeder Zeit konsistent ist und deshalb auch beispielsweise nach einem Stromausfall kein Überprüfen des Dateisystems (per fsck) notwendig ist.
"...

Mein Verständnis ist, das damit Änderungen pro Block erkennbar sind, und damit die Gefahr einer Veränderung über der Zeit sehr sehr gering ist.

Eine Selbstbaumöglichkeit wäre FreeNAS http://de.wikipedia.org/wiki/FreeNAS.

Sicher aber nicht so komfortabel wie Synology.

Grüße