Hyper Backup Integritätsprüfung dauert mehrere Tage und blockiert damit den Backup prozess

[MORHERO]

Guten Tag zusammen,
Ich habe das Problem das die Integritätsprüfung viel zu lange dauert und dadurch mehrere Backups nicht ausgeführt werden können. Hier mal ein paar Eckdaten zum System und den Einstellungen.

Haupt NAS:
Modelnummer: DS3615xs
DSM Version: DSM 7.1.1-42962 Update 6
Speicherpool 1: RAID 5 mit 25.6 TB / 32.6 TB
Speicherpool 2 (Expansionseinheit DX1215-2): RAID 5 mit 44.8 TB / 61.1 TB
Alle Festplatten laufen anscheinend Problemlos.

Hyper Backup Einstellungen:
Backup 1 (für den Großteil an Daten wie z.b. Dokumente, Bilder, Textdateien etc.) soll täglich um 22 Uhr starten
Backup 2 (für große Dateien wie z.B. Filmdateien) soll wöchentlich um 21 Uhr starten
Integritätsprüfung für Backup 1 soll wöchentlich um 5 Uhr nachts starten.
Integritätsprüfung für Backup 2 soll wöchentlich um 7 Uhr morgens starten.

Momentan läuft die aktuelle Integritätsprüfung von Backup 1 seit 3 Tagen und es ist bei 68%. Dadurch sind nun mehrere Backups fehlgeschlagen. Laut Protokoll sei die Prüfung aber nach einer stunde fertig gewesen. Letzte Woche musste ich die Integritätsprüfung abbrechen um das System auf DSM 7 zu upgraden. Vor dem Upgrade ist das Problem auch bereits aufgetreten.
Backup 2 macht eigentlich keine Probleme da läuft es in etwa 30min durch.

Screenshot mit dem Protokoll von Events die Backup 1 betreffen.

 

[Benares]

Wie lange hat diese Integritätsprüfung in der Vergangenheit gedauert? Auch mehrere Tage?
Hast du dir mal die Smart-Werte aller Platten angeschaut? (keinen Test machen, nur die Werte auslesen)

 

[MORHERO]

Sehr unterschiedlich. Ich bin gerade mal durch das Protokoll gegangen und habe gesehen das es manchmal innerhalb von 1 Stunde fertig war und andere Durchgänge etwa 10 Tage gebraucht haben.

Ich bin gerade nochmal alle Platten durchgegangen. Hier mal eine Zusammenfassung:

Speicherpool 1 mit 12 Platten:
Power_on_Hours: 11 von 12 Platten haben über 72000 Stunden. Das ist allerdings bekannt.
Raw_Read_Error_Rate: 8 Platten haben 0. Zwei Platten sind bei 1, eine Platte hat 8 und der höchster wert ist 43 bei einer Platte.
Alle anderen Error werte sind immer auf 0.
Im Anhang ist ein Screenshot mit einer "typischen" Platten vom NAS.

Speicherpool 2 mit 8 Platten sieht auch alles sehr ähnlich aus. Nur die Spin_up_time ist extrem höher.
Auch hier ist ein ein Screenshot im Anhang einer Repräsentativen Platte.

 

[Benares]

Mmh. schwer zu sagen, wieso die Laufzeit der Integritätsprüfung so schwankt.
Die beiden Screenshots mit den Smart-Werten sehen gut aus. Achte vorwiegend auf den Wert 0 bei ID 1,5,7 und alles ab 196 bei allen Platten, andernfalls darauf, ob die Werte ggf. hochlaufen. Das könnten Hinweise auf einen bevorstehenden Ausfall sein, und auch das NAS bremsen.

Edit: Wo geht eigentlich das Backup hin? Dazu habe ich nichts gefunden.

 

[synfor]

Wie lange hat diese Integritätsprüfung in der Vergangenheit gedauert? Auch mehrere Tage?

Aktuell wurde die doch laut Log beendet. Allerdings schlagen die Backups wegen angeblich laufender Integritätsprüfung fehl. Vermutlich hat sich da der dafür zuständige Prozess aufgehängt.

Was mir da im Log noch aufgefallen ist: Die Integritätsprüfung läuft wohl immer eine Stunde und ackert in der Zeit ungefähr 3 % des Backups durch und ist aktuell ungefähr bei knapp 50 %. Es dauert daher wohl noch mindesten 17 Wochen, bis die Prüfung komplett durch ist.

 

[Benares]

Ja, diese "Data integrity check finished"-Meldungen sind verwirrend. Vermutlich ist die noch nie ganz durchgelaufen und wurde durch die Zeitbegrenzung vorzeitig beendet bzw. halt eben nicht und hat sich aufgehängt.

Was ist hier eingestellt?


Ich lass die Integritätsprüfung bei mir nicht zyklisch laufen sondern ab und zu mal manuell. Wie lange das jeweils dauert, weiß ich nicht mehr.

 

[MORHERO]

Erstmal danke schonmal an die hinweise zu den Smart werten.

Jetzt zu den restlichen Punkten.

Wo geht eigentlich das Backup hin?
- Das Backup geht auf ein anderen NAS der im selben Netzwerk hängt.

Was ist hier eingestellt?
- Daten prüfen ist auf 60 Minuten begrenzt. Siehe screenshot

Das ganze System wurde mal vor ewiger Zeit von jemand anderem eingerichtet. Ich habe selber nur mit kleineren Systemen Erfahrung weshalb ich nie solche Probleme hatte. Mir ist die Zeitbegrenzung auch schon aufgefallen und habe überlegt das ganze zu erhöhen oder ganz auszuschalten. Ich bin mir aber nicht sicher wie wichtig das ganze ist und wie sich das auswirkt wenn die Überprüfung läuft während Leute Daten auf dem NAS bearbeiten.

 

[Benares]

Na ja, wenn die Integritätsprüfung eh nie durchläuft, weil sie nach einer Stunde abgebrochen wird, ist sie eigentlich für die Katz.
Ich weiß auch nicht genau, ob die wichtig ist.

 

[MORHERO]

Also ich habe jetzt mal die Zeitbegrenzung auf 8 Stunden erhöht und die Start und Endzeiten etwas angepasst. Mal schauen was nächstes mal passiert.

Edit: Wenn es wirklich daran liegt vermute ich mal das die Platten einfach zu langsam sind um die menge an Daten zu überprüfen. Da die Platten sowieso sehr alt sind müsste ich wohl mal nach neueren schnelleren Platten schauen.

 

[Benares]

Kannst ja mal testen, was deine beiden Raids alleine so an IO schaffen. Ich hatte das gerade hier beschrieben. Da gings zwar um NVMEs, aber kann man ja anpassen.
Bin mal gespannt, ob 8 Stunden reichen, könnte aber passen, wenn er nach 1 Stunde bei ~45% war (Screenshot in #1).

 

[synfor]

Bin mal gespannt, ob 8 Stunden reichen, könnte aber passen, wenn er nach 1 Stunde bei ~45% war (Screenshot in #1).

Schaue noch mal genau hin. 2,6 % in einer Stunde und aktuell 47,6 % schon mal getestet.

 

[Benares]

Mmh, ich hab nur auf die zweite Prozent-Angabe geachtet Ich verstehe auch nicht, was die Meldung genau sagen will. Wie interpretierst du sie? Das wäre ja hart.

 

[Benie]

2,6% der (gesamt gesicherten Daten ca. 60TB) wurden bei der letzten überprüfung geprüft. Iinsgesamt wurden bei allen bisher durchgeführten Überprüfungen 47,6% geprüft. Dies entspricht, 47,6% der gesamten Daten hier ca. 60 TB sprich ca. 27-28 TB der gesamten Daten wurden bisher durch alle bisher stattgefundenen Prüfungen geprüft.

Ich habe ca. 4TB DAten, ich lasse jede Woche 1x 1Std. überprüfen. bisher wurden insgesamt 97,1 % geprüft. Im Fall von @MORHERO würde ich die Prüfung halt täglich 1-2 Std. laufen lassen oder 1-2x die Woch richtig lange. zb. 5-6 Std. Wenn nicht permanent zig TB an Daten hinzu kommt werden irgendwann dann auch die 100% erreicht.

 

[Benares]

Momentan läuft diese "Integritätsprüfung", manuell gestartet, gerade mal bei mir. Das geht ja Höllen-langsam, wobei eigentlich nur das Backup-Ziel (meine DS415+, Disk-Read ~180MB/s, nicht mal die CPU (10%)) unter Last steht. Gerade mal 4% in einer guten Stunde. Die Backup-Quelle (DS1522+) langweilt sich, ebenso das Netzwerk. Keine Ahnung, was die beiden gerade zusammen treiben

 

[MORHERO]

Kurzes Update. Ich habe nach den Anpassungen der Einstellungen das ganze jetzt mal ein paar tage laufen lassen. Die Integritätsprüfung ist aber zu keinem Prozent weiter gelaufen. Habe jetzt die Prüfung abgebrochen um mal einen clean start zu probieren. Backup läuft somit gerade wieder problemlos.

Die nächste Integritätsprüfung steht am Samstag um 23 Uhr an und ist dann für 8h Zeitbegrenzt. Ich warte jetzt mal ab und schaue wie es am Samstag laufen wird. Werde mich dann nochmal melden.

Zusätzlich ist momentan geplant den NAS etwas zu "entrümpeln" um Platz zu sparen damit nicht alle Platten aktualisiert werden müssen. Das ganze kann aber noch etwas dauern. Sobald das umgesetzt wird werde ich auch noch ein Update geben wie sehr sich die Geschwindigkeit unterscheidet.