Alte HDD stirbt während Raiderweiterung... Raiderweiterung läuft trotzdem weiter > Normal?

[Tatsuki]

Hallo zusammen,

heute Nacht hat Murphys-Law sich mal wieder in all seiner Erbarmungslosigkeit präsentiert

Nach abgeschlossenen 83.x% der Erweiterung meines Raid5 hat eine der alten HDDs angefangen zu sterben.
(Sektorenfehler, E/A Fehler)



Die Erweiterung lief zwar noch weiter aber nur noch extrem langsam - ca. 0,1%/h



Ein Backup ist vorhanden also habe ich die Kiste mal bis jetzt weiterlaufen lassen - Mehr als endgültig "sterben" kann das Volume ja nicht.
Heute morgen war das Bild unverändert. Die Erweiterung lief immer noch "langsam", die DS hat weiterhin mit Sektorenfehler um sich geworfen.
Zugriff auf das DSM war extrem zäh und die Netzlaufwerke hatten Timeouts ohne Ende.

Gut! Thema war zu diesem Zeitpunkt für mich gegessen. Wäre jetzt direkt in den nächsten Cyberport gefahren, hätte ne Ersatzplatte geholt und anschließend das Volume aus dem Backup neu aufgebaut...

Jetzt gab es folgende Änderung weswegen ich diesen Thread überhaupt erstelle:

Das defekte Laufwerk wird zwar weiterhin bei den HDDs gelistet. Jedoch ist die Platte aus dem Volume verschwunden.
Die Erweiterung läuft nun wieder mit halbwegs normaler Geschwindigkeit (ca. 150-200MB/sek - vorher um die 300MB/sek). DSM und die Netzlaufwerke reagieren gewohnt flüssig.



Nun meine Fragen:
Was macht die DS jetzt gerade?
Wurde das defekte Laufwerk 7 systemseitig endgültig als "Tod" deklariert und die Erweiterung wird mittels der Paritätsdaten (Laufwerk 1-6) regulär zu Ende gerechnet?
Was wird am Ende rauskommen? Eine erfolgreiche Erweiterung des Speicherpools welches dann direkt degenerated ist wegen dem fehlenden Laufwerk 7?

Hatte jemand schon mal solche Probleme bzw. Erfahrungswerte mit diesem Problem?

Danke schonmal für euer Feedback zu dem Thema.

 

[ottosykora]

das ist doch wie wenn du einfach eine Platter verlierst und durch andere ersetzest.
Dazu ist doch Raid da. Es waren vorher 7 und sind es auch wieder.
Falls die defekte noch unter HDD erscheint, dann kann man dort vielleicht noch die SMART Werte schauen, dann wird auch klar warum die raus ist.

 

[Tatsuki]

Das geht auch während der Erweiterung des Raidverbundes?
Technisch gesehen sind ja 83% der Daten auf 8 Platten und 17% auf 7 Platten verteilt.

Bin immer davon ausgegangen, dass wenn während der Erweiterung was "passiert" direkt GAME OVER ist.

 

[Puppetmaster]

Game Ober ist nur, wenn während eines Rebuilds (weil schon eine Platte ausgestiegen war) eine weitere Platte sirbt.
Bei der Erweiterung geht ja erstmal nichts verloren, wenn eine Platte stirbt.
Wenn der DSM das dann mitbekommt, wird zur Erweiterung offenbar parallel das Rebuild durchgeführt. Eigentlich eine gute Sache, dass das offenbar funktioniert.
Berichte bitte auch, was am Ende genau rausgekommen ist!

 

[Tatsuki]

Ja werde dann morgen auf jeden Fall berichten was bei rausgekommen ist.
Rechnerisch müsste die Erweiterung in ca. 16h durch sein.
Werd jetzt erstmal die neue 12er holen um dann ggf. den Rebuild morgen direkt starten zu können.

 

[Puppetmaster]

Du meinst die Erweiterung. Der Rebuild scheint ja jetzt zu laufen.

 

[Tatsuki]

Na laut DSM läuft ja die "Erweiterung" momentan normal weiter.

Meine Vermutung wäre jetzt, dass das DSM die fehlende Platte für die ausstehenden 17% "simuliert" und so regulär den Pool auf 8 Platten erweitert.
Nach dem Abschluss ist ein "kritisches" Volume mit ±71TB das Ergebnis, bei dem eine Platte degenerated ist .

Anschließend wird morgen der Rebuild gestartet sobald LW7 durch die neue HDD ersetzt wird.

Außer wir sprechen grad aneinander vorbei

 

[Puppetmaster]

Schauen wir mal, was morgen dort steht. Mit einer defekten Platte kann jetzt eigentlich keine Erweiterung mehr stattfinden.

 

[Tatsuki]

Das Fazit kann ich nun doch schneller liefern als erwartet:

Die Erweiterung lief normal bis 100% durch. Abschließend ist der Alarm in der DS losgegangen und der Zustand des Volumes ist auf Fehlerhaft gewechselt.

DSM liefert folgende Meldungen:





Also interessant finde ich, das im Speicherpool die Kapazität auf 76TB erweitert wurde - Jedoch weiterhin die alte Menge verfügbar ist:



Leider hats nicht mehr geklappt mit dem besorgen einer Ersatzplatte - Musste nun leider doch eine bestellen und mit dem Rebuild auf Dienstag warten.

Werde dann auf jeden Fall weiter berichten

 

[tschortsch]

In der Regel erweitert sich nur der Speicherpool, das Volumen musst du selbst erweitern. Du könntest ja auch zb eine zweites Volumen erstelle in dem freien Speicher des Speicherpools. Das weiß die DS na nicht ausser sie kann Gedankenlesen.
Die Volumenerweiterung würde ich aber erst dann anstoßen wenn wenn du die Ersatzplatte eingebaut hast und das RAID repariert ist. Den bisher ist am Volumen selbst noch nichts verändert geworden.

 

[synfor]

Wenn man sich die Angaben im Speichermanager ansieht, so ist der komplette Speicherplatz dem Volumen zugeordnet, das Volumen aber noch nicht angepasst. Das dürfte wegen der ausgefallenen Platte unterblieben sein.

 

[Tatsuki]

So ein kurzes Update:

Heute ist endlich die neue Ironwolf geliefert worden.
Reparatur des Pools hat begonnen und läuft gerade mit ±100MB/sek.


Wenn das System die Geschwindigkeit hält dürfte der Rebuild in ca.28h durch sein.

 

[ottosykora]

@Tatsuki
gute Berichterstattung
man lernt immer wieder was neues

vor allem weil es sehr selten vorkommt, dass man so was erlebt

 

[Tatsuki]

So heute Nacht ist der Rebuild nun erfolgreich abgeschlossen worden.
Speicherpool ist jetzt im ordnungsgemäßen Zustand und das Volume wurde automatisch um die 12TB erweitert.

@ottosykora
Eigentlich hätte ich auf den "Stress" ja gerne verzichten können aber auf der anderen Seite sieht man so auch mal, dass der (Kosten)-Aufwand mit Raid für Ausfallsicherheit und Backup für den Worst Case nicht umsonst ist.

 

[ottosykora]

und wie man sieht gibt es noch viele undokumentierte Problemsituationen die nur schwer nachzubilden sind.
Ich finde es sehr gut, dass du die Geduld aufgebracht hast hier wirklich life zu klären wie sich so was verhält.
Dafür einen grossen Dank!