Speicherpool voll, DS reagiert kaum bis gar nicht

[Semaphor]

Hallo die Runde.

Ich habe eine DS1513p im Einsatz, die sich sehr zickig anstellt, seit der Festplattenplatz vollgelaufen ist.
Das Ganze fing vor zwei Wochen an, als der Treshold für die Plattenbelegung (90 %) erreicht wurde.
Zur Info: der Pool besteht aus fünf 6 TB Platten im RAID5 Verbund auf einer DS1513p.
Ich habe ein paar ältere Backups gelöscht und eine Programmsammlung auf ein anderes NAS verschoben, was zusammen ca. 3,2 TB ergab.
Diese wurden aber nicht freigegeben, auch in den folgenden Tagen nicht. Ich versuchte über die komplette Papierkorb-Leerung den Vorgang zu forcieren, was aber weiterhin zu keiner Besserung führte.
Ich schob auch noch die verbliebenen Backups auf das andere NAS (weiter 1,5 TB), weiter ohne Erfolg.
In der Zwischenzeit lief der Pool immer voller, bis dann die letzten freien GBs verbraucht wurden und nun wird er kurios.
Das komplette NAS wird seither innerhalb weniger Minuten komplett unbenutzbar.
D.h. nach dem Booten können alle aktiven Dienste kurzzeitig genutzt werden, d.h. SMB, DSM, FTP, SSH, Drive usw..
Nach einer kleinen Weile wird alles sehr zäh und kurz darauf kommt es zur Totalverweigerung.
Was ich besonders bescheiden finde, ist die Tatsache, dass noch nicht mal ein Login über FTP, SSH oder simples Telnet möglich ist.
Die Clients zeigen, dass es wohl zu einem Connect kommt, beim eigentlichen Login geht es aber nicht weiter und es kommt zu einem Timeout; auch Abwarten hilft nichts, d.h. auch Stunden oder Tage später verändert sich nichts.
Die LEDs an der Front zeigen keine Störung an, d.h. die Power-LED leuchtet konstant und die beiden benutzten LAN-Interface-LEDs blinken munter vor sich hin.
Der Versuch, das NAS per Powerbutton herunterzufahren bringt auch nichts, bzw. dauert evtl. eine Ewigkeit, d.h. die Power-LED fängt zwar an zu blinken, das NAS ist aber nach nun rund zwei Tagen immer noch nicht runtergefahren.
Der einzige Weg, noch mal kurzzeitig Leben in die Kiste zu bringen, ist den Stromstecker ziehen, was halt sehr brachial ist und irgendwann mehr Problem bringt als löst.
Nun die große Preisfrage, wie kommt man aus dieser Blockade wieder heraus?
Wäre für jede Hilfe äußerst dankbar!

Grüße
Martin

 

[Semaphor]

Da ich heute Morgen wieder für eine Weile Zugriff bekommen hatte, hier ein paar Zusatzinfos.



Diese Meldung hat was von"Operation gelungen, Patient tot."
Den Verbrauch konnte mir der Analyser sogar auch noch zusammen fassen:


Wie man hier gans gut erkennen kann, ist die tatsächliche Belegung bei fast exakt 50%!

Grüße
Martin

 

[Benares]

Dann würde ich mal in Richtung Drive/homes suchen. Vermutlich wieder die Datei-Versionen, wie schon so oft.
Schau mal auf der "Drive Admin-Konsole", was die Datenbank im Moment schluckt, und wieviel Versionen bei "homes" momentan eingestellt sind.

 

[Benie]

Auch mal unterhalb wo man die Versionierung einstellt, auf "Berechnen" klicken, da wird noch die tatsächliche Kapazität welche von Drive in Beschlag genommen wurde berechnet.
Und da drunter gibt es hierzu auch noch die "Papierkorb" Funktion.

 

[Semaphor]

Zunächst mal Danke für die Reaktionen bzw. Hinweise.
Mein Verdacht ging ja schon in die Richtung "Cloud Versioning", wobei ich in einem anderen Forum einen Post in dieselbe Richtung gefunden habe, mit dem Tipp, Drive einfach zu deinstallieren, da hierdurch auch alle Schattenkopien und die Datenbank gelöscht werden.

Da meine DS ja nach kurzer Zeit immer den Dienst verweigert hat, habe ich angefangen alle unwichtigen Dienste zu deinstallieren (stoppen wäre an dieser Stelle nicht ausreichend, da die Dienste ja nach dem nächsten Reset wieder laufen würden).
Es wurde hierdurch zum einen natürlich RAM gespart und zum anderen gab es auch plötzlich wieder ein paar GB Plattenplatz.
Interessanterweise war der Cloud-Dienst aber permanent am "Starten" und ließ sich über die DSM-Oberfläche weder stoppen noch deinstallieren.

Ich habe es, unter Zuhilfenahme der Konsole, dann doch irgendwann geschafft, auch diesen Dienst erst zu stoppen und dann zu deinstallieren ... und dann kam es, wie es kommen musste ... kurz darauf waren plötzlich mehrere GBs frei, dann mehrere 100 GB, plötzlich gab es wieder ein freies TB und nach einer knappen halben Stunde waren es dann die erwarteten 15 TB.

Somit wurde euer Verdacht bestätigt, dass das Cloud Versioning im Hintergrund den freien Platz verbraucht hat. Die vorgeschlagenen Prüfungen habe ich leider nicht gemacht, da es nach der Deinstallation natürlich nicht mehr möglich war, aber ich werde zukünftig besser darauf achten.

Was allerdings bemerkenswert bleibt, ist die Reaktion der DS ... warum zur Hölle wird das ganze Rack lahmgelegt, nur weil der Plattenplatz zur Neige geht?
Das Linux hat doch ne eigene Swap-Partition, also warum so übersensible, wenn das Volumen für Benutzer und Anwendungen voll wird?
Linux-Live Systeme laufen ja auch ganz ohne physischen Plattenspeicher.

Summasummarum, das Problem ist identifiziert und wurde gelöst, Danke für die Aufmerksamkeit und frohes Schaffen.

Viele Grüße
Martin

 

[Benie]

Nur noch als Info, auch für mitleser.

Normal, löschen sich die Versionen innerhalb 1-2 Tagen, je nach Datenmenge, nach Reduzierung der Versionen.
Sollte das nicht funktionieren, für gewöhnlich reicht es auch die entsprechenden Freigegebenen Ordner unter Drive Server zu deaktivieren um die durch versionierung entstandenen Dateien zu löschen.
So muß nicht deinstalliert werden und nur im Anschluß der Sync neu aufgesetzt werden.

 

[synfor]

Schon mal auf die Idee gekommen, dass das vollgelaufene Daten-Volumen gar nicht die Ursache für das träge und unbenutzbare System ist?

 

[Benie]

Interessanterweise war der Cloud-Dienst aber permanent am "Starten" und ließ sich über die DSM-Oberfläche weder stoppen noch deinstallieren.

Vermutlich hat sie sich durch die ständige Versionierung quasi tot gelaufen, da der Dienst am Ende mangels Speicherplatz nicht vollständig abgeschlossen werden konnte oder siehst Du noch etwas anderes dabei?

 

[Semaphor]

Schon mal auf die Idee gekommen, dass das vollgelaufene Daten-Volumen gar nicht die Ursache für das träge und unbenutzbare System ist?

Ja, natürlich. Aus diesem Grund habe ich zwischendrin auch mal alle Platten entfernt und geschaut, wie das Rack reagiert.
Es gab nach kurzer Zeit wieder eine Weboberfläche, die zum einen eine Installation vorschlug, aber auch mitteilte, dass leider keine Platten gefunden wurde.
Das wäre für mich erst mal ein ausreichender Check für die grundsätzliche Funktionsfähigkeit der DS selbst.

 

[Semaphor]

Vermutlich hat sie sich durch die ständige Versionierung quasi tot gelaufen, da der Dienst am Ende mangels Speicherplatz nicht vollständig abgeschlossen werden konnte oder siehst Du noch etwas anderes dabei?

Ohne es genau zu wissen, wäre diese meine beste Vermutung, denn wie oben geschildert, lief das Rack ohne Platten im normalen (jungfräulichem) Rahmen und nach der Deinstallation von Drive gab es eh keinen Hänger mehr... und kurz darauf auch wieder die vermissten 50% Plattenplatz.

 

[Benie]

Ja sehe ich auch so. Interessant wäre, wieviel RAM Speicher hierdurch belegt war, ich denke da war nicht mehr viel übrig.

oder siehst Du noch etwas anderes dabei?

Auf meine Nachfrage hat sich @synfor ja nicht mehr gemeldet. so hätte man gewusst was er noch angedacht hat.

 

[Semaphor]

Nur noch als Info, auch für mitleser.

Normal, löschen sich die Versionen innerhalb 1-2 Tagen, je nach Datenmenge, nach Reduzierung der Versionen.
Sollte das nicht funktionieren, für gewöhnlich reicht es auch die entsprechenden Freigegebenen Ordner unter Drive Server zu deaktivieren um die durch versionierung entstandenen Dateien zu löschen.
So muß nicht deinstalliert werden und nur im Anschluß der Sync neu aufgesetzt werden.

Gut das noch mal einen normalen Weg zu beschreiben, in meinem Fall war es halt die Abwägung zwischen "mach es ordentlich" und/oder "nutze deine 5-10 Minuten bis zum nächsten Stecker ziehen".
In meinem Fall war dein Weg leider nicht (mehr) möglich, da die Drive-Server Oberfläche erst gar nicht mehr erreichbar war und um Schäden am Filesystem durch die groben powercycle Restarts zu verhindern, war mir jede schnelle Lösung recht.
Wenn man sich des Problems bewusst ist und sieht wie die letzten paar GBs verschwinden, sollte man entsprechend deiner Anweisung handeln!

Bottomline wär es für mich ja einigermaßen akzeptabel, wenn nur der Dienst selbst ins Schwimmen kommt, aber dass das komplette OS dabei abkackt ist schon ziemlich übel, d.h. man konnte noch nicht mal per Konsole etwas machen und sei es lediglich ein sauberer Neustart.

 

[Benie]

Bottomline wär es für mich ja einigermaßen akzeptabel, wenn nur der Dienst selbst ins Schwimmen kommt, aber dass das komplette OS dabei abkackt ist schon ziemlich übel, d.h. man konnte noch nicht mal per Konsole etwas machen und sei es lediglich ein sauberer Neustart.

Du könntest ja mal bei Synology ein Ticket aufmachen was die zu diesem Thema meinen, bzw. was die als Lösung parat hätten was in solch einem Fall zu tun ist. Sprich wenn es wie bei Dir schon zu spät ist normal einzugreifen.

 

[synfor]

Wenn ein Prozess wegen Speicherbedarf das System massiv zum Swappen bringt, bleibt das nicht ohne Folgen für das System. Träges unbenutzbares System ist die Folge.