DSM 6.x und darunter Synology DS 1819+ DSM langsam nach Festplattenschaden

[JP3112]

Halllo zusammen,

ich habe eine DS 1819+ in der aktuell 6 x 4TB WD Red und 2 x 12TB Segate Exos als SHR1 laufen.
Nun meldet seit mitte letzter Woche eine der WD Red in immer kürzer werdenden Abständen (mittlerweile ca. alle 30 min) einen E/A Fehler.

Ich gehe stark davon aus, dass das die letzten Atemzüge einer sterbenden Platte sind.
Das ist auch grundsätzlich kein Thema, neue Festplatte wurde heute geliefert.

Aber seit Anfang der Woche läd das DSM SEHR langsam und ich komme vom Rechner mit einer Fehlermeldung dass das Startvolume voll ist (ich weis nicht den genauen Wortlaut, ergänze ich später gerne) und ich mich deswegen nicht anmelden kann. Dabei geht es aber nicht um den Speicherpool an sich, sondern um die Partition des Betriebssystems.

Nun kann ich daran aber nichts ändern, da SSH ausgestellt ist und ich es ohne DSM nicht aktiviert bekomme.

Irgendwelche Ideen wie sich das lösen lässt? Hängt das überhaupt zusammen?
Ich habe in den letzten Woche/Monaten nichts geändert, dass das langsame DSM erklären würde.

Danke und viele Grüße!

 

[JP3112]

Die Fehlermeldung lautet:

"Sie können sich nicht an das System anmelden, da der Speicherplatz derzeit voll ist. Führen sie bitte einen Neustart des Systems aus und versuchen sie es noch einmal."

Den Neustart habe ich natürlich schon (mehrfach) gemacht.
Hat aber keine Abhilfe gebracht.

 

[Benares]

Mmh, ohne DSM- und ssh-Zugang wird's schwierig. Ich vermute auch, dass da eine Platte ein Problem hat und mittlerweile die DSM-Partition vollgelaufen ist. Du weißt aber schon, welche Platte es ist, oder? Hast du die Platte mal getauscht und kommst nach dem Reboot immer noch nicht drauf?

 

[JP3112]

Die neue Festplatte ist heute angekommenund wird später eingebaut.
Es ist die Platte 3. Da die Steckplätze ja durchnummeriert sind sollte das ja eindeutig sein welche das ist.

Ich wollte nur noch mal nach Meinungen fragen, bevor ich mit einem Plattentausch eventuell mehr Schaden anrichte als es nutzt.
Weil laufen sollte es ja dank Raid 5 eigentlich auch ohne die Platte.

Das einzige wass ich mir vorstellen könnte ist, dass die kaputte Platte mit ihren Fehlern so viel "Müll" produziert, dass es die Performance des Systems beeinträchtigt. Und da sie aber "nur" Fehler produziert und nicht als defekt erkannt wird sie aber vom NAS weiter versucht wird zu betreiben.

 

[synfor]

Ist vielleicht die beste Gelegenheit das System neu aufzusetzen. Da wird dann ein größeres Systemvolumen verwendet, das dann nicht mehr so schnell voll läuft.

 

[JP3112]

Was geht dabei verloren?
Es laufen mehrere VM, Dockercontainer etc. darauf und außerdem dient die DS als Fileserver für andere Server.
Das alles komplett neu aufzusetzen wäre extrem zeitaufwendig

 

[ctrlaltdelete]

Ohne SSH Zugang sehe ich keine Möglichkeit die Systempartition zu bereinigen.
Edit: Hast du ein aktuelles Backup, inkl VMs und Docker?

 

[ctrlaltdelete]

Was könnte der Grund sein für das Volllaufen der Systempartition? Ist das irgendein Container z.B. jdownloader, da könnte man versuchen dort etwas zu löschen?

 

[JP3112]

Ja, Backup ist vorhanden, zumindest von den wirklich relevanten Sachen.

Seht ihr denn einen Grund warum, nachdem die Systempartition bisher nie ein Problem war und sich nichts geändert hat das auf einmal ein Problem werden kann?

Edit: Da haben sich unsere Antworten wohl überschnitten.
Genau das wäre auch meine Frage. Ich habe kein jdownloader am laufen (oder falls doch ist er nicht in Benutzung).
Das einzige was sich seitdem das aufgetreten ist geändert hat ist die kapputte Festplatte....

 

[ctrlaltdelete]

Ich wüsste nicht wieso die Systempartition volllaufen sollte bei einem HDD Defekt, außer durch Logs, aber das sehe ich als unwahrscheinlich an.
Edit: Aber kein Backup von den VMs und Docker Container?

 

[ctrlaltdelete]

Und direkt nach einem Neustart kommst du auch nicht in DSM?

 

[JP3112]

Doch, auch davon sollten aktuelle Backups vorhanden sein.
Das einzige wo ich mir nicht sicher bin ist die VM, die kam zuletzt noch dazu und ich bin mir nicht sicher ob ich die nachträglich noch in HyperBackup ergänzt hatte bzw. ob man das musste.

Das einzige, was kein Backup hat sind großen Mediendateien, aber die muss ich dann eventuell eben noch mal von der BluRay ziehen...

Gestern nicht, da hab ich das DSM aber erst mal gar nicht erreicht, ich teste das später noch mal.

 

[Benares]

Was könnte der Grund sein für das Volllaufen der Systempartition?

Die Logs liegen doch dort (/var/log). Wenn da ständig irgendwelche Logs mit Plattenfehler geschrieben werden, läuft die voll.

 

[JP3112]

Könnte sich das mit dem Plattentausch beheben wenn keine neuen Fehlermeldungen mehr rein kommen?

 

[Benares]

Vielleicht, weiß ich nicht. Einfach mal ohne die defekte oder mit ausgetauschter defekter Platte probieren.

 

[JP3112]

Anscheinend hatte ich beim letzten mal vergessen, ssh wieder zu deaktivieren und wo ich es neulich probiert habe darauf zuzugreifen einen Timeout bekommen.
Jetzt habe ich doch Zugriff über SSH.

Das heist ich recherchiere jetzt nachher erst mal, wieso die Partition voll gelaufen ist, schmeiß dann runter was zu viel ist, schaue dann das ich ins DSM komme und tausche anschließend, sobald das alles geklappt hat die Platte und repariere das NAS.

Korrekt?

 

[dil88]

Ja, viel Erfolg! Poste im Zweifel Informationen darüber, wo die Ursache für die vollgelaufende Systempartition liegen könnte hier, dann können wir helfen.

 

[Benares]

Poste die Ausgabe von "df -h" und "ls -alSh /var/log"
Edit: Vielleicht mit "sudio -i" (Admin-Passwort nochmals eingeben) zuvor auf "root" umschalten, damit du alle Rechte hast.

 

[ctrlaltdelete]

Jetzt habe ich doch Zugriff über SSH

Puhh, Glück gehabt!

 

[JP3112]

Das ist die Ausgabe:

Filesystem Size Used Avail Use% Mounted on
/dev/md0 2.3G 1.4G 856M 62% /
none 9.8G 0 9.8G 0% /dev
/tmp 9.8G 188K 9.8G 1% /tmp
/run 9.8G 3.6M 9.8G 1% /run
/dev/shm 9.8G 0 9.8G 0% /dev/shm
none 4.0K 0 4.0K 0% /sys/fs/cgroup
cgmfs 100K 0 100K 0% /run/cgmanager/fs


und


total 81M
-rw-r--r-- 1 airconnect users 11M Jan 23 22:26 airconnect.log
-rw-rw---- 1 system log 8.2M Jan 24 20:34 apparmor.log
-rw-rw---- 1 system log 5.4M Jan 24 20:46 messages
-rw-rw---- 1 system log 4.8M Jan 24 20:39 disk.log
-rw-rw---- 1 system log 3.2M Jan 24 20:39 kern.log
-rw-rw---- 1 system log 2.9M Jan 24 20:16 synocontentextractd.log
-rw-rw---- 1 system log 2.9M Jan 24 18:27 scsi_plugin.log
-rw-rw---- 1 system log 2.8M Jan 24 20:18 scemd.log
-rw-rw---- 1 system log 2.5M Jan 24 02:15 pmesg
-rw-r--r-- 1 root root 2.4M Jan 24 19:07 synocrond-execute.log
-rw-rw---- 1 system log 2.4M Sep 19 2022 pmesg.2.xz
-rw-rw---- 1 system log 2.4M May 23 2022 pmesg.4.xz
-rw-rw---- 1 system log 2.3M Jun 8 2022 pmesg.3.xz
-rw-rw---- 1 system log 2.3M Mar 25 2023 pmesg.1.xz
-rw-rw---- 1 system log 2.3M Jan 24 20:11 sysnotify.log
-rw-rw---- 1 system log 1.9M Jan 24 20:43 synoservice.log
-rw-rw---- 1 system log 1.6M Sep 11 2022 messages.4.xz
-rw-r--r-- 1 root root 1.4M Jan 24 05:04 synopkg.log
-rw-rw---- 1 system log 1.3M Jan 23 20:06 esynoscheduler.log
-rw-rw---- 1 system log 1.1M Jan 23 17:14 synofeasibilitycheck.log
-rw-rw---- 1 system log 949K Jan 24 20:45 bash_err.log
-rw-rw---- 1 system log 939K Jan 23 20:12 synoindex.log
-rw-rw---- 1 system log 829K Jan 23 23:36 iscsi.log
-rw-r--r-- 1 root root 787K Jan 23 19:41 dmesg
-rw-rw---- 1 system log 719K Jan 24 20:38 router.log
-rw-rw---- 1 system log 716K Apr 26 2023 kern.log.1.xz
-rw-rw---- 1 system log 672K Oct 25 02:39 messages.1.xz
-rw-rw---- 1 system log 652K Jan 24 20:36 rm.log
-rw-rw---- 1 system log 622K Mar 31 2023 messages.2.xz
-rw-r----- 1 root log 619K Nov 3 2020 auth.log.4.xz
-rw-r----- 1 root log 599K Nov 14 2020 auth.log.3.xz
-rw-r----- 1 root log 577K May 26 2022 auth.log.2.xz
-rw-rw---- 1 system log 541K Oct 14 2022 messages.3.xz
-rw-r----- 1 root log 539K Aug 25 03:24 auth.log.1.xz
-rw-r----- 1 root log 431K Jan 24 20:46 auth.log
-rw-rw---- 1 system log 418K Jan 24 08:50 synoreport.log
-rw-rw---- 1 system log 354K Dec 15 2022 synophoto.log
-rw-rw---- 1 system log 349K Jan 23 20:00 postgresql.log
-rw-rw---- 1 system log 330K Jan 24 20:47 syslog.log
-rw-r--r-- 1 root root 316K May 6 2023 dpkg.log
-rw-r--r-- 1 root root 260K Jan 23 17:23 syno_sys_status.log
-rw-rw---- 1 system log 254K Dec 6 06:01 apparmor.log.1.xz
-rw-rw---- 1 system log 242K Apr 19 2021 slapd.log
-rw-rw---- 1 system log 226K Jan 24 20:35 ups.log
-rw-r--r-- 1 root root 222K May 6 2023 dpkg_upgrade.log
-rw-rw---- 1 system log 181K Jun 2 2022 synoreport.log.2.xz
-rw-r--r-- 1 root root 165K Oct 23 2020 synocrond-execute.log.2.xz
-rw-r--r-- 1 root root 157K Jan 8 2023 synocrond-execute.log.1.xz
-rw-rw---- 1 system log 155K May 15 2022 sysnotify.log.1.xz
-rw-r--r-- 1 root root 154K Sep 26 2022 synopkg.log.1.xz
-rw-rw---- 1 system log 144K Jan 24 05:01 iscsi-webapi.log
-rw-rw---- 1 system log 137K Jan 24 05:04 synoguestsnap.log
-rw-rw---- 1 system log 131K Jan 24 20:18 synocrond.log
-rw-rw---- 1 system log 131K Jan 21 22:23 synologydrive.log.1.xz
-rw-rw---- 1 system log 130K Oct 23 06:03 synoreport.log.1.xz
-rw-rw---- 1 system log 113K Dec 10 15:30 synocontentextractd.log.1.xz
-rw-rw---- 1 system log 113K Apr 7 2022 synoindex.log.2.xz
-rw-rw---- 1 system log 110K Dec 2 2022 synoservice.log.3.xz
-rw------- 1 root root 107K Nov 18 2020 synorelayd.log
-rw-rw---- 1 system log 105K Sep 8 2022 synoservice.log.4.xz
-rw-rw---- 1 system log 105K Jan 23 17:14 synopoweroff.log
-rw-r--r-- 1 root root 104K May 17 2019 disk_health_information.json
-rw-rw---- 1 system log 103K Jun 21 2022 synoservice.log.5.xz
-rw-rw---- 1 system log 102K May 6 2023 synoservice.log.2.xz
-rw-rw---- 1 system log 101K Oct 4 2022 synoindex.log.1.xz
-rw-rw---- 1 system log 90K Sep 12 23:33 synoservice.log.1.xz
-rw-rw---- 1 system log 83K Jan 17 02:05 downloadstation.log
-rw-rw---- 1 system log 79K Sep 16 19:30 synocontentextractd.log.2.xz
-rw-rw---- 1 system log 59K Jan 23 19:48 synotifyd.log
-rw-rw-rw- 1 root root 57K Jan 24 20:37 space_operation_error.log
-rw-rw---- 1 system log 53K Aug 7 2022 synocrond.log.2.xz
-rw-rw---- 1 system log 51K Jun 3 2023 synocontentextractd.log.4.xz
-rw-r--r-- 1 root root 51K Oct 2 2022 dmesg.2.xz
-rw-r--r-- 1 root root 50K Sep 19 2022 dmesg.3.xz
-rw-r--r-- 1 root root 49K May 14 2023 dmesg.1.xz
-rw-r--r-- 1 root root 49K Sep 6 2022 dmesg.4.xz
-rw-rw---- 1 system log 45K Jan 24 04:57 datascrubbing.log
-rw-rw---- 1 system log 42K Aug 9 2022 bash_err.log.3.xz
-rw-rw---- 1 system log 40K Oct 14 17:28 ups.log.1.xz
-rw-rw---- 1 system log 40K Jun 9 2023 ups.log.2.xz
-rw-rw---- 1 system log 39K Dec 23 19:28 synocrond.log.1.xz
-rw-rw---- 1 system log 38K Sep 12 2022 bash_err.log.2.xz
-rw-rw---- 1 system log 38K Aug 4 10:00 bash_err.log.1.xz
-rw-rw---- 1 system log 37K May 6 2023 rm.log.2.xz
-rw-rw---- 1 system log 36K Oct 20 07:00 rm.log.1.xz
-rw-rw---- 1 system log 36K Jan 24 18:11 synoscheduler.log
-rw-rw---- 1 system log 35K Sep 26 2022 rm.log.4.xz
-rw-rw---- 1 system log 33K Nov 5 2022 rm.log.3.xz
-rw-r--r-- 1 root root 31K Jan 23 19:41 synocmsclient.log
-rw-r--r-- 1 root StorageAnalyzer 31K May 30 2020 synoscheduler_perm_r.log
-rw-r--r-- 1 office office 31K Sep 29 2022 synoffice-pgbouncer.log
-rw-rw---- 1 system log 30K Jan 24 04:48 synologydrive.log
-rw-r--r-- 1 root StorageAnalyzer 30K May 30 2020 synoscheduler_perm_wa.log
-rw-r--r-- 1 root StorageAnalyzer 30K May 30 2020 synoscheduler_perm_wb.log
-rw-rw---- 1 system log 29K Jun 6 2023 synocontentextractd.log.3.xz
-rw-rw---- 1 system log 27K May 6 2023 checker.log
-rw-rw---- 1 system log 27K Oct 7 2022 syslog.log.3.xz
-rw-rw---- 1 system log 24K Dec 3 00:11 syslog.log.1.xz
-rw-rw---- 1 system log 23K Oct 8 2022 sfdisk.log
-rw-rw---- 1 system log 22K Apr 28 2023 syslog.log.2.xz
-rw-rw---- 1 system log 22K Oct 12 2017 synocontentsearchd.log
-rw-rw---- 1 system log 22K Jul 23 2022 syslog.log.4.xz
-rw-rw---- 1 system log 21K Jan 24 20:47 bash_history.log
-rw-r--r-- 1 root root 20K Jan 24 20:15 disk_overview.xml
-rw-r--r-- 1 root root 20K Oct 2 2022 DeviceBusyList2
-rw-r--r-- 1 root root 19K Nov 28 12:25 DeviceBusyList
drwxr-xr-x 2 root root 16K Jan 24 16:49 smart_result
drwxr-xr-x 2 root root 16K Jan 24 13:50 upstart
-rw-r--r-- 1 root root 11K May 6 2023 synoupdate.log
-rw-r--r-- 1 root root 8.7K Nov 28 12:26 safe-mode-ps.list
-rw-r--r-- 1 root root 7.0K Oct 12 2017 synoinfo.conf.bad
drwxr-xr-x 21 root root 4.0K Jan 24 05:02 .
drwxr-xr-x 18 root root 4.0K Jan 24 20:28 ..
drwxr-xr-x 2 root root 4.0K Jan 23 17:15 disk-latency
drwxr-xr-x 2 root root 4.0K Jan 24 00:09 diskprediction
drwxr-x--- 2 system log 4.0K Jan 17 13:03 Docker
drwxr-xr-x 2 root root 4.0K Nov 4 20:52 etcd
drwxr-xr-x 2 root root 4.0K Oct 13 2018 fsck
drwxr-xr-x 2 root root 4.0K Jul 13 2017 healthtest
drwxr-xr-x 3 root root 4.0K Nov 4 20:52 libvirt
drwxr-x--- 2 http root 4.0K Jan 14 03:48 nginx
drwxr-xr-x 2 root root 4.0K Nov 4 20:51 openvswitch
drwxr-xr-x 2 root root 4.0K Nov 4 20:46 packages
drwxr-xr-x 2 root root 4.0K Feb 27 2020 pstore
drwxr-xr-x 3 root root 4.0K Jun 6 2022 samba
drwxr-x--- 2 root root 4.0K Apr 10 2021 selfcheck
drwx------ 2 root root 4.0K May 9 2019 sssd
drwxr-x--- 2 system log 4.0K Jan 24 20:47 synolog
drwxr-x--- 2 system log 4.0K Feb 5 2022 synomibclient
drwxr-xr-x 2 root root 4.0K Jul 30 2021 webdav
-rw-rw---- 1 system log 3.7K Oct 12 2017 ha.log
-rw-rw-rw- 1 root root 2.6K Oct 13 2018 disk_smart_test_log.xml
-rw-rw---- 1 system log 1.4K Sep 27 2022 synowstransferd.log
-rw-r--r-- 1 root root 909 Dec 30 03:55 smart_extend_log
-rw-r--r-- 1 root root 821 Jan 24 01:42 smart_quick_log
-rw-rw---- 1 system log 786 Aug 31 2022 synoffice.log
-rw-rw---- 1 system log 520 Jan 23 19:48 synobtrfsreplica.log
-rw-r--r-- 1 root root 25 May 14 2019 .disk_daily_info_send_udc_time
-rw-r--r-- 1 root root 25 Jan 23 17:02 .synodisk_data_send_udc_time
lrwxrwxrwx 1 root root 24 Oct 3 2022 SynoFinder -> /volume1/@SynoFinder-log
lrwxrwxrwx 1 system log 19 May 26 2022 office -> /volume1/@OfficeLog
-rw-r--r-- 1 root root 11 Jan 24 00:12 .syno_udc_disk_failed_time
-rw-r--r-- 1 root root 11 Jan 23 17:12 .syno_udc_disk_failed_time_2
-rw-r--r-- 1 root root 10 Jan 11 2018 .dhm_udc_send_time
-rw-r--r-- 1 root root 0 Dec 13 2016 disk_log.xml
-rw-r--r-- 1 root root 0 Dec 13 2016 dms.log
-rw------- 1 root root 0 Sep 14 2021 php-fpm.log
-rw-r--r-- 1 root root 0 Apr 19 2021 synoldap-migrate.log