Volume crashed aber alle Festplatten sind OK

[sgreg]

Hallo Syno Expertern

Ich habe Gestern meine Synology DX 508 die mit 5 mal 1TB Samsung Festplatten im Raid5 Verbund bestückt ist aufgeräumt. Ich habe versucht große Datenmengen zu löschen. Dabei ist das Volume1 wiederholt an der gleichen Stelle abgestürzt. Alle Festplatten sagen sie sind OK, auch der Smart Bericht spuckt nichts ungewöhnliches aus. Folgendes Fehlerbild steht in /var/log/message:

Jul 21 23:14:03 scemd: scemd.c:379 stop manutild.
Jul 21 23:15:34 kernel: [ 964.050250] EXT3-fs error (device md2): ext3_free_blocks: Freeing blocks not in datazone - block = 1732897138, co
unt = 1
Jul 21 23:15:34 kernel: [ 964.061168] Aborting journal on device md2.
Jul 21 23:15:34 kernel: [ 964.131634] ext3_abort called.
Jul 21 23:15:34 kernel: [ 964.134694] EXT3-fs error (device md2): ext3_journal_start_sb: Detected aborted journal
Jul 21 23:15:34 kernel: [ 964.142759] Remounting filesystem read-only
Jul 21 23:15:34 kernel: [ 964.147569] Remounting filesystem read-only
Jul 21 23:15:34 kernel: [ 964.184125] EXT3-fs error (device md2) in ext3_free_blocks_sb: Journal has aborted
Jul 21 23:15:34 kernel: [ 964.192059] EXT3-fs error (device md2) in ext3_free_blocks_sb: Journal has aborted
Jul 21 23:15:34 kernel: [ 964.199643] EXT3-fs error (device md2) in ext3_reserve_inode_write: Journal has aborted
Jul 21 23:15:34 kernel: [ 964.207656] EXT3-fs error (device md2) in ext3_truncate: Journal has aborted
Jul 21 23:15:34 kernel: [ 964.214712] EXT3-fs error (device md2) in ext3_reserve_inode_write: Journal has aborted
Jul 21 23:15:34 kernel: [ 964.222723] EXT3-fs error (device md2) in ext3_orphan_del: Journal has aborted
Jul 21 23:15:34 kernel: [ 964.229948] EXT3-fs error (device md2) in ext3_reserve_inode_write: Journal has aborted
Jul 21 23:15:34 kernel: [ 964.238422] __journal_remove_journal_head: freeing b_committed_data
Jul 21 23:15:34 kernel: [ 964.244765] __journal_remove_journal_head: freeing b_committed_data
Jul 21 23:15:34 kernel: [ 964.251044] __journal_remove_journal_head: freeing b_committed_data
Jul 21 23:15:34 kernel: [ 964.257314] __journal_remove_journal_head: freeing b_committed_data
Jul 21 23:15:34 kernel: [ 964.263588] __journal_remove_journal_head: freeing b_committed_data
Jul 21 23:15:38 scemd: modules/raid_data_volume_check.c:1020 /dev/md2 state changes from 0 to 3.
Jul 21 23:16:31 scemd: modules/buzzer.c:53 cancel beep thread, pThreadID:16386

Nach einem Reboot wird das Volume1 ohne Probleme gemounted.

Danke für alle Hinweise und Tips

Grüße

 

[itari]

Mach auf jeden Fall ein Backup ... auch wenn die Platten nicht defektiert sind, kann es sich um einen schwere Dateisystemfehler handeln ... mest wird alles durch das Journal geheilt, aber wenn das - wie hier geschehen - aus dem Ruder läuft, dann kann es schon mal richtig krachen. Das Journal zeichnet alle Dateibewegungen im Rahmen einer Transaktionsverarbeitung und ist nur beschränkt groß ... Wenn das Überläuft (und so etwas sollte eigentlich nie passieren), dann muss man sehr sehr vorsichtig werden. Falls du ein wenig auf der Linux-Kommandozeile herumturnen kannst, solltest dort kleinere Einheiten per Löschbefehl nehmen und zwischendruch immer man 'sync' eingeben. Ein fsck (sofern du so etwas kennst) wäre auch nicht schlecht, um sich einen Überblicküber die Dateisystemfehlerfreiheit zu verschaffen.

Falls die das alles nicht nicht wirklich etwas sagt, dann kannst dich auch per E-Mail an den Synology-Support wenden; die können das analysieren und beheben, sofern etwas fehlerhaft ist.

Itari

 

[goetz]

Hallo,
das Filesystem ist korrupt. SMART kann nur physische Fehler erkennen, was mit dem Filesystem ist interessiert SMART nicht.
Theoretische Vorgehensweise:
- alle Dienste beenden
- per mount schauen wie das Device heißt welches an /volume1 gemountet wird
- umount -f /volume1
- e2fsck /dev/<abgelesenes_device> und Fehler reparieren lassen
Alternativ Support Ticket eröffnen und Synology Zugriff auf die DS gewähren, ich denke die richten das für Dich.

Gruß Götz

 

[sgreg]

Hier ein neuer Status

das Volume habe ich abgehängt und ich versuche e2fsck laufen zu lassen. Aber ich laufe leider in das nächste Problem, siehe Shell.

syno> mount
/dev/root on / type ext3 (rw,relatime,errors=continue,data=ordered)
/tmp on /tmp type tmpfs (0)
none on /dev/pts type devpts (gid=4,mode=620)
/sys on /sys type sysfs (0)
/proc/bus/usb on /proc/bus/usb type usbfs (0)
syno> e2fsck /dev/sda1
e2fsck 1.41.12 (17-May-2010)
e2fsck: Device or resource busy while trying to open /dev/sda1
Filesystem mounted or opened exclusively by another program?
syno>

Es scheint so, das noch andere Prozesse auf das Device /dev/sda zugreifen. Wie kann ich rausfinde welche das sind?

Grüße und Danke

 

[goetz]

Hallo,
sda1 kann es nicht sein, daher der Hinweis erst mit mount zu schauen wie das Device heißt, dann erst umount. Wenn kein LVM drüber liegt müßte es md3 sein. Ansonsten neu booten und dann erst einmal schauen wie das Device heißt.

Gruß Götz

 

[sgreg]

Sorry für die Verwirrung. Hier die richtige und vollständige Shell:

syno> mount
/dev/root on / type ext3 (rw,relatime,errors=continue,data=ordered)
/tmp on /tmp type tmpfs (0)
none on /dev/pts type devpts (gid=4,mode=620)
/sys on /sys type sysfs (0)
/proc/bus/usb on /proc/bus/usb type usbfs (0)
/dev/md2 on /volume1 type ext3 (usrquota,grpquota)
syno> umount -f /dev/md2
syno> mount
/dev/root on / type ext3 (rw,relatime,errors=continue,data=ordered)
/tmp on /tmp type tmpfs (0)
none on /dev/pts type devpts (gid=4,mode=620)
/sys on /sys type sysfs (0)
/proc/bus/usb on /proc/bus/usb type usbfs (0)
syno> e2fsck -yf /dev/md2
e2fsck 1.41.12 (17-May-2010)
e2fsck: Device or resource busy while trying to open /dev/md2
Filesystem mounted or opened exclusively by another program?
syno>

Grüße und DANKE

 

[itari]

lass den fsck doch mal nur zur Probe drüberlaufen mit der Option (ich glaube) -p (das geht auch bei gemounteten Dateisystemen) und schau, ob da überhaupt Fehler erkannt werden.

Itari

 

[goetz]

Hallo,
ein Versuch wäre noch alle Prozesse zu killen die nicht wirklich nötig sind, vor allem scemd.

Gruß Götz

 

[sgreg]

Gib es einen single user in dem man booten kann? init 2 oder 3

Grüße

 

[goetz]

nein, die gibt es nicht.

Gruß Götz

 

[sgreg]

nach längerem probieren habe ich es doch geschafft

e2fsck -v -f -y /dev/md2

auf dem nicht gemountet Laufwerk laufen zu lassen.
Eine Zusammenstellung die es gut beschreibt ist http://forum.synology.com/wiki/index.php/How_to_give_your_disks_and_files_a_health_check_and_repair_basic_faults
Dort habe ich auch den Tipp gefunden welche Services laufen, bzw. wie man sie stop. Im Verzeichnis

/usr/syno/etc/rc.d

stehen die Services die gestartet werden. Mit

./S08snmpd.sh stop
./S09DDNS.sh stop
./S12upsmon.sh stop
./S20pgsql.sh stop
./S21mysql.sh stop
./S23synologd.sh stop
./S25download.sh stop
./S55cupsd.sh stop
./S66S2S.sh stop
./S66fileindexd.sh stop
./S66synoindexd.sh stop
./S77synomkthumbd.sh stop
./S78JumboFrame.sh stop
./S78iscsitrg.sh stop
./S79RCPower.sh stop
./S80samba.sh stop
./S81atalk.sh stop
./S82surveillance.sh stop
./S83nfsd.sh stop
./S84rsyncd.sh stop
./S85synonetbkpd.sh stop
./S86synodms.sh stop
./S88synomkflvd.sh stop
./S89mailserv.sh stop
./S90usbip.sh stop
./S95sshd.sh stop
./S96synoaudiod.sh stop
./S96synorcd.sh stop
./S97apache-sys.sh stop
./S97apache-user.sh stop
./S97apache-webdav.sh stop
./S98findhostd.sh stop
./S99EAUpgrade.sh stop
./S99avahi.sh stop
./S99ftpd.sh stop
./S99iTunes.sh stop
./S99nslcd.sh stop
./S99zbootok.sh stop

habe ich sie gestopt, mit Ausnahme der wesentlichen. Danach hat auch e2fsck geklappt.

Grüße