rsync bricht nach 10% der Files ohne Fehlermeldung ab

[wired2051]

Ich habe seit dem 17. Juli Probleme mit meinem Backup und weiss inzwischen echt nicht weiter. Ich hoffe, hier kann mir jemand helfen.

Ich habe ein Script auf meinem PC, dass von cron stündlich gestartet wird und die Daten mit der DS209 abgleicht. Das Script sieht im Prinzip so aus:

#!/bin/sh
#
rsync -au --log-file=/home/user/Scripte/logs/MusikAufNAS.log --delete --exclude=@eaDir /media/Daten/Musik/ IP_DER_DS::backupMusik
#
rsync -au --log-file=/home/user/Scripte/logs/PhotoAufNAS.log --delete --exclude=@eaDir /media/Daten/Grafik/Photos/ IP_DER_DS::backupPhoto
#
rsync -au --log-file=/home/user/Scripte/logs/VideoAufNAS.log --delete --exclude=TV\ Mitschnitte/ --exclude=TV\ Mitschnitte\ AVI /media/Daten/Downloads/Videos/ IP_DER_DS::backupVideo
#
rsync -au --log-file=/home/user/Scripte/logs/DatenAufNAS.log --delete --exclude=Musik/ --exclude=Grafik/Photos/ --exclude=Downloads/Videos/ --exclude=.Trash-1000/ /media/Daten/ IP_DER_DS::backupDaten

Das Backup Musik, Photo und Video funktioniert wunderbar nur der letzte rsync-Aufruf, der Backup der Daten, bleibt seit dem 17. Juli hängen. Er gibt im Log auch keine abschliessend Meldung mehr nach dem Muster 2011/07/22 14:00:04 [4221] sent 23519 bytes received 73 bytes total size 3165044350. Und im Systemmonitor sammeln sich die rsync-Prozesse.

Ich habe den letzten rsyn-Aufruf erweitert um -vvv um mehr Infos zu bekommen. Nach Meldungen wegen der exclude-Regeln folgen ca. 10.000 Zeilen nach dem Muster

2011/07/19 12:04:21 [3357] [sender] make_file(FILE_MIT_PFAD,*,2)

...und dann ist plötzlich Schluss. Bei den zu sichernden Daten handelt es sich um ca. 100.000 Dateien in ca. 7.000 Verzeichnissen, rsync bricht also offenbar nach 10% einfach ab. Warum?

Ich habe auf dem PC und der DS209 rsync version 3.0.7 protocol version 30 installiert.

Kann mir bitte jemand helfen?

 

[jahlives]

gehts denn wenn du den Inhalt des cron Scriptes manuell ausführst?

 

[wired2051]

Nein. Ich habe es gerade noch einmal probiert mit root Rechten und -vvv, er hängt an der gleichen Stelle.

 

[jahlives]

Ich nehm an das warst auch du ;-) http://forum.ubuntuusers.de/topic/rsync-auf-nas-kommt-nicht-ueber-building-file-/#post-3140132
Mal nur eine Sicherungsaufgabe einzeln probiert? Hast du kurz bevor es nicht mehr ging irgendwas an der DS oder dem PC verändert? z.B. FW Update auf der DS?

 

[wired2051]

Erwischt, ja das war/bin ich. *schäm* Ich hatte halt gehofft, hier sind noch ein paar rsync-Spezialisten.

Mal nur eine Sicherungsaufgabe einzeln probiert? Hast du kurz bevor es nicht mehr ging irgendwas an der DS oder dem PC verändert? z.B. FW Update auf der DS?

Also das Backup von Musik, Photo und Video funktioniert ja. Und das problematisch rsync bleibt immer na der selben Stelle hängen.

Und ich habe mir wirklich schon den Kopf zermartert, was ich verändert habe aber mir fällt nichts ein. Ein FW-Update definitiv nicht. Und an der rsynd-Konfiguration habe ich definitiv auch nichts geändert. Allerdings habe ich seit einigen Tagen (wie lange genau weiss ich nicht) Probleme mit volume2 der DS aber das Backup geht ja auf volume1. Und dann hat sich meine parallele Windows7-Spiele-Partition letztens auch noch zerschossen aber die ist auch auf einer anderen HDD. Ich denke das sind drei unerfreuliche aber unabhängige Ereignisse.

MIch irritiert halt, dass es keine Fehlermeldung gibt. Könnte es sein, dass es ein Speicher-Problem ist? Also die file list einfach nicht vollendet werden kann? Ist immerhin die grösste der Sicherungsaufgaben. Allerdings wüsste ich sonst nichts, was auf ein RAM-Problem hinweist.

 

[jahlives]

Wenn ich so die rsync Mailingliste und auch deinen Beitrag im anderen Forum durchlese, dann scheint es schon in Richtung Speicherfehler zu deuten. Blöde Frage: Die DS hast du aber zwischenzeitlich schonmal neugestartet? Vielleicht wird ja die Filelist so riesig dass der Speicher ausgeht. Hast du mal das Backup angeworfen und dann mittels top oder htop den Speicherverbrauch angeguckt? Geht das kurz vor dem Notstopp irgendwann gegen 100%? Und du bist dir bewusst, dass du mit dem letzten Backupjob eigentlich nochmals alles sicherst was du bereits gesichert hast? Du sicherst ja immer /media/Daten resp Unterverzeichnisse daraus und mit dem letzten Job sicherst du nochmals /media/Daten komplett. Zum Testen würde ich mal noch das probieren: Schmeiss die ersten drei Jobs aus dem File und lass nur den 4. laufen (ggf noch die excludes schmeissen). Geht es dann?

 

[wired2051]

Ich hoffe, Du nimmst mir bitte nicht übel, dass ich hier noch einmal gefragt habe!

Blöde Frage: Die DS hast du aber zwischenzeitlich schonmal neugestartet?

Die Frage ist nicht blöd. Ich war ich gerade im Keller und sah, dass die Power-LED blinkt. Laut Handbuch heisst das, die DS wird rauf- oder runtergefahren. Das ist ein AHA-Erlebnis für mich, denn ich habe seit einigen Tagen Probleme mit Volumen2 meiner DS209. Die Probleme hatte ich schon einmal im letzten Dezember. Damals half ein Neustart der DS209. Also habe ich sie vor ein paar Tagen via DSM3.0 neu gestartet. (Das Volumen2-Problem wurde dadurch leider nicht gelöst.) Und in der Tat, nach der Meldung "wird runtergefahren" passierte lange nichts sodass ich den Browser mit F5 aktualisierte. Ich konnte mich dann problemlos einloggen und dachte alles ist gut. Ist es wohl nicht. In der Systeminformation des DSM3.0 steht auch noch eine Betriebszeit von 155 Tagen. Die DS ist also offenbar nicht richtig runtergefahren. Wie kann ich verlässlich neu starten?

Vielleicht wird ja die Filelist so riesig dass der Speicher ausgeht. Hast du mal das Backup angeworfen und dann mittels top oder htop den Speicherverbrauch angeguckt? Geht das kurz vor dem Notstopp irgendwann gegen 100%?

Die Grösse der Filelist dürfte sich in den letzten Tagen nicht signifikant vergrössert haben.

Wie ermittle ich den Speicherverbrauch? top oder htop sagt mir leider nichts.

Und du bist dir bewusst, dass du mit dem letzten Backupjob eigentlich nochmals alles sicherst was du bereits gesichert hast? Du sicherst ja immer /media/Daten resp Unterverzeichnisse daraus und mit dem letzten Job sicherst du nochmals /media/Daten komplett. Zum Testen würde ich mal noch das probieren: Schmeiss die ersten drei Jobs aus dem File und lass nur den 4. laufen (ggf noch die excludes schmeissen). Geht es dann?

Eigentlich bin ich mir sehr sicher, dass das alles richtig organisiert ist. Es läuft jetzt auch schon seit fast einem Jahr so. Aber wenn ich das hier erledigt habe, kümmere ich mich noch einmal drum. Ich glaube, jetzt muss ich die DS209 erstmal richtig neu starten.

 

[jahlives]

Wenn du keinen RAID hast ist die verlässlichste Art: Stromziehen
top ist ein Kommando für die Kommandozeile gleich wie htop (welches man aber erst als ipkg htop installieren muss)
Die Sache mit der PowerLED könnte heissen, dass die DS nie ganz hochgekommen ist...

 

[wired2051]

OK, da habe ich wohl richtig Bockmist gebaut. Offebnbar hatte ich beim Neustart über den DSM3.0 nicht genug Geduld, weshalb die DS209 nie richtig runtergefahren ist. Vielleicht hätte ich auch vorher die cron-jobs stoppen müssen? Wie lange dauert denn so ein geregelter Neustart bei zwei Platten je 1,7TB zu 50% belegt? Nach dem Steckerziehen dauerte der Start jedenfalls ca. 30 Minuten aber da mussten ja auch die Platten geprüft werden.

Jedenfalls funktioniert jetzt wieder das Backup, ich habe wieder in jedem Log die sent-received-total-size-Zeile am Ende und auch der Zugriff auf volume2 funktioniert wieder.

Vielen Dank an alle, die die Geduld aufbrachten mir zu helfen!

mea culpa, mea maxima culpa.

 

[wired2051]

Und du bist dir bewusst, dass du mit dem letzten Backupjob eigentlich nochmals alles sicherst was du bereits gesichert hast? Du sicherst ja immer /media/Daten resp Unterverzeichnisse daraus und mit dem letzten Job sicherst du nochmals /media/Daten komplett.

Danke für den Hinweis, ich habe es mir jetzt noch einmal angeschaut. Ich sichere erst

/media/Daten/Musik/
/media/Daten/Grafik/Photos/
/media/Daten/Downloads/Videos/

und dann

/media/Daten/
--exclude=Musik/
--exclude=Grafik/Photos/
--exclude=Downloads/Videos/
--exclude=.Trash-1000/

Das dürfte eigentlich keine Probleme geben. Oder habe ich einen Denkfehler gemacht?

Laut Log funktioniert das Backup wieder einwandfrei, ich bin so happy!