rsync Backup fängt immer wieder von vorne an

Status
Für weitere Antworten geschlossen.

Gorgsenegger

Benutzer
Mitglied seit
12. Apr 2011
Beiträge
22
Punkte für Reaktionen
2
Punkte
3
Hallo zusammen,

ich habe mir eine DS111 angeschafft in der Hoffnung, mittels rsync auf mein Strato HiDrive sichern zu können.

Ich habe schon einiges rumprobiert und auch die Anleitung bei Strato http://www.strato-faq.de/artikel.html?id=2293 befolgt (auch wenn die Screenshots bei mir nicht exakt so aussehen), aber das Problem bleibt immer das gleiche, das Backup startet und lädt einige Gigabyte hoch, bricht dann aber ab. Dies dürfte manchmal (aber nicht immer) an der Verbindungstrennung durch den Router liegen (immer nachts gegen 03:00), aber das sollte dem rsync ja eigentlich nichts ausmachen.

Ich verwende die Firmware DSM 3.1-1605, außerdem habe ich auch schon per telnet die /etc/synonetbkp.conf angepasst, momentan sieht sie wie folgt aus:

Rich (BBCode):
[HiDrive]
        incrbkp="1"
        last_bkp_time="2011/04/12 18:23"
        server_type="1"
        ssh="1"
        data_version="dsm_3_1"
        bkp_ip=""
        compression="0"
        last_bkp_status="4"
        data_compression="0"
        server_pass2="aaaaaaaaaaaa/jEK4M5P7A=="
        bkp_module="/public/DiskStation_0123456789AB"
        bkp_shares="music"
        bkp_apps=""
        bkp_folders="/music"
        bkp_server="rsync.hidrive.strato.com"
        blockbkp="1"
        bkp_auth_user="benutzer.name"
        server_pass=""
        metadatabkp="0"

Die Fehlermeldung im Log der Synology sind auch nicht aussagekräftig, es gibt nur die Meldung "Network backup failed to backup shared folder [/music] to [rsync.hidrive.strato.com]".

In der Konfiguration über das GUI kann ich in "Backup module" auch nichts eintragen, es ist ein Dropdown-Feld in dem ich nicht tippen kann, den Eintrag habe ich dann entsprechend über telnet und vi direkt in der Datei (s. o.) geändert.

Hat jemand eine Idee, was hier noch falsch sein könnte? Normalerweise ist es rsync egal, wenn die Verbindung (aus welchen Gründen auch immer) mal weg ist, es guckt dann ja einfach nach was übertragen wurde und macht mit dem Rest weiter, aber in meiner Konstellation scheint es ein Problem zu geben.

Bin für jede Hilfe dankbar, und falls ich etwas vergessen haben sollte bitte kurz nachfragen, ich reiche die Infos dann nach.

Viele Grüße

G.
 

Alfamat

Benutzer
Mitglied seit
26. Mrz 2011
Beiträge
153
Punkte für Reaktionen
0
Punkte
16
Hallo, versuch doch mal die neue DSM 3.1-1613, die seit vorgestern erschienen ist. Da wurden einige Sachen mit der Backup-Stabilität gefixt.
 

Gorgsenegger

Benutzer
Mitglied seit
12. Apr 2011
Beiträge
22
Punkte für Reaktionen
2
Punkte
3
Hallo, versuch doch mal die neue DSM 3.1-1613, die seit vorgestern erschienen ist. Da wurden einige Sachen mit der Backup-Stabilität gefixt.

Hallo,

Danke für den Hinweis. Habe ich probiert, aber leider ist alles wie gehabt. Backup fängt an und lädt z. B. 4 von 65 GB hoch. Dann wird die Verbindung unterbrochen, das Backup startet wieder von vorne und beginnt mit xxx KB von 65 GB (und nicht 61 GB). Ich weiß nicht, was ich so großartig falsch mache, habe ja auch schon mit blockbkp und compression experimentiert, aber irgendwie funktioniert das alles nicht. Die sehr spärlichen Einträge im Log helfen ja auch gar nicht weiter.

Hat noch jemand eine andere Idee?

Vielen Dank und

viele Grüße

G.
 

HerrSchmitz

Benutzer
Mitglied seit
16. Apr 2011
Beiträge
38
Punkte für Reaktionen
0
Punkte
0
Ich überlege mir ebenfalls eine DS211 anzuschaffen und bestimmte Ordner per rsync auf meinem hidrive zu sichern. Wenn das Ganze allerdings solche Probleme bereitet...
Wäre nett wenn du uns auf dem laufenden halten würdest Gorgsenegger!
 

Gorgsenegger

Benutzer
Mitglied seit
12. Apr 2011
Beiträge
22
Punkte für Reaktionen
2
Punkte
3
Ich überlege mir ebenfalls eine DS211 anzuschaffen und bestimmte Ordner per rsync auf meinem hidrive zu sichern. Wenn das Ganze allerdings solche Probleme bereitet...
Wäre nett wenn du uns auf dem laufenden halten würdest Gorgsenegger!

Hallo HerrSchmitz,

ja, kann ich gerne machen. Momentan bin ich noch nicht weiter, meine Überlegungen gehen jetzt gerade Richtung cron Jobs und manuellem rsync-Aufruf, alles über die GUI scheint mir da zu viele Probleme zu bereiten und auch zu wenig vernünftige Rückmeldung in den Logdateien zu geben, "backup failed" (s. o.) ist ja nun nicht wirklich hilfreich. Kann wohl sein, dass es noch ein paar Tage dauert, bin momentan zeitlich recht knapp, kannst aber gerne auch nochmal hier posten und nachfragen falls von mir nichts kommt, habe ja E-Mail Benachrichtigung für den Thread ;-)

Viele Grüße

G.
 

Gorgsenegger

Benutzer
Mitglied seit
12. Apr 2011
Beiträge
22
Punkte für Reaktionen
2
Punkte
3
Leider geht hier gar nichts weiter. Ich habe manuell versucht, über rsync und einen Eintrag in der crontab das Backup zu starten, aber dieser Eintrag wird einfach komplett ignoriert (täglicher Lauf laut Konfiguration), er wird einfach nicht ausgeführt. Auch Versuche, mittels Umleitung der Ausgabe (im crontab Eintrag) nähere Infos zu bekommen sind allesamt fehlgeschlagen.

Manuell funktioniert der Aufruf (und ja, ich habe auch die Pfade alle komplett angegeben, z. B. zum rsync Executable). Zusätzlich funktioniert jetzt auch nicht mal mehr die Einrichtung des Backups über den Assistenten, die Schedulinginfos werden auch allesamt ignoriert (d. h. der Task startet nicht). Keine Ahnung, was das alles soll, und mittlerweile bin ich von der Kiste schon recht genervt. Werde ggf. mal an den Support schreiben, vielleicht kann da jemand weiterhelfen.

Infohalber nun noch der aktuelle Auszug aus der crontab...

Rich (BBCode):
15      19      *       *       *       root    /usr/syno/bin/synonetbkp -a "HiDrive"

Screenshot der Einstellungen im Wizard (Test connection funktioniert, manuell gestartetes Backup auch, zumindest die Übertragung läuft - ggf. aber auch immer wieder von vorne, s. o., wird noch getestet)...

screenshot.PNG


Inhalt der synonetbkp.conf...

Rich (BBCode):
[HiDrive]
        incrbkp="0"
        last_bkp_time="2011/04/28 19:07"
        server_type="1"
        ssh="1"
        data_version="dsm_3_1"
        bkp_ip=""
        compression="0"
        last_bkp_status="4"
        server_pass2="irgendwas"
        bkp_module="/public"
        bkp_shares="music,photo"
        bkp_apps=""
        bkp_folders="/music:/photo"
        bkp_server="rsync.hidrive.strato.com"
        blockbkp="1"
        bkp_auth_user="einuser"
        server_pass=""
        metadatabkp="1"

Jemand noch eine andere tolle Idee? Wieso werden die Einträge in der crontab alle ignoriert?

Danke und viele Grüße

G.
 

nageniil

Benutzer
Mitglied seit
18. Aug 2009
Beiträge
207
Punkte für Reaktionen
4
Punkte
18
Hi Gorgsenegger,

versuche mal, im Backup-Modul "root/users/DeinBenutzername" einzutragen.
Vielleicht noch "root/public" - jedenfalls hat das root vorneweg bei mir geholfen...
 

Gorgsenegger

Benutzer
Mitglied seit
12. Apr 2011
Beiträge
22
Punkte für Reaktionen
2
Punkte
3
Hi Gorgsenegger,

versuche mal, im Backup-Modul "root/users/DeinBenutzername" einzutragen.
Vielleicht noch "root/public" - jedenfalls hat das root vorneweg bei mir geholfen...

Also wenn ich "root/public" bei Backup module eintrage, dann kommt beim Testen der Verbindung "Invalid backup module name", beim Eintragen von "/root/public" gibt es einen "Unknown error" und bei "root/users/mein.name" kommen auch nur entsprechende Fehler.

Aber unabhängig von dem nicht funktionierenden Wizard, warum laufen keine Tasks aus crontab? Was ist da kaputt, so viel kann man ja nicht falsch machen (Syntax für die Ausführungszeit ist korrekt und geprüft, Pfade sind alle komplett und korrekt angegeben, läuft ja auch von der Konsole aus). Wieso gibt es keine Ausgabe in ein Logfile, es scheint ja so, als würde einfach gar nichts passieren (und ja, crond läuft, ich hatte ihn auch mal zur Sicherheit neu gestartet).

"Toll", wie die Synology DiskStation nicht funktioniert...

Viele Grüße

G.
 

Gorgsenegger

Benutzer
Mitglied seit
12. Apr 2011
Beiträge
22
Punkte für Reaktionen
2
Punkte
3
Hallo nochmal,

es funktioniert leider immer noch nicht, trotz Installation eines alternativen crons über ipkg. Letztendlich scheitert der Aufruf der Zeile

/usr/syno/bin/rsync -av /volume1/photo/ xxxxxxxx@rsync.hidrive.strato.com:/public/photo

cron selbst funktioniert, da ich in der crontab ein Shellscript eingetragen habe, welches zunächst als Test ein paar Ausgaben per "echo" in eine Logdatei schreibt, danach die oben gezeigte Zeile versucht auszuführen. Die Ausgaben mittels "echo" funktionieren, rsync hingegen wird scheinbar einfach gar nicht erst aufgerufen. Die Berechtigungen für rsync sind read, write und execute für root, für alle anderen read und execute. Aus der crontab wird das Shellscript als root aufgerufen.

Ein direkter Aufruf innerhalb von telnet funktioniert.

Es ist so frustrierend, wieso funktionieren alle Ansätze einfach nicht? Warum gibt es noch nicht einmal Fehlermeldungen? Wo stelle ich mich zu denn zu dumm an?

In der Hoffnung auf weitere Ideen...

Viele Grüße und ein schönes WE

G.
 

Super-Grobi

Benutzer
Mitglied seit
28. Sep 2010
Beiträge
1.913
Punkte für Reaktionen
0
Punkte
62
Moin G.

Ich würde mich mit dem Problem direkt an den Synology Support wenden.
Hier scheint das ja irgendwie niemand am rennen zu haben.
Obwohl ich meine, es gab das Thema mit Strato-Hidrive hier schon mal....
Hast Du mal danach gesucht im Forum?

Man findet einiges, z.B. das hier, scheint ganz aussichtsreich...

Grüße
S.Grobi
 

nageniil

Benutzer
Mitglied seit
18. Aug 2009
Beiträge
207
Punkte für Reaktionen
4
Punkte
18
Doch doch:
das rennt bei mir täglich - und zwar einwandfrei.

Ich habe bei Strato ein 30GByte HiDrive aus einer Computerbild-Aktion letztes Jahr und ein 100GByte HiDrive für 1 Euro (CeBit-Aktion von Strato).
Ich musste nur beim Update des DSM von 3.0 auf 3.1 alle rsync-Jobs löschen und neu eintragen, das wurde an anderer Stelle hier im Forum behandelt - irgendwie wegen der Syno_BkpMetadata.db.
Aber sonst nichts zusätzlich installiert oder herumgedengelt - einfach die regulären Einträge im DSM vorgenommen - und läuft. Ich kann die geschilderten Fehler einfach nicht verstehen/nachvollziehen, sonst tät ich gerne helfen...
 

Super-Grobi

Benutzer
Mitglied seit
28. Sep 2010
Beiträge
1.913
Punkte für Reaktionen
0
Punkte
62
Moin,
er einfach nicht verstehen/nachvollziehen, sonst tät ich gerne helfen...
naja, das hast Du damit ja schon gemacht. Denn d.h. ja, dass es generell schon mal klappen sollte und es eigentlich kein Problem des DSM
ist, dass der das nicht kann, sondern dass das irgendwo im Umfeld Konfiguration DS / Strato / Router / FW zu suchen ist.

Na, mal sehen, vielleicht hilft ihm ja die Anleitung etwas weiter.


Grüüüße
 

Gorgsenegger

Benutzer
Mitglied seit
12. Apr 2011
Beiträge
22
Punkte für Reaktionen
2
Punkte
3
Ich denke, dass ich als nächstes nochmal die ganze Diskstation neu installiere und dann nochmal von vorne versuche, es scheint ja irgendwas zerschossen zu sein. Das Problem mit den Jobs übers GUI war ja, als sie zwischendurch mal liefen, dass rsync immer wieder von vorne anfing - so natürlich für mich auch keine Lösung, normalerweise (bei manuellem Aufruf von mir zumindest) soll er ja da weitermachen, wo er aufgehört hat (d. h. wenn beim ersten Lauf z. B. wegen Zwangstrennung vom Provider nach 24 Stunden nicht alles übertragen werden konnte). Erst nach komplettem Upload soll ja quasi der Abgleich vorgenommen werden um nur noch die Änderungen zu übertragen - vorher muss ja aber alles mal "rüber".
 

Super-Grobi

Benutzer
Mitglied seit
28. Sep 2010
Beiträge
1.913
Punkte für Reaktionen
0
Punkte
62
Moin
Erst nach komplettem Upload soll ja quasi der Abgleich vorgenommen werden um nur noch die Änderungen zu übertragen - vorher muss ja aber alles mal "rüber".

Entspricht nicht meinem Verständnis von Rsync. Der sollte auch nach Trennung beim zweiten Mal nur die noch fehlenden, bzw. schon wieder geänderten Daten transferieren.

Aber eine Neuinstallation ist sicher erst mal ein guter Anfang. Wenn es dann nicht tut wie es soll, hat man zumindest einen definierten Stand über den man sich mit Synology unterhalten kann.


Viel Erfolg

S.Grüße
 

Gorgsenegger

Benutzer
Mitglied seit
12. Apr 2011
Beiträge
22
Punkte für Reaktionen
2
Punkte
3
Moin


Entspricht nicht meinem Verständnis von Rsync. Der sollte auch nach Trennung beim zweiten Mal nur die noch fehlenden, bzw. schon wieder geänderten Daten transferieren.

Hm... genau das meinte ich ja, vielleicht habe ich mich missverständlich ausgedrückt ;-) Bin jedenfalls mitten im "Reset" und berichte dann mal, wie es weitergeht.

Danke und viele Grüße

G.
 

Gorgsenegger

Benutzer
Mitglied seit
12. Apr 2011
Beiträge
22
Punkte für Reaktionen
2
Punkte
3
Und weiter geht's (bzw. nicht)...

Eintrag in der crontab wird ignoriert:

/usr/syno/bin/rsync -av /volume1/photo/ xxxxxxxx@rsync.hidrive.strato.com:/public/photo

Manueller Aufruf funktioniert wie erwartet. Penibel in der crontab darauf geachtet, dass nicht irgendwelche Leerzeichen oder Tabs zu viel sind.

Eintrag über GUI wie gehabt - Backup startet, er fängt z. B. an das testweise gewählte Verzeichnis mit 20 MB zu übertragen. Backup läuft durch, fertig, alles gut. Nun eine weitere Datei in dieses Verzeichnis kopiert (5 MB), Backup erneut angestoßen. Jetzt fängt er wieder an, die *kompletten* 25 MB (20 + 5) hochzuladen.

Ist dies eine rsync-Konfigurationssache? Wo könnte ich dies manuell entsprechend einstellen, aufgerufen wird ja in der crontab nur

/usr/syno/bin/synonetbkp -a "HiDrive"

Wo steht die eigentliche Konfiguration, d. h. die exakten Aufrufparameter für rsync? Weiß das jemand?
 

Gorgsenegger

Benutzer
Mitglied seit
12. Apr 2011
Beiträge
22
Punkte für Reaktionen
2
Punkte
3
Hi, ja, hatte ich gelesen, aber war mir auch schon bekannt (damit hatte ich damals angefangen ;-)). Mir schwant gerade etwas böses, und zwar könnte ich mir vorstellen, dass es gar kein wirkliches Problem gibt, sondern dass nur die Anzeige im Network Backup Modul auf der DiskStation rumspinnt. Ich hatte es gerade einmal getestet:

  • 20 MB Backup, durchlaufen lassen, alles in Ordnung
  • Zusätzliche Datei kopiert, Backup starten, er fängt wieder bei 0 von 25 MB an
  • Backup abgebrochen

Aber.... Ich habe es dann doch nochmal durchlaufen lassen, und zwar passierte dann folgendes:

  • Die ersten 5 MB wurden relativ langsam (analog der Uploadgeschwindigkeit eben) übertragen
  • Danach war dann auf einmal "Backup successful"

Das heisst, dass er zwar immer wieder laut Anzeige bei 0 MB anfängt, die ggf. hochgeladenen Dateien dann aber scheinbar doch berücksichtigt, d. h. deren "Übertragungsdauer" ist dann eben so gut wie 0 Sekunden (wahrscheinlich nur kurz der Abgleich => okay, schon da, weiter mit der nächsten).

Nun fällt einem das bei vielen GB aber natürlich unter Umständen nicht auf, da ja tage- oder sogar wochenlang das Initialbackup durchläuft, und da steht dann im GUI eben immer wieder 0 von abcxyz MB.

Falls dem wirklich so ist, müsste sich das aber ja innerhalb der nächsten Tage auch im HiDrive verifizieren lassen (weniger freier Speicher, entsprechende Daten hochgeladen).

Wenn dies wirklich die Lösung sein sollte, dann kann ich es gerade noch nicht wirklich glauben, aber ich beobachte und gebe Rückmeldung.

Danke und Gruß

G.
 

Super-Grobi

Benutzer
Mitglied seit
28. Sep 2010
Beiträge
1.913
Punkte für Reaktionen
0
Punkte
62
Kann man den auf dem Hidrive nicht sehen was da schon drauf liegt?
Ich hab sowas Tolles ja nicht, aber gibts da keine Weboberfläche oder ähnliches wie WebDav wo man im Verzeichnis browsen kann?
Dann könnte man ja schauen was hinzugekommen ist

Grüße
S.Grobi
 

Gorgsenegger

Benutzer
Mitglied seit
12. Apr 2011
Beiträge
22
Punkte für Reaktionen
2
Punkte
3
Kann man den auf dem Hidrive nicht sehen was da schon drauf liegt?

Ja, das war meine Idee - ich meine mich zu erinnern, dass ich das anfangs auch schon gemacht habe, aber ist ja nun schon ein paar Wochen her, und evtl. erinnere ich mich auch falsch. Ich lass jetzt erst mal einige Zeit laufen und gucke dann mal, ob a) das Backup irgendwann einmal mit "Success" durchläuft und b) wieviel auf dem HiDrive belegt ist (ist manchmal scheinbar etwas zeitverzögert die Anzeige, aber mal sehen).

Viele Grüße

G.
 
Status
Für weitere Antworten geschlossen.
 

Kaffeautomat

Wenn du das Forum hilfreich findest oder uns unterstützen möchtest, dann gib uns doch einfach einen Kaffee aus.

Als Dankeschön schalten wir deinen Account werbefrei.

:coffee:

Hier gehts zum Kaffeeautomat