RSync überschreibt unnötig vorhandene Dateien

[King Fisher]

Hallo zusammen!

Ich habe lange geforscht und komme nicht dahinter; vielleicht kann mir hier jemand helfen:

Ich will meine DS109+ per Netzwerk-Backup auf einen RSync-Server (zunächst im selben Netz; später extern) sichern, den ich zu diesem Zweck aufgesetzt habe. Um Zeit zu sparen habe ich die Backup-Festplatte zunächst mit einer "lokalen Datensicherung" (rund 600 GB) direkt an der DS bespielt. Diese Festplatte hängt nun am Server und soll per RSync (oder "Netzwerksicherung", wie die DSM 2.3 Software es nennt) aktualisiert werden. Das scheint auch zu klappen, aber es werden alle Daten erneut kopiert, obwohl sie auf dem Zielsystem ja bereits vorhanden sind. Woran kann das liegen?

Meine rsyncd.conf auf dem Zielserver sieht so aus:

[backup-full]
comment = SYNOLOGY Backup...
path = /media/usb_backup/backup
read only = no
list = yes
uid = root
gid = root
# use chroot = true
auth users = <mein Login Name>
secrets file = /etc/rsyncd.secrets
transfer logging = true
log format = %h %o %f %l %b
log file = /var/log/rsyncd.log

Ich habe es in verschiedenen Kombinationen noch mit folgenden Varianten probiert:

uid=nobody
gid=nogroup
use chroot = true

Hat aber nichts geändert...

Was mir auch Sorgen macht: Die Sicherung ist mit 1,2 MBit/sec recht langsam, obwohl sich DS und Server im gleichen Netz befinden. Dazu scheint die DS mit der Aufgabe auch ziemlich belastet zu sein. Wenn ich mich auf der DS per SSH einlogge, erscheinen sogar die Zeichen beim Tippen nur mit Verzögerung. Ist das normal?

Über Tipps und Vorschläge würde ich mich sehr freuen!

Viele Grüße,
Michael

 

[itari]

Da Problem scheint mir die Konstruktion zu sein, zwischen lokalem und Netzwerkbackup hin- und her zu hüpfen. Da der rsync viele Vergeichsoperationen macht, ist die Performance nicht sonderlich hoch (je mehr Dateien, desto schlechter: große Dateien sind dagegen recht schnell gesichert).

Zur Performance allgemein würde ich versuchen eine Referenz herzustellen: direktes Netzwerkkabel und NFS-Kopie von 10 GByte sollte die Meßlatte sein. Muss man allerdings auf der Kommandozeile einrichten und durchführen.

Itari

 

[King Fisher]

Da Problem scheint mir die Konstruktion zu sein, zwischen lokalem und Netzwerkbackup hin- und her zu hüpfen.

Aber warum?
RSync sollte doch eigentlich nur sehen, ob die Datei aktualisiert werden muss - ganz unabhängig davon, ob sie per Copy oder per RSync oder wie auch immer sie auf das Backup gekommen ist. RSync verwaltet doch keine Metadaten, die man berücksichtigen müsste, oder?
Dass es ein wenig Zeit benötigt, wäre ja ok, aber es werden wohl tatsächlich alle Daten komplett neu geschrieben.

 

[itari]

Die Backups werden über die Dateien /etc/synolocalbkp.conf und /etc/synonetbkp.conf gesteuert, z. B. ob ein vollständiges oder nur ein differenzielles Backup vorgenommen wird. Das ist nicht für den rsync notwendig, aber für die Backup-Funktion des DS-Manager eine Orientierung.

Itari

 

[King Fisher]

Interessant dabei:
Wenn ich ein rsync von der DS Console starte, tut es, was es soll.

rsync -av /volume1/ <user>@<server_ip>::backup-full-manuell

Dazu muss allerdings ein weiteres Backup-Modul in rsyncd.conf auf dem Zielserver eingetragen werden, das als Zielpfad den Zusatz <DS-Name>_<DS-MAC-Adresse> enthält, den die DS beim Netzwerk-Backup offensichtlich verwendet:

[backup-full-manuell]
comment = SYNOLOGY Backup per Console...
path = /media/usb_backup/backup/<DS-NAME>_<DS_MAC>
read only = no
list = yes
uid = root
gid = root
auth users = <mein Login Name>
secrets file = /etc/rsyncd.secrets
transfer logging = true
log format = %h %o %f %l %b
log file = /var/log/rsyncd.log

Ich bin verwirrt.

 

[jahlives]

Sorry für die Frage: Wie erstellt denn der DSM Backup seine Backups? Macht der das nur mit rsync oder wird eventuell auch rsnapshot verwendet?
Deine beschriebene Symptomatik kenne ich vom Zusammenspiel von rsnapshot und rsync, aber nicht von rsync alleine...
Btw: Muss dieser "Zwischenschritt" via USB Platte sein? Es wäre einfacher direkt an die entfernte DS zu übetragen

 

[King Fisher]

Wie das mit RSync und RSnapshot ist, weiß ich leider nicht.
Der Zwischenschritt über USB hat sicher ergeben, da die Platte vorher für lokale Sicherungen diente. Aber auch aus Geschwindigkeitserwägungen hätte ich das so gemacht. Direkt an der DS geht es sicher schneller als über das Netz, besonders beim ersten Bespielen mit allen Daten.

 

[thedude]

Aber auch aus Geschwindigkeitserwägungen hätte ich das so gemacht. Direkt an der DS geht es sicher schneller als über das Netz, besonders beim ersten Bespielen mit allen Daten.

Waren denn diese Geschwindigkeitserwägungen den "Ärger" wert den du jetzt hast? Ich würde auch wie von jahlives vorgeschlagen es von Anfang an über Netz machen. Dann dauert es halt. Wäre mir wurscht, wenn es dafür funktioniert.

gruss
dude

 

[King Fisher]

Waren denn diese Geschwindigkeitserwägungen den "Ärger" wert den du jetzt hast? Ich würde auch wie von jahlives vorgeschlagen es von Anfang an über Netz machen. Dann dauert es halt. Wäre mir wurscht, wenn es dafür funktioniert.

Stimmt schon, dude, aber ich hatte einfach nicht mit diesen Problemen gerechnet.
Nächstes Mal bin ich auch schlauer.