Timebackup auf DS -> Kopie auf externe HDD speichern (als incrementelles Backup)

[Fischgebruell]

Die DS macht jeweils zu unterschiedlichen Zeitpunkten bei verschiedenen Gemeinsamen Ordnern auf der DS ein TimeBackup.
Dies stellt sicher, dass ich ein Backup habe und ich darauf zugreifen kann falls mal was gelöscht wurde oder ich mal frühere Versionen von Dateien herstellen/anzeigen lassen will.
Vorteil des Backups ist auch, ich brauch dauerhaft keine ext. HDD anschließen, die DS macht alles allein.

Nachteil ist aber, falls die DS mal kaputt geht und die HDDs in Mitleidenschaft zieht, dann die Daten und die Backups auch nicht mehr vorhanden sind.

Daher habe ich mir eine ext. HDD gekauft um von dem Timebackup auf der DS in regelmäßigen (aber nicht täglichen) Abständen ein Backup zu speichern.

Leider funtioniert das aber nicht. :-( Die DS meint, die ext. HDD ist zu klein.

Zu den Daten:
- ext. HDD = 1.500 GB
- Timebackup-Ordner auf DS = 1.000 GB; aber nur zu ~60% (600GB) benutzt
- Timebackup-Ordner -> Rechtsklick (in Filestation) -> Eigenschaften = 10.000 GB.

Hmm...ich denke, beim kopieren (über Datensicherung und -wiederherstellung) der Daten auf die ext. HDD (Ext.4) kopiert die DS (das inkrementelles Backup) nicht 1:1, sondern schreibt alle Daten doppelt - so als ob es mehrere Vollbackups sind.

Wie kann ich 1:1 ein Backup von einem Timebackup auf eine ext. HDD durchführen ohne dass aus dem incrementellen Backup dann mehrere Vollbackus werden?

 

[Fischgebruell]

Niemand kann helfen?

 

[Frogman]

Da TimeBackup für die (inkrementellen) Updates Hardlinks verwendet, wird dabei im Moment unglücklicherweise falsch gerechnet (die Dateien werden bei der Kalkulation der Größe mehrfach gerechnet, obwohl sie nur einfach vorhanden sind). Deshalb paßt es nicht.
Hier muß beizeiten mal nachgebessert werden... - im Moment gibt's da wohl keine Lösung.

 

[Klikidiklik]

Bis der Fehler mal angegangen wird mach ich das Ganze mittlerweile anderst.

Ich mache mit TimeBackup eine Sicherung direkt mit auf die DS um die Versionierung nutzen zu können. Um nun Sicherheit vor einem Totalausfall zu haben, habe ich noch 2 externe 2,5" Festplatten per USB 3.0 an meiner DS hängen. Auf diesen wird täglich der komplette Datenbestand (ausgenommen die Time Backups) gebackuped. Hierzu verwende ich das stinknormale Backuptool was über die DSM bereitgestellt wird.

So kann ich immer eine der Festplatten austecken und tagsüber wenn ich auf Arbeit bin mitnehmen. So habe ich zumindest die Sicherheit, dass ich meine Daten bei einem Wohnungsbrand oder whatever noch habe. Auf die versionierten Sicherungen kann ich in einem solchen Fall verzichten.

Sollte der Fehler dann mal behoben sein, dann werden zukünftig nur noch die Time Backups auf die externen Platten gesichert.

 

[Fischgebruell]

Evtl. interessiert es einige Foren-Nutzer.......ich habe viele Mails mit Synology geschrieben:

Nachdem ich o.g. Problem geschildert habe kam folgende Antwort:

If that is Synology DR3 backup file the case, please exclude the DR3 backup file.
DR3 will backup file and use hardlink if file is not modified or changed, when you backup from one device to another, those hardlink files will change from link that does not occupied real space to become an actual file which file size will be count.
Hence I will suggest you to try either backup without DR3 files, or to be sure, try create a folder, then move file to that folder to backup to local USB HDD via local backup to see if it works.
........................
However the time backup's behavior is the same. It also use hardlink if file is not modified or changed, when you backup from one device to another, those hardlink files will change from link that does not occupied real space to become an actual file which file size will be count.
---------------------------------------------------------------------------------------------------------
Dann fragte ich ob es nicht möglich ist Ordner zu kopieren die Hardlinks enthalten. Denn wenn ich eine ext. HDD anschließe und TimeBackup mache, dann sind doch auch auf der ext. HDD Hardlinks vorhanden.
Was ist der Unterschied zwischen:
- Kopieren von Ordner/Volumen, welche TimeBackup-Files enthalten
- TimeBackup direkt zu einer externen HDD
Gibt es keine Mögichkeit das TimeBackup von einem internen Volumen auf eine externe HDD zu sichern?

Antwort: May we please know which file system did you use on the external disk? If it is EXT4 or EXT3, you should be able to select the external disk as the destination.
----------------------------------------------------------------------------------------------------------
Formatiert mit Diskstation mit Ext4.

Antwort:If the time backup source folders and destination folder is not on the same volume, you can try to copy to the internal volume.
But the destination folder can not be backed up to other volume, and the source folder can only be selected for one task.
---------------------------------------------------------------------------------------------------------
It’s impossible to:
- backup daily with TimeBackup the Volume to an internal other Volume AND
- backup weekly the same Volume to an external HDD?

Reasons for my backup strategy:
- Daily TimeBackup to an internal DS Volume -> always the latest version of my data AND no daily connect and remove an external HDD.
- Weekly TimeBackup to an external HDD -> no data loss when DS and/internal HDDS break down (e.g. flash of lightning, over voltage,…).

How can I doing my backup strategy?

Antwort:
Unfortunately there is no announced plan to support this feature at the moment. I apologize for your inconvenience. However, I have passed this message to our developers and product management group. They will have more research on such feature. Hopefully we will be able to support this feature in our future DSM releases.
----------------------------------------------------------------------------------------------------------

Interessant ist auch (siehe oben):
Man kann eine Backup-Quelle nur mit einem Time-Backup-Task auswählen. Z.B. jeden Tag auf interner HDD (task1) und wöchentlich auf externer HDD (task2) geht nicht!
Was ist das für ein Mist? Mit externen Backup-(Windows)-Backupprogrammen ist so etwas kein Problem.

 

[jahlives]

Das Problem sind imho die Hardlinks. Man kann keine Hardlinks von einem Dateisystem (Partition) auf ein anders kopieren. Hardlinks sind auf die Partition beschränkt. In dem Fall hat TimeMachine auf der Disk ja bereits Hardlinks angelegt im Backup (für nicht veränderte Dateien/Verzeichnisse). Die kriegst du nie auf eine andere HD (Partition). In dem Fall müssten die Hardlinks aufgelöst werden, was aber die Datenmenge erheblich steigern würde.

 

[Fischgebruell]

Wie funktioniert das denn mit den Hardlinks?
Es werden doch die Informationen auf dem Zieldatenträger geschreiben, wo sich diese (schon vorhandenen) Dateien befinden.

1. VollBackup
2. incrementelle Backup... wenn schon die Datei in 1. vorhanden ist, wird diese nicht mehr kopiert sondern sich auf die Datei unter 1. bezogen (Hardlink).
3. wie 2. usw.....

Wenn ich nun das Backup von einem Volumen auf das andere Volumen kopiere, dann kopiere ich doch auch die Information zum Hardlink, oder nicht?



Und warum kann ich nicht 2 Tasks von der selben Quelle mit TimeBackup erstellen?

 

[jahlives]

wie gesagt Hardlinks kannst du nicht auf ein anderes Dateisystem kopieren. Denn ein Hardlink ist nicht wie bei Softlink eine "Datei" sondern ein Eintrag als Deskriptornummer. Diese sind aber immer auf das Dateisystem begrenzt. Du müsstest beim Backup diese Hardlinks erst auflösen d.h. die Datei an sich kopieren

 

[Seni]

Die Idee von Klikidiklik finde ich sehr gut, das werde ich mal so ausprobieren.

 

[Fischgebruell]

wie gesagt Hardlinks kannst du nicht auf ein anderes Dateisystem kopieren. Denn ein Hardlink ist nicht wie bei Softlink eine "Datei" sondern ein Eintrag als Deskriptornummer. Diese sind aber immer auf das Dateisystem begrenzt. Du müsstest beim Backup diese Hardlinks erst auflösen d.h. die Datei an sich kopieren

D.h. die Hardlinks sind dann nicht im Backup gespeichert sondern bleiben auf dem System erhalten?

 

[jahlives]

Ich weiss nicht genau was passiert wenn du Hardlinks von einem Dateisystem ins andere schieben willst. Das dürfte von der Applikation abhängen. rsync kennt den -H Parameter welche Hardlinks als Hardlinks kopieren sollte. Wäre allenfalls einen Versuch wert

 

[Fischgebruell]

Ich weiss nicht genau was passiert wenn du Hardlinks von einem Dateisystem ins andere schieben willst. Das dürfte von der Applikation abhängen. rsync kennt den -H Parameter welche Hardlinks als Hardlinks kopieren sollte. Wäre allenfalls einen Versuch wert

Was ist denn das für eine Technologie?

Wenn ich z.B. mit Acronis incrementelle Backups erstelle, kann ich dann diese auch an jeden x-beliebigen Ort verschieben, kopieren, etc.....
Beim nächsten incrementellen Backup brauch ich dann Acronis nur mitteilen wo die alten Dateien sich nun befinden.
Selbst bei den Windows-eigenen Backups müsste es genauso gehen.

Warum das bei Synology nicht geht.......?

 

[jahlives]

das ist nicht primär ein Synology Problem. Diese Problematik hast du mit jedem Linux und Hardlinks
Ich habe mich glaub etwas unglücklich ausgedrückt. Du kannst Hardlinks schon kopieren, es ist aber fraglich ob das dann das gewünschte Ergebnis bringt.
Sagen wird du backupst ein einziges grosses File (1GB). Beim ersten Backup wird eh das komplette Gigabyte gsichert. Die Datei ändert sich nicht und es kommt zum nächsten Snapshot. Dieser erkennt die unveränderte Datei und legt einfach einen Hardlink am Ziel für die Datei an. Der zeigt auf die Datei im ersten Snapshot (Vollbackup). Nach 10 Snapshots guckst du wieviel Platz im Backup verbraucht wurde. Das wird ein Gigabyte sein + ein ganz kleines bissl mehr für die 9 Hardlinks.
Jetzt kopierst du einfach alle Snapshots auf ein anderes Filesystem und guckst wieviel Platz dann verbraucht wird. Das dürften dann 10GB sein. Dies weil die Datei nun 10mal geschrieben wird, in jedem kopierten Snapshot einmal. Der Hardlink geht also verloren und damit verbrätst du xfach unnötig Plattenplatz. Jetzt braucht man ein Tool, welches diese Hardlinks erkennt, die Datei einmal kopiert und dann im anderen Dateisystem die Hardlinks so anlegt, dass es im Dateisystem passt. Dies sollte afaik mit der -H Option bei rsync gehen

 

[jahlives]

Hier mal noch etwas zur Veranschaulichung:

#zuerst ein 100MB grosses File in /test erstellen
syno> dd if=/dev/zero of=/test/test.img bs=10M count=10   
10+0 records in
10+0 records out
# Hardlink
syno> ln /test/test.img /test/tast.img
syno> ls -alh /test
drwxr-xr-x    2 root     root        4.0K Mar  8 19:57 .
drwxr-xr-x   24 root     root        4.0K Mar  8 19:55 ..
-rw-r--r--    2 root     root      100.0M Mar  8 19:56 tast.img
-rw-r--r--    2 root     root      100.0M Mar  8 19:56 test.img
syno> du -sh /test
100.0M    /test
#jetzt den Ordner einfach "kopieren"
syno> rsync -a /test/ /volume1/test/
syno> ls -alh /volume1/test/
drwxr-xr-x    2 root     root        4.0K Mar  8 19:57 .
drwxr-xr-x   10 root     root        4.0K Mar  8 20:00 ..
-rw-r--r--    1 root     root      100.0M Mar  8 19:56 tast.img
-rw-r--r--    1 root     root      100.0M Mar  8 19:56 test.img
syno> du -sh /volume1/test/ 
#hier sieht man dass das Doppelte verbraucht wird
200.0M    /volume1/test/
rm -R /volume1/test/
# jetzt statt einfaches kopieren mit dem Parameter -H
syno> rsync -a -H /test/ /volume1/test/
syno> ls -alh /volume1/test/
drwxr-xr-x    2 root     root        4.0K Mar  8 19:57 .
drwxr-xr-x   10 root     root        4.0K Mar  8 20:01 ..
-rw-r--r--    2 root     root      100.0M Mar  8 19:56 tast.img
-rw-r--r--    2 root     root      100.0M Mar  8 19:56 test.img
syno> du -sh /volume1/test/
# hier wird nur die Hälfte vom ersten Test gebraucht
100.0M    /volume1/test/

 

[Fischgebruell]

das ist nicht primär ein Synology Problem. Diese Problematik hast du mit jedem Linux und Hardlinks

So blöd wie es kling: Da Lob ich mir mein Windows.
Warum blos kopiert Linux die Harlinks nicht mit?

Ich habe mich glaub etwas unglücklich ausgedrückt. Du kannst Hardlinks schon kopieren, es ist aber fraglich ob das dann das gewünschte Ergebnis bringt.
Sagen wird du backupst ein einziges grosses File (1GB). Beim ersten Backup wird eh das komplette Gigabyte gsichert. Die Datei ändert sich nicht und es kommt zum nächsten Snapshot. Dieser erkennt die unveränderte Datei und legt einfach einen Hardlink am Ziel für die Datei an. Der zeigt auf die Datei im ersten Snapshot (Vollbackup). Nach 10 Snapshots guckst du wieviel Platz im Backup verbraucht wurde. Das wird ein Gigabyte sein + ein ganz kleines bissl mehr für die 9 Hardlinks.

Genauso sollte es auch z.B. Acronis machen. Ein Vollbackup und dann incrementell nur die Änderungen.

Gehe ich dann mit Acronis (oder mit dem Windows Explorer) in eines der incrementellen Backups hinein, so zeigt es mir dann auch die Dateien an, die nicht geändert wurden und somit nur im Vollbackup drin sind. Vergleichbar wäre dies dann mit einem Hardlink.

Jetzt kopierst du einfach alle Snapshots auf ein anderes Filesystem und guckst wieviel Platz dann verbraucht wird. Das dürften dann 10GB sein. Dies weil die Datei nun 10mal geschrieben wird, in jedem kopierten Snapshot einmal. Der Hardlink geht also verloren und damit verbrätst du xfach unnötig Plattenplatz.

Dies passiert bei Acronis eben nicht - da Lob ich mir Windows.

Jetzt braucht man ein Tool, welches diese Hardlinks erkennt, die Datei einmal kopiert und dann im anderen Dateisystem die Hardlinks so anlegt, dass es im Dateisystem passt. Dies sollte afaik mit der -H Option bei rsync gehen

Warum hat Synology auf die (Entschuldigung) Linux-Technologie gesetzt und nicht was ebenbürtiges wie Acronis programmiert was sie dann TimeBackup schimpfen dürfen?
Da hat es sich Synology doch recht einfach gemacht. Einfach eine GUI programmieren - mehr nicht- alles andere bringt schon Linux mit.
Und ich dachte TimeBackup funktioniert wie Acronis únd ist nicht nur eine Benutzeroberfläche (GUI) damit man nicht mit der Konsole arbeiten muss.



-------------
Aber danke dass du für mich Licht ins Dunkle gebracht hast, jetzt verstehe ich warum es nicht funktioniert.

 

[jahlives]

da darfst du nicht Windows loben, wenn schon Acronics ;-) Da kann das Betriebssystem nichts dafür wie eine Applikation einen Link behandelt.
Zudem kann man die Sache mit den Hardlinks nicht so ganz mit echten inkrementellen Backups vergleichen. Denn bei einem echten inkrementellen Backup musst du ausgehend vom Vollbackup jedes Inkrement wiederherstellen bis zum Zeitpunkt den du erreichen willst.
Das ist bei hardlink-basierten Tools wie z.B. rsnapshot anders. Durch die Hardlinks hast du jeden Snapshot immer komplett d.h. man kann einen Snapshot zu einem beliebigen Datum nehmen und direkt wiederherstellen. Leztztlich schaut ein Snapshot mit Hardlinks immer aus wie ein Vollbackup, braucht aber nur einen Bruchteil des Platzes.
Klar könnte Synology noch vieles besser machen, aber warum immer wieder was neu erfinden was es schon gibt? Linux bietet bereits alle Tools um Backups erstellen zu können. Klar es könnte mehr Optionen geben im GUI, da stimm ich dir zu, aber letztlich geht fast alles wenn man sich mit der Konsole anfreunden kann

 

[Fischgebruell]

Warum kann man mit TimeBackup keine 2 Tasks (z.B. Backup täglich intern und wöchentlich extern)von der selben Quelle einrichten?
Ist das wieder so ein Problem von Linux oder von Synology?

 

[jahlives]

da habe ich dich wohl etwas missverstanden. Ich dachte du wolltest ein bereits existierendes TimeMachine Backup auf eine externe Platte kopieren. Wenn das wöchentliche Backup aber auch direkt von der Quelle liest, dann sollte das kein Problem bezüglich möglicher Hardlinks sein. Dürfte dann wohl doch eher eine Beschränkung von Synology sein

 

[Fischgebruell]

da habe ich dich wohl etwas missverstanden. Ich dachte du wolltest ein bereits existierendes TimeMachine Backup auf eine externe Platte kopieren.

Nein, du hast mich richtig verstanden.
Anfangs wollte ich ein bestehendes TimeBackup (tägliche interne Sicherung meiner Daten) auf eine externe HDD sichern/"backuppen".
Da das nun nicht geht, dachte ich mir, da mache ich eben einen zweiten Time-Backup-Task auf für die wöchentliche Sicherung meiner Daten auf die ext. HDD.

Wenn das wöchentliche Backup aber auch direkt von der Quelle liest, dann sollte das kein Problem bezüglich möglicher Hardlinks sein. Dürfte dann wohl doch eher eine Beschränkung von Synology sein

Was hat sich Synology nur dabei wieder gedacht (wenn es für Linux nun kein Problem sein dürfte)? :-(

 

[jahlives]

Da das nun nicht geht, dachte ich mir, da mache ich eben einen zweiten Time-Backup-Task auf für die wöchentliche Sicherung meiner Daten auf die ext. HDD.

gehen tut das schon, einfach scheinbar nicht via GUI (DSM) ;-)

Was hat sich Synology nur dabei wieder gedacht (wenn es für Linux nun kein Problem sein dürfte)? :-(

in deine Fall sehe ich hier jetzt eigentlich nicht so ein Problem, wenn das nicht geht. Das Backup wäre imho eh besser direkt auf der externen Platte aufgehoben.
Bei internen Backups hast du (wieder imho) ein etwas grösseres Risiko z.B. wenn es den RAID (Volume) zerlegt, dann wäre auch ein Backup darauf erstmal weg. Ich weiss es ist fast eine Glaubensfrage, aber ich finde ein Backup gehört auf einen externen Datenträger (gerade wenn man Versionen hat). So kann man auch das Backup besser von der Quelle trennen.

Ich machs bei mir so auf meinen Servern zu Hause: der aktuellste Zustand kommt auf eine interne Backupplatte (ein einfaches rsync mit cron). Die Versionen (mache ich mit rsnapshots und cron) kommen bei mir aber immer auf einen externen Datenträger. So alle 2 Wochen wechsle ich die externe Platte und nehme eine mit ins Büro. Wobei man das durchaus auch als etwas paranoid ansehen könnte , denn wenn es einem die Hütte abfackelt hat man wohl ganz andere Probleme als Daten auf Festplatten

Zurück zu deinem ursprünglichen Plan: es dürfte wirklich nicht mehr nötig sein, als ein einzelner Cronjob und rsync um das TM Backup wöchentlich auf die externe zu kriegen. Nur etwas Konsole und schon geht dat
So als Idee einfach ein kleines Shellscript

#!/bin/sh

RSYNC='/usr/syno/bin/rsync -aH'
#Pfad zum Verzeichnis wo die TM Backups liegen
TMPATH='/pfad/zum/tm/verzeichnis'
#Pfad zum Backupfolder auf der USB Platte
BKPPATH='/volumeUSBX/folder/'

$RSYNC $TMPATH $BKPPATH

musst natürlich noch TMPATH und BKPPATH so anpassen, dass es bei dir stimmt. Dann das Script noch mit chmod 0700 für den Eigentümer (sollte root sein) ausführbar machen.
Dann solltest du das Script mal manuell auf der Konsole aufrufen und gucken ob alles funzt. Am besten möglichst weit entfernt vom täglichen Backupjob, sonst prügeln sich die beiden um dieselben Ressourcen ;-)
Wenn alles gut läuft dann einfach noch einen wöchentlichen cronjob anlegen der obiges Script aufruft. Wieder aufpassen, dass du die Zeit so wählst, dass es nicht dem täglichen Backup in die Quere läuft z.B. einen der am Sonntag um 3 Uhr 33 früh läuft (/etc/crontab)

33      3      *       *       0     root    /pfad/zum/backupScript

wichtig: der Synology Crontab erwartet immer Tabulatoren als Abstände und keinesfalls Leerzeichen