rsync-Dir's mit Hardlinks moven

[Super-Grobi]

Moin,

eine Frage die die DS zwar nicht unmittelbar betrifft, aber doch mit ihr zu tun hat.

Ich erstelle Monatsweise Backups mit dem Tool RsyncBackup
http://www.lupinho.net/rsyncbackup/
von der DS auf ein PC-Laufwerk. (gesteuert vom PC)

Dies legt einzelne Verzeichnisse auf NTFS Laufwerken mit Datum an, in denen jeweils die neuen und geänderten Dateien der Sicherung abgelegt werden. Das was zur letzten Sicherung unverändert geblieben ist, wird einfach verlinkt.

Dadurch hat man den Vorteil immer vollständige Bäume zu haben, aber trotzdem nur die Differenz an Speicher zu belegen.

Nun hab ich auf der Root also x Verzeichnisse in der Form
2010-04-01/...
2010-05-01/...
2010-06-01/...
2010-07-01/...
:
:

wobei die jüngeren Verzeichnisse Links in die älteren haben.
Da ich für diese Sicherung mehr Platz benötige, soll sie Umziehen auf ein Neues Laufwerk.

Nur, wie bewege / kopiere ich den ganzen Kram in ein neues Laufwerk?

ein

rsync -aAXH /source/dir1 /source/dir2 /source/dir3 /dest/dir

würde doch die Links weiter auf die alte Platte zeigen lassen, oder?
Wie mach ich das?

Grüße

 

[itari]

Das geht schon ohne große Probleme.

Was ist ein (Hard)Link? Ein (weiterer) Name auf die Datei. Es ist nicht möglich zu unterscheiden, was der originale Namen und was der Linkname ist. (Dies ist übrigends bei Hardlinks unter Windows anders, aber das ist eine andere Geschichte ...)

Selbstversuch (Konsole, angemeldet als 'root'):

cd /root
echo test >testdatei
ln testdatei testdatei1
ls -l
.... (genau anschauen, was die Zeilen mit testdatei und testdatei1 enthalten)
mv testdatei1 /volume1
ls -l
....
ls -l /volume1
....

Itari

 

[Super-Grobi]

Und das klappt auch unter WinXP mit dem mv, respektive Move?

Hätte ich besser dazu schreiben sollen, Der PC läuft unter WinXP, nicht unter Linux....

ich hab jetzt das rsync -anvvAH mal ausprobiert, aber er scheint keine neuen Links anlegen zu wollen, immer nur make_file.
Ich fürchte, es wird nicht das machen, was ich will....


Neee, wadde mal Auszug aus der Ausgabe vom rsync (ich kürz die Pfade mal)

send_files(624257, /cygdrive/d/2010-07-03/Install/..../msvcrt.dll)
2010-07-03/Install/.../msvcrt.dll => 2010-05-01/Install/.../msvcrt.dll

Dat sieht doch gut aus, oder?? Könnt klappen

Grüße

 

[itari]

Bei NTFS gibt es keine wirkliche Hardlinks (wie bei Linux), da wird sowas nur simuliert und vermutlich wird es da auch nicht so einfach gehen.

Aber es gibt ein fantastisches Tool von Hermann: Link Shell Extension. Schau es dir mal an ... da steckt mehr drinne als man denkt.

Itari

 

[Super-Grobi]

Doch, dass funktioniert schon mit NTFS, das Dateisystem gibt es wohl her, aber die GUI/Shell von WXP macht keinen gebrauch von dem Feature.
Sowohl Quelle als auch Ziel liegen ja auf dem WinXP PC. Und das RSyncBachup Tool (was von dem rsync-Batch aus der c't abgeleitet wurde) läuft ja auch auf WinXP.

Und das funktioniert wirklich toll.

Na, ich schaufel jetzt mal

Grüße

 

[itari]

Doch, dass funktioniert schon mit NTFS, das Dateisystem gibt es wohl her ...

Es funktioniert fundamental anders als bei Linux. In der MFT (Master File Table) wird eine Dateieintrag* beim Anlegen der Datei erstellt und alle weiteren Namen (Links) für die Datei werden zum einen in den Verzeichnisse geführt (wie bei Linux) und zum anderen in einer maximal 1023 großen Tabelle im besagtem Dateieintrag*. Das hat zur Folge, dass man zum einen nicht mehr 1023 Hardlinks erstellen kann und zum anderen den ursprünglich ersten Dateinamen identifizieren kann (beides anders als bei Linux). Auch kann man genau verfolgen, in welcher Reihenfolge man die Links angelegt hat (wie sie ja aufsteigend die Tabelle belegen). Und es wird beim Löschen des ursprünglich ersten Dateinamens sowie bei einem Link eine Link-Tabellenpflege durchgeführt (etwas, was Linux gar nicht kennt).

Du siehst, das Konzept des Hardlinks wird zwar simuliert, ist aber grundsätzlich anders implementiert als bei Linux. Ich habe mir die MFT mit einem Filesystem-Debugger mal vor Jahren angeschaut, weil ich auch verstehen wollte, wie es zu dem blöden Fehler nach dem 1023-Link kommt ...

Itari

 

[Super-Grobi]

> wie es zu dem blöden Fehler nach dem 1023-Link kommt ...

jupp, das ist natürlich schon ne harte Nummer, wenn man an diese Grenze stößt. Ohne, wie Du, da das Dateisystem zu "debuggen", wird man da wohl ziemlich auf dem Schlauch stehen....

Aber gut, ich habe eigentlich nicht vor, mehr als 1023 Backup-Sätze zu halten

Grüße

 

[itari]

ich habe eigentlich nicht vor, mehr als 1023 Backup-Sätze zu halten

Es gab mal einen Typen, der hat so ein Backupskript fürs tägliche Sichern aus der Linux-Welt auf die Windows-Welt portiert ... stand mal vor Jahren in der c't. Ich fand das spannend mit der Verlinkung in diesem Skript und hab einfach mal statt Tage Minuten ausgewählt, um zu testen, ob es auch richtig läuft und bin dabei dann mit Testdaten gegen die Wand gefahren ... wahrscheinlich wie viele andere auch ... nach knapp 3 Jahren mit ihren Echtdaten ...

Itari

 

[Super-Grobi]

ja ja, genau auf dieses Script geht das Tool ja auch zurück. Das Script aus der c't mit dem cygwin-rsync hatte bei mir leider noch ganz andere Probleme verursacht. Nach einem Lauf hatte ich immer Fehler in der Dateistruktur. Die sind jetzt mit dem Lipino-Tool auch Geschichte..... Bin sehr zufrieden damit.

Ich hab halt in einem "alten" WinXP PC alle restlichen Platten als JBOD (ca. 5TB), und werfe dort einmal pro Monat das Tool an, sicher die DS, die wichtigen Daten vom PC meiner Frau, und meines PC drauf. Ist i.a. nach 1 Stunde durch.

Grüße

 

[rawido]

Hallo SuperGrobi,

ich bin auf deinen Beitrag gestossen, da ich die gleichen Probleme mit meinem Win7 System und der GUI Lupinho habe.
Also nicht direkt mit Lupinho, sondern damit die gesicherten Daten auf eine externe Platte zu kopieren inkl. Berücksichtigung der Hardlinks.
Mit Lupinho bin ich sehr zufrieden.

Du schriebst "Dat sieht doch gut aus, oder?? Könnt klappen "
Klappt dies nun?

Wenn ja, wärest du bitte so nett und sendest mir deinen Syntax für rsync zu mit dem du deine Daten auf eine ext. Platte kopierst inkl. Berücksichtigung der Hardlinks?

Vielen Dank
Gruß Ralf

 

[Super-Grobi]

Ich benutze dieses "Feature" nicht. ABer ich hatte bei Lupinho nochmal nachgefragt, und er bestätigte mir, dass er keinen Grund sieht warum es auf dem ext2/3/4 nicht klappen sollte. Er habe aber keine DS um jetzt spezielle Testläufe machen zu können, und könne daher auch kein endgültiges "go" geben.

Du wirst es also wahrscheinlich selbst beurteilen müssen ob das richtig funktioniert in dem Du es austestest ;-)

Meine ganz pers. Einschätzung wäre aber schon, dass das ordentlich tut.
Ob ich das allerdings einsetzen wollen würde wenn das mein einziges Backup wäre, schwer zu sagen....


Grüße
S.Grobi

 

[rawido]

Danke für deine Antwort.
Muß ich dann mal austesten.
Benötige allerdings noch einen Syntax für rsync inkl. Hardlinks.

Ich bin da noch nicht so "bewandert" in rsync.

Danke und schönes Wochenende.

Gruß rawido