Synchronisation 2er Ordner auf der DS / Ext. Festplatte

[wezoromax]

Hallo,

ich möchte einen (gemeinsam freigegebenen) Ordner auf der DS regelmäßig mit einer ext. USB-Festplatte synchronisieren.
Dabei ist die Platte als "mobiler" Zugriff vorgesehen, wenn der Zugriff über das Internet auf die DS/den Ordner nicht praktikabel wäre (zu viele/große Daten)

Ich bin mir bewusst, dass das kein BackUp ist, lösche ich aus Versehen etwas, ist es bald auch auf der andern Seite weg. Klassisches BackUp nein, weil a) die Daten nicht so wichtig sind b) ich dabei praktisch keine Daten "ändere" (alte / neue Version), sondern nur hinzufüge oder lösche (womit ja rsync z.B. nicht direkt klarkommt?) c) ich möchte die Daten "direkt so im Ordner" haben, nicht als viele BackUp-Versionen, mit Inkrementen, die ich erst kompliziert zugänglich machen muss.

Das regelmäßig werde ich wohl über das autorun Paket handhaben. Ansonsten wäre auch manuell denkbar.


Die große Frage ist aber für mich das wie?

- Cloud Station fällt raus, das braucht einen Client -> Die Festplatte soll aber an der DS hängen.
- HyperBackUp liefert, soweit ich das verstanden habe, BackUp Ordner pro Durchlauf. Und nicht direkt zugreifbar. (Kann auch Datei-Kopie wie ich grad festgestellt habe, aber nur BackUp, nicht synchron.) Unpraktisch wäre, die ext. USB erstmal löschen zu müssen, damit HyperbackUp alles wieder draufkopiert.
- Rsync kann gut Dateiversionen vergleichen, soll aber ja neue Daten / gelöschte nur in einer Richtung anpassen.
--> Unison

Gibt es gute Alternativen?

Am Desktop (windows) habe ich das bisher über das Tool Synctoy erledigt, man gibt 2 Ordner an, sagt ob BackUp (eine Richtung), Spiegeln (nur Dateien hinzufügen), Synchronisieren (+ löschen), Ausnahmen (Pfad, Typ, Wildcard) und wie vergleichen und legt so ein Profil an. Dann kann man erstmal Preview machen, und bekomme alle Änderungen gelistet und kann diese "absegnen"
Sowas, laufend auf der DS wäre ideal! Automatisiert könnte ich mir vorstellen, dass gelöschte Dateien erstmal verschoben werden, so dass man die Änderungen in einem Log nachlesen kann.


Kurzer Gedanke am Ende: wenn ich 2 Netzlaufwerke (Ornder in DS) unter Windows einbinde, und von einem zum andern kopiere, dann läuft der Traffic über den Windows-Rechner oder?
Sonst könnte ich das Win-Tool ja vorerst weiterverwenden...

 

[wezoromax]

Unison wird problematisch, durfte ich gerade feststellen. Kein ipkg package, und kompilieren usw. ist für mich noch ziemlich weit entfernt...

Auf der Suche...

 

[Fusion]

rsync kann man doch eigentlich ebenfalls mit Parametern anweisen, Dateien nur in eine Richtung zu archivieren und z.B. gelöschte Dateien an der Quelle im Ziel aber zu behalten.

 

[wezoromax]

Aber das will ich ja gerade nicht. Ich will auf beiden Seiten Änderungen vornehmen und die sollen auf der jeweils anderen nachgemacht werden.
Rsync hat ja immer Vorbild -> BackUp, also wird am Backup was gelöscht wirds wieder hergestellt, oder? Bzw. das bemerkt der evtl. garnicht.

Problem bei unisono (habs zum laufen bekommen): Die Dateien werden wohl wirklich bitweise oder ähnlich aufwendig verglichen beim ersten Durchgang. Das dauert bei mehreren 100 GB ewig. Rsync ist ruckzuck durch (mit dem Vergleich)

 

[Fusion]

Bitte keine Vollzitate, besonders nicht bei direkten Antworten. Danke.

Unison legt sich beim ersten mal einen Index an, damit es eben auch Änderungen bemerkt die sich nicht auf die Größe und den Zeitstempel auswirken.
rsync nutzt im Standard eben nur den Zeitstempel und die Dateigröße. Wenn man rsync anweist auch mit Hashes zu arbeiten wird es ähnlich langsam.

Wo sync immer Probleme haben wird ist, wenn sich z.B. eine Datei auf beiden Seiten geändert hat, da muß man immer von Hand ran oder dann eine Prioritätsseite definieren.
Oder wenn du eine Datei umbenennst werden eventuell dann beide behalten, weil zum Zeitpunkt des Abgleichs es eben aussieht, als wären es zwei Dateien.

rsync kann man in weiten Teilen einstellen wie es einem passt.

Das was du willst, jede Änderung, egal auf welcher Seite sie getätigt wird, auf der jeweils anderen nachvollziehen, geht meines Erachtens nur mit einem Online-Sync, also instantan/direkten Abgleich. Andernfalls müßten ja jegliche Dateioperationen auf beiden Seiten zwischen zwei Abgleichen protokolliert werden, sonst sind die denke ich nicht mehr nachvollziehbar.

 

[wezoromax]

Hm, ja genau. Kann man Unison nicht dazu bringen ähnlich grob vorzugehen wie rsync? Ich meine gelesen zu haben, dass unison ja intern rsync (Alghoritmen) benutzt?

Das Problem (Änderung auf 2 Seiten), ist mir bewusst, hier aber nicht wirklich relevant, weil eigentlich nichts an den Daten verändert wird, sondern nur welche hinzukommen oder gelöscht werden. Sollte ich mal was konvertieren ändert sich auch der Dateiname.
Beim umbenennen kann unison das ja mit seinem index (in dem der Dateiname steht) umgehen.

rsync hat viele Regler, aber soweit ich gesehen habe ist es trotzdem noch darauf ausgelegt in eine Richtung zu arbeiten (neue Datei / umbenannt auf local -> Kopie anlegen / löschen oder BackUp auf backUp). Rsync kennt aber die alten Stände nicht. Ich bekomme unterschiedliche Ergebnisse je nachdem in welcher Richtung ich rsync als erstes arbeiten lasse, oder?

Online Sync klingt für mich nach Dropbox / Cloudstation / Syncthing. Was aber dann immer übers LAN/Internet läuft, was bei großen Dateien einfach total unpraktisch ist. Oder fällt da jemandem ein programm ein, was auch direkt Volume zu Volume verschiebt, wenn beides am gleichen Ort hängt?
Wie gesagt, meine Änderungen sind nicht an den Dateien, sondern nur + - Datei/Ordner. Falls doch mal Änderungen auftreten, kann ich die gerne alle paar Wochen per Hand bereinigen (-> BackUp + Log)

 

[Fusion]

Nein, meines Wissens geht bei Unison nichts am Aufbau des Index/Archiv vorbei.

Ich müßte mir die manpages von unison und rsync jetzt auch nochmal durchlesen.
Wenn du eine Datei löscht und danach einen Abgleich macht wird ja die gelöschte Datei wieder von der anderen Seite ersetzt, das Archiv wächst also immer und nichts wird gelöscht.
Oder wie soll unison erkennen, dass die Datei nach der letzten Änderung auf der Gegenseite gelöscht wurde? Oder sind sowohl local/remote teil des Index auf dem "Server"?
Ist ne ernst gemeinte Frage, weiß das gerade nicht.

Online Sync meine ich genau so, dass jede Änderung live übertragen wird, nicht unbedingt übers Netz. Das Problem ist halt trotzdem, dass die Festplatte immer in anderen Systemumgebungen zum Einsatz kommen wird.
Mir fällt da gerade auch keine Lösung ein, die ohne immer wiederkehrende Nacharbeiten funktionieren würde, was natürlich nicht heißt, dass vielleicht jemand anders eine praktikable schon gefunden und im Einsatz hat.

 

[wezoromax]

Ja, ich will den Index / Archiv umgehen, ich möchte einfach nur dass er da nicht nen Hashwert von jedem File reinschreibt, sondern es bei Größe, Name, Änderungszeit z.B. belässt.
Dabei sollte der Indexaufbau viel schneller gehen. Aber ich fürchte es soll nicht sein. Aber so wie es im Moment ist, dauert der Vorgang wirklich unendlich lange (~3-7h für etwa 20GB bisher)

Ich halte genau deshalb rsync auch für ungeeignet. (Kein Index usw.)

Die Manpage....
http://man.cx/unison(1)
http://www.cis.upenn.edu/~bcpierce/unison/download/releases/stable/unison-manual.html

Die Option fastcheck gilt nur für updates leider
Berechtigungen hab ich schon abgeschaltet.

Ich würde da auch dranbleiben. Wo ich wohl Leute finde, die mehr Ahnung von dem Paket/Programm haben? (Forum) Will nicht unbedingt mit den Verfasser nerven ^^
Evtl lasse ich es auch mal durchlaufen... wobei bei über 2 TB... das würde auf min. 60h (bis 140h) hinauslaufen... krass..
Wie kann das länger dauern als es das kopieren tat?

Für den Moment werde ich wohl über Netzlaufwerke und symbolische Links mit meinem Windows Tool synchronisieren (das arbeitet im Prinzip wie unison)
-> Schwierigkeit, entweder ich linke die ext festplatte (deren mountpoint variiert) in einen gemeinsamen Ordner (wobei dann der Medienserver durcheinander kommt und alles 2mal indizieren will...)
oder ich linke einen gemeinsamen ordner in einen variablen mountpoint.
--> Letzteres, mountpoint / Pfad festsetzen wie HIER beschrieben
(Nur für Leute die mal in dem Thread landen und ähnliche Anliegen haben, wie ich)