Cloud Station Frage/Problem mit Synchronisierung Cloud Station ShareSync

[tomily]

Hallo Leute,

ich habe folgendes Problem und benötige dringend euren Profi-Rat!

Situation:
Ich habe 2 Standorte mit jeweils einer DS216 und einier DS416, die sich per VPN "sehen". An beiden Standorten wird mit dem gleichen Datenbestand gearbeitet. Also gibt es auf beiden Seiten einen gleichnamigen Share, der sich per "Cloud Station Share Sync" synornisiert. Die Anforderung ist, dass die Synchronisation nur Nachts und nicht in Echtzeit läuft. Um dies zu realisieren lasse ich zeitgesteuert tagsüber die CloudStation Dienste beenden und nachts wieder starten.
An für sich genau die Lösung, die ich will, allerdings:

Das Problem:
Durch das beenden der Dienste, gehen vermutlich die Inhaltsverzeichnisse flöten. Wenn nun auf Seite A eine Datei gelöscht wird, wird diese von B nachts wieder zurücksynronisiert, statt dies auf B auch zu löschen.
Somit entsteht regelmäßig ein inkonsitenter Dantenstand und gelöschte Dateien tauchen wieder auf.

Frage:
Könnt Ihr mir helfen eine "saubere" beidseitige Synchronisierung zu realisieren, die aber nicht in echtzeit, sondern zur zu bestimmten Zeiten aktiv ist?

Freue mich über alle Tipps und Anregungen von euch!

Grüße
Tom

 

[Fusion]

Systemsteuerung > Synchronisierung Gemeinsamer Ordner.

Einziges Problem was irgendwie zu umschiffen ist, dass dabei eigentlich anfangs kein gleichnamiger Ordner am Ziel existieren darf, weil dieser sonst umbenannt wird.

Wenn man Share Sync nicht per Task pausieren kann sondern immer die Dienste komplett beenden muss wundert mich ein inkonsistenter Zustand nicht.

Dann bliebe noch das alt-geliebte rsync einfach per Aufgabenplaner diverse Ordner abgleichen zu lassen. Das geht ja dann auch zeitgesteuert.

Wenn Syncs allerdings nicht in Echtzeit laufen wirst du immer ein potentielles Konsistenz-problem haben.
Wenn tagsüber jemand auf Seite A und jemand anderes auf Seite B die gleichen Daten bearbeitet, wie soll die Software hier entscheiden, welche Version jetzt die korrekte ist die behalten werden soll.
Entweder wird einfach die neuere genommen, oder eine conflict markiert (z.B. bei Resilio oder Syncthing) oder ...

 

[tomily]

Hallo Fusion,

danke für die Antwort und die Anregung.
Die von Dir genannte Funktion "Synchronisierung gemeinsamer Ordner" geht nur in eine Richtung. Also nur von A nach B und nicht zurück. In meinem Fall ändern sich die Dateien aber auf beiden Seiten.

Völlig korrekt was Du sagst. Allerdings kann ich ausschließen, dass die gleichen Dateien auf beiden Seiten bearbeitet werden. Auch die gleichen Datei und Ordnernamen sind kein Problem.
Mir macht es nur einen Strich durch die Rechnung, wenn gelöschte Dateien wieder auftauchen.

Das ShareSync funktioniert an für sich toll, auch mit den Protokollen und Logs. Aber wie Du schon sagst, wenn der Dienst beendet wird, werden keine Änderungen in die Indexdatenbank geschrieben. Somit bekommt das System von der Änderung nichts mit und läuft dann an die Wand.

Hast Du Erfahrung beim rSync? Wie kann ich das am besten anstellen?

 

[Fusion]

Beendest du Cloud Station Server / Drive UND Cloud Station Share Sync?

Wenn ja, mal probiert NUR Cloud Station Share Sync tagsüber zu beenden, ob das besser geht?

 

[Fusion]

Bezüglich rsync muss man sich ein wenig einfuchsen.

Man kann aber auch z.B. mal mit 2 lokalen Verzeichnissen ausprobieren.
Später muss man dann allerdings auch auf Benutzer- und Zugriffsrechte schauen eventuell, wenn man dann zwischen zwei Linux Systemen arbeitet.

Prinzipiell wäre schon ein
rsync --delete -rv /volume1/GemeinsamerOrdner benutzer@Ziel:/volume1/
rekursiv alle Unterverzeichnisse
löscht alle nicht mehr vorhandenen Daten der Quelle auch am Ziel.

Wo ich allerdings gerade nicht klar sehe ist, und ob das ein prinzipielles Problem ist, sind die gelöschten Dateien am Ziel.
Wieder das Problem, wie soll ich entscheiden, ob die Datei dort gelöscht oder gar nie vorhanden war und jetzt übertragen werden soll, weil sie NEU an der Quelle ist.
Ähnliches Problem wird sich vermutlich immer ergeben, wenn der Sync nicht zeitnah, sondern asynchron erfolgen soll.

 

[tomily]

Hallo Fusion,

vermutlich hast Du Recht. Das bidirektionale synchronisieren von Dateien ist immer blöd.
Der ShareSync macht das ganz gut, da er auf beiden Seiten eine Datenbank (Inhaltsverzeichnis) schreibt und diese auch abgleicht. Aber eben nur, wenn auf beiden Seiten die Dienste Dauerhaft laufen.
Vermutlich muss ich mir Gedanken über das ganze Design machen oder tatsächlich auf rsync umstellen.

Auf der "Server" Seite läuft NUR der "CloudStation Server". Auf der "Client" Seite läuft nur "Cloud Station ShareSync". Habe die Diensteübersicht mal als Screenshot angehängt.
Wenn ich das von Dir lese, stelle ich mir die Frage, ob der Clientdienst auf der Serverseite auch laufen muss? Könnte das evtl. mein Problem sein?

 

[Fusion]

Die bi-direktionale Synchronisation ist kein Problem. Die Asynchronizität (nur nachts) ist halt ein Problem, aus den genannten Gründen in denen Konflikte entstehen, wo eine Automatilk schwer(er) entscheiden kann, was denn jetzt gewollt ist.

Ob das jetzt Synology Cloud Station Server + Share Sync, oder Syncthing, oder Resilio oder andere sind. Die sind eben auf Sync und nicht Async ausgelegt.
Und nein, der "Client" Share Sync muss nicht auf dem Server laufen. Dieser wäre nur nötig wenn der Server auch wieder Client zu einem anderen Cloud Station Server / Drive Server wäre.
Hast du denn mal probiert nur den Share Sync Nachts anzuhalten und den Cloud Station Server durchlaufen zu lassen?

rsync. Sychronisierung Gemeinsamer Ordner basiert ja auch darauf, deshalb verhält es sich auch genauso wie der rsyn --delete Befehl vom Prinzip her. Ja, keine Lösung für dich.

Eine mögliche Lösung müsste also auf beiden Seiten die Änderungen am System verfolgen und dann sozusagen anhand dieser Logs entscheiden, wie in dem oben genannten Beispiel (A löscht Datei, B weiß jetzt beim nächsten Abgleich nicht (weil die Infos von der anderen Seite fehlen), ob die Datei nie vorhanden war oder gelöscht wurde und überträgt sie neu) zu verfahren ist.
Mal später schauen, ob mir noch was einfällt.

 

[tomily]

Danke für die schnellen Antworten und Anregungen!! Echt cool!

Ja, der Cloud-Station Server läuft seit einiger Zeit durch. Ich beende also nur den Dienst auf einer Seite. Dennoch habe ich das gleiche Phänomen.
Vielleicht muss ich echt darüber nachdenken das Konstrukt umzustellen. Wäre aber echt schön, wenn sich da noch was finden würde.

Falls Dir oder den anderen noch was einfällt, würde ich mich natürlich freuen. Ansonsten gibt es eben eine einseitige Synchronisierung über "Gemeinsame Ordner" :-/

Besten Dank und Grüße

 

[Andy14]

Cloud Station Share sync hatte ich noch nicht benutzt und gerade festgestellt das es ja etwas anderes als Clous Sync ist ;-) , dort gibt es nämlich einen Punkt Zeitplaneinstellungen!
Keine Ahnung ob du mit den anderen Einschränkungen leben kannst. Cloud Sync würde mit einem WebDAV Server (auf der anderen Synology) laufen.
Allerdings unterstützt WebDAV z.B. kein "Dateihash" und das Attribut für die "Letzte Änderungszeit".
https://www.synology.com/de-de/knowledgebase/DSM/help/CloudSync/cloudsync

 

[Fusion]

Kannst ja derweil mal einen Feature Request / Support Ticket aufmachen, in der Hoffnung, dass sie das anliegen nach zeitgesteuertem Sync verstehen können. Ob sie dann irgendwann was umsetzen ist die andere Frage.

@Andy14 - auch ne Idee. Fürchte das "krankt" auch am selben Problem, dass zum Abgleich-Zeitpunkt dann ein "Summen-Abbild" beider Seiten entsteht.
Gelöschte Dateien auf der Source Seite, die die Verbindung initiiert, werden vermutlich berücksichtigt, aber Dateien die auf der Destination Seite zwischendruch gelöscht werden tauchen dann wieder auf (gesynct von der Source Seite wo sie noch vorhanden sind).
Cloud Sync ist eben auch auf Backup ausgelegt. Da ist das Löschen von Inhalten auf der Gegenseite zwischen zwei "Backups" nicht wirklich eingeplant.
Aber ich lass mich da gern eines besseren belehren, wenn es jemand testet.

 

[tomily]

Hi zusammen,

meine letzte Antwort ist scheinbar nicht angekommen. Ich hab mich bei euch für dei Antworten bedankt!
Ich vermute auch, dass sich das Problem nur verlagert aber nicht löst. Deshalb würde ich in den sauren Apfel beißen und auf eine einseitige Synchornisierung umstellen.

Wie würdet Ihr das Lösen? Die ganzen Tools legen aber irgendeinen Quark an. Ich möchte einfach nur den Ordnerinhalt von A nach B synchronisieren. Und zwar 1:1 ohne andere Systemordner.

Beste Grüße

 

[TeXniXo]

Wie würdet Ihr das Lösen? Die ganzen Tools legen aber irgendeinen Quark an. Ich möchte einfach nur den Ordnerinhalt von A nach B synchronisieren. Und zwar 1:1 ohne andere Systemordner.

Kann man via HyperBackup (dort auf unten "+" klicken und in Menü dann auf "Einzelversion" (genaues Wortlaut weiß ich nicht auswendig) realisieren.
Aber auch Ultimate Backup - ein communitybasiertes Tool von den Usern PsychoHH und Tommes - sollte sowas zustande bringen können.

 

[tomily]

Hi,

ja, das funktioniert auch. Aber das tool legt die Meta-Files im gleichen Ordner ab (siehe Screenshot).
Für meine normalen Backups ist dask ein Problem, aber in diesem Fall möchte ich A und B exakt synchron haben.