Ultimate Backup Ultimate Backup

[Tommes]

Am Ende zählt aber wie immer nur die Zuverlässigkeit.

Damit hast du absolut recht. Der Hauptfokus sollte erstmal in der Zuverlässigkeit liegen. Ich bin mir auch nicht sicher, ob wir an der grundlegenden Geschwindigkeit von RSync großen Einfluss nehmen können, ich denke aber nicht. Wir prüfen während der Scriptausführung zwar jede Menge Parameter, diese sollten das System IMHO jedoch nicht derart stark ausbremsen.

Ich selber hab ehrlich gesagt auch noch keinen, zumindest aussagekräftigen Geschwindigkeitstest durchgeführt und aktuell fehlt mir dazu auch leider etwas die Zeit. Alternativ könntest du vielleicht mal mit einem Einzeiler auf der Konsole einen RSync-Befehl lostreten und dann die Geschwindigkeiten vergleichen.

Tommes

 

[PsychoHH]

Mit parallelen Prozessen kann man evtl. schon was rausholen vllt. sogar verdoppeln das werde ich mal testen.
Für jede Quelle ein Prozess im Hintergrund starten ist ja kein Problem, nur die Logs dafür müssen anders gesteuert werden.
Ein kurzer Test wird dann ja zeigen ob es was bringt.


Wer evtl etwas mehr basteln will;
http://www.krazyworks.com/making-rsync-faster/

 

[Krisslinger]

Danke

Hallo die Herrn,

vielen Dank schonmal für das Feedback. Wenn die rsync Werte passen, dann ist ja fast alles in Ordnung. Nur die LAN Werte haben mir keine Ruhe gelassen, daher habe ich eben nochmals getestet. Hier die Ergebnisse, dann kann mein Anliegen auch zu den Akten gelegt werden.

• LAN Download via File Station: ca. 80 MB/s
• LAN Upload via File Station: ca. 60 MB/s

Also kein Kabelproblem, vermutlich liegts am Protokoll. Also mal recherchiert und gesehen, dass SMB3 in Verbindung mit deaktiviertem SMB Signing das Problem lösen könnte. Und ja, tut es bei mir auch. Up-/Download via Finder bei ca. 105 MB/s.

Der gefühlt relativ schlechte Wert, wenn ich die Datei intern via File Station von einem Ordner in einen anderen kopiere (nicht verschiebe) liegt daran, dass gleichzeitig gelesen und geschrieben werden muss, oder? Lustigerweise ist es ein bisschen schneller, wenn ich die selbe Aktion über den Finder machen.

Aber egal, intern kopieren wird nicht so häufig vorkommen, wenn dann verschieben. Also nochmals danke an alle

 

[PsychoHH]

Also mal recherchiert und gesehen, dass SMB3 in Verbindung mit deaktiviertem SMB Signing das Problem lösen könnte.

Der gefühlt relativ schlechte Wert, wenn ich die Datei intern via File Station von einem Ordner in einen anderen kopiere (nicht verschiebe) liegt daran, dass gleichzeitig gelesen und geschrieben werden muss, oder?

Ja stimmt, sollte man deaktivieren um die volle Performance zu haben.

Und ja liegt wahrscheinlich auch daran, aber auch, dass über die FS nur 1 Kern genutzt wird.

 

[thakikka]

Ich muss mal so doof fragen: Wenn ich von einer DS auf eine andere DS im selben Netzwerk sichern möchte - muss Ultimate Backup dann auf der Daten-DS oder der Backup-DS installiert und ausgeführt werden?

 

[dil88]

Das kannst Du Dir aussuchen, was eins der vielen Features dieses Pakets ist. Du installierst es dort, wo es laufen soll.

 

[PsychoHH]

Wir haben eine von oder zu Funktion eingebaut.
Deshalb ist es egal.

Wenn die BackupDS schläft würde ich es auf der Daten DS installieren, da das Script per wol die andere DS wecken kann

 

[Swp2000]

Unabhängig davon ob Wol auf der Ziel DS aktiviert ist?

 

[PsychoHH]

Normal sollte es nicht gehen, da die DS ja auf kein Paket achtet. Kannst es aber gerne mal testen.

 

[dil88]

WOL muss auf der DS aktiviert sein, damit sie per WOL gestartet werden kann.

 

[thakikka]

Der Wahnsinn! Ich oller Noob hab's geschafft und tatsächlich Dateien von einer DS abgeholt und auf der anderen DS gesichert. Ein kleiner Schritt für die Menschheit, aber ... na ja

Jetzt habe ich folgende Fragen:

- FALLS ich mal ein laufendes Backup unterbrechen will, wie mache ich das?

- Können mehrere Instanzen gleichzeitig laufen?

 

[Tommes]

Ultimate Backup arbeitet nicht versioniert, sondern sychronisiert die Quelle mit dem Ziel. Gelöschte Daten in der Quelle werden im Ziel in den Ordner @Recycle verschoben.

Einen Abbruch kann man meines Wissens nur über die Konsole durchführen und mehrere Instanzen gleichzeitig ist so auch erstmal nicht vorgesehen. Jedoch hat PsychoHH bereits Lösungsansätze für die beiden Letztgenannten Anforderungen erarbeitet, wir müssen nur schauen, ob und wie wir das umgesetzt bekommen.

Momentan haben wir beide auch nicht genug Zeit um uns eingehender mit der Weiterentwicklung von Ultimate Backup zu befassen, daher habt bitte etwas Nachsicht mit uns. Aber wir bleiben am Ball

Tommes

 

[thakikka]

Ultimate Backup arbeitet nicht versioniert, sondern sychronisiert die Quelle mit dem Ziel. Gelöschte Daten in der Quelle werden im Ziel in den Ordner @Recycle verschoben.

Danke dir, hatte ich kurz vorher hier beim testen entdeckt und daher die Frage oben rauseditiert

Momentan haben wir beide auch nicht genug Zeit um uns eingehender mit der Weiterentwicklung von Ultimate Backup zu befassen, daher habt bitte etwas Nachsicht mit uns. Aber wir bleiben am Ball

Kein Problem, ich finde es großartig, was ihr hier auf die Beine gestellt habt - und das sogar so, dass Anfänger wie ich sich da einarbeiten können.

Allerdings muss ich fragen, ob abzusehen ist, ob diese Backuplösung dauerhaft, eben auch mit zukünftigen DSM-Updates funktionieren kann? Ist das wahrscheinlich oder eher unwahrscheinlich?

Noch eine Frage:

Wird ein ggf. vorhandener Snapshot-Ordner eigentlich mitgesichert? Oder ignoriert?

 

[Tommes]

Naja... ich kann nicht in die Zukunft blicken, aber es ist schon unser Ziel, Ultimate Backup längerfristig am Leben zu erhalten. Und da unser System auf altbewährten Programmier- und Scriptsprachen beruht sollte es diesbezüglich wohl auch in Zukunft keine großen Probleme geben. Einzig Synology könnte hier für Probleme sorgen, wurde doch schon bereits in der Vergangenheit das ein oder andere 3rdParty Projekt zu den Akten gelegt, da Synology den Leuten wieder einen Knüppel zwischen die Beine geworfen hat. Bestes Beispiel dürfte wohl "autorun" sein.

Tommes

 

[PsychoHH]

- FALLS ich mal ein laufendes Backup unterbrechen will, wie mache ich das?

- Können mehrere Instanzen gleichzeitig laufen?

In der jetzigen Version kann es theoretisch nur per Shell beendet werden.
Sollte aber auch per Aufgabenplaner geben oder aber man schaltet eine DS aus, sollte auch klappen ist aber keine tägliche Lösung.

Mehrere Instanzen könntest du gleichzeitig laufen lassen, z.B. wenn du mehrere Scripte nutzt und diese parallel ausführst, dass sollte klappen.
Wenn ich meine DS wieder hier habe, wollte ich mich auch um eine Automatische parallele Datensicherung kümmern, sprich für jede Quelle
wird ein eigene rsync genutzt, parallel.

Allerdings muss ich fragen, ob abzusehen ist, ob diese Backuplösung dauerhaft, eben auch mit zukünftigen DSM-Updates funktionieren kann? Ist das wahrscheinlich oder eher unwahrscheinlich?

Noch eine Frage:
Wird ein ggf. vorhandener Snapshot-Ordner eigentlich mitgesichert?

Theoretisch sollte es mit zukünftigen Updates laufen, nur wie Tommes schon sagt man weiß nie was Synology so macht.
Die haben einen da schon Steine in den Weg geworfen, bislang sollte es aber mit jeder Version gehen.

Vielleicht wird irgendwann bash genutzt, was ja ab DSM 6.1 auf jeder DS zu Verfügung steht, solange ich das aber hinbekomme,
möchte ich das ganz gerne Versionsunabhängig schreiben.

Wenn du den Snapshot Ordner nicht im Exclude aufführst, sollte dieser gesichert werden, hab das aber leider noch nicht getestet.

 

[Tommes]

Vielleicht wird irgendwann bash genutzt, was ja ab DSM 6.1 auf jeder DS zu Verfügung steht...

... nur nutzt nicht jeder DSM 6.x und wir wollen ja möglichst alle in den Genuss von Ultimate Backup bringen, auch einen dil88 oder einen Puppetmaster, oder wie sie alle heißen

Neben BASH wäre aber auch noch Perl interessant, jedoch ist das sowohl für PsychoHH als auch für mich absolutes Neuland. Aber wie PsychoHH bereits erwähnte, kommen wir... äh... kommt er noch wunderbar mit dem "einfachen" Shell-Script über die Runden. Und was er damit bereits alles herausholt ist schon der Wahnsinn wenn man bedenkt, das er sich auch erst seit knapp einem Jahr damit beschäftigt.

Tommes

 

[dil88]

Ich finde es toll, dass das Skript mit der sh funktioniert - darf natürlich den Aufwand nicht zu groß werden lassen. Falls es konkrete Bestrebungen bzw. Wünsche in Richtung perl gibt, dann gibts bestimmt Leute, die helfen. Ich wäre einer.

 

[thakikka]

Mehrere Instanzen könntest du gleichzeitig laufen lassen, z.B. wenn du mehrere Scripte nutzt und diese parallel ausführst, dass sollte klappen.
Wenn ich meine DS wieder hier habe, wollte ich mich auch um eine Automatische parallele Datensicherung kümmern, sprich für jede Quelle
wird ein eigene rsync genutzt, parallel.

Das finde ich sehr interessant. Kann man nicht einfach gestaffelt nach Verzeichnissen automatisch mehrere Sync-Prozesse starten? Das man bspw. vorgeben kann "maximal 20 Prozesse gleichzeitig" und das Skript schaut dann halt, wieviele Ordner es sind und teilt entsprechend so auf, dass es maximal 20 Prozesse werden.

 

[Tommes]

@thakikka
Ich will jetzt nicht zu weit vorgreifen, aber PsychoHH hat ja bereits erwähnt das er an parallelen RSync-Ausführungen arbeitet und sollte alles klappen wird dieses wohl ein Bestandteil der Weiterentwicklung von UB (Ultimate Backup) darstellen, welches unserem System einen enormen Leistungsschub geben wird.

@dil88
Du kannst Perl Cool!
Ich wollte mir mal ein Buch zum Thema kaufen, jedoch habe ich die Befürchtung das ich dafür langsam zu alt werde um hier noch aufschließen zu können. Ich komm ja schon voll ins Straucheln wenn ich versuche, PsychoHH's Scriptausdünstungen zu begreifen. Er ist mir hierbei schon um Lichtjahre voraus und ich verkümmer langsam zum Layouter für HTML und CSS *lach*

Aber bisher setzt PsychoHH das nahezu perfekt mit Shell-Script um und ihr wisst ja glücklicherweise noch nicht, was ich bereits weiß. Nichts desto trotz Danke ich dir natürlich für dein Angebot uns zu Unterstützen. Vielleicht werden wir mal darauf zurück kommen, sollten wir uns denn in Perl versuchen.

Tommes

 

[PsychoHH]

... nur nutzt nicht jeder DSM 6.x und wir wollen ja möglichst alle in den Genuss von Ultimate Backup bringen,

Ja und genau deswegen wird ja auch alles mögliche versucht es bei es direkt bei sh zu lassen und irgendwie gab es bislang immer eine Lösung sich wenn einiges umständlicher bzw. anders ist als bei bash.

Wünsche in Richtung perl gibt, dann gibts bestimmt Leute, die helfen. Ich wäre einer.

Du kennst dich mit Perl aus? Perfekt. Falls es mal in die Richtung gehen sollte merke ich mir das.

Nur noch sehe ich jedenfalls keinen Vorteil, okay evtl ist Perl ein wenig schneller. Aber ich finde es auf den ersten Blick schwierig und es sieht aufwendiger aus

Das finde ich sehr interessant. Kann man nicht einfach gestaffelt nach Verzeichnissen automatisch mehrere Sync-Prozesse starten?.. das Skript schaut dann halt, wieviele Ordner es sind und teilt entsprechend so auf, dass es maximal 20 Prozesse werden.

Hab ich überlegt, klingt aber leichter als gesagt. Theoretisch müsstest du einen dry Vorgang machen bzw. die Ordner auslesen anhand der Quelle und dann aufteilen. Dann ist aber die Frage wie tief soll die Aufteilung gehen usw. Ist ein wenig komplizierter und wahrscheinlich anfälliger.

Der andere Weg ist halt einfach für jede angegebene Quelle einen Prozess zu starten. Das kann ich aber erst testen wenn die neue oder alte DS da ist. Wenn es nämlich nur 10mb/s mehr wären lohnt es sich nicht so eher, da die Performance ja wirklich nicht schlecht ist.