[Projekt] rsync -Alternative dateibasierte Datensicherung

[CrimsonGlory]

Ich hätte noch eine frage
Im code unter rsync Optionen steht dass der Ordner recycle exkludiert wird, das heißt doch dass er nicht mitgesichert wird, richtig?
Den bei mir wird er auch gesichert.

 

[PsychoHH]

Sollte eigentlich so sein.

Ändern einmal im Script folgendes
EXCLUDE="--exclude=/@eaDir/*** --exclude=/#recycle/*** --exclude=/#snapshot/*** --exclude=/.DS_Store/***"
zu:


EXCLUDE="--exclude=@eaDir/*** --exclude=#recycle/*** --exclude=#snapshot/*** --exclude=.DS_Store/***"


Damit sollten die Ordner ausgeschlossen werden.

 

[gente]

...nutze das Script jetzt schon einige Zeit und find es echt toll.
Jetzt ist mir aber passiert das ich mit dem neuen search script für intern und externe Suche mein Backup auf intern anstatt auf externer HD gespeichert habe weil meine verschiedenen start scripte auch auf der DS in einem eigenen verzeichnis liegen.
Es wäre toll wenn es noch ein search script gibt welches nur auf den Volumes der DS in vordefinierten Verzeichnissen sucht, das eine für nur externe USB existiert ja schon und ich kann mir 2 verschiedene Aufgaben planen.
LG Thomas

 

[PsychoHH]

Bei einer externen HD kannst du einfach autorun installieren und das eigentlich rsync Script "autorun" nennen. Beim einstöpseln wird dies dann automatisch gestartet.

Probier das neue Script ruhig aus.
Schau dir auch die Beschreibung zu "NOTTOSCRIPT" an.
Denn genau dafür habe wir mehrere Optionen eingebaut, damit sowas nicht passiert.
Dort kannst du sehr genau einmalig festlegen, ob das Backup zum Script soll oder in einen anderen Ordner.
Natürlich könnte man das search Script nochmals umschreiben aber so läuft es ja auch.

Wenn du unbedingt beide Scripte planen möchtest, gib doch einfach den Pfad direkt im Aufgabenplaner an.
Wenn sich der Pfad nämlich nicht ändern, ist dies sogar besser.
Unser search Script war nur dazu da, wenn man die externe Platte an verschiedene Ports nutzt.

 

[gente]

...Ok kann ich dann im Script für intern und extern den "script_string" auch gegen "scriptname" austauschen um mit Dateinamen und einem search für intern und einem für extern zu arbeiten?
Könnte ich dann auch wenn mehrere backups intern gleichzeitig laufen sollen einen search mit string local erstellen und alle start scripts dementsprechend der DS so benennen und entweder in ein gemeinsames Verzeichnis packen und dann mit "nottoscript"arbeiten oder auch in die dementsprechenden gemeinsamen Ordner packen?

LG Thomas

 

[Tommes]

Hi gente,

ich glaub ich kann dir nicht ganz folgen. Das Such-Script soll, wie PsychoHH bereits sagte und wie es auch im Wiki steht, nur verwendet werden, wenn das Ausführungs-Script auf einem angeschlossenen USB-/SATA-Datenträger liegt. Liegt das Ausführungs-Script innerhalb eines gemeinsamen Ordners der DS würde ich das Such-Script allein deshalb nicht verwenden, weil du Suche durchaus länger dauern könnte. Daher empfehle ich auch hierbei das jeweilige Script direkt über den Aufgabenplaner anzusprechen. Natürlich kannst du dir die Such-Scripte auch so umbauen, das du intern wie extern nach Dateinamen oder Strings suchen kannst, aber ich würde davon abraten.

Die Variable "NOTTOSCRIPT" entscheidet nur darüber, ob die Datensicherung unterhalb des Speicherortes des Script oder eben jenseits des Scriptes abgelegt werden soll. So kannst du z.B. beim nicht setzen dieser Variablen die Daten deiner DS auf einem USB-Stick ablegen wo sich auch das Script befindet, oder bei gesetzter Variable ("1") halt einen entfernten Ort bzw. gemeinsamen Ordner auswählen. Das kann sowohl die lokale DS als auch eine entfernte DS im Netzwerk sein (TO-SSH)

Tommes

 

[gente]

Danke,
will ich aber mehrere scripts mit gleichem String wegen z.B. anderem Backup Ziel gleichzeitig ausführen brauch ich doch das search script?
LG Thomas

 

[Tommes]

Brauchen tust du es nicht, du kannst auch jedes Script einzeln über den Aufgabenplaner beplanen. Bei mehreren Scripts (über wieviele reden wir hier eigentlich?) macht so ein Suchscript natürlich schon Sinn. Du könntest aber auch einfach hingehen und legst alle benötigten Pfade zum jeweiligen Script in ein eigenens Script, welches du dann über den Aufgabenplaner ausführen lassen kannst. Also z.B. so...

#!/bin/sh

sh /volume[x]/[gemeinsamer Ordner]/SCRIPT_001.sh
sh /volume[x]/[gemeinsamer Ordner]/SCRIPT_002.sh
sh /volume[x]/[gemeinsamer Ordner]/[noch ein Ordner]/SCRIPT_003.sh
sh /volumeUSB[x]/SCRIPT_001.sh

Oder du packt das gleich so in das Editor-Fenster des Aufgabenplaners, dort wo du sonst den Pfad zum Script einfügen würdest. Dann müsste nicht jedesmal nach den Scripten gesucht werden und du schenkst deiner DS damit mehr Zeit sich um andere Dinge zu kümmern.

Tommes

 

[PsychoHH]

Schreib einfach mal alle "Scriptvarianten" die du nutzen willst hier auf.
Dann finden wir sicher eine gute Lösung, sodass es dann in der Zukunft keine Komplikationen geben kann.

Wie gesagt, lag der Fokus beim search Scripte darauf, dass es unabhängig vom Port ist.
Dies ist jetzt mit autorun aber nicht mehr notwendig.

Man könnte allerdings im eigentlichen "autorun" Script das search script packen, falls man mehrere Scripte nacheinander starten will.
Das muss aber jeder selbst entscheiden wie er verfahren will.

Sinnvoll ist es aber allemal einen richtigen Backupplan zu erstellen.

 

[CrimsonGlory]

@PsychoHH: die änderung im EXCLUDE hat geklappt, der resycle Ordner ist nicht mehr dabei.

Jetzt muss ich noch Autorun zum laufen bringen, aber das Paket ist ja für DSM 6 noch nicht angepasst.

 

[PsychoHH]

Das wird auch nicht passieren.

Einfach autorun installieren und starten.

Das Script speicherst du einfach als autorun ohne .sh und packst es auf den Stick/Platte.
Wenn du den Stick dann reinsteckst, wird das Script gestartet.




*** WICHTIG KLEINES UPDATE ***


Wir haben eben nochmal ein paar Sachen gefixt.
1. Das mit den exclude
2. Landen die logfiles jetzt immer beim Script im Ordner @Logfiles.

Jetzt sollten die Logfiles auch nach der gewünschten Zeit gelöscht werden wenn man Rotation eingestellt hat.

Und wenn keine ssh Verbindung bei der Netzwerksicherung zustande kommt, wird gestoppt und man kann den Fehler dann im log sehen.

Einfach aus dem wiki ab dort kopieren und ersetzen.
http://www.synology-wiki.de/index.p...nen_Datenträger_oder_RSync_kompatiblen_Server


# ------------------------------------------------------------------------
# Ab hier bitte nichts mehr ändern, wenn man nicht weiß was man tut !!! |
# ------------------------------------------------------------------------

 

[Tommes]

Das ist halt der Nachteil, wenn man so gut wie keine Resonanz bei unserer Betaphase bekommt und dann gleich alles Final ins Wiki schreibt. Jetzt müsst ihr halt leider hin und wieder das Script zu Fuß aktualisieren. Ich hab da nämlich auch noch ein oder Zwei Dinge die da noch rein müssen... die Sache mit der individuellen Portangabe bei abweichendem SSH-Port bzw. der RSync Ausführung. Ist irgendwie wieder durchgerutscht. Coming soon... würd ich da mal sagen.

Ach ja und bezüglich autorun. Merthos (der Erfinder von autorun) hat für DSM 6 die autorun Version 1.7 zur Verfügung gestellt vor dem Hintergrund auch weiterhin Scripte automatisch starten zu lassen. Mit ein wenig Suchen hier im Forum findet man dann auch heraus, das sich Hyper Backup wohl wieder zur Mitarbeit überreden lässt.

Tommes

 

[Tommes]

Ich habe jetzt mal ein ca. 450 GB großes "produktiv"-Backup von meiner DS216+ auf meine DS115 per SSH (FROMSSH) durchlaufen lassen, wobei der Großteil der Daten bereits mit einer Vorgängerversion unseres RSync-Scriptes gesichert wurden. Lief alles ohne Probleme und Fehlermeldungen durch. Jetzt wird das Script noch schnell automatisert im Aufgabenplaner verankert und ich habe wieder einen Part meiner Backup-Strategie am laufen. Perfekt!

Zum Spaß werd ich jetzt mal ein Backup mit Hyper Backup (dateibasiert) durchführen... aber ich denke, der Sieger steht für mich bereits jetzt schon fest

Tommes

 

[dil88]

Für mich sind das zwei Dinge, die sich gut ergänzen können. DSM 5.2-Datensicherung ist schnell und bequem. Bei einer Datensicherung per rsync-Shell-Skript hat man alle Parameter unter Kontrolle, kann Logfiles schreiben und mit Eurem Skript noch einge ganze Menge anderer feiner Sachen. Deshalb ist für mich dieses Projekt sehr nützlich ganz unabhängig davon, dass Synology die alte Sicherung (erfreulicherweise) wieder unter DSM 6.0 zugänglich gemacht hat.

 

[Tommes]

Für mich sind das zwei Dinge, die sich gut ergänzen können.

Jepp, das sehe ich ähnlich. Ich werd jetzt erstmal mit Hyper Backup von meiner DS216+ aus ein "produktiv"-Backup in Richtung DS115 aufbauen und zeitversetzt ein weiteres "produktiv"-Backup mit dem selben Datenstamm der DS216+, von meiner DS115 über unser RSync-Script abholen lassen... also Hyper Backup macht TO-SSH und unser RSync-Script macht FROM-SSH wenn man so will. Das lass ich ersmal ein zwei Wochen laufen und dann vergleiche ich mal beide Datenstämme mit WinMerge (außer die verschlüsselten Ordner, da diese bei Hyper Backup ja auch am Ziel nur verschlüsselt zur Verfügung stehen). Bin gespannt...

Deshalb ist für mich dieses Projekt sehr nützlich...

Hast du es schon getestet oder setzt du es vielleicht sogar schon produktiv ein? Das fände ich natürlich toll, wenn dem so wäre.

Tommes

 

[dil88]

Nein, bisher noch nicht, weil ich beim Thema Backup schon gut versorgt bin. Aber wenn ich einmal Zeit habe, werde ich es mir 'mal wieder ansehen und testen.

 

[Tommes]

Ja, mach das mal. Teste das mal bei Gelegenheit. Mich würde deine Meinung wirklich sehr interessieren.

 

[Thonav]

So Ihr Lieben - ich habe das von PsychoHH und Tommes perfektionierte Tool unter fachmännischer Unterstützung (Danke nochmals ) auch eingesetzt und bin begeistert. Kurze Anpassung des Skriptes (keine 2 min) und schon läuft das Backup und man kann im Logfile sehr gut nachvollziehen was gerade geschieht. Habe das Backup auf eine USB Festplatte angepasst und nun wird dieses immer vollautomatisch ausgeführt nachdem ich diese an meine DS anschließe.

Sehr schönes Tool mit vielen Anpassungsmöglichkeiten!

Habe bislang keine Skript-Erfahrung, aber das ist wirklich sehr simple zu bewerkstelligen! Daumen hoch!

 

[Tommes]

Perfekt!

Es freut mich sehr, das dir unser Script gefällt und du es für "einfach" einzurichten hälst. Das war auch ein großes Ziel von mir, es den Leuten so einfach wie möglich zu machen. Dann wünsch ich dir viel Spaß mit unserem Script und vielleicht empfiehlst du es ja weiter.

Tommes

 

[Thonav]

Na klar!

AN ALLE - Das Skript ist sehr zu empfehlen!

Keine Angst - die Einrichtung ist wesentlich einfacher, als es die Länge des Skriptes erscheinen lässt.