Inkrementelle Daten sichern

[funbug]

Hallo Leute!

Nach langem suchen hier im Forum, frage ich jetzt doch mal.

Ich habe eine cs 407e mit zwei 1 TB Festplatten im Raid 0
und zwei 500GB Festplatten die alleine Stehen.

Ich möchte jetzt die Daten, die neu auf die CS kommen auf einer externen Festplatte sichern. Also nur die inkrementellen Daten.
Ist dies möglich? Wenn ja wie?
Eine komplette Datensicherung kommt nicht in Frage, resp. habe ich, nur nicht im gleichen Gebäude! Somit auch keine Verbinung zwischen beiden Speichern.
Nun will ich immer nur die neuen Daten vom einen Standort zum anderen bringen!

Für jeden Tip bin ich sehr dankbar!

Gruss Funbug

 

[TobiasM]

Kann die CS407e ein RAID 0 überhaupt nutzen?
Schau dir mal Rsync an. Allerdings müsste du hier auf der Shell mit Scripten arbeiten.
Damit sichere ich täglich die Änderungen auf die interne Platte und auf die USB-Platte von einen anderen Linuxsystem übers LAN.

Ist dein Ziel nun eigentlich die Daten zu sichern oder die beiden Standorte syncron zubekommen? Je nach Datenaufkommen und der Internetverbindung der beiden Standorte könnte man auch ohne USB-Platte arbeiten und direkt über Inet abgleichen.

Gruss
Tobias

 

[funbug]

Hallo

Danke für die Antwort. Leider verstehe ich nicht viel von Skrips!?

Mir geht es Primär darum die beiden Standorte auf dem selben stand zu haben. Wenn ich regelmässig die Daten austausche, habe ich so etwas wie ein Raid 1.
Die Datenmenge ist leider für ein VPN etwas zu gross, deshalb mit der Externen Festplatte!

Im CS 407 e ist zur Zeit so, dass ich die zwei TB Platten als eine ersichtlich habe! Ist das kein Raid 0 ?

Wie aufwändig ist das mit der Einstellung die du hast?

Gruss Funbug

 

[TobiasM]

Über wieviel MB/GB reden wir den, die sich so am Tag ändern?
Was ist überhaupt das Zielsystem am anderen Standort? Ein Synology-NAS, ein Linux-System oder Windows?
Ich mache das zur Datensicherung auf USB-Platte und die 40GB-50GB jeden Tag komplett kopieren ist nicht prakikabel. Mit dem Rsync dauert das nun vielleicht 10-15min, über 100MBit Netzwerk.
Allerdings habe ich nur eine Richtung, du hättes ja eine "richtige" Rsync Geschichte und das mit einen Standort mehr.
Ich bin recht fit, was Shell und Scripting angeht, daher fand ich das ganze nicht Aufwendig. Deins wäre noch ne Nummer größer und du müsstes auch mit Script beschäfftigen. Rsync selbst ist eigentlich recht simpel, du gibst Quelle- und Zielverzeichnis an. Das warst fast schon. Allerdings gibt noch ein paar mehr Dinge, die man beachten muss. Man muss, um mal ein Buzzword zunehmen, ein Workflow ansetzen, sprich einer muss die USB-Platte von A nach B tragen,das Script aufrufen und so weiter.
Allerdings würde ich auf jeden Fall mal die Online-Lösung richtig durchdenken und sogar testen.

Wegen RAID: Du hast also zwei 1 TB und die siehst sie als 2 TB? Das klingt nach RAID 0.
Und bei RAID 0 werden Daten "halb und halb" auf die beiden Festplatte gespeichert, damit "verdoppelt" sich die IO-Leistung, aber es verdoppelt sich auch die Ausfallwahrscheinlichkeit. Fällt eine HD aus, sind alle Daten futsch.
Nun fragte ich mich, ob ein CS die doppelte IO-Leistung auch wirklich in Übertragsraten wandeln kann, rein von der Rechenleistung. Und braucht man das so sehr, das man das höhere Risko des Totalausfall in Kauf nimmt.

 

[funbug]

Am Tag ? Das ist individuel ! Ich nutze das Sytem hauptsächlich für Multimedia. Für MP3 oder für Filme. Da ich durch die Woche in Bern wohne und an den Wochenenden wo anders, habe ich zwei Systeme aufgebaut. Zuhause greift meine Familie auch immer auf die Daten zu und in Bern habe ich einen HD Receiver der mir immer neue Daten anschaft !

Ich habe auf beiden Seiten das selbe System. Je ein Synology CS 407e mit je zwei 1TB HDD’s und je eine 250GB HDD extern.
Mit den externen HDD’s möchte ich den Datenaustausch machen. Deshalb immer nur die Inkrementellen Daten auch auf die USB HDD.

Ja ich gehe das Risiko ein, weil ich bin zwar nicht auf die Zugriffsgeschwindigkeit angewiesen. Es ist eifacher eine Partition zu haben als zwei !
Datensicherheit habe ich durch den wöchentlichen Austausch der Daten untereinander.
Die Inkrementellen Daten werden ja intern so wie extern gleichzeitig gespeichert !

Für die Online-Lösung, muss es VPN sein oder gibt es ne andere Lösung ?

 

[TobiasM]

Jetzt wo du HD-Filme sagst, dämmert mir erst wo das eigentlich Problem ist.
Ich dachte du willst nicht immer alle Daten kopieren, nicht weil es ja lange dauern würde, sondern weil du schlicht keine 3TB-USB-finden wirst.
Daher willst auf der USB-Platte auch effektiv nur die neuen kopieren.
Manchmal fällt der Groschen halt langsam ...
OK.
Drei Optionen sehe ich nun sponan:
1. Die Online Geschichte wie schon angedacht, aber HD filme klint nach viel zuviel Traffic!
2. Ein Script, welche alle Dateien ab einen bestimmten Datum kopiert, aber dafür braucht man ein gewissen Scripting-Skill, ist aber durchaus möglich.
3. Du schleppst die CS von Bern nach "wo anders" und machst dann ein lokal den Abgleich. Kenne die 407 nicht, kann mir aber vorstellen ,wenn du zum Beispiel nach Hause fliegst oder in der Bahn fährst, ist die CS recht unhandlich.

Wegen Raid 0: Ich hätte da lieber die eine Partition in die Share der anderen gemountet.

Gruss
Tobias

 

[juergen@net]

Hallo,

VPN
ich würde online nur über VPN machen. Mit FritzBox als Router kein Problem, einige andere Router können das mittlerweile auch. Hat den Vorteil dass man auch fernadministrieren kann.

"Inkementelles Backup"
Am Einfachsten geht es mit dem Schweizer Taschenmesser TotalCommander ->Befehle ->Synchronisieren. Allerdings wird dafür der PC benötigt.

Ohne PC, direkt auf der DS: Wie wäre es mit rsync? Das ist auf der Box drauf und man kann es so starten, dass es nur noch nicht vorhandene Dateien kopiert und vorhandene nur dann ersetzt, wenn es neuere gibt.
Beispiel:
rsync -avru --modify-window=7300 /volume1/public/USER /volumeSATA/satashare

Schaut nach, ob es im Verzeichnis (und Unterverzeichnissen) USER neue Dateien gibt, die auf der eSata Platte im Unterverzeichnis USER noch nicht (oder älter) sind und kopiert dann. Die 7300 sorgen dafür, dass der Datumsunterschied mind 2 h betragen muss. Eine Gegenmassnahme zu den untrschiedlichen Datums-/Zeitformaten zwischen FAT32 und ext3.

Bei USB muss man entsprechend ändern. Eine zweite Zeile entsprechend angepasst veranlasst die Sync in die andere Richtung.

Die Zeilen abgespeichert in eine Datei "VideoUpdate.sh" und mit Telnet als
sh VideoUpdate.sh
gestartet, läßt die DS arbeiten

Was macht man, wenn die mobile USB-Platte voll ist und einige der Dateien gelöscht werden müssen? Dazu würde ich ein Quarantäne-Verzeichnis einrichten, in dem die Dateien einige Wochen verbleiben und dann aus diesem Verzeichnis gelöscht werden. Auf der USB-Platte muss das dann auch gelöscht werden. Das würde ich aber in jedem Fall mit dem TotalCommander machen, da hat man den besten Überblick.
Gruss, Juergen

 

[funbug]

Hallo Tobias

Ja so ein Filmchen kann sehr gross werden ;-)

Also die zweite Option würde mir gefallen, nur wie mache ich das als Laie?

Das mit der Partition in die Share mounten, oder so ? wusste ich nicht, dass man das kann und vorallem wie!

Gruss Thom

 

[funbug]

Hallo Juergen

Danke für deine Ratschläge!

Also, VPN schliesse ich aus da die Datenmenge zu gross ist!
Einen Pc möchte ich nicht unbedingt laufen lassen um die Inkrementellen Daten auf die Festplatte zu sichern. Das Problem ist, dass die Daten nicht nur von einem Gerät auf das Synology gesendet werden, sondern von mehreren ( ca. 4 ) 2 davon Pc’s und 2 Receiver!

Das Problem beim rsync ist, dass alle Daten einerseits auf dem Synology sein werden und gleichzeitig auf der externen HDD! Nur möchte ich nicht unbedingt eine USB Festplatte kaufen mit 2- 4 TB Speicher.

Kann das rsync auch wirklich nur die Inkrementellen Daten sichern? Das heisst von da an, wo ich die externe Festplatte einstecke! Wenn ja, muss ich aufs Synology zugreifen um etwas zu starten/ einstellen, sobald die USB HDD eingesteckt ist oder läuft dies voll automatisch also nur einstecken und das läuft?

Gruss Thom

 

[juergen@net]

Also, VPN schliesse ich aus da die Datenmenge zu gross ist!

klar, für den Transfer von Movies ist das nichts, aber für kleinere Dateien und zur Fernadministration.

Einen Pc möchte ich nicht unbedingt laufen lassen um die Inkrementellen Daten auf die Festplatte zu sichern. Das Problem ist, dass die Daten nicht nur von einem Gerät auf das Synology gesendet werden, sondern von mehreren ( ca. 4 ) 2 davon Pc’s und 2 Receiver!

Der PC muss ja nicht immer laufen, sondern nur zum syncen

Das Problem beim rsync ist, dass alle Daten einerseits auf dem Synology sein werden und gleichzeitig auf der externen HDD! Nur möchte ich nicht unbedingt eine USB Festplatte kaufen mit 2- 4 TB Speicher.

Das kann man nur durch geschickte Aufteilung oder syncen in EINE Richtung vermeiden.

Kann das rsync auch wirklich nur die Inkrementellen Daten sichern? Das heisst von da an, wo ich die externe Festplatte einstecke! Wenn ja, muss ich aufs Synology zugreifen um etwas zu starten/ einstellen, sobald die USB HDD eingesteckt ist oder läuft dies voll automatisch also nur einstecken und das läuft?

rsync schaut was auf der Quellplatte neuer oder noch nicht auf der Zielplatte vorhanden ist und kopiert dieses. Ich stosse den Vorgang per Telnetbefehl an. Denkbar ist ein zeitgesteuertes Starten über Cronjobs. Vielleicht findet jemand eine Möglichkeit den Koperknopf zu kapern und mit dem sh-File z verbinden, aber ich kenne keine.
Gruss, Juergen

 

[funbug]

Ich glaube, ich habe eine Lösung, die zwar nicht sehr gut ist, aber seine Funktion erfüllt ohne grossen aufwand.

Zur Zeit habe ich es so, dass ich für alle Medien einen Ordner habe.

Bei mir siehts so aus:

-->Movie<--
-->Sound<--
-->Pic's<--
-->Daten<--

Movie und Sound habe ich 2TB zur verfügung und für die anderen zwei Ordner 500GB!

Jetzt mache ich einfach einen neuen Ordner mit dem Namen "Aufräumen" oder so. Jetzt kann ich diesen Ordner komplett sichern auf der externen Festplatte. Der nachteil dieses Systems ist, dass ich die Daten nach dem übertragen auf das Synology in den korrekten Ordner verschiben muss.

Der Vorteil ist, dass ich immer selber schuld bin, wenn ich keine Ordnung mehr auf dem Synology habe.

Ich werde jetzt diese Lösung mal testen und sobald ich eine bessere gefunden habe oder jemand mir eine bessere hat, werde ich umstellen.

Gruss Thom

 

[juergen@net]

Wenn Du den Ordner "Aufräumen" in "Transfer" umbenennst und entsprechende Unterordner (gleichlautend wie die Haptordner) anlegst, wird es einfacher. Du brauchst dann nur ein rekursives Kopierprogramm etwa wie Xcopy oder eben rsync.
Gruss, Juergen

 

[funbug]

Ok, danke für die Hilfe!

 

[TobiasM]

rsync schaut was auf der Quellplatte neuer oder noch nicht auf der Zielplatte vorhanden ist und kopiert dieses. Ich stosse den Vorgang per Telnetbefehl an.

Ich glaube du hast gerad nen ähnlichen Verständnis Problem wie ich hatte.
Du schreibst ja selbst, das er Ziel und Quelle vergleicht.
Aber Ziel und Quelle befinden sich nicht in einen Netz und daher kann rsync nix vergleichen.Online(über VPN oder ähnliches) geht wegen des Volumen wohl nicht.
Und ein Kopie der Quelle auf der USB-Platte geht auch, weil wir hier über 3TB reden.
Ok wenn man nun neue Sachen in einen eigen Ordner lässt dann hat sich das ganz ja schon erledigt.
Wesentlich angenehmer dürfte die Script-Alternative sein, die einfach alle Dateien kopier die in den letzten X Tagen angelegt wurde.

 

[funbug]

Ok, so wie ich nun verstehe, ist es doch möglich eine externe HDD anzuschliessen und die neue Daten die auf die Synology kommen zusätzlich extern zu sichern!?

Wenn ich das richtig verstehe, währe das dann so; angenommen alles Daten wurden am 22.9 angelegt und dies auf beiden Synology’s, nun habe ich neue Daten z.B. am 23.9 , die nur auf die eine CS gespeichert werden, die werden somit gleichzeitig auf der externen HDD gespeichert!

Wenn das so ist?! Wie kann ich diese Einstellung machen?


Gruss Thom

 

[juergen@net]

die werden somit gleichzeitig auf der externen HDD gespeichert!

Nicht gleichzeitig, sondern auf Kommando

Wenn das so ist?! Wie kann ich diese Einstellung machen?

Das geht über ein telnet-Kommando wie in Post#7 beschrieben. Gruss, Juergen

@TobiasM: rsync kann zu kopierenden Dateien auch auflisten. Dann könnte man einen Vergleich mittels VPN zwishen den beiden DS laufen lassen, die Dateinamen in ein File schreiben lassen und danach diese Dateien auf die mobile Platte schreiben lassen. Das wäre der korrekte aber aufwendige Ansatz.
Zu den erwähnten Skripten gibt es hier http://rsync.samba.org/examples.html und hier http://www.ohrner.net/software/rsyncbackup_de.php ein paar Anregungen. Aber das wäre mir schon zu aufwendig. Gruss, Juergen

 

[TobiasM]

naja ein einfaches Script* aller

export quelle=/...
export ziel=/...

for fname in `find $quelle -mtime [+/-]tage`
do
cp $fname $ziel/`basename $fname`
done

ist bestimmt weniger aufwand als Aufbau eines VPN.

*mit google gefunden und ungetestet