Network Backup inklusive Shutdown

[jahlives]

bezüglich der geschwindigkeit ist mir aufgefallen das eventuell auch der "." an der falschen position angezeigt wird.

muss man jetzt verstehen was du meinst?? ;-)

 

[MattDS]

wäre nett

rsync zeigt eine Übertragungsrate von 2.123MB/s an. meine vermutung war (hat sich leider als falsch herrausgestellt)
das dass trennzeichen (".") um eine stelle verrückt ist, also die übertragungsgeschwindigkeit 21.23MB/s entspricht.

jetzt habe ich den ssh tunnel eliminiert und trotzdem nur rund 1-4mb/s, das kann doch nicht alles sein. :?

beide DS hängen am selben cisco 1gbit switch.

 

[jahlives]

rsync ist darauf optimiert möglichst wenig Netzwerktraffic zu erzeugen. Wenn es bei mir sehr schnell geht komme ich auf gut 8 MByte/s mit rsync resp rsnapshot (via ssh Tunnel) und mein Netzwerk ist auch GBit

 

[MattDS]

8mb/s via shh ist ja schon ne andere aussage als im schnitt 2mb/s ohne ssh.
habe halt auch das gefühl das es via syno backupjobs (siehe v2) wesentlich schneller von statten geht.

 

[MattDS]

beobachtung:

mp3 ordner -> 11.91M bytes/sec
(3-10mb/file)

alle anderen ordner -> 2.63M bytes/sec
(dokumente und andere kleine dateien)

mkvs -> 2.8M bytes/sec
(300-5000mb/file)

eigentlich hätte ich bei den mkvs mindestens die gleiche rate wie bei den mp3s erwartet,
oder bin ich da auf dem falschen dampfer?

 

[jahlives]

ich vermute mal dir spielt möglicherweise das Caching einen Streich. Die MP3 sind ja relativ klein, die kann man serverseitig gut cachen (d.h. vorauslesen und im RAM ablegen). Bei den mkv reicht jedoch der RAM niemals um eine komplette Datei zu cachen. U.U. muss der Server bei so grossen Files sogar swappen d.h. auf die Platten schreiben.
Grundsätzlich wird eigentlich immer empfohlen für Speedtest eine Datei zu nehmen die mindestens 2-fache RAM Grösse hat. Dann kann man diese Cache Faktoren eher ausschliessen

 

[MattDS]

wieder etwas gelernt, danke.

 

[jahlives]

wie gesagt, ich vermute nur, dass dies bei dir reinspielt
Du könntest mal den rsync Faktor ausklammern und z.B. ftp (gibt ftp Clients bei ipkg) testen. Dann mit ftp mal das genau gleiche machen, einmal mp3s und einmal mkvs übertragen. ftp müsste so ziemlich das letzte rausquetschen können ;-)

 

[MattDS]

mal schauen, heute abend wird wieder getüftelt.

 

[claas]

Hallo,

ich suche derzeit nach einer Lösung für die gleiche Idee.

Meine erste Idee sieht so aus:

Haupt-DS läuft 24/365
Backup-DS fährt sich per DSM-Zeitplan hoch.
Haupt-DS macht per dazu passendem Zeitplan ein Netzwerkbackup.
Der Advanced Power Manager fährt die Backup-DS runter, wenn der Traffic-Threshold unterschritten wird.

Hattest du dir vor dem Skripten mal überlegt das so zu lösen?
Spricht was dagegen?

Gruss

Claas

 

[MattDS]

Das ist ja im Prinzip wie ich vorgehe, ausser das die Haupt DS die backup DS gezielt nach dem Prozess herunter fährt.
Hatt den Vorteil das ich weiß das alle Jobs vorrüber sind.

 

[claas]

Warum nutzt du explizit das ipkg rsync anstatt des Syno-eigenen Backupjobs (der ja im Hintergrund AFAIK auch rsync nutzt)?

 

[MattDS]

Weil ich lieber die komplette Kontrolle haben möchte,
ursprünglich habe ich ja mit den Syno Backup jobs gearbeitet.

Das anlegen neuer RSYNC targets ist nicht besonders aufwendig,
eine anpassung des scriptes ebenso wenig. Sehe da im Moment
keinen Vorteil die Sync jobs zu benutzen.

Das ich via IPKG rsync nochmals installiert habe liegt an einem Informationsschnippsel
den ich hier irgendwo gelesen habe. Allerdings bin ich mir nicht sicher ob dies
nun mein Problem gelöst hat oder nicht. Ist möglich das es auch mit dem
mitgelieferten RSYNC funktioniert.

Im moment läuft die letzte Version jetzt im Testbetrieb und soweit scheint alles
rund zu laufen. Wenn ich auf den produktiven Einsatz umgestellt habe, gibt es wieder
feedback.

 

[mehldutt]

Hallo Leute,
habe alles aufmerksam mitverfolgt und mit einer kleinen Abwandlung für mich nutzen können.

Hier mein Plan:
- Backupserver DS109j startet 1x die Woche beim Hochfahren das Backup auf Datenserver DS 212+(WOL)
- Datenserver DS212+ schaltet Backupserver DS109j wieder aus.

Beliebige Einschaltzeit für Backupserver DS109j eingestellt (jeden Montag 3Uhr morgens) und Boot-Skript angelegt:
/usr/syno/etc/rc.d/S99zzbackup.sh auf Backupserver DS109j

#!/bin/sh
if test "$*" = 'start'; then
ssh -i /root/.ssh/backupssh root@DiskStation "/root/backup.sh"
fi

Auf Datenserver DS212+ mittels Datensicherungsassistenten ein Netzwerksicherungs-Protokoll (Synology Server) angelegt mit Namen Backup
und folgendes Skript angefertigt:
/root/backup.sh

#!/bin/ash
clear
/usr/syno/bin/synonetbkp -a "Backup"
/bin/sleep 30
while (ps | grep Backup | grep -v grep)
do
       /bin/sleep 5
done
ssh -i /root/.ssh/backupssh root@DiskStation2 "/sbin/poweroff"
exit

Vielleicht konnte ich jemanden helfen.

 

[MattDS]

Mit dieser Idee habe ich auch gespielt

 

[eedukl]

Hallo alle zusammen,

ich will mal mein Backup system beschreiben, läuft seit einem Jahr. Es ist ähnlich zu dem bereits beschriebenen.

Ich habe bei mir zu Hause einen Linux server mit UBUNTU, welcher immer läuft (gleichzeitig mail und webserver). Bei zwei Freunden steht jeweils eine DS109j, welche ausser zur backup zeit immer aus sind.
Statt dem Linux server kann auch jedes NAS (auch DSx) mit SSH zugang genommen werden.

jede Nacht starten die beiden DS109 zu verschieden Zeiten (einstellbar) verbinden sich durch DYNDNS und SSH mit meiner DS212 bei mir zu hause.
Die Backup DS109 starte dann ein RSYNC script und holt alle geänderten files von der DS212+ (bei mir zu Hause) ab.
Desweiteren macht das script jeweils eine kopie und syncs mit HARDLINKS, so dass ich eine versionskontrolle habe.
Durch die HARDLINKS ist kaum zusätzlicher Festplattenspeicher nötig und ich habe alle meine Files der letzten Tage/Wochen/Monaten im Fall der Fälle.
Wenn alles fertig, schaltet sich die Backmaschine wieder selbstständig aus.

Dadurch ist der Strombedarf bei meinen Freunden gering und durch das verfahren via DYNDNS und das die entfernte DS selbstständig started sind keine Änderungen am Netzwerk meiner Freunde nötig.

Der Hauptgrund warum ich es mit externen DS's mache, ist dass falls bei mir etwas passiert (Feuer/Wasser(Einbruch), meine Daten an einem anderen Ort gespeichert sind.
Bei den DS'en ist auch die Festplatten Verschlüsselung aktiv.

Einziges Problem ist heute bei sehr großen Datenmengen, z.B. nach einem Urlaub. Da ist ein backup per Internet nicht möglich.
Mein Plan ist ihnen ein USB stick zugeben, welcher die verschlüsselten Daten der DS enthält und nach dem anstecken and die DS beim nächsten einschalten automatisch die Daten kopiert.
Hier hab ich im Moment Probleme mit RSYNC, bin aber dran.

Was mir bei der TIMEBACKUP methode nicht gefällt ist die Fehlerbehandlung und dabei die Versionskontrolle. Wenn die Verbindung abbricht, muss alles wieder aufgeräumt werden, d.h. das backup muss rückgängig gemacht werden und ggf. neu gestartet werden ansonsten stimmt die Versionsverwaltung nicht. RSYNC macht das nicht von alleine.

 

[wickie833]

Beliebige Einschaltzeit für Backupserver DS109j eingestellt (jeden Montag 3Uhr morgens) und Boot-Skript angelegt:
/usr/syno/etc/rc.d/S99zzbackup.sh auf Backupserver DS109j

#!/bin/sh
if test "$*" = 'start'; then
ssh -i /root/.ssh/backupssh root@DiskStation "/root/backup.sh"
fi

Auf Datenserver DS212+ mittels Datensicherungsassistenten ein Netzwerksicherungs-Protokoll (Synology Server) angelegt mit Namen Backup
und folgendes Skript angefertigt:
/root/backup.sh

#!/bin/ash
clear
/usr/syno/bin/synonetbkp -a "Backup"
/bin/sleep 30
while (ps | grep Backup | grep -v grep)
do
       /bin/sleep 5
done
ssh -i /root/.ssh/backupssh root@DiskStation2 "/sbin/poweroff"
exit

Der Thread ist zwar schon lange tot, aber ich hätte die Backup-Sache genau so angepackt.

Ansich simpel und funktionell und geht auch - nur händisch - weil ->

ich schaff´s einfach nicht die ssh Verbindung _ohne_ der Eingabe des Passwortes zu machen.

Hab schon stundenlang mit den keys usw. gespielt. Geht einfach nicht :-(

Wie hast du es zusammengebracht ?

Hannes

 

[wickie833]

Ok, Entwarnung, hab das automatische ssh login hingebracht.
Man sollte solche Sachen auch nicht um 3 in der Früh übermüdet machen.......

Hannes

 

[wickie833]

Falls nochmals jemand diesen Thread ausgräbt und nach einem passenden Script sucht.

Nachdem o.a. Script bei mir immer ohne das Abwarten des Endes vom Backup durchgelaufen ist habe ich es ein wenig adaptiert und es läuft nun folgendermaßen:

/usr/syno/bin/synonetbkp -a "backup_taeglich_ds-2"
/bin/sleep 60

while [ $(ps w | grep backup_taeglich_ds-2 | grep -v grep|wc -l) -ne 0 ] ; do /bin/sleep 5 ; done

ssh 192.168.1.250 "/sbin/poweroff"
exit

HTH
Hannes

 

[escobaner]

Ich weiß es ist jetzt über ein Jahr später, aber kann mir (Linuxdau) jemand erklären ob es inzwischen möglich ist nach dem Netzwerkbackup die Remote_Synology runterzufahren nach dem Backup?