Network Backup inklusive Shutdown

Status
Für weitere Antworten geschlossen.

jahlives

Benutzer
Mitglied seit
19. Aug 2008
Beiträge
18.275
Punkte für Reaktionen
4
Punkte
0

MattDS

Benutzer
Mitglied seit
06. Jan 2012
Beiträge
207
Punkte für Reaktionen
16
Punkte
24
wäre nett :D

rsync zeigt eine Übertragungsrate von 2.123MB/s an. meine vermutung war (hat sich leider als falsch herrausgestellt)
das dass trennzeichen (".") um eine stelle verrückt ist, also die übertragungsgeschwindigkeit 21.23MB/s entspricht.

jetzt habe ich den ssh tunnel eliminiert und trotzdem nur rund 1-4mb/s, das kann doch nicht alles sein. :?

beide DS hängen am selben cisco 1gbit switch.
 

jahlives

Benutzer
Mitglied seit
19. Aug 2008
Beiträge
18.275
Punkte für Reaktionen
4
Punkte
0
rsync ist darauf optimiert möglichst wenig Netzwerktraffic zu erzeugen. Wenn es bei mir sehr schnell geht komme ich auf gut 8 MByte/s mit rsync resp rsnapshot (via ssh Tunnel) und mein Netzwerk ist auch GBit
 

MattDS

Benutzer
Mitglied seit
06. Jan 2012
Beiträge
207
Punkte für Reaktionen
16
Punkte
24
8mb/s via shh ist ja schon ne andere aussage als im schnitt 2mb/s ohne ssh.
habe halt auch das gefühl das es via syno backupjobs (siehe v2) wesentlich schneller von statten geht.
 

MattDS

Benutzer
Mitglied seit
06. Jan 2012
Beiträge
207
Punkte für Reaktionen
16
Punkte
24
beobachtung:

mp3 ordner -> 11.91M bytes/sec
(3-10mb/file)

alle anderen ordner -> 2.63M bytes/sec
(dokumente und andere kleine dateien)

mkvs -> 2.8M bytes/sec
(300-5000mb/file)

eigentlich hätte ich bei den mkvs mindestens die gleiche rate wie bei den mp3s erwartet,
oder bin ich da auf dem falschen dampfer?
 

jahlives

Benutzer
Mitglied seit
19. Aug 2008
Beiträge
18.275
Punkte für Reaktionen
4
Punkte
0
ich vermute mal dir spielt möglicherweise das Caching einen Streich. Die MP3 sind ja relativ klein, die kann man serverseitig gut cachen (d.h. vorauslesen und im RAM ablegen). Bei den mkv reicht jedoch der RAM niemals um eine komplette Datei zu cachen. U.U. muss der Server bei so grossen Files sogar swappen d.h. auf die Platten schreiben.
Grundsätzlich wird eigentlich immer empfohlen für Speedtest eine Datei zu nehmen die mindestens 2-fache RAM Grösse hat. Dann kann man diese Cache Faktoren eher ausschliessen
 

MattDS

Benutzer
Mitglied seit
06. Jan 2012
Beiträge
207
Punkte für Reaktionen
16
Punkte
24
wieder etwas gelernt, danke. :)
 

jahlives

Benutzer
Mitglied seit
19. Aug 2008
Beiträge
18.275
Punkte für Reaktionen
4
Punkte
0
wie gesagt, ich vermute nur, dass dies bei dir reinspielt :)
Du könntest mal den rsync Faktor ausklammern und z.B. ftp (gibt ftp Clients bei ipkg) testen. Dann mit ftp mal das genau gleiche machen, einmal mp3s und einmal mkvs übertragen. ftp müsste so ziemlich das letzte rausquetschen können ;-)
 

MattDS

Benutzer
Mitglied seit
06. Jan 2012
Beiträge
207
Punkte für Reaktionen
16
Punkte
24
mal schauen, heute abend wird wieder getüftelt.
 

claas

Benutzer
Mitglied seit
07. Jan 2010
Beiträge
629
Punkte für Reaktionen
0
Punkte
0
Hallo,

ich suche derzeit nach einer Lösung für die gleiche Idee.

Meine erste Idee sieht so aus:

Haupt-DS läuft 24/365
Backup-DS fährt sich per DSM-Zeitplan hoch.
Haupt-DS macht per dazu passendem Zeitplan ein Netzwerkbackup.
Der Advanced Power Manager fährt die Backup-DS runter, wenn der Traffic-Threshold unterschritten wird.

Hattest du dir vor dem Skripten mal überlegt das so zu lösen?
Spricht was dagegen?

Gruss

Claas
 

MattDS

Benutzer
Mitglied seit
06. Jan 2012
Beiträge
207
Punkte für Reaktionen
16
Punkte
24
Das ist ja im Prinzip wie ich vorgehe, ausser das die Haupt DS die backup DS gezielt nach dem Prozess herunter fährt.
Hatt den Vorteil das ich weiß das alle Jobs vorrüber sind.
 

claas

Benutzer
Mitglied seit
07. Jan 2010
Beiträge
629
Punkte für Reaktionen
0
Punkte
0
Warum nutzt du explizit das ipkg rsync anstatt des Syno-eigenen Backupjobs (der ja im Hintergrund AFAIK auch rsync nutzt)?
 

MattDS

Benutzer
Mitglied seit
06. Jan 2012
Beiträge
207
Punkte für Reaktionen
16
Punkte
24
Weil ich lieber die komplette Kontrolle haben möchte,
ursprünglich habe ich ja mit den Syno Backup jobs gearbeitet.

Das anlegen neuer RSYNC targets ist nicht besonders aufwendig,
eine anpassung des scriptes ebenso wenig. Sehe da im Moment
keinen Vorteil die Sync jobs zu benutzen.

Das ich via IPKG rsync nochmals installiert habe liegt an einem Informationsschnippsel
den ich hier irgendwo gelesen habe. Allerdings bin ich mir nicht sicher ob dies
nun mein Problem gelöst hat oder nicht. Ist möglich das es auch mit dem
mitgelieferten RSYNC funktioniert.

Im moment läuft die letzte Version jetzt im Testbetrieb und soweit scheint alles
rund zu laufen. Wenn ich auf den produktiven Einsatz umgestellt habe, gibt es wieder
feedback. :)
 

mehldutt

Benutzer
Mitglied seit
16. Mai 2012
Beiträge
8
Punkte für Reaktionen
0
Punkte
1
Hallo Leute,
habe alles aufmerksam mitverfolgt und mit einer kleinen Abwandlung für mich nutzen können.

Hier mein Plan:
- Backupserver DS109j startet 1x die Woche beim Hochfahren das Backup auf Datenserver DS 212+(WOL)
- Datenserver DS212+ schaltet Backupserver DS109j wieder aus.

Beliebige Einschaltzeit für Backupserver DS109j eingestellt (jeden Montag 3Uhr morgens) und Boot-Skript angelegt:
/usr/syno/etc/rc.d/S99zzbackup.sh auf Backupserver DS109j
Rich (BBCode):
#!/bin/sh
if test "$*" = 'start'; then
ssh -i /root/.ssh/backupssh root@DiskStation "/root/backup.sh"
fi

Auf Datenserver DS212+ mittels Datensicherungsassistenten ein Netzwerksicherungs-Protokoll (Synology Server) angelegt mit Namen Backup
und folgendes Skript angefertigt:
/root/backup.sh
Rich (BBCode):
#!/bin/ash
clear
/usr/syno/bin/synonetbkp -a "Backup"
/bin/sleep 30
while (ps | grep Backup | grep -v grep)
do
       /bin/sleep 5
done
ssh -i /root/.ssh/backupssh root@DiskStation2 "/sbin/poweroff"
exit

Vielleicht konnte ich jemanden helfen.
 

MattDS

Benutzer
Mitglied seit
06. Jan 2012
Beiträge
207
Punkte für Reaktionen
16
Punkte
24
Mit dieser Idee habe ich auch gespielt :)
 

eedukl

Benutzer
Mitglied seit
24. Sep 2010
Beiträge
7
Punkte für Reaktionen
0
Punkte
1
Hallo alle zusammen,

ich will mal mein Backup system beschreiben, läuft seit einem Jahr. Es ist ähnlich zu dem bereits beschriebenen.

Ich habe bei mir zu Hause einen Linux server mit UBUNTU, welcher immer läuft (gleichzeitig mail und webserver). Bei zwei Freunden steht jeweils eine DS109j, welche ausser zur backup zeit immer aus sind.
Statt dem Linux server kann auch jedes NAS (auch DSx) mit SSH zugang genommen werden.

jede Nacht starten die beiden DS109 zu verschieden Zeiten (einstellbar) verbinden sich durch DYNDNS und SSH mit meiner DS212 bei mir zu hause.
Die Backup DS109 starte dann ein RSYNC script und holt alle geänderten files von der DS212+ (bei mir zu Hause) ab.
Desweiteren macht das script jeweils eine kopie und syncs mit HARDLINKS, so dass ich eine versionskontrolle habe.
Durch die HARDLINKS ist kaum zusätzlicher Festplattenspeicher nötig und ich habe alle meine Files der letzten Tage/Wochen/Monaten im Fall der Fälle.
Wenn alles fertig, schaltet sich die Backmaschine wieder selbstständig aus.

Dadurch ist der Strombedarf bei meinen Freunden gering und durch das verfahren via DYNDNS und das die entfernte DS selbstständig started sind keine Änderungen am Netzwerk meiner Freunde nötig.

Der Hauptgrund warum ich es mit externen DS's mache, ist dass falls bei mir etwas passiert (Feuer/Wasser(Einbruch), meine Daten an einem anderen Ort gespeichert sind.
Bei den DS'en ist auch die Festplatten Verschlüsselung aktiv.

Einziges Problem ist heute bei sehr großen Datenmengen, z.B. nach einem Urlaub. Da ist ein backup per Internet nicht möglich.
Mein Plan ist ihnen ein USB stick zugeben, welcher die verschlüsselten Daten der DS enthält und nach dem anstecken and die DS beim nächsten einschalten automatisch die Daten kopiert.
Hier hab ich im Moment Probleme mit RSYNC, bin aber dran.

Was mir bei der TIMEBACKUP methode nicht gefällt ist die Fehlerbehandlung und dabei die Versionskontrolle. Wenn die Verbindung abbricht, muss alles wieder aufgeräumt werden, d.h. das backup muss rückgängig gemacht werden und ggf. neu gestartet werden ansonsten stimmt die Versionsverwaltung nicht. RSYNC macht das nicht von alleine.
 

wickie833

Benutzer
Mitglied seit
01. Sep 2012
Beiträge
134
Punkte für Reaktionen
3
Punkte
24
Beliebige Einschaltzeit für Backupserver DS109j eingestellt (jeden Montag 3Uhr morgens) und Boot-Skript angelegt:
/usr/syno/etc/rc.d/S99zzbackup.sh auf Backupserver DS109j
Rich (BBCode):
#!/bin/sh
if test "$*" = 'start'; then
ssh -i /root/.ssh/backupssh root@DiskStation "/root/backup.sh"
fi

Auf Datenserver DS212+ mittels Datensicherungsassistenten ein Netzwerksicherungs-Protokoll (Synology Server) angelegt mit Namen Backup
und folgendes Skript angefertigt:
/root/backup.sh
Rich (BBCode):
#!/bin/ash
clear
/usr/syno/bin/synonetbkp -a "Backup"
/bin/sleep 30
while (ps | grep Backup | grep -v grep)
do
       /bin/sleep 5
done
ssh -i /root/.ssh/backupssh root@DiskStation2 "/sbin/poweroff"
exit

Der Thread ist zwar schon lange tot, aber ich hätte die Backup-Sache genau so angepackt.

Ansich simpel und funktionell und geht auch - nur händisch - weil ->

ich schaff´s einfach nicht die ssh Verbindung _ohne_ der Eingabe des Passwortes zu machen.

Hab schon stundenlang mit den keys usw. gespielt. Geht einfach nicht :-(

Wie hast du es zusammengebracht ?

Hannes
 

wickie833

Benutzer
Mitglied seit
01. Sep 2012
Beiträge
134
Punkte für Reaktionen
3
Punkte
24
Ok, Entwarnung, hab das automatische ssh login hingebracht.
Man sollte solche Sachen auch nicht um 3 in der Früh übermüdet machen.......

Hannes
 

wickie833

Benutzer
Mitglied seit
01. Sep 2012
Beiträge
134
Punkte für Reaktionen
3
Punkte
24
Falls nochmals jemand diesen Thread ausgräbt und nach einem passenden Script sucht.

Nachdem o.a. Script bei mir immer ohne das Abwarten des Endes vom Backup durchgelaufen ist habe ich es ein wenig adaptiert und es läuft nun folgendermaßen:

/usr/syno/bin/synonetbkp -a "backup_taeglich_ds-2"
/bin/sleep 60

while [ $(ps w | grep backup_taeglich_ds-2 | grep -v grep|wc -l) -ne 0 ] ; do /bin/sleep 5 ; done

ssh 192.168.1.250 "/sbin/poweroff"
exit

HTH
Hannes
 

escobaner

Benutzer
Mitglied seit
13. Okt 2011
Beiträge
116
Punkte für Reaktionen
0
Punkte
16
Ich weiß es ist jetzt über ein Jahr später, aber kann mir (Linuxdau) jemand erklären ob es inzwischen möglich ist nach dem Netzwerkbackup die Remote_Synology runterzufahren nach dem Backup?
 
Status
Für weitere Antworten geschlossen.
 

Kaffeautomat

Wenn du das Forum hilfreich findest oder uns unterstützen möchtest, dann gib uns doch einfach einen Kaffee aus.

Als Dankeschön schalten wir deinen Account werbefrei.

:coffee:

Hier gehts zum Kaffeeautomat