Ultimate Backup Ultimate Backup

[Thonav]

************************* Ultimate Backup...nun auch in Englisch! **********************************

************************* HIER KÖNNTE IHRE WERBUNG STEHEN!!*********************************

Ich finde Euch Klasse, Jungs!!

 

[PsychoHH]

Echt so geil

Du könntest dir ja noch Werbung aufs Auto drucken

 

[TeXniXo]

Immer diese falsche Bescheidenheit von Tommes & PsychoHH ...
Aber ich respektiere und bewundere euch!

 

[Tommes]

... siehst du, das waren schon wieder zwei... nein drei Schulterklopfer.

 

[Thonav]

Brrrrrrrrrummmm Bruuuuuuuummmmm

 

[Tommes]

No comment! Und jetzt bitte wieder back to basic... !

 

[AndiHeitzer]

... back to basic ...

                       _____________________________________________________
                      |                                                     |
             _______  |                  ,-----------------.                |
            / _____ | |                  | U L T I M A T E |                |
           / /     || |                  |   B A C K U P   |                |
  ________/ /      || |                  `-----------------´                |
 |         |-------|| |                                                     |
(|         |     -.|| |_______________________                              |
 |  ____   \       ||_________||____________  |             ____      ____  |
/| / __ \   |______||     / __ \   / __ \   | |            / __ \    / __ \ |\
\|| /  \ |_______________| /  \ |_| /  \ |__| |___________| /  \ |__| /  \|_|/
   | () |                 | () |   | () |                  | () |    | () |
    \__/                   \__/     \__/                    \__/      \__/

Genau, Basic und nicht irgendwelche Farbgrafiken

Axo, noch die Quellenangabe ...
https://www.ascii-code.com/ascii-art/vehicles/trucks.php

 

[PsychoHH]

Haha Leute

Die Release Notes vom nächsten Updaten werden ungefähr so lang.

 

[XerXes777]

Okay dann hier noch ein Schulterklopfer !!!
Durch euer Script habe ich die Möglichkeit ein filebasiertes Backup zu bekommen.
Auf meine 2 USB Festplatten. Die Dateieigentümer werden mit übernommen.
Und es wird das Quellverzeichniss mit dem Zielververzeichniss verglichen ---> inkrementales Backup !!!
Solte das Zielverzeichniss eine Datei haben die im Quellverzeichniss nicht mehr vorhanden ist, habe ich noch die möglichkeit die Datei über x Tage zu behalten.
Das was wir mit HyperBackup Lokale/Remote Datenkopie nicht haben !

Danke für dieses Script !!!

 

[XerXes777]

Ich habe mal eine frage.

Ist es notwendig das Paket "Perl" zu installieren ?
Wenn man euer Script mit autorun verwendet.

Weil mit autorun die DSM Konfig nicht gesichert wurden ist ?

Nachdem ich euer Script manuell über UltimateBackup gestertet habe wurde prompt die DSM Konfig mitgesichert.

Habe ich da irgendwas überlesen ?

EDIT:
Selbst wenn ich das autorun Script auf root:root änder, wird keine DSM Konfig gesichert.

EDIT2:
Habe mit Windows und Paragon ExtFS mal die Festplatten an mein Laptop angeschlossen.
Festplatte ist über DSM EXT4 formatiert !
Und mal die Dateien durchstöbert. Habe mal die Festplatte Überprüfen lassen ohne diese zu reparieren !
Das Ergebnis war ********** WARNING: Filesystem still has errors **********

Das volle LOG ist im Anhang.
Ich habe diese Datensicherung über autorun gemacht.
Die erste Datensicherung war gestern über NACHT.
Und heute noch 2-3 x weil die DSM Konfig nicht gesichert wurden ist zum testen.

 

[dil88]

Ja, autorun erfordert m.E. das Paket Perl.

 

[PsychoHH]

Mal auf das nächste Update warten

Du hast aber wohl Probleme mit dem Filesystem. Ist das log aus dem Paket autorun oder hast du das selbst erstellt? Und soll das von der externen Platte sein?

 

[XerXes777]

Deswegen habe ich jetzt beide Platten noch mal über DSM Formatiert in EXT4.
Und mache nun über Nacht beide Backups nochmal nur Manuell über UltimateBackup.
Nein der LOG habe ich von dem Programm Paragon ExtFS für Windows.
Das ist halt nur so, das das Backup gerstern komplett frisch angelegt wurden ist.
Und ja das ist von der externen Platte.

 

[PsychoHH]

Tommes gibt einen Ausblick auf das zukünftige Update und es werden dort sicher noch Video FAQs geben:
check it out:
http://www.synology-forum.de/showthread.html?89851-Ultimate-Backup-The-YouTube-Video-FAQ

 

[reiki]

Mal auf das nächste Update warten ......

Gibt´s das (im Video avisierte) Update als "Weihnachtsgeschenk ? Oder seid ihr noch nicht so weit ?

Warte schon ungeduldig.

 

[Tommes]

Wie ich im Video bereits sagte, befinden wir uns bereits auf der Zielgraden und sind guter Dinge, bald fertig zu werden. Definitiv noch dieses Jahr, wann genau wissen wir aber selber noch nicht. Wir opfern aktuell bereits sehr viel Zeit für die Fertigstellung haben aber noch kleinere Baustelle abzuarbeiten. Es soll ja so ausgereift wie möglich an den Start gehen. Daher bitten wir euch noch um ein wenig Geduld.

Tommes

 

[reiki]

Liest sich prima. Danke.

 

[Oceanwaves]

Kleines Speedup für Ultimate Backup

Moin! Ich mochte ja Time Backup und konnte mich mit HyperBackup nie anfreunden, weil es für meine DS214play einfach zu ressourcenhungrig war. Inzwischen ist die 214 nur noch Backup-Gerät und primäres NAS ist jetzt eine DS918+ . Auch in der Kombination ist HyperBackup einfach ziemlich träge. Deshalb nutze ich weiter Ultimate Backup, sichere aber nicht mehr auf eine USB-Platte, sondern, wie gesagt, auf die DS214play. Die wird nachts per WOL von der 918 geweckt und nach dem Backup wieder herunter gefahren.

So weit, so schön. Was mich etwas störte, war, dass trotz Gigabit auf beiden Systemen und Gigabit-Switch dazwischen auch größere Dateien (z.B. Videos mit 1-6 GB Größe) nur mit mageren 16 MB/s übertragen werden. Also habe ich mal ein bisschen geforscht (aka gegoogelt) und eine Möglichkeit gefunden, den Durchsatz hier zumindest auf ca. 34 MB/s zu steigern. Kein Quantensprung, aber immerhin eine gute Verdoppelung.

Eine der Ursachen für die schlechte Performance bei rsync von NAS zu NAS dürfte sein, dass rsync ssh nutzt und die Verbindung somit stark verschlüsselt ist. Und die Verschlüsselung kostet leider viel CPU-Ressourcen. Was tun? Da ich im LAN sichere, bot sich an, die Verschlüsselung zu vereinfachen. Weniger CPU-hungrig ist z.B. arcfour128. Außerdem muss nicht zwingend komprimiert werden, bei bereits komprimierten Dateien bringt das eh nichts.

Also muss man rsync anweisen, ssh mit einfacherer Verschlüsselung und ohne Komprimierung zu nutzen. Dies geht über die rsync-Optionen

-e "ssh -T -c arcfour128 -o Compression=no -x"

Diese Optionen weisen rsync an, für die Übertragung ssh mit folgenden Parametern zu nutzen:

-T: schalte Pseudo-TTY ab um die CPU-Last auf dem Ziel-NAS zu reduzieren
-c arcfour128: nutze die schwächste, aber schnellste SSH-Verschlüsselung
-o Compression=no: Deaktiviere die SSH-Komprimierung
-x: deaktiviere X-Forwarding, falls es aktiv sein sollte

Die arcfour-Verschlüsselung ist normalerweise nicht aktiv. Um sie verfügbar zu machen, muss sie auf beiden Systemen aktiviert werden. Dies geht über Systemsteuerung > Terminal & SNMP > Erweiterte Einstellungen (unter "SSH-Dienst aktivieren") > Anpassen > Häckchen bei arcfour128 setzen.

Es sollte nicht verschwiegen werden, dass arcfour128 nicht die sicherste Verschlüsselung ist. Aber da die Daten mein LAN nicht verlassen, sehe ich hier keine allzu großen Probleme.

Damit auch Ultimate Backup diese Optionen nutzt, muss leider der Source-Code in einer Zeile angepasst werden. Da UB intern selbst auch die rsync-Option "-e 'ssh ...'" verwendet, kann man obige Optionen leider nicht beim Einrichten des Tasks (Parameter "syncopt=") angeben. rsync mag es nicht, wenn "-e 'ssh...'" 2x angegeben wird.

Also muss man sich im erstellten Skript die Zeile

rsync="ssh -p $rsync_port -l $ssh_user -oStrictHostKeyChecking=no"

suchen (bei mir in V1.1.0 ist das in Zeile 523) und sie wie folgt erweitern:

rsync="ssh -p $rsync_port -l $ssh_user -oStrictHostKeyChecking=no -T -c arcfour128 -o Compression=no -x"

Diese Änderung dürfte also kein UB-Update überleben!

Zum Vergleich mal 2 Logsauszüge mit und ohne Option. Übertragen wurden in beiden Fällen Video-Dateien:

Standard-Version:

sent 2.61G bytes received 253 bytes 15.58M bytes/sec
total size is 2177.10G speedup is 834.09

Mit arcfour128-Verschlüsselung:

sent 6.14G bytes received 246 bytes 33.46M bytes/sec
total size is 2177.10G speedup is 354.53

Noch bessere Werte (ca. 44 MB/s) habe ich erreicht, wenn rsync an einen rsync-Daemon auf dem Ziel-NAS sendet (an das Modul NetBackup, das in /etc/rsyncd.conf konfiguriert werden muss). In diesem Fall nutzt rsync keinerlei Verschlüsselung. Dafür wären aber vermutlich größere Änderungen in UB erforderlich.

Wer auf die Komprimierung nicht verzichten möchte, rsync aber davon abhalten möchte, bereits komprimierte Dateien wie MP3, MP4, MKV etc. noch einmal zu komprimieren, der könnte folgende Option nutzen:

RSYNC_SKIP_COMPRESS=3fr/3g2/3gp/3gpp/7z/aac/ace/amr/apk/appx/appxbundle/arc/arj/arw/asf/avi/bz2/cab/cr2/crypt[5678]/dat/dcr/deb/dmg/drc/ear/erf/flac/flv/gif/gpg/gz/iiq/iso/jar/jp2/jpeg/jpg/k25/kdc/lz/lzma/lzo/m4[apv]/mef/mkv/mos/mov/mp[34]/mpeg/mp[gv]/msi/nef/oga/ogg/ogv/opus/orf/pef/png/qt/rar/rpm/rw2/rzip/s7z/sfx/sr2/srf/svgz/t[gb]z/tlz/txz/vob/wim/wma/wmv/xz/zip
rsync --skip-compress=$RSYNC_SKIP_COMPRESS .....

Gruß,
Oliver

 

[Ramihyn]

Geile Sache, @Oceanwaves. Habs direkt bei mir ebenfalls integriert. In den meisten Fällen limitiert bei mir zwar die Powerline-Verbindung zwischen den beiden DS, aber gelegentlich ist die Leitung doch mal ausreichend fix, da hilft das.

 

[dil88]

Sehr schön, Oliver, vielen Dank für die detaillierten Informationen!