Ultimate Backup Ultimate Backup

DS213+

Benutzer
Mitglied seit
27. Jun 2013
Beiträge
93
Punkte für Reaktionen
5
Punkte
8
Wird so sein. Auslastung zwischen 50% und 60%. Da ist ein Kern für alle anderen Aufgaben fast frei. Ist mir ganz recht.
 

servilianus

Benutzer
Mitglied seit
26. Dez 2017
Beiträge
898
Punkte für Reaktionen
243
Punkte
63
Hallo Zusammen, eine Frage an die UB-Experten.

Ich lasse mir via UB zur Datensicherung täglich Daten von einem entfernten Server holen/sichern. Seit neustem wird aber im Log des Scripts dieser Fehler angezeigt:

"file has vanished: "/volume1/docker/ecomailz_data1809/hyper/data/index/_3xxs_9.liv" / file has vanished: "/volume1/docker/ecomailz_data1809/hyper/data/index/segments_2dcp". Und : rsync warning: some files vanished before they could be transferred (code 24) at main.c(1898) [generator=3.0.9]
/volume1/docker - RSync-Code 24.

Ich hatte schonmal dieses Problem, jedoch mit anderen Ordnern, irgendwann ging es dann wieder .Kann mir einer sagen, was es mit dieser Fehlermeldung auf sich hat - und wie ich diese abstellen kann?
Danke Euch
 

Fusion

Benutzer
Sehr erfahren
Mitglied seit
06. Apr 2013
Beiträge
14.135
Punkte für Reaktionen
898
Punkte
424
Rsync erstellt zuerst eine Liste aller Dateiänderungen und führt diese dann im zweiten Schritt durch.
Der Fehler sagt nichts, als dass eine zum Transfer markierte Datei zum eigentlichen Transfer Zeitpunkt nicht mehr vorhanden war. Entweder eine temporäre Datei von ecomailz oder direkt/indirekt gelöscht durch Clientinteraktion.

Solange er die Sicherung trotzdem fertig macht finde ich das ok. Andernfalls müsstest du dafür sorgen, dass während der Sicherung keine Schreib/Löschzugriffe stattfinden, oder die Sicherung von einem snapshot machen anstatt vom live-System oder ähnlich.
 

servilianus

Benutzer
Mitglied seit
26. Dez 2017
Beiträge
898
Punkte für Reaktionen
243
Punkte
63
Aha, danke für die Aufklärung. Jetzt wird mir das klarer. Die Sicherung eines Snapshots statt vom Live-System ist natürlich auch eine elegante Möglichkeit. Werde ich testen
 

DS213+

Benutzer
Mitglied seit
27. Jun 2013
Beiträge
93
Punkte für Reaktionen
5
Punkte
8
So das erste Backup ist durch. 700 GB verschlüsselt ca. 13h bei halber Prozessorauslastung + 2,3 TB unverschlüsselt ca. 23h bei voller Prozessorauslastung. Alles problemlos auf einer DS213+. Vielen Dank!
Frage aus Interesse: Ginge das mit einer aktuellen z. B. DS218+ schneller?
 

Fusion

Benutzer
Sehr erfahren
Mitglied seit
06. Apr 2013
Beiträge
14.135
Punkte für Reaktionen
898
Punkte
424
Vielleicht kann ja jemand reale Messwerte beisteuern.
Abgeschätzt hätte ich gesagt wirst du bei unverschlüsselt noch minimal schneller, und bei verschlüsselt wirst du denke noch ein Stück näher an den unverschlüsselten Durchsatz kommen, also vielleicht Richtung 10h für 700GB.
Kann mich jedenfalls nicht entsinnen mal was gesehen zu haben was über ca. 30MB/s pro Thread hinaus gegangen ist.
 

DS213+

Benutzer
Mitglied seit
27. Jun 2013
Beiträge
93
Punkte für Reaktionen
5
Punkte
8
Unverschlüsselt hatte ich die 30 MB/s auch, verschlüsselt ca. 18 MB/s. Wo ich etwas erschrocken war, dass bei "alle Aufträge starten" beide gleichzeitig losgehen. Ich hatte mit nacheinander gerechnet. Habe ich dann gestoppt und noch mal einzeln gestartet.
 

Fusion

Benutzer
Sehr erfahren
Mitglied seit
06. Apr 2013
Beiträge
14.135
Punkte für Reaktionen
898
Punkte
424
Warum, dafür gibt es doch Mehrkernprozessoren, dass man Dinge parallel laufen lassen kann. Ist nur die Frage, ob man die Backups mit möglichst wenig Last laufen haben will oder nicht.
 

DS213+

Benutzer
Mitglied seit
27. Jun 2013
Beiträge
93
Punkte für Reaktionen
5
Punkte
8
Ich dachte wegen der Ordnung im Dateisystem :cool:. Ist ja eine Festplatte und keine SSD. Kann aber ach falsch sein.
 

Huibuu

Benutzer
Mitglied seit
15. Mrz 2015
Beiträge
81
Punkte für Reaktionen
0
Punkte
6
Hey ihr fleißigen Programmierer und Wissenden!
Ich bin gerade in einer Denk/Test/Recherchier-Phase wie ich eine zukünftige Datensicherung übers Internet bewerkstellige.
Dabei wollte ich auch unbedingt mal UB mit einbeziehen, welches ich bereits intern ausprobiert habe. Um nun eine abschließende Entscheidung zwischen HB und UB zu treffen, muss ich euch aber leider mal mit ein paar Fragen belästigen, auch weil mir das Thema Schutz vor Ramsoftware und Datenschutz generell wichtig ist und in die Überlegung einbeziehen werden soll. Ich habe diese 2xx Seiten Thread nicht vollständig gelesen, sondern vieles überflogen. Also seht es mir bitte nach, wenn ihr auf die eine oder andere Frage bereits eingegangen seid. Ich muss mir die Zeit für das Projekt schwer von der Zeit mit der Familie erkaufen.

Ich möchte in zwei Haushalten je eine DS installieren und diese über Kreuz sichern und hier einen möglichst großen Datenschutz haben. Daher sollen die DS auch grundsätzlich nicht selbst im Netz sein oder ansprechbar sein, sondern die Verbindung wird über die Router (VPN) hergestellt. "Onlinedienste" wie Photo oder Filestation werden nicht im Internet verfügbar gemacht.
Das ist die Ausgangslage, nun zu den Fragen :confused:

1. Habt ihr über die Hilfe im Programm selbst und die zwei Tutorials auf Youtube noch weitere Anleitungen oder Hilfen geschrieben?

2. UB funktioniert auch, wenn man die Verbindung zwischen den DS über VPN der Router (FritzBox) herstellt?

3. Kann sich die Ramsoftware über den SSH Zugang auf die zweite DS ausbreiten, weil ja gegenseitige Berechtigung für das „Holen von Daten“ in den DS vorliegen?

4. Wo ist es möglich einzelne Versionen vor dem dauerhaften löschen zu bewahren?

5. Kann die Rotation auch so eingestellt werden wie bei HB (z.B. behalte wenige Versionen von vor einem Jahr, jeden Monat eine aus diesem Jahr, täglich im laufenden Monat)

6. Macht man ein Backup von einem infizierten System (Ramsoftware oder Virus), sind dann auch alle Versionen der Dateien infiziert oder bleiben die „Vorversionen“ davor unberührt?

7. Wenn ich eine Sicherung via externer Festplatte am jeweiligen Backupserver von den UB Daten vornehme, kann ich dann einfach eine 1zu1 Kopie des gesamten Sicherungsordners vornehmen (zur Erhaltung der Versionen) bzw. einzelne Versionsorders den ich sichern möchte? Wie geht ihr da ggf. vor?

8. Wie steht es um die Prüf-/Backupgeschwindigkeit im Vergleich zu HB? Meine DS hat zuletzt bei HB 30min bis zu 2 Std. gebraucht, um Festzustellen, dass sich in einem ca. 1,5 TB Datenbestand nur minimalste Veränderungen ergeben haben?

9. Gibt es Lösungen zur Wiederherstellung des UB, wenn man Veränderungen am Produktiv- oder Backupserver (Tausch Platte oder ganze DS) vornimmt? Kann die Versionierung und der „Job“ als solcher übernommen werden?


Wahrscheinlich erkennt ihr, dass ich nicht vom Fach bin und daher wäre ich um möglichst einfache Begrifflichkeiten dankbar :D

Vorab schon einmal vielen Dank für eure Zeit und eure Antworten
Huibuu


Nachtrag zur Testreihe/ Problem:
Eben wollte ich die von UB gesicherten Daten überprüfen und stelle fest, dass die Versionen, die gestern Abend geschrieben wurden allesamt nicht mehr vorhanden sind. Auch eine eben durchgeführte Sicherung hat die Version zuvor existierende Version gelöscht.
Eine eigentlich automatisch durchzuführende Sicherung heute früh ist ebenfalls nicht durchgeführt worden. Das Problem sitzt natürlich hinter dem PC, aber in den Allgemeinen Einstellung des "Jobs" steht bei Anzahl der Version 200 und der Zeitplan war auf täglich 2h eingestellt!?
Das Proggi will also nicht so wie ich !?
 
Zuletzt bearbeitet:

SynKlaus

Benutzer
Mitglied seit
14. Feb 2013
Beiträge
384
Punkte für Reaktionen
0
Punkte
16
Hallo,

nur kurze Frage. Es gab eine Möglichkeit die SSH-Übertragungsverschlüsselung zu deaktivieren. Dazu musste man manuell im Backup-Script eine Anpassung machen. Ich finde diese Anleitung aber nicht mehr. Kann mir jemand auf die Sprünge helfen? Hintergrund ist, dass ich ein Backup neu anlegen muss und dabei handelt es sich um über 1TB an Daten und da mein Backupziel eine altersschwache DS212+ ist, dauert das mit SSH-Verschlüsselung ansonsten Tage.

Grüße Synklaus
 

SynKlaus

Benutzer
Mitglied seit
14. Feb 2013
Beiträge
384
Punkte für Reaktionen
0
Punkte
16
Habe folgendes hier im Thread gefunden:

"-T -c arcfour -o Compression=no -x"

Ich habe die Parameter mal überprüft und das sollte auch für mich passen. Das sind Parameter für SSH. Nun muss ich nur noch finden, wo ich die am besten im Backup-Script integriere.

Grüße Synklaus
 

Orm Tostesson

Benutzer
Mitglied seit
12. Mai 2020
Beiträge
1
Punkte für Reaktionen
0
Punkte
0
Externes Backup ohne Berechtigung

Hallo,

vielen Dank für die Arbeit an Ultimate Backup. Hat für mich bisher hervorragend funktioniert. Ursprünglich stand ich vor dem Problem, dass ich in meinem Datenbestand noch Dateien von anno 1989 aufwärts habe, die auf damaligen Applerechnern erzeugt wurden und die die unmöglichsten Sonderzeichen in Dateinamen verwenden, außerdem jede Menge Schriftarten, die unbrauchbar werden, wenn die Ressourceforks fehlen. Mit DSM-Bordmitteln war da nichts zu machen. USB-Copy und FM habenn einfach irgendwann mit Fehler abgebrochen. Nach 17h Kopiervorgang... Ich habe es nach einiger Recherche dann mittels manuellem RSync über Terminal von interner Festplatte meines Macs zu gemountetem SMB-Volumen von der DS und --iconv=utf-8-mac,utf-8 -Option doch geschafft, die Daten einwandfrei auf die DS zu bekommen. Über SSH gab es auch hier wieder nur Zeichensalat auf dem Ziel-Volumen. Mittels Ultimate Backup habe ich dann von diesen Daten ein Backup auf Volume 2 erstellt. Das hat auch auf Anhieb einwandfrei und 1:1 geklappt.

Nun aber zum Problem: Ich möchte nun auch ein externes Backup von dem Datenbestand auf Volume 1 erzeugen. Der Inhalt dieses Backup soll auch von OS X lese/schreibbar sein. Hierfür habe ich eine USB-HDD mit HFS+ (ohne Journaling) formatiert. Das Kopieren über das RSync-Script funktioniert auch einwandfrei, nur leider habe ich am Mac keine Zugriffsrechte auf die Ordner. Selbst mit einem User auf meinem Mac, der mit Namen und Passwort identisch zum DSM-Benutzeraccount ist. Gut, ich kann das am Mac korrigieren, in dem ich die Berechtigungen für das Laufwerk ändere. Aber beim nächsten Backup wären die Berechtigungen ja wieder gesetzt, das ist also keine Alternative.
Also was ich möchte ist ein inkrementelles Backup (Datei-Überspringen basiert auf Prüfsumme), Hard- und Symlinks möglichst erhalten, Ausführbarkeit/Ressourceforks erhalten, soweit irgendwie möglich Alles erhalten, AUSSER(!) die Berechtigungen.

Ich habe die Rsync Manpages jetzt bestimmt 20mal gelesen und auch schon im Vorfeld reichlich damit experimentiert, aber aus den Schaltern werde ich nicht so recht schlau. Viele Optionen haben bei mir lokal im Terminal nicht direkt funktioniert, manche scheinen sich gegenseitig auszuschließen etc. Z.B. soll die Option "-a" rlptgoD beeinhalten. Aber was ist mit -u, -c oder -E? Ich würde davon ausgehen, dass die ebenfalls in option -a enthalten sein müssten, weiss es aber nicht. Es hat keinen Unterschied gemacht diese zu setzen oder nicht. Es mag auch daran liegen, dass meine RSync-Version auf dem Mac vom Source kompiliert wurde und ich in Sachen Unix maximal über Basiswissen verfüge...

Bisher hatte ich folgende Schalter in Ultimate Backup (für mein internes Backup) angegeben: -ahRE. Welche Optionen würden zu dem von mir oben beschriebenen Ergebnis führen (also im Prinzip das Selbe OHNE Berechtigungen)? Oder würde es Sinn machen ans Ende des Skriptes irgendwas mit CHOWN manuell rein zu editieren?

Danke schonmal für jegliche Hilfestellung.

P.S: Bin mir bewusst, dass ich bei einem Restore von Extern dann die Berechtigungen verlieren würde, aber das wäre nicht so dramatisch. Wichtig wäre eben auf den Inhalt zugreifen zu können, unabhängig davon wo die ext. Platte angehängt wird.

--
Synology DS 218+, DSM 6.2.3-25423, Ultimate Backup 1.3.4
 

tdse

Benutzer
Mitglied seit
27. Mrz 2018
Beiträge
63
Punkte für Reaktionen
2
Punkte
8
Ich versuche ein Backup von einem Ordner auf einen anderen Ordner, der von der Fritzbox auf die DS gemounted ist, zu erstellen. Neben der Fehlermeldung 23 am Ende (es fehlen 2 Dateien) ist mein Hauptproblem, daß Ultimate Backup immer ein neues Verzeichnis erstellt anstatt das ausgewählte zu nehmen. Der ausgewählte Zielpfad ist /volume1/homes/plex/Backup/Musik, aber der tatsächliche Pfad ist /volume1/homes/plex/Backup/Musik/Musik.

Hier die Zusammenfassung:
Number of files: 10600
Number of files transferred: 9532
Total file size: 189584196426 bytes
Total transferred file size: 189584187822 bytes
Literal data: 189584187822 bytes
Matched data: 0 bytes
File list size: 376904
File list generation time: 0.001 seconds
File list transfer time: 0.000 seconds
Total bytes sent: 189608104359
Total bytes received: 185384

sent 189608104359 bytes received 185384 bytes 12933275.79 bytes/sec
total size is 189584196426 speedup is 1.00
rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1355) [sender=3.0.9]
/volume1/homes/plex/Musik - RSync-Code 23
------------------------------------------------------------------------------------------------
RSync Fehlermeldung (Exit Code): 23
------------------------------------------------------------------------------------------------

RSync-Datensicherung fehlgeschlagen - Sicherungsziel: /volume1/homes/plex/Backup/Musik
------------------------------------------------------------------------------------------------

Was mache ich falsch oder wie kann ich mein Ziel erreichen, ein Backup eines Ordners auf einen gemounteten Ordner zu erstellen?
 

918dub

Gesperrt
Mitglied seit
27. Mai 2020
Beiträge
1
Punkte für Reaktionen
0
Punkte
0
Ich möchte mit Ultimate Backup verschlüsselte Quell-Ordner sichern. Kann mir jemand auf die Sprünge helfen? Ich dachte ich hab gelesen, das sei möglich, jedoch finde ich in der Hilfe und im GUI keine weiteren Hinweise darauf. Gibts denn die Möglichkeit auch ein Script vor und/oder nach dem eigentlichen Backup-Script zu triggern? So könnte ich die entsprechenden Encrypted-Folders von meinem Backup-NAS auf dem Quell-NAS unverschlüsselt mounten.

Danke für jeden Hinweis zu diesem Thema!
 

Ha34Meiner

Benutzer
Mitglied seit
28. Dez 2012
Beiträge
568
Punkte für Reaktionen
11
Punkte
44
Ich nun auch mal wieder ;-) Dachte ich wüßte alles.

Ich habe bis jetzt immer eine Backup Festplatte auf der Arbeit gelagert und nun dachte ich: Hey, was passiert, wenn ich tödlich verunglücke...? Dann kommen ja alle an meine Daten ;-)

Nun wollte ich also mein Backup zum ersten mal verschlüsseln. Dies funktioniert leider nicht. Ich bekomme immer einen 35 MB Bericht mit dem Hinweis
error (5)
rsync: failed to set times on
"/volumeUSB1/usbshare/BackupDS/volume1/...

Input/output error (5)
rsync: failed to set times on

Was müssen wir hier einstellen?

backup.jpg
 

PsychoHH

Benutzer
Mitglied seit
03. Jul 2013
Beiträge
2.967
Punkte für Reaktionen
4
Punkte
78
Was für ein Dateiformat nutzt du auf der externen?
 

Ha34Meiner

Benutzer
Mitglied seit
28. Dez 2012
Beiträge
568
Punkte für Reaktionen
11
Punkte
44
Das sage ich jetzt nicht ;-)) Das ist sicher der Fehler..... *LACH*

NTFS weil es eine 2 TB Festplatte ist...
 

Toby-ch

Benutzer
Mitglied seit
02. Okt 2013
Beiträge
436
Punkte für Reaktionen
17
Punkte
18
Syripte einfügen

Hallo zusammen

Ich hatte eine DS 1815+ & DX513( Vol9) Dies wich nun einer DS1819+ Leider ohne DX513 die hängt jetzt an der DS1618+.

Nun habe ich ja noch backup Scripte die ich gerne wieder beleben möchte, wie kann ich die wieder einfügen?

Auf der DS1819+ sind sie im Zeitplaner noch vorhanden, jedoch stimmt der Pfad nicht mehr. Volumen9 hängt jetzt an der DS1618+
Bildschirmfoto 2020-06-17 um 19.19.11.png

Besten dank

hat sich erledigt ich hab es gefunden
:cool:
 

PsychoHH

Benutzer
Mitglied seit
03. Jul 2013
Beiträge
2.967
Punkte für Reaktionen
4
Punkte
78


 

Kaffeautomat

Wenn du das Forum hilfreich findest oder uns unterstützen möchtest, dann gib uns doch einfach einen Kaffee aus.

Als Dankeschön schalten wir deinen Account werbefrei.

:coffee:

Hier gehts zum Kaffeeautomat