Less bootups when scheduling backups

[globetrotter75]

Hello,

the real setup is more complicated but let's assume the following:
- Synology Main to Synology Back backup via Hyperbackup
- shared folders W1 and W2, should be backed up weekly, into resp. folders WB1 and WB2 on Back
- shared folder M, should be backed up monthly, into folder MB on Back
- Back should only boot weekly

What I have tried is too schedule, e.g.
- W1,W2 every Saturday
- M, well, I wanted every first Saturday, but that is not offered by Hyperbackup schedule.

Option 1: schedule backup of W1,W2 four times a month, for example on 1st, 8th, 15th, and 22nd each month.

Problem: unsure if Hyperbackup will be consistent when 4 backup tasks write into the same location.

Option 2: completely change the strategy. One task to backup W1+W2+M and three tasks for W1+W2 into new folders on Back.

Problem: I lose the option to backup individual shared folders, I have to again backup 10TB, weekly data backedup up twice. Not a solution for me.

Option 3: remove the scheduling inside Hyperbackup and instead schedule the tasks via system task scheduler, which can do what I want.

Problem: will this confuse the settings in Hyperbackup? Will W1 and W2 correctly run after each other when scheduled at the same time in two tasks?

Looks like the best option nevertheless.

Option 4: use scripting and system task scheduler.

What do you think? Thanks s lot.

 

[plang.pl]

Warum auf einmal auf Englisch?

 

[globetrotter75]

Sorry, hatte angefangen auf Englisch zu schreiben und später erst bemerkt. Ich werde morgen nochmals alles übersetzen.

 

[ottosykora]

Problem: unsure if Hyperbackup will be consistent when 4 backup tasks write into the same location.

man kann nur ein Backup in einen Backup File schreiben. Das dient der Sicherheit des Backups.

Option 2: completely change the strategy. One task to backup W1+W2+M and three tasks for W1+W2 into new folders on Back.

jeder Task hat sein eigens Ziel, sei es ein .hbk File oder ein Ordner im Fall von 'Einzel' oder Klartext Backup

Problem: I lose the option to backup individual shared folders, I have to again backup 10TB, weekly data backedup up twice. Not a solution for me.

sehe nicht was du da verlieren sollst, sicher kann man auch für einzelne Ordner Backup machen

Option 3: remove the scheduling inside Hyperbackup and instead schedule the tasks via system task scheduler, which can do what I want.

warum das? die Backup Tasks werden jeder einzeln ohnehin in den System Taks Scheduler eingetragen

What do you think?

dass du vermutlich noch gar kein Backup erstellt hast oder es gar noch nicht einmal versuchst hast und suchst Probleme die es gar nicht gibt.

vielleicht etwas Anleitungen kurz durchblätern
https://kb.synology.com/de-de/DSM/help/HyperBackup/BackupApp_desc?version=7

 

[globetrotter75]

Hallo, nun mit mehr Kontext und auf Deutsch.

Kontext:
-meine Sicherung läuft nun seit Monaten problemlos, jedoch startet mein Backup-NAS 8-9x im Monat. Ich möchte die Zeiten so einstellen dass das Backup-NAS möglichst selten bootet. Start läuft über Wake up on LAN mit einem "Magicpaket".
- Es geht um ein Dutzend freigegebe Ordner. Die Hälfte klein mit vielen neuen Daten und die andere Hälfte groß-riesig wo viele der Daten nur einmal geschrieben werden. Beispiel: Daten landen über Syncthing vom Handy im freig. Ordner Pixel und werden dann teilautomatisiert in den freig. Ordner Pictures umsortiert. Alle freig. Ordner sollen wie bisher gesichert werden. Die kleinen wöchentlich, die großen monatlich.
- Aktuelle Datenmenge 10TB.
- Hauptsystem DS424+, Backup-NAS DS413, jeweils 4x14TB

Für die Diskussion können wir es vereinfachen. Nehmen wir an, folgendes ist gegeben:
- Synology Main führt über Hyperbackup ein Backup auf Synology Back durch.
- Freigegebene Ordner W1 und W2 sollen wöchentlich in die entsprechenden Ordner WB1 und WB2 auf Back gesichert werden.
- Freigegebener Ordner M soll monatlich in den Ordner MB auf Back gesichert werden.
- Back sollte nur wöchentlich gestartet werden.

Was ich versucht habe, ist, z. B.
- W1, W2 jeden Samstag
- M, nun, ich wollte jeden ersten Samstag, aber das wird von Hyperbackup nicht angeboten.

Option 1: Planung des Backups von W1, W2 viermal im Monat, zum Beispiel am 1., 8., 15. und 22. jedes Monats.

Problem: Unsicher, ob Hyperbackup konsistent ist, wenn 4 Backup-Aufgaben ins selbe Ziel schreiben.

Option 2: Die Strategie komplett ändern. Eine Aufgabe für das Backup von W1+W2+M und drei Aufgaben für W1+W2 in neuen Ordnern auf Back.

Problem: Ich verliere die Möglichkeit, einzelne freigegebene Ordner zu sichern, ich müsste nochmal einmalig 10 TB Daten sichern, durch das Setup würde ich W1,W2 doppelt sichern. Keine Lösung für mich.

Option 3: Die Planung innerhalb von Hyperbackup entfernen und stattdessen die Aufgaben über den System-Aufgabenplaner planen, der tun kann, was ich möchte.

Problem: Verwirrt das die Einstellungen in Hyperbackup? Werden W1 und W2 korrekt nacheinander ausgeführt, wenn sie zur gleichen Zeit in zwei Aufgaben geplant sind?

Sieht trotzdem wie die beste Option aus.

Option 4: Verwendung von Skripten und dem System-Aufgabenplaner.

Was denkt ihr? Vielen Dank.

 

[globetrotter75]

Vielen Dank, @ottosykora .
Deine Hinweise bestätigen mein Problem.

a) Jedes Ziel kann nur von einer Aufgabe beschrieben werden.
b) Eine Aufgabe kann mehrere Quellen auch in mehrere Ziele schreiben, das ist mir tatsächlich neu. Hilft aber wohl auch nicht mein Problem zu lösen.

Somit fallen die Optionen 1 und 2 weg.

Ich habe das Problem, dass ich ja folgendes erreichen möchte:
- W1 und W2 wöchentlich, M monatlich jedoch am gleichen Tag wie eine der W1,W2 Sicherungen. Hyperbackup kann das nicht.

Option 3 könnte klappen ist aber sehr unsauber und könnte Hyperbackup durcheinander bringen.

 

[ottosykora]

a) Jedes Ziel kann nur von einer Aufgabe beschrieben werden.

genau so ist es un des muss genau nacheinander passieren, die Backups werden intern gezählt

b) Eine Aufgabe kann mehrere Quellen auch in mehrere Ziele schreiben,

in einer Aufgabe können mehrere QuellOrdner ausgewählt werden, aber es kann nur ein Ziel verwendet werden
Soll das gleiche in ein anderes Ziel geschrieben werden, muss neue Aufgabe erstellt werden

Ich habe das Problem, dass ich ja folgendes erreichen möchte:
- W1 und W2 wöchentlich, M monatlich jedoch am gleichen Tag wie eine der W1,W2 Sicherungen. Hyperbackup kann das nicht.

keine Ahnung was du da meinst, wir machen es bei unseren Aussenbüros auch, daily, weekly, monthly, so wie man es halt vor Jahrzehnten gemacht hat

Option 3 könnte klappen ist aber sehr unsauber und könnte Hyperbackup durcheinander bringen.

verstehe nicht warum du etwas erfinden willst was schon erfunden wurde
Die Tasks von Hyperbackup werden automatisch in die Liste der Cronjobs eingefügt.


mach lieber vernünftige Anzahl von Versionen, dazu etwas an Snapshots, bei DSM7.2 gibt es nun diese unveränderbaren Snapshots und alles ist erledigt

Wichtig vielleicht: wissen wie du bei Bedarf einen Restore machen kannst, vielleicht mal ausprobieren


Warum du so auf das minimale booten aus bist ist mir jedoch nicht klar. Also was für ein Unterschied soll es geben ob die Platten 6 oder 8 mal starten ist kaum ein Unterschied.

 

[plang.pl]

Jedes Ziel kann nur von einer Aufgabe beschrieben werden.

Naja, kommt auf die Definition von Ziel an. Ich kann schon auf eine ext. HDD zwei Hyper Backup Jobs laufen lassen. Aber halt in unterschiedliche Ordner.

 

[ottosykora]

Naja, kommt auf die Definition von Ziel an. Ich kann schon auf eine ext. HDD zwei Hyper Backup Jobs laufen lassen. Aber halt in unterschiedliche Ordner.

Ziel ist entweder ein Ordner(einzel) oder eine .hbk
und da kann man nichts mehrmals beschreiben

 

[ottosykora]

@globetrotter75

ich schlage vor du machst einfach einen Task mit allen Ordnern die du sichern willst. Diesen Task stellst du auf wöchentlich. In dem Task wählst du auch vernünftige Anzahl Versionen.
Lässt es einmal durchlaufen, das kann etwas dauern.
Von da an werden nur die Änderungen neu geschrieben, alles andere bleibt da.

Und wenn du dann etwas willst was vor 2 Monaten war, dann kannst du es aus den Versionen restoren.


Somit besteht gar kein Grund warum du einen Ordner wöchentlich und einen monatlich sichern brauchst, das Ziel Gerät bleibt gleich

 

[globetrotter75]

Hier meine Motivation, nicht wöchentlich alle Shares zu sichern
I. Platten möglichst wenig belasten
I.a. riesige Shares auf Main nur monatlich lesen (denn auch neue unter vielen alten Daten finden belastet die Platten, egal wie der "diff" implementiert ist, über Zeitstempel/Checksumme o.ä.)
I.b. wichtiger, möglichst selten die Festplatten in Back hoch- und runterfahren (denn davon hängt maßgeblich die Lebensdauer ab)
II. selten (wenn auch nachts) den Lärm vom Back im Wohnraum haben.

Über 99% der Daten liegen in den großen Shares, und 98% ändern sich nie. Also Videos, Musik, Bilder etc.

 

[ottosykora]

- Platten möglichst wenig belasten

die Platten werden durch ein- ausschalten belastet und durch Betriebsstunden vielleicht. Ob du dort Backup machst oder nicht ist denen ziemlich egal.. Wie lange möchstest du dass die Platten leben? 43 Jahre?

* riesige Shares auf Main nur monatlich lesen (denn auch neue unter vielen alten Daten finden belastet die Platten, egal wie der "diff" implementiert ist, über Zeitstempel/Checksumme o.ä.)

ich weiss nicht woher du solche Informationen hast, aber die Platten sind heute für viele Jahre Dauerbetrieb ausgelegt. Ein- Ausschalten ist eher ein kleines Nachteil. Lesen von Daten merken die Platten kaum.
Deine Vorstelungen von 'suchen' sind etwas aus der Zeit von Trommelspeichern. File Systeme machen so was in einer Liste welche in milisekunden gelesen wird.

* wichtiger, möglichst selten die Festplatten in Back hoch- und runterfahren (denn davon hängt maßgeblich die Lebensdauer ab)
- Selten (wenn auch nachts) den Lärm vom Back im Wohnraum haben.

Über 99% der Daten liegen in den großen Shares, und 98% ändern sich nie. Also Videos, Musik, Bilder etc.

eben, dann mach es wie alle anderen und der Rest der Welt. Mach einen brauchbaren Task, dort alles was du sichern willst rein.
Wenn du also einen Backup nur wöchentlich machen willst, dann mach alles was du sichern willst und vernünftige Anzahl von Versionen. Das Backup wird dann jede Woche wenige Minuten dauern.

BTW ich habe hier eine RS812, mit Platten die so was wie 84kh Stunden haben und es geht immer noch bestens. Obwohl es für die Hardware keine Updates mehr gibt läuft es grundsätzlich. Seit 2012. Meine kleine 212j hat gegen 80kh und läuft und läuft.
Wie lange willst du deine Syno betreiben? Mehr als 10 Jaahre wird kompliziert, das gibt dann schon lange keine Software dazu.

 

[globetrotter75]

Deine Vorstellungen von 'suchen' ... File Systeme machen so was in einer Liste welche in milisekunden gelesen wird.

Vielen Dank. Das klingt interessant. Gilt das also für ext4 und Btrfs? Es ist wohl super schnell, Änderungen seit einem Btrfs Snapshot aufzulisten. Snapshots mach ich sowieso jeden Tag. Weiß aber nicht, wie Hyperbackup das macht.

 

[ottosykora]

Hyperbackup funktioniert mit einer Datenbank

Versuch doch mal zuerst selber einen Hyperbackup Task zu erstellen, dann Backup durchführen, dann etwas an der Quelle ändern und dann wieder einen Backup machen.
Du wirst sehen, alles geht ganz schnell und welches File System verwendet wird ist da kaum relevant.
Alle Filesysteme arbeiten so wieso mit Listen und Tabellen, das war schon auf der Floppy Disk so.

 

[globetrotter75]

Ich bin Vollblut-Softwerker und IT'ler. Bin nur meist weiter von der Hardware weg

Das da erklärt die inodes recht gut, ähnliches gilt vermutlich für Btrfs u.s.w..
https://opensource.com/article/17/5/introduction-ext4-filesystem

Somit super, ich werde vermutlich alle Shares jeden Samstag sichern.

Ich sitze gerade im ICE und werde das schnell mal ausprobieren. Zugriff von überall ist schon geil.

Dankeschön.

 

[ottosykora]

Du wirst sehen, Hyperbackup schreibt eine eigene Datenbank und halt damit Übersicht zu den Versionen deren Rotation etc. Daten geschrieben oder gelesen werden nur wenn sie tatsächlich transportiert werden.
Wir haben Backup von allen Freigaben, senden es über VPN, habe sogar einen sehr langsamen Anschluss auf der einen Seite (5Mbs) und alles geht nur wenige Minuten.
Restoren kannst du auch nur einzelne Dateien nach Datum ohne Probleme, es wird auch zuerst mal nur die Datenbank angeschaut. Erst als es wirklich zum Zugriff auf konkrete Daten geht werden diese auch ausgesucht.

 

[globetrotter75]

Ergebnis: ein Backup von null Änderungen bei 600.000 Dateien hat knapp 5 Minuten gedauert.