Frage zur Datensicherung, vollständige Datensicherung, nach Abbruch inkremental

[brakeprofi]

Hallo, wahrscheinlich verursacht durch rum löschen von Dateien beim backup, wurde dieses abgebrochen. Der neustart des backups, endete mit einer vollständigen sicherung. Meine Frage zur Datensicherheit ist jetzt, wenn ich mir die backup Platte anschaue, jetzt während er dran ist, ist da eigentlich noch alles drauf, dass heißt er hat sie nicht vorher formatiert. Mich interessiert die vorgehensweise des backups.
Was passiert wenn jetzt die synology crashen würde ? Wie bügelt der das vollständige backup jetzt über die Platte genau drüber, wo sich ja eigentlich die Daten fast alle 1:1 schon befinden ? Weiß das jemand ?

Der hintergrund der Frage ist:
Wenn die backup platte bei sowas leer gemacht werden würde vorher und genau dann die synology crasht wäre alles weg, auf beiden platten

 

[brakeprofi]

Ich habs schon selbst rausgefunden. Er geht alle Ordner in der alphabetischen Reihenfolge durch, macht den wo er dran ist vorher leer und spielt neu auf.

Eigentlich katastrophal sowas. Der Supergau, wenn dabei was passiert.

Hoffen wir auf keinen Stromausfall in den nächsten Stunden, und ne zweite backup platte muss als nächstes her ....

 

[itari]

Ich habs schon selbst rausgefunden. Er geht alle Ordner in der alphabetischen Reihenfolge durch, macht den wo er dran ist vorher leer und spielt neu auf.

Eigentlich katastrophal sowas. Der Supergau, wenn dabei was passiert.

Hoffen wir auf keinen Stromausfall in den nächsten Stunden, und ne zweite backup platte muss als nächstes her ....

Schau mal im Linux-Manual, ob das ein typisches Verhalten des rsync ist. Wenn ja, darfst dich nicht wundern, wenn nein, schreib den Synology-Entwicklern ne Mail, wo du auf dieses Verhalten und dass sie das ändern müssen!!! Ich dachte bislang, dass er das Verzeichnis, welches gerade überschrieben wird vorher umbenannt hat, aber nicht gelöscht - aber hab das nur so im Gefühl, nicht wirklich nachvollzogen ....

Allerdings hast du recht damit, dass man eigentlich immer 2 Sicherungen braucht ... wenn nämlich sowas was wie bei dir - nur schlimmer - passiert ... Originalplatte kratz ab, Sicherung ist unvollständig ... wie willst das bei einem TB nachvollziehen und wieder hinbiegen ohne 2 Sicherung ...

Itari

 

[brakeprofi]

Ich werde das auf jeden Fall mal an Synology schreiben. Sowas könnte im Desaster enden, besonders wenn irgendwas automatisch gemacht wird, wo der Benutzer das Problem erst mal nicht sieht. Mein backup ist nach 6h und Gewitter noch mal gut gegangen gestern.

 

[HarryPotter]

Nein, das funktioniert anders.

Es sind alle Dateien noch vorhanden, es wird nichts unbenannt etc.

Das "Problem" ist die Datei synolocalbkp.conf

Dort wird bei einem Backupcrash dest_id gelöscht und last_bkp_result mit einem Fehlercode versehen. Deshalb gibts beim nächsten Backup eine Vollsicherung.

Die Lösung ist einfach: nach einer vollständigen Sicherung sollte man sich ein Backup dieser Datei anlegen und beim nächsten Crash einfach zurückkopieren.

Anschliessend wird normal inkrementell gesichert.

 

[itari]

Nein, das funktioniert anders.

Es sind alle Dateien noch vorhanden, es wird nichts unbenannt etc.

Wenn der rsync läuft, dann hat er eine Strategie, wie er mit dem Update vorhandener Dateien umgeht:

Löschen bevor geschrieben wird, [--delete-before]
Löschen während des Schreibens oder [--delete-during]
Löschen nach erfolgreichem Schreiben Typ1 [--delete-delay]
Löschen nach erfolgreichem Schreiben Typ2 [--delete-after]
(siehe auch unten)

Wenn also der rsync mitten in der Sicherung einer bereits einmal gesicherten Datei und nun wegen einer Änderung wieder gesichert werden muss, zusammenbricht, hat das je nach Strategie andere Folgen. Klar wird das durch einen weiteren rsync-Lauf wieder geheilt. Aber was passiert, wenn es einen solchen nicht mehr gibt, weil die DS/die Platte kaputt ist? Hat man dann eine Datei weniger in der Sicherung, oder einen Mischmasch, oder den alten Dateiinhalt??? Bekommt man ein Protokoll, wieweit die Sicherung schon war? Das sind die Fragen ... Leider hab ich keine Ahnung, welche der Lösch-Optionen bei dem Auslösen des rsync per DS Manager vorgenommen wird, deswegen meine Anmerkung in dem Post weiter oben.

Das hat nun nichts mit der synolocalbkp.conf zu tun, oder denke ich hier falsch?

Itari

--delete-before
Request that the file-deletions on the receiving side be done before the transfer starts. See --delete (which is implied) for more details on file-deletion.
Deleting before the transfer is helpful if the filesystem is tight for space
and removing extraneous files would help to make the transfer possible. However, it does introduce a delay before the start of the transfer, and this delay might cause the transfer to timeout (if --timeout was specified). It also forces rsync to use the old, non-incremental recursion algorithm that requires rsync to scan all the files in the transfer into memory at once (see --recursive).
--delete-during, --del
Request that the file-deletions on the receiving side be done incrementally as the transfer happens. This is a faster method than choosing the before- or after-transfer algorithm, but it is only supported beginning with rsync version 2.6.4. See --delete (which is implied) for more details on file-deletion.
--delete-delay
Request that the file-deletions on the receiving side be computed during the transfer, and then removed after the transfer completes. If the number of removed files overflows an internal buffer, a temporary file will be created on the receiving side to hold the names (it is removed while open, so you shouldn't see it during the transfer). If the creation of the temporary file fails, rsync will try to fall back to using --delete-after (which it cannot do if --recursive is doing an incremental scan).
--delete-after
Request that the file-deletions on the receiving side be done after the transfer has completed. This is useful if you are sending new per-directory merge files as a part of the transfer and you want their exclusions to take effect for the delete phase of the current transfer. It also forces rsync to use the old, non-incremental recursion algorithm that requires rsync to scan all the files in the transfer into memory at once (see --recursive). See --delete (which is implied) for more details on file-deletion.

(Auszug aus dem Linux-Manual).

 

[brakeprofi]

Synology hat von mir das kernel log bekommen und möchte nun einen remote admin Zugriff haben. Ich hab mich innerlich schon entschlossen dem nicht zuzustimmen. Ich weiß nicht was das bringen soll. Wie seht ihr das ? Das sind persönliche Dinge drauf, die niemanden was angehen und wer weiß was die da rum wursteln.


Eigentlich sollen sie ja nur eine Strategie entwicklen, dass bei einem vollen backup keine files gelöscht werden, bevor ein neues erstellt ist.




Thank you for your message and for your interest in Synology.

We will need to remotely access your system. Could you please help to keep the external attached with DS, and provide us with the information below so we can access your system and have a look.

============================================================
{Synology Information}
Synology hours of operation: Mon ~ Fri, 09:00 ~ 18:00 (GMT +8)
Standard Ports we need you to open: 23, 5000
Secured Ports we need you to open: 22, 5001

Once set of the above ports need to be forwarded to the Synology Product. Please refer to your Router's Manual for more information, or contact your system administrator. You may also look at the following WikiLink for further information: http://tinyurl.com/syno-remote

{Your Information}
Your external (WAN) IP Address:
A temporary password for your admin account:
============================================================

Before providing us with the information, please help to ensure that Telnet/SSH is accessible in your LAN:
Please enable the terminal service in "Synology Web Management UI >> Network Services >> Terminal"


If you have further questions or suggestions, please feel free to contact Synology support again.

 

[PeterG]

Hi,
ich vermute, dass schlicht ein Missverständnis vorliegt und der Support nicht verstanden hat, worum es Dir geht. Auf die Kiste schauen wollen die, um Fehler auf Deiner Kiste zu beheben bzw. Fehlerursachen zu finden. Das geht einfach besser und schneller als x-mal hin- und herzumailen, was man probieren oder schicken soll etc. Wer selbst schon mal versucht hat, einem unwissenderen Anfänger remote support zu liefern, weiß was ich meine.
Bisher hat es damit auch keine bekannten Probleme gegeben; sensible Daten würde ich ggf. halt vorher auslagern und auf der Kiste löschen.
Ansonsten Klarstellung versuchen, dass es nicht um ein speziell bei Dir zu lösendes Problem geht sondern eine generelle Frage zur Funktionsweise von rsync bzw. Vorschlag für eine andere Konfiguration wegen der Gefahr von Datenverlusten.

Gruß
Peter

 

[brakeprofi]

Hi,
ich vermute, dass schlicht ein Missverständnis vorliegt und der Support nicht verstanden hat, worum es Dir geht. Auf die Kiste schauen wollen die, um Fehler auf Deiner Kiste zu beheben bzw. Fehlerursachen zu finden. Das geht einfach besser und schneller als x-mal hin- und herzumailen, was man probieren oder schicken soll etc. Wer selbst schon mal versucht hat, einem unwissenderen Anfänger remote support zu liefern, weiß was ich meine.
Bisher hat es damit auch keine bekannten Probleme gegeben; sensible Daten würde ich ggf. halt vorher auslagern und auf der Kiste löschen.
Ansonsten Klarstellung versuchen, dass es nicht um ein speziell bei Dir zu lösendes Problem geht sondern eine generelle Frage zur Funktionsweise von rsync bzw. Vorschlag für eine andere Konfiguration wegen der Gefahr von Datenverlusten.

Gruß
Peter

Ich glaubs langsam auch, dass die meinen ich will den Fehler für den Abbruch des back-up wissen. Dabei will ich nur aufmerksam machen, dass dieses volle back-up risiko behaftet ist, in der Ausführung, alles löschen und dann schreiben. Ich habs mal probiert richtig zu stellen :


Sorry, but i can not give you admin access on my DS.
There are personally, precious and secret things from my work on.
For that reason the internet ports are closed permanent.

I also do not know, why you need remote access,
because i only made a suggestion to change your
back-up strategy. Suggestion was only to improve the system in future,
that on a full back-up the old files should only become deleted when the new
back-up is on and ready. Or any other strategy, but not deleting all files
on back-up disk before writing new back up.

Maybe miss understood regarding my first email ?

 

[jahlives]

Frag doch Synology welchen, der von itari gesendenten Parameter der Backupjob verwenden. Wenn es delete-after ist, dann ist ja alles okay. Dann wird die Zieldatei erst gelöscht resp überschrieben, wenn die neue Datei sauber ins Backup geschrieben wurde
@HP
es werden übrigens, was ich auch nicht wusste IMMER differentielle Backups gemacht. Inkrementell wird NIE gesichert. Dies gemäss Aussage von Edward Lin

Actually Synology Backup will do "differential backup" no matter of the"incremental backup" is checked or unchecked.

 

[brakeprofi]

Frag doch Synology welchen, der von itari gesendenten Parameter der Backupjob verwenden. Wenn es delete-after ist, dann ist ja alles okay. Dann wird die Zieldatei erst gelöscht resp überschrieben, wenn die neue Datei sauber ins Backup geschrieben wurde
@HP
es werden übrigens, was ich auch nicht wusste IMMER differentielle Backups gemacht. Inkrementell wird NIE gesichert. Dies gemäss Aussage von Edward Lin

Du hast in sofern recht, dass ich inkrementelles geschrieben habe und eigentlich differentielles gemeint habe. Seit dem diskmanager 2.1 gibts aber auch inkrementelles.

 

[jahlives]

Du hast in sofern recht, dass ich inkrementelles geschrieben habe und eigentlich differentielles gemeint habe. Seit dem diskmanager 2.1 gibts aber auch inkrementelles.

@bakerprofi
Ich habe mich nicht auf dich bezogen, sondern auf die Aussage von HarryPotter. Ist es echt so, dass man im aktuellsten DSM zwischen differentiell und inkrementell wählen kann?

 

[jahlives]

ich habe mich genau an den Eintrag im Wiki gehalten

Da wäre der Wortlaut der Fehlermeldung aber interessant. Hast du einen Client wie Putty verwendet?
**edit**
Na super der Beitrag wurde gelöscht
**edit**

 

[brakeprofi]

@bakerprofi
Ist es echt so, dass man im aktuellsten DSM zwischen differentiell und inkrementell wählen kann?

 

[jahlives]

Ach du meinst den
Das hat gemäss meiner Anfrage bei Synology nicht mit dem Backuptyp zu tun, sondern mit der Beschreibung unten. Es geht dabei nur darum wie mit Dateien in target umgegangen werden soll, die in source nicht mehr existieren. Löschen oder nicht.

Edward Lin
Actually Synology Backup will do "differential backup" no matter of the "incremental backup" is checked or unchecked. The only difference is if the deleted files are kept on the target or not. We consider the term "incremental backup" is a commonly used IT term, thus we decided to use it. And to consider possible difficulty of understanding it, we added the explanation under this option:


"When this option is checked, files removed from the source will remain on the destination. Otherwise, files removed from the source will be removed from the destination, too."

 

[itari]

Könnte jemand (Tobi?) mal die Quintessenz dieses Threads ins Wiki transportieren. Ich denke, das ist schon alles recht wichtig und dient auch dem Verständnis.

Itari

 

[brakeprofi]

Ich hab Synology nach einer weiteren Anfrage das Problem noch mal geschildert und umfangreicher geschildert. Dass es mir nicht darum geht, dass mein back-up abgebrochen wurde.

Ich meine wir reden hier von einem sehr unwahrscheinlichen Fall. Aber ich habe in einem alten Job bei der Herstellung von Sicherheitsbauteilen mal den Spruch gehört, alles was nicht technisch durch Fehlbedienung ausgeschlossen ist, wird früher oder später passieren und so war es auch.

Wenn so ein volles back-up wie von mir geschildert zu irgendeinem Zeitpunkt durch eine defekte Festplatte in der DS abgebrochen wird, blickt kein Mensch mehr durch was er gerade verloren hat.