DSM 6.x und darunter Welches Dateisystem empfehlt ihr "btrfs" oder "ext4"

[Heidi]

Nur der Grund, dass man es wegen der Selbstheilung haben will, passt halt nicht. Das halte ich für einen Schlangenöl-Argument.

c'mon. Ich verweise nochmal auf den Support:

Synology nutzt kein BTRFS-RAID5 sondern BTRFS (FS Layer), mdadm und standart VG.
Es wird hier eine modifizierte mdadm und btrfs version genutzt um trotzdem die BTRFS Heilung mithilfe von Raid Paritäten zu nutzen.

z.B. den Speichervorgang vom Foto durch das harte Ausschalten der Digitalkamera unterbrochen hat

Ich verweise auf meine komplette Playboy-Sammlung von 1953-2001. Die habe ich (leider!!) nicht selbst mit der Digicam geschossen.

Da kann ich es mir leisten diese in etlichen Zeitversionen, teilweise auf verschiedenen Geräten (offline/online/extern) vorrätig zu halten.

Das stimmt, das ist eine Möglichkeit. Ich habe meinen Backupprozess so eingestellt, dass die Files 10 Jahre zurück noch versioniert abrufbar sind.

 

[H3llF15H]

Nicht falsch verstehen

Darum mach Dir mal keine Sorgen Wenn ich Fragen stelle, komme ich auch mit den Antworten klar. Mir ist auch das eine oder andere (negative) von Btrfs bekannt, aber das sind bis dato erstmal keine Dinge die mich abschrecken.

Das andere Lager nutzt mittlerweile ZFS, nur hat das ebenfalls den einen oder anderen Nachteil sodass ich in Zukunft auf Synology und Btrfs setzen möchte.

€DIT:
Btrfs bietet gegenüber EXT4 auch exorbitant mehr Snapshots. Da ich bis dato 30 Freigabeordner habe käme ich nicht mal 9 Wochen über die Runden, an denen täglich ein Snapshot gespeichert werden könnte. (Ich weiß, Luxusprobleme )

 

[mgutt]

Ich dachte immer der ECC-RAM sorgt nur dafür, dass die hohe Taktungsgeschwindigkeit des RAM beibehalten werden kann. Wenn der RAM zu schnell taktet, wird das analoge Signal immer undeutlicher und eine interpretation (ob 1 oder 0 ankommt) wird schwer. Wenn nicht mehr verständliches zurückkommt, taktet der Prozessor nur noch halb so schnell (oder in welchen Schritten die Clock abstufen kann).

Gänzlich falsche Baustelle.

ECC = Error Correction Code. Also wirklich ein RAM der Fehler erkennt und sogar korrigieren kann.

 

[Simon88]

Ich finde, da macht man sich es ziemlich einfach einfach nur einen Link aufs Google-Universum zu BTRFS Probleme zu schicken, das nichts über die Stabilität / Verlässlichkeit auf einer Synology aussagt und nur das ist letztlich relevant für Synology Anwender.
Wenn man sich schon so weit aus dem Fenster lehnt und Behauptungen zu bekannten Problemen aufstellt, sollte man sein Wissen dann auch offenlegen und nicht die anderen erst selbst stundenlang googeln oder eigene Erfahrungen machen lassen.
Das hasse ich so an Foren, dass man andere sehr oft ins Messer laufen lässt und erst dann da zu sein, wenn das Kind bereits in den Brunnen gefallen ist, um dann wie ein Fleischerhund über den anderen herzufallen und zu sagen, ich wusste das von Anfang an, wie kann man nur so blöd sein ...

Ein mir bekanntes Problem ist, dass sich Defrag und Snapshots nicht vertragen. D.h. erst Snapshots löschen, dann Defrag - was für viele natürlich ein Problem ist, wenn man ein langjähriges Snapshot-Archiv möchte. Ansonsten reduziert sich von Defrag zu Defrag immer weiter der freie Speicherplatz.


Ob die "Selbstheilung" nun sinnvoll ist oder nicht - es schadet immerhin nicht ... Das auch die Vorsetzungen stimmen müssen, ECC RAM - alles logisch, gut das man erneut darauf hinweist. Denn gerade beim Aufrüsten von RAM nehmen es viele nicht so genau.

Die wichtigste Frage, die jeder für sich beantworten sollte ist, Snapshots JA oder NEIN.
An Snapshots führt meiner Meinung nach kein Weg vorbei, da man ab einer gewissen Datenmenge schlicht nicht ständig (z.B. untertags) auf eine zweite NAS oder mehrere elends langsame USB3 Festplatten kopieren kann. Gerade wenn man viele kleine Dateien hat, wird man den Unterschied merken und quält sich mit Sicherungen auf USB. Ich will meine Gerätschaften nicht immer 24h am Tag Backups machen lassen. Ich benötige aber eine Absicherung gegen ungewollte Löschungen, welchen Hintergrunds auch immer.
Snapshots sind kein Backup, aber eine Absicherung. Was hilft mir ein Backup auf einer zweiten NAS, x USB-Festplatten - wenn wegen Sekunden Softwarefehler, Böswilligkeit anderer oder eigene Dummheit die Festplatte leer ist und ich dann erst 2-3 Wochen umkopieren müsste, bevor es wieder im Regelbetrieb weitergeht.

Zusätzlich die Versionierung ohne das 100-fache des Speicherplatztes zu brauchen, klar gibt es anderes (unter Windows z.B. HardlinkBackup) - aber auch hier gilt, ab einer gewissen Menge an Daten, ist das nur noch eine Zumutung. Da reichen dann Stunden nicht mehr, denn alleine für das Löschen alter Sicherungen braucht es irgendwann dann Stunden. Bei Snapshots im Grunde Sekunden + ggf. mal ein paar Minuten Nachlauf, aber dann ist die Festplatte auch schon wieder ruhig.


Was mal interessant wäre, wie man auslesen kann, ob tatsächlich ECC-Speicher im System verbaut ist. Ich weiß, es ist modellabhängig ... aber nicht jeder hat noch die Standardausstattung. Dem gekauften RAM sieht man es ja nicht an, ob es ECC ist und damit das hält, was versprochen wurde.
Gibt es sowas wie CPU-Z für ein NAS ?
Das Label des Händlers ist kein Beweis und mit den Infos direkt vom Chip kann man nicht immer etwas anfangen.

 

[tproko]

Solange man die Metadaten im RAID1 abspeichert und die Daten im RAID5/6, passiert nichts

Ich kenn den Beitrag im Wiki.
Da steht aber "it should be safe" ... heißt für mich, dass es trotzdem Chancen gibt, dass es nicht sicher ist

Es war aber wohl falsch ausgedrückt -stimmt (BTRFS kann kein Raid5). BTRFS Raid 5 sollte nichts sein, was man in Produktion verwenden sollte mMn. Ob es in der Theorie möglich ist und "gut gehen kann", ja... aber würd ich nicht riskieren.

 

[peterhoffmann]

Ich verweise nochmal auf den Support

Die Jungs vom Support schreiben immer die Wahrheit. ?

Im Ernst: Ich habe nicht gesagt, dass die Selbstheilung Schlangenöl ist, sondern ich halte es für ein Schlangenöl-Argument.
Daher habe ich ganz zu Anfang einen Schritt zurück gemacht und gefragt, wann man das letzte Mal korrupte Dateien hatte. Es hätte ja sein können, dass ich die letzten Jahrzehnte einfach nur ein Glückspilz war und es bei anderen völlig anders ausschaut.

Hintergrund: Ein Produkt ist obsolet, wenn es nicht zum Einsatz kommt.
Da kann die Funktion der Selbstheilung grundsätzlich super funktionieren, aber das ist unwichtig, wenn keine Dateien korrupt sind.

Playboy-Sammlung von 1953-2001

Die Damen von 1953 sind Baujahr 1933, sprich heute 88 Jahre jung... *grübel* ?

BTRFS Probleme zu schicken, das nichts über die Stabilität / Verlässlichkeit auf einer Synology aussagt und nur das ist letztlich relevant für Synology Anwender

Relevant ist nicht nur der Blick auf BTRFS in einer Synology, sondern auf BTRFS generell. Ein Problem in der Grundstruktur würde vor einer Synology keinen Halt machen nur weil es da bisher super funktioniert hat.

Über BTRFS muss sich jeder seine Meinung bilden und danach handeln. Daher war der Link zu mehreren Threads dafür da um durch kurzes Querlesen wenigstens einen Eindruck zu bekommen und dann zu entscheiden, ob und was man genau wissen und verfolgen will.

 

[mgutt]

Ich finde, da macht man sich es ziemlich einfach einfach nur einen Link aufs Google-Universum zu BTRFS Probleme zu schicken, das nichts über die Stabilität / Verlässlichkeit auf einer Synology aussagt

Diese Studie ist die aktuellste und umfangreichste, die es zu dem Thema gibt.

Wenn man sich schon so weit aus dem Fenster lehnt und Behauptungen zu bekannten Problemen aufstellt, sollte man sein Wissen dann auch offenlegen und nicht die anderen erst selbst stundenlang googeln oder eigene Erfahrungen machen lassen

Häh?

Ich will meine Gerätschaften nicht immer 24h am Tag Backups machen lassen.

Also ein inkrementelles Backup von meinem Rechner dauert mit rsync 6 Minuten. Gerade geschaut. 250.000 Dateien und 25.000 Ordner hat rsync abgeglichen und entsprechend viele Hardlinks auf bereits gesicherte Dateien gesetzt und seit dem letzten Backup kamen 84MB dazu:

Snapshots sind kein Backup, aber eine Absicherung. Was hilft mir ein Backup auf einer zweiten NAS, x USB-Festplatten - wenn wegen Sekunden Softwarefehler, Böswilligkeit anderer oder eigene Dummheit die Festplatte leer ist und ich dann erst 2-3 Wochen umkopieren müsste, bevor es wieder im Regelbetrieb weitergeht.

Es hindert dich ja niemand daran einfach beides zu machen, aber ohne Backups ist das schon leichtsinnig.

Dem gekauften RAM sieht man es ja nicht an, ob es ECC

Steht auf dem Aufkleber?!

Da reichen dann Stunden nicht mehr

Wenn mein inkrementelles Backup 6 Minuten braucht, dann wir das Löschen der Hardlinks sicher keine Stunden brauchen.

 

[Heidi]

Zusätzlich die Versionierung ohne das 100-fache des Speicherplatztes zu brauchen

nur noch ein bisschen Senf von mir dazu: Die BTRFS Versionierung funktioniert NICHT für verschlüsselte Ordner. Zumindest wird hierfür ersteinmal eine komplette Kopie angelegt und DANN passiert das mit kaum Speicherplatz bedarf. Und da draussen sollte ja nun jeder seine Daten verschlüsselt haben (wg. Diebstahl) .....habt ihr doch ooooooder? ?

 

[Heidi]

Die Damen von 1953 sind Baujahr 1933, sprich heute 88 Jahre jung... *grübel* ?

du meinst, die jpeg dürfen schon den einen oder anderen bitflip vertragen. Sehe ich auch so hehehe ?

 

[Simon88]

Ob Daten korrupt bzw. einwandfrei sind oder nicht, kann kein Mensch zu 100% sicher über seine Daten sagen um dann zu behaupten ext4 ist sicherer und fehlerfrei, nur weil es das 20 Jahre - oder was weiß ich - länger gibt. Niemand weiß es wirklich !
Die Wahrscheinlichkeit mag möglicherweise für ext4 sprechen, nur was nützt einem das, wenn ich Features wie Snapshots benötige, weil ohne alles der reinste Krampf und Kampf ist. Ich will am Ende meines Lebens nicht 10 Jahre mit Backup Spielchen / Prüfungen etc. verbracht haben.
Man macht von Zeit zu Zeit Stichproben, mehr ist nicht möglich.
Da niemand bei mehr als 1 TB an Daten überhaupt den Aufwand für Hash-/Binär-Vergleiche o.ä. regelmäßig betreiben kann, interessiert das letztlich nicht. Ist alles nur Theorie ohne für den gewöhnlichen Anwender praktischen Nutzen. Wir sind nicht beim Militär o.ä. um sicherstellen, dass das Programm hinter dem red button korrekt abläuft und nicht vorher das Ziel vom Feind auf die eigene Basis verändert wurde.
Zudem kann der gespeicherte Hash auch wieder "leiden" / manipuliert werden - was also ist dann fehlerhaft, die Prüfsumme von vor 2 Jahren oder die Quelle ?
Müsste mal also auch alles wieder zig-fach an unterschiedlichen Orten speichern - alles total schwachsinnig, darüber nachzudenken.

Das beginnt schon beim Download einer Datei, wer vergleicht diese schon - wenn überhaupt entsprechende Dateien von der Quelle zur Verfügung gestellt werden.
Zudem müsste man das alles schließlich regelmäßig machen, die meisten machen es nicht einmal beim umkopieren von xx TB auf ein neues NAS, weils noch einmal 2-3 Wochen dauern würde (mal will die HDDs ja auch nicht unnötig quälen, sonst ist Bitrot etc. das kleinste Problem) und zu 99% eben einfach nichts passiert, wenn man mit guten Programmen kopiert und nicht dem Windows Explorer. Da gibt es selbst bei Abbrüchen während dem Kopieren kein Problem. Total Commander löscht z.B. unvollständige Dateien und Robocopy beginnt verlässlich wieder selbst bei 20 GB von 40 GB mitten in der Datei den Rest zu übertragen. Kann man gerne hinterher per Binärvergleich prüfen, wer es nicht glaubt.

Harzt-IVler hätten evtl. die Zeit - aber die haben kein Geld für die Technik und einige nicht ansatzweise das Wissen ...
Ich kann mich jedenfalls nicht tagtäglich rund um die Uhr damit beschäftigen, ob die Dateien noch den gleichen Hash wie vor 5 Jahren haben.
Wie gesagt, diese Prüfsummenvergleiche oder Binärvergleiche dauern ewig.
Es ist nicht immer so einfach, wie bei JPG-Fotos an Blöcken im Bild zu erkennen, dass der Download / Bestand Müll ist.
Wie will man bei x / xx GB Dateien erkennen, wenn ein Bit umgekippt ist - dann ruckelt halt ein Video o.ä. an einer bestimmte Stelle und das wars.
Wer denkt dann an schrottige Dateien bzw. prüft das hinterher stundenlang um sicher zu sein. Es wird somit als Verzögerung im LAN / WLAN abgestempelt.
Selbst viele Dateien wie Dokumente, Excel usw. werden sich bis zu einem Gewissen grad noch öffnen lassen, wer prüft ob überall nach 5 Jahren noch die gleichen Zahlen stehen ?
Die meisten Daten werden zudem sehr oft umgewälzt und lagern nicht einfach 10 Jahre im Schrank, oder werden defragmentiert - wo also soll unter normalem Umständen Bit Rot entstehen.
Wie oft werden größere Festplatten gekauft, neues NAS, alles umkopiert usw.
Also irgendwo ist einfach eine Grenze des Machbaren gegeben und daher ist es mühsig jahrelang darüber zu diskutieren.

Ich mache nie inkrementelle Backups, um mir dann meine kompletten Daten aus 100 Verzeichnissen zusammensuchen zu müssen.
Das ist für mich kein Backup, sondern eine Zumutung - insbesondere dann, wenn man nur mit Skripten arbeitet und keiner Software, die einmal das alles wieder zusammenpuzzelt - was wieder ewig dauert, nichts für mich !
Wenn man nur seine paar Windows Daten wie Eigenen Dateien usw. sichern muss ist vieles einfacher und dann muss man sich auch keine großen Gedanken machen.
Selbst 250.000 Dateien hört sich viel an, ist es aber nicht - nicht wenig, aber auch nicht besonders viel.
Man kann auch nicht einfach behaupten 1 Mio. Dateien würde dann 24 Minuten dauern - das ist alles zu primitiv gedacht, die Situation und die Art der Dateien / Dateigrößen usw. spielt dann schon auch eine Rolle.
Auch zu behaupten, dann ist halt dein LAN usw. langsam - nein ist es nicht, es läuft auf Maximum, aber 10 GBit habe ich halt nicht.
Zudem hängt es immer davon ab, was abgeglichen wird.
LAN <-> LAN ist wesentlich langsamer als SSD vom lokalen PC -> LAN. Ja beides läuft letztlich übers LAN, aber wers nicht glaub, solls selbst testen - Vollduplex hin oder her. Vergleicht mal z.B. binär oder auch nur auf Vollständigkeit oder anhand der Dateigröße ohne tiefergehende Prüfung den Datenbestand mit z.B. Beyond Compare von zwei NAS oder von SSD zu NAS - was schneller geht.

Was häh ?
Wenn man behauptet es gibt Fehler / Probleme mit BTRFS, dann legt man diese entweder klar auf den Tisch oder schweigt.
Ansonsten lasse ich noch zu, konkret zu sagen, es beruht nicht auf eigenen Erfahrungen weil ich im Leben bislang nur ext4 nutze - deshalb der Link zu Google.
Aber nicht nach Hörensagen, weiterzutraschten es gäbe Probleme, ohne diese klar zu benennen ...
Wenn ich Probleme kenne, nenn ich diese - ansonsten weiß ich eben nix.
Ist das nun deutlich genug ?

Als Beispiel außer Snapshots, lass mal HardlinkBackup nach Löschregeln veraltete Sicherungen zu weniger als 2 TB löschen (am besten noch auf einer USB-Festplatte und nicht am NAS), das dauert mehr als 6 Minuten, selbst am NAS.
Das dauert in etwa so lange, wie es unter Windows dauert xxx GB zu löschen, egal ob per Dateimanger wie TC oder direkt per rd - vom Explorer brauchen wir gar nicht zu reden. Bis der anfängt dauert es oftmals länger als direkt per "Konsole". Programme wie HLB nutzen aber oft nur irgendeine Windows-API oder was weiß ich. Ist also kein Linux wo rekursives löschen evtl. grundsätzlich wesentlich schneller ist.
Für Windows ist das schließlich kein Unterschied, es löscht nicht 250.000 LNK-Dateien, sondern ob Hardlink oder nicht, nicht anders / schneller als bei jeder anderen Datei auch.
Ich hatte das alles schon mal und weiß was ich sage, das NAS habe ich nicht zum Spaß. Es ist nicht nur eine Sache der Kapazität, sondern auch der Performance.
Ich war froh, dass es Snapshots gibt, weil es mir massig Zeit sparte - auch wenn der Rechner nicht mein Händchen dazu braucht, aber er muss auch nicht umsonst Stunden rödeln. Leider haben auch Snapshots Grenzen, z.B. eben auf ein zweites NAS umziehen, geht nur per Replikation - aber nicht im nachhinein alle bisherigen Snapshots "kopieren" - sondern nur "zeitgleich" bei Quelle und Ziel erstellen lassen.
Ich rede jedenfalls von Vollbackups (mit Hardlinks), wie gesagt inkrementelle Backups sind für mich witzlos.
Zudem ist alles eine Frage der Menge der Daten, ob es Millionen Dateien sind oder nur die popeligen Eigenen Dateien, wovon 99% pro Tag unverändert bleibt.
Ich will mir die Arbeit einfach machen. Warum sollte ich inkrementell sichern, wenn rsync oder robocopy ein Mirror kann - löscht im Ziel alles was zu viel ist und ergänzt was fehlt. Benötigt auch nicht mehr Speicherplatz als inkrementell.
Anschließend einen Snapshot um diesen Stand gegen versehentliches Löschen zu fixieren und fertig.

Zum RAM, was hatte ich geschrieben ?
Die Labels erstellt oft genug erst der Händler selbst - wegen Garantiezuordnung usw. - soll da schlaue Händler geben, inbesondere bei geprüfter Ware und keiner Massenware, die einfach so vom Hersteller kommt und 1:1 weitergeschoben wird !
Ich will den technischen Beweis, auf Papier kann ich alles Schreiben drucken.
Man wäre ein vollkommener Trottel, wenn man alles glaubt, was auf Papier steht !
Ihr lest doch hier alle nur im Schnelldurchlauf - aber Hauptsache zurückschießen - aber so sind wohl die Deutschen.
In englischsprachigen Foren oder selbst bei Reddit läuft das alles wesentlich fachlicher ab und nicht nur Blubb Blubb von allen Seiten, Hauptsache jeder hat mal das Bein gehoben.

Schön auch, dass man ständig etwas annimmt - wo habe ich geschrieben ich hätte keine Backups ?
Ich habe 2 NAS und externe Festplatten - in die Cloud sichere ich nichts, da ich fremden meine Daten nicht anvertraue und es bei der Menge auch schlicht unmöglich wäre. Man kann sich auch nicht auf die Cloud 100%ig verlasse, siehe aktueller Brand. Zudem liegen die wichtigsten Daten noch auf PC / Notebook oder wären physisch vorhanden, wenn auch mit viel Arbeit verbunden.
Das Backup-NAS läuft aber nicht 24 Stunden, sondern je nachdem wieviel Daten sich änderten, wird mal wieder gespiegelt.
Das ist ja gerade der Sinn der Sache. Ich will bei einem Cyber-Angriff nicht alles verlieren.
Ja und jetzt kommt wieder, sichere extern - nun ein Ferienhaus in Frankreich habe ich nicht für NAS Nr. 3, Cloud ist unmöglich, dem Nachbarn vertraue ich nicht - wäre wenn ich nicht ein 50 m Kabel lege auch wieder die Internetleitung nötig, die bei der Menge selbst bei > 100 MBit nicht ausreicht.
Also dann kann ich mich noch so aufgeilen, was es alles gibt. 99% der Privatleute haben nicht einmal die Hälfte von dem, was die meisten hier an Technik herumstehen haben.

Nicht jeder benötigt Verschlüsselung im privaten Umfeld - man kann auch mehrere Pariser aufziehen - aber schön, dass man den Hinweis in die Runde wirft. Alles ausreizen und dann jammern, dass es langsam ist oder wenn man seine Daten wegen was auch immer, nicht mehr entschlüsselt bekommt.
Auf einem Notebook / USB-Stick o.ä., wenn man ein Schussel ist, ist Verschlüsselung schön und gut - aber wer mir meine Bude während dem Urlaub leer räumt, der kann auch mit Verschlüsselung genug Schaden anrichten.


Man könnte nun auch frech behaupten, es hängt davon ab, wieviel an Software verändert wurde ob ext4 oder btrfs.
Wer nichts ändert, weils die letzten 10-20 Jahre so war, lassen wirs lieber - setzt sich natürlich auch keinem erhöhten Risiko aus.
Der Fortschritt war noch nie frei von Risiko - aber wir sprechen hier von keiner 90% oder gar 10%igen Wahrscheinlichkeit das die Daten von NAS wegen btrfs hopsgehen!
Synology ist nicht so dumm, sich einem überdurchschnittlich hohem Risiko auszusetzen ... BTRFS unter die Leute zu werfen und dann weltweit verklagt zu werden. Es ist keine "Beta-Software" !
Auch Aussagen, ob BTRFS RAID xyz kann - was interessiert mich das - was nicht geht, erlaubt die Synology nicht.
Alle wollen immer schlauer sein, als dutzende oder hunderte Leute, deren täglicher Job das während der Produktentwicklung ist.
Da sagt keiner, hui BTRFS ist geil, bringen wir nächste Woche ein Produkt auf den Markt.
Bisschen getestet wird dann schon bei sowas elementaren, da muss ich Synology dann schon mal verteidigen - auch wenn ich nicht alles was Synology macht gut finde.

 

[Heidi]

jesus! ?
Jetzt haste aber mal Dampf abgelassen... ?

 

[mgutt]

Zudem kann der gespeicherte Hash auch wieder "leiden" / manipuliert werden - was also ist dann fehlerhaft, die Prüfsumme von vor 2 Jahren oder die Quelle ?
Müsste mal also auch alles wieder zig-fach an unterschiedlichen Orten speichern - alles total schwachsinnig, darüber nachzudenken.

Wenn du wie bei BRRFS den Hash 2x hast, nämlich in der Quelle und im Ziel, dann hast du deine Bestätigung.

Ich mache nie inkrementelle Backups, um mir dann meine kompletten Daten aus 100 Verzeichnissen zusammensuchen zu müssen.
Das ist für mich kein Backup, sondern eine Zumutung

Für mich auch. Deswegen nutze ich rsync mit der Option "link-dest". Dadurch erstellt rsync mit Hilfe von Hardlinks inkrementelle Vollbackups. Also jeder Ordner enthält ein Vollbackup, aber belegt nur inkrementell den Speicherplatz. Ich kenne das Windows Tool nicht, was du genannt hast, aber vom Namen her scheint es ähnliches zu machen.

kann auch nicht einfach behaupten 1 Mio. Dateien würde dann 24 Minuten dauern - das ist alles zu primitiv gedacht, die Situation und die Art der Dateien / Dateigrößen usw. spielt dann schon auch eine Rolle

Inkrementell spielt das gar keine Rolle, weil man selten 1 Millionen Dateien von einem Tag zum anderen ändert. Und der Abgleich der 1 Millionen bereits übertragenen Dateien geht über SMB schnell. Sonst würde ich das nicht sagen. Die CPU Auslastung ist auf beiden Seiten auch gering.

Möglicherweise ist Windows einfach nicht so schnell beim Löschen wie Linux, aber mein Script räumt täglich die jeweils ältesten Backups automatisch auf und das läuft fix (rm -r). Aber da es auch täglich passiert, muss er nicht 1x in Monat 20 alte Backups entfernen. Ich stoße das auch nicht von Hand an oder so.

Deine Erfahrungen sind denke ich so schlecht, weil du aktiv gesehen hast was die Software macht. Ich binde die Windows Clients nur 1x auf dem NAS als SMB Server ein und hinterlege im Script den Pfad, so dass die Dateien über diesen Weg von rsync abgeholt werden. Keiner in meinem Haushalt bekommt etwas davon mit, dass Dateien gesichert und veraltete Backups gelöscht werden. Das läuft voll automatisch.

Ansonsten: Ruhig Blut. Keiner will dir was. Kann ja jeder machen wie er meint.

 

[Simon88]

Ja, aber nur ökologischer Dampf
Weiß schon, bin manchmal etwas impulsiv oder interpretiere in evtl. nicht böse gemeinte Aussagen irgendwelche Seitenhiebe oder Spitzen. Komisch nur, wenn ich schreib, kommen immer zig Leute an und sezieren meine Aussage, unterstellen was bei mir gar nicht zutrifft (z.B. Backups habe ich, wenn auch man nie zufrieden ist) und bei anderen ist man oberflächlicher.
Versuche ruhiger zu bleiben ...

Bei mir dauert die tägliche Sicherung meist 15-30 Minuten, je nach Auslastung vom NAS zu der Zeit - z.B. laufendes Scrubbing o.ä.
Ist Robocopy, was nur die Veränderungen vom Windows PC aufs NAS spiegelt und kurz darauf dann ein Snapshot.
Aber ist eben alles dabei bis hin zu den Outlook-Dateien (MOBackup Sicherungen).

rsync direkt vom NAS zumindest zum clonen auf Backup-NAS muss ich erst etwas basteln und Erfahrungen sammeln ob das so zuverlässig ist wie robocopy, wäre natürlich schneller, wenn ich nicht den Windows-PC als "Vermittler" brauche, was im Prinzip auch ein Risiko ist.
Deshalb sind mir die Snapshots auch wichtig. Manipuliert z.B. jemand die Backup-Skripte könnte alles weg sein.
rsync hatte ich nur mal genommen, um ein Hardlinkbackup Archiv mit eben Hardlinks umzuziehen, da die USB-Festplatte damals zu klein wurde.
Oft können die Programme das nicht und kopieren dann wirklich alles x-fach.
Aber Hardlinkbackup verwende ich nun schon Jahre nicht mehr, seit ich das NAS habe
War einfach zu langsam - sehr schwankend von 30 Min. bis Stunden, wenn es die alten Sicherungen löschte. Heuer kam dann das Backup-NAS dazu.

Hab halt momentan alles mit robocopy, auch so aufgebaut, dass ich immer nur das Unterverzeichnis erweitern muss und dann rattert es alle Batch-Dateien ab und sammelt die Daten von C: / D: usw. zusammen. Ansonsten ist soweit möglich, aber leider nicht bei jedem Programm, immer alles an Daten zentral.
Verbessere ich das Skript, kann ich es halt relativ einfach auf die anderen mit Beyond Compare übernehmen. Deshalb habe ich momentan nix mir rsync, weil auf Windows nicht so einfach.
Muss ich mal wieder versuchen, brauchte man früher immer Cygwin o.ä.
Theoretisch könnte ich es automatisch laufen lassen, aber nur die Windows-PC laufen automatisch täglich, sogar das System selbst mit Veeam. Die Sicherung auf das Backup-NAS mache ich nach Bedarf. Ebenso das Spiegeln der Daten aufs Notebook, damit ich unterwegs die Grundausstattung habe - topaktuell brauche ich es dort nicht.
Habe dadurch auch noch einmal eine unabhängig Version an Daten, also quasi Backup.
Am schnellsten ist robocopy mit Sicherheit nicht, kopieren großer Dateien mit xx GB geht z.B. per Total Commander schneller.

Werde mal mit rsync Erfahrungen sammeln, danke für den Tipp, wie du es machst.
Man könnte so ein Archiv aufbauen, dass nicht verlorengeht - wie es bei den Snapshots aktuell ist, wenn man nicht gerade die HDDs in ein neues NAS mit umzieht und offiziell migriert. Geht mit robocopy zwar auch, Dateien in Verzeichnis mit aktuellen Datum erstellen (nur Hardlinks glaube nicht) und dann z.B. 14 Tage behalten, danach älteste löschen. Snapshot ist hier halt bequemer, da ich mehr einstellen kann. Letzte 30 Tage, 1 pro Woche / Monat / Jahr o.ä. behalten

Details zum System (RAM) bekommt man übrigens per:
sudo dmidecode
ggf. zuvor noch ein
sudo su -


So aber nun genug Offtopic.

 

[synfor]

Das Problem mit Hardlinkbackup kenne ich. Das wird allerdings nicht von Hardlink selbst verursacht. Das Verlinken und Löschen wird unter Windows einfach immer langsamer, je mehr Links pro Datei existieren. Das macht sich auch nicht erst nahe der maximalen Anzahl von Links pro Datei, sondern schon sehr früh negativ bemerkbar. Ich hatte da in der Regel zwischen 45-55 Backups aufgehoben und Hardlinkbackup brauchte da fürs Kopieren und Verlinken oder Löschen alter Backups so um 1 Stunde. Alles zu kopieren nur etwas mehr als 10 Minuten. Ich bin dann wieder zur alten Praxis zurückgekehrt und habe trotz Vollbackups weniger Platz verbraucht und hatte verlässlich kalkulierbare Backupzeiten.

 

[Simon88]

Da wirst du Recht haben, dass es mit der Anzahl der Backups zunimmt. Habe da nicht nachgeforscht, irgendwie ist das Projekt auch im Halbschlaf - der macht das halt auch nur nebenbei. Es waren schon so einige Performance-Verbesserungen angekündigt.
Es vergleicht, wenn ich mich richtig erinnere, nicht nur gestern mit heute, sondern mehrere Backups um dann zu erfahren, was verlinkt und was kopiert werden muss.

Lief ein paar Jahre, der Ausweg aus der Situation war dann das NAS mit den Snapshots als "Archiv"
Der Windows PC musste dann auch nicht mehr unbedingt von x-y Uhr laufen.
Nur das die Snapshots so unantastbar sind, stinkt mir - also beim Systemwechsel ohne Migration nicht umziehbar.
Irgendwie mit https://github.com/digint/btrbk wäre es möglich - hat irgendjemand gepostet - aber noch nicht mit beschäftigt.
Meine "Aufräum-Regeln" sind da zwar wohl etwas übervorsichtig, siehe Screenshot - hatte es bei Hardlinkbackup auch in etwa so.
Eigentlich quatsch, musste noch nie mehr als ein paar Monate zurück, um zu früh gelöschtes wieder zu haben.
Werden nach 2-3 Jahren dann schon über 100 gewesen sein, tlw. leider auch unvollständige Sicherungen gehabt - die man immer wieder mal manuell löschen musste. Manchmal musste man auch die Index Datei löschen, alles sehr nervig.
Außerdem nicht täglich gesichert, da der Windows PC auch mal aus war, dann musste er mehrere alte Backups auf einmal löschen und das dauerte.

Ich muss das mit rsync mit Hardlinks mal reifen lassen, wäre evtl. ein Ausweg um ein dauerhaftes Archiv zu haben und die Snapshots dann nur noch als zusätzliche Absicherung gegen eigenes oder fremdgesteuertes Löschen zu haben.
Nachteil ist nur die Verzeichnistiefe wenn man wieder tägliche, wöchentliche Verzeichnisse ... oder nach Datum sortierte Sicherungen hat. Gut Programme wie robocopy oder Total Commander können auch tiefer als ~256 Zeichen - sollte mal trotzdem vermeiden. Habe da ein paar Spezialitäten, die schon Recht nah an der Grenze sind - versuche deshalb immer möglichst "flach" zu sichern.

Gerade das hier gefunden, evtl. kann es jemand als Grundgerüst gebrauchen
https://emanuelduss.ch/2010/11/ein-backup-konzept-mit-hardlinks-und-rsync/

 

[mgutt]

Ich hatte da in der Regel zwischen 45-55 Backups aufgehoben und Hardlinkbackup brauchte da fürs Kopieren und Verlinken oder Löschen alter Backups so um 1 Stunde

Dann ist das wohl eine Einschränkung von NTFS. Gut zu wissen. Ich erstelle die Backups auf dem NAS auf einer XFS Partition. Es kann gut sein, dass XFS eine performantere Tabelle nutzt. Die Summe an Hardlinks wird durch die ganzen Clients und Backups bestimmt schon im Milliardenbereich liegen.

Interessant wäre jetzt, ob man mit einer BTRFs Platte und dem BTRFS Treiber für Windows vielleicht eine bessere Performance erzielt. Für andere Dateissysteme gibt es ja leider keine Treiber.

 

[mgutt]

Gerade das hier gefunden, evtl. kann es jemand als Grundgerüst gebrauchen

Schau dir mein Script an. Es kann auch leicht für die Syno angepasst werden, in den man die Zeilen mit den Notifications in "exit 1" ändert. Dann kann man sich über den Aufgabenplaner auch eine E-Mail senden lassen.

z.B. 14 Tage behalten, danach älteste löschen. Snapshot ist hier halt bequemer, da ich mehr einstellen kann. Letzte 30 Tage, 1 pro Woche / Monat / Jahr o.ä. behalten

Genau das macht mein Script nach jedem Durchlauf automatisch. In den Grundeinstellungen 14 Tage, 12 Monate und 3 Jahre. Das sieht dann in den Logs so aus:

Clean up old backups
Preserve daily backup: 20210317_053758
Preserve daily backup: 20210316_085415
Preserve daily backup: 20210315_053301
Preserve daily backup: 20210314_053444
Preserve daily backup: 20210313_052332
Preserve daily backup: 20210312_051929
Preserve daily backup: 20210311_052359
Preserve daily backup: 20210310_053315
Preserve daily backup: 20210309_053810
Preserve daily backup: 20210308_053506
Preserve daily backup: 20210306_053631
Preserve daily backup: 20210305_055017
Preserve daily backup: 20210303_054946
Preserve daily backup: 20210302_054924
Preserve monthly backup: 20210301_054054
Delete 20210228_053640
Preserve failed backup: .20210208_101636
Preserve monthly backup: 20210201_051951
Preserve yearly backup: 20210101_053237
Preserve monthly backup: 20201201_052243
Preserve monthly backup: 20201101_044004
Preserve monthly backup: 20201001_044014
Preserve monthly backup: 20200901_044012

Wie du siehst wurde das Backup vom 28.02. gelöscht, da es älter ist als 14 Tage.

Was ich noch lösen muss: Wenn das Backup am 31.12. und 02.01. gemacht wird, werden beide durch die Tagesregel irgendwann gelöscht. Jahresbackups zählen nur am 01.01. Ich denke ich löse das Problem, in dem ich das vom 02.01. umbenenne. Weiß ich aber noch nicht.

 

[Simon88]

Danke dir fürs erklären, bin ich sogar schon einmal darüber gestolpert - ist dann nur in den Weiten der offenen Tabs verschwunden.
Jetzt seh ich erst deinen Namen - ohne Ironie und schleimfrei - bist mir in anderen Foren durch so manche schlaue Kommentare bei diversen Themen aufgefallen ...

 

[peterhoffmann]

Meine Backups werden bisher mit händisch zusammengebauten rsync-Einzeilern durchgeführt.

Schau dir mein Script an.

Die Kombination aus kleiner Größe, Unabhängigkeit der Backups untereinander, sowie der zeitlichen "Tiefe" gefällt mir.

Was mir aufgefallen ist (hoffentlich nicht übersehen):
Es fehlt mir die Möglichkeit Unterverzeichnisse (oder Dateiendungen) auszuschließen => --exclude
Ist die Implementierung davon geplant?

 

[mgutt]

Es fehlt mir die Möglichkeit Unterverzeichnisse (oder Dateiendungen) auszuschließen => --exclude
Ist die Implementierung davon geplant?

Da es nur zwei rsync Zeilen gibt, könnte man das ja leicht selbst ergänzen:


Aber ich könnte es zukünftig auch bei den Einstellungen berücksichtigen, wenn das gewünscht ist. Wenn ich die Zeit finde, teste ich das Script auch auf einer Syno und passe es direkt so an, das es auf beiden Plattformen ohne Anpassungen geht.