Raid5-Platzverschwendung stoppen, Raid5 >> SHR, oder? Basisberatung nötig

  • Ab sofort steht euch hier im Forum die neue Add-on Verwaltung zur Verfügung – eine zentrale Plattform für alles rund um Erweiterungen und Add-ons für den DSM.

    Damit haben wir einen Ort, an dem Lösungen von Nutzern mit der Community geteilt werden können. Über die Team Funktion können Projekte auch gemeinsam gepflegt werden.

    Was die Add-on Verwaltung kann und wie es funktioniert findet Ihr hier

    Hier geht es zu den Add-ons

Status
Für weitere Antworten geschlossen.

Longkeeler

Benutzer
Registriert
28. Dez. 2013
Beiträge
98
Reaktionspunkte
6
Punkte
8
Mojn allseits,
Hier möllern eine DS1813+ und eine DS1815+ im Keller vor sich hin, bei beiden ist der Plattenzoo immer mal nach Bedarf und Verfügbarkeit größer geworden. Die Konfiguration der 1813+ :


DS1-Speicherpool20221010.jpg

Und hier die 1815+:
DS2-Speicherpool20221010.jpg

Wie man sieht, habe ich bei der Einrichtung der später hinzugekommenen 1815+ aus heute nicht mehr erfindlichen Gründen RAID 5 gewählt, bei der älteren 1813+ noch SHR.
Ersteres führte nun nach der Installation von je zwei 18TB-HDDs nachträglich nachvollziehbar zu einer ziemlich heftigen Speicherplatzverschwendung auf der 1815+.
Mein Ziel ist, die 1815+ in Zukunft auch als SHR zu betreiben. Beide NAS dienen eher als fast bodenlose Datensenken, die 1815+ speichert Backups des PC-, MacBook- etc. -Zoos hier im Haus, die 1813+ sammelt eher Musik, Filme und sonstigen Verbrauchskram.

Logischerweise wuchs die 1815+ irgendwann mal, schneller als erwartet, an ihre Grenzen, jetzt jongliere ich da immer so an der Grenze des KeinSpeichermehrfrei-Umfelds. Es muß sich was ändern.

An anderer Stelle in diesem Forum (ich will aber den Wildwuchs klein halten und konzentriere meine Fragen nun mal hier) war ich nach vielfältigem Rat zu dem Plan gekommen, die anfangs noch klein bestückte 1813+ zunächst auch aufzupeppen. Das geschah mittels zweier 18 TB Laufwerke, dank SHR stehen da nun 54 TB zur Verfügung. Naiv, wie ich auch mit 68 Jahren noch bin, dachte ich, ich lagere alles, was noch auf der 1815+ rumliegt, auf den ausreichenden Platz auf der 1813+ aus, mach die 1815+ platt und bau die neu mit SHR auf. Das ergab sich als ziemlich alternativloser Weg aus der Diskussion dort. Nun, Das Übertragen der Dateien funktionierte - zumal für mich als Linux- und Unix-Grobmotoriker, gelinde gesagt gar nicht.

Versuche mit Hyperbackup und Co. scheiterten schon an der schier endlosen Ausführungszeit, die nie zu einem Ende kam. Dann entdeckte ich die Segnungen von rsync, aber auch das war noch nicht die Lösung. Ab hier wurde es chaotisch, weil ich mich im Berechtigungsdschungel zumal zweier kapriziöser maschinen verlor und verirrte. Bis ich gestern mehr oder weniger zufällig dahinter kam, daß die Fehlermeldung "Sie haben keine Berechtigung, diese Operation auszuführen... (sinngemäß)" eigentlich als "Du hast mehr als 1000 Dateien in den Ordnern, die Du verschieben willst, und das geht nicht (warum auch immer) " zu verstehen ist. Da jedenfalls habe ich mich nun in den letzten Tagen festgefahren, habe z.B. das Dreijahres-Backup-Archiv eines vielgenutzten PCs zwar von der 1825+ mittels rsync tatsächlich auf die 1813+ bewegt bekommen, das dortige lokale Umschaufeln in ein temporäres Verzeichnis aber ging nicht, vermutlich aus vorgenanntem Grund,

Nun sah ich gestern, daß meine neuen Lieblings-18-TB-Laufwerke noch mal viel preisgünstiger geworden sind (wobei ich immer wieder an den Tag denken muß, an dem mein Vertrag in der Uni nicht verlängert wurde, aber meinem Antrag auf 25.000 DM zur Anschaffung einer 20 MB (!!!!)-SCSI-Platte stattgegeben wurde, war so um ~1982 rum), habe ich gestern 4 weitere 18TB-HDD bestellt, die der Postbüdel morgen / heute bringen soll. Wie gehen ich damit nun am besten um? Ja, den RAID-Rechner kenne ich natürlich! Mein momentaner Plan ist nun eigentlich, die in der 1813+ noch vorhandenen 4TB-HDD schrittweise durch die 18TB-ler zu ersetzen. Denn eine Ergänzung der RAID 5-Kiste würde ja erst sinnvoll sein, wenn ich da alle < 18TB-HDD durch solche dieser neuen Art ersetzen würde.

Andererseite hätte ich aber, maximiere ich zunächst die 1813+, dort genug Platz, alle Inhalte der 1815+ temporär zu lagern, wenn alles übertragen ist, den o.g. Plan der Änderung auf SHR zu verwirklichen. Dazu aber müßte ich zuverlässig wissen, wie ich die Daten ungebremst hin- und herbewegen kann, ohne dabei mit den ungeschriebenen Gesetzen der Rechteverteilung auf den Maschinen, zumal wenn diese Rechte, so mein Eindruck, auch noch maschinengebunden mit der Migration mitwandern. Das mag aber Spökenkiekerei (norddeutsch für Halluzinationen) sein.

Zwar hätte ich am Abschluß dieser Aktion dann auf absehbare Zeit deutlich mehr Speicherplatz, als derzeit wirklich nötig, aber zu viel Speicher gibt es nicht, wie zu viel Bier im Haus, ein bißchen schwanger oder ähnliches. Wenn beide Maschinen unter SHR laufen, ist immerhin der Vorteil des verschwendungsfreien weiteren Wachstums da, und das lohnt imho.

So, wer mag dazu was sagen, und dabei drohe ich schon an, daß ich beim weiteren Vortasten immer neue Fragen haben werde. Erstmal, kurz vor ein am Morgen, Zeit, mal den Absenden-Knopf zu klicken. Ich hoffe, ich hab nicht zu viele Schreibfehler eingebaut, wenn, bitte ich um Nachsicht. -

Hier schon mal eine ganz naive Frage: Wenn ich bei einem Füllungsgrad von - sagen wir mal - 50% des RAID 5-Systems eine 4TB-Platte rausnehme, wäre es dann möglich, die Reparatur so wirken zu lassen, daß keine neue HDD reingesteckt und wieder gefüllt wird, sondern mittels eines anderen Werkzeugs (welches?) die Reparatur so wirkt, daß die Daten dann auf den verbliebenen HDD neu verteilt werden?

So mal als Beispiel der Art meiner Fragen. Auf ähnlicher Ebene: ließe sich der ungenutzte Platz in einem RAID 5-System nicht einem weiteren neuen Volume zuweisen? Wobei ich mir die Komplexität des Wachstums oder einer allfälligen Reparatur einer solchen Konfiguration gar nicht vorstellen mag...

Danke schon mal an alle Ratschläger und Bescheidwisser!

So, nun Absenden !

Gruß,
Ulli, der Langkieler.
 
  • Like
Reaktionen: Uwe_
Was macht dein Backup ?
 
  • Like
Reaktionen: Longkeeler
Mit rsync kam da - nach den Hyperbackfehlversuchen - immerhin in endlicher Zeit etwas zustande. Dann las ich, daß, wenn ich auf der Quellseite etwas lösche (was ja auch Ziel der Aktion ist), das beim nächsten Zugriff durch rsync auch auf der Zielseite gelöscht wird. Daher mein Gedanke, das schon Gesicherte auf der 1813+ in einem anders benamsten Verzeichnis zu sichern, mittels Filestation. Fehlanzeige, "Sie haben keine Rechte blablubb, das zu tun." Da stecke ich fest.
 
Wenn das Backup versioniert ist, bleiben Vorgänger erhalten. Die Löschung wird auch gesichert, aber über den Rollback kann trotzdem zugegriffen werden.

Versionierung ist u.a. wichtig, falls auf der aktiven DS Dateien verschlüsselt wurden. Dann ist die letzte Version Datenschnee, aber man geht so weit zurück, bis man eine intakte Situation antrifft.

Setzt natürlich voraus, dass auf der Backup-DS deutlich mehr Platz verfügbar ist als auf der aktiven DS.
 
Wenn das Backup versioniert ist, bleiben Vorgänger erhalten. Die Löschung wird auch gesichert, aber über den Rollback kann trotzdem zugegriffen werden.
Versionieren mit rsync? Ich hab da auf dem Zielsystem nur einen entsprechenden Ordner freigeschaltet und dann die Quelle gewählt, und schon ging's los.
Versionierung ist u.a. wichtig, falls auf der aktiven DS Dateien verschlüsselt wurden. Dann ist die letzte Version Datenschnee, aber man geht so weit zurück, bis man eine intakte Situation antrifft.
Verschlüsselung nutze ich gar nicht.
Setzt natürlich voraus, dass auf der Backup-DS deutlich mehr Platz verfügbar ist als auf der aktiven DS.
Das ist nun allerdings der Fall.

Und es wäre schon (bald) noch mehr, wenn der DHL.Mann nicht nur angekreuzt hätte, daß er das Paket mit den neuen HDD am Ablageort abgelegt habe, sondern es auch getan hätte. Im Moment sind da 72 TB Platz verschollen. :((((

Nachtrag: Eben kam das Paket doch noch. Der Postbüdel hatte erst Ablageort eingetragen, stellte dann fest, daß die Nachbarn auch nicht da waren, hat es in seinem Terminal wieder ausgetragen, aber das Feature kann deren Server wohl nicht. Wat'n Theoter!

Dank, Gruß,
U. Longkeeler
 
Zuletzt bearbeitet:
Wenn du dir Ransomware einfängst, dann verschlüsselt die dir deine Dateien. Falls dein Backup-Job damit das Backup überschreibt, bist du froh, wenn du Versionen hast.

Jetzt verstanden ?
 
So weit bin ich ja noch lange nicht. Die Versioning-Einstellungen auf den verschiedenen Clients sind ja Teil des Datenzuwachsproblems. Wobei da ein Hardwarefehler oder eine Fehl- , ähm nicht der Zweckbestimmung entsprechende -bedienung das deutlich wahrscheinlichere Risiko ist. BTDT.

Es wäre schön, wenn mir jemand bei den weiter oben, im Eingangsposting, dargestellten Blockaden wg. Rechten, Handhabung einfacher Transfers von NAS zu NAS (im gleichen LAN) helfen könnte, ohne bei mir Linux- Fachwissen oder jahrelange Erfahrung vorauszusetzen.

Danke!
 
Wieviel Speicher ist den wirklich belegt auf den DS?
 
auf der 1815+ 24.2 von 24.4 TB:
speicherDS2_20221013.jpg



Auf der 1813+ - die gewöhnt sich gerade an ihre erste der weiteren neuen 18TB-Platten, da dauern die parity-Prüfungen ja ziemlich lange während der "Reparatur" - die 18er ist für eine 4 TB-Platte reingewandert.
speicherDS1_20221013.jpg

Nachtrag-Ergänzung: Es liegen noch drei weitere 18TB-Platten für das Rechenmöbel bereit, deren "Einpflegen" wird ja aber ein paar Tage in Anspruch nehmen.
 
Zuletzt bearbeitet:
Wieso nimmst du nicht 2 der neuen 18TB HDDs und sicherst mit 2 getrennten Jobs die Daten von der DS1815+ per USB auf die HDDs. Machst die DS1815+ platt und setzt sie mit SHR neu auf? Spielst das Backup zurück und verwendest dann die HDDs für die Erweiterung der DS1813+
 
  • Like
Reaktionen: Longkeeler
Klingt nach nem guten Plan. Welches wären da die notwendigen Einzelschritte? Ein (älterer) USB-SATA-Adapter liegt rum.
Soviel schon mal an eigener Erkenntnis: Die weitere noch unbenutzte 18TB-Platte sollte ich dann gleich beim Neuaufsetzen in die 1815+ mit integrieren, richtig? Wenn ich / wir so weit sind, die kleinen 4er können aus der 1815+ dann auch raus.


Erstmal und zuvor natürlich herzlichen Dank für einen ermutigenden konstruktiven Rat!
 
Zuletzt bearbeitet:
Wieso nimmst du nicht 2 der neuen 18TB HDDs und sicherst mit 2 getrennten Jobs die Daten von der DS1815+ per USB auf die HDDs. Machst die DS1815+ platt und setzt sie mit SHR neu auf? Spielst das Backup zurück und verwendest dann die HDDs für die Erweiterung der DS1813+
Also, lieber @ctrlaltdelete (kenn ich sogar noch aus CP/M auf Z80-Zeiten), zwei Fragen direkt zu den nächsten Schritten: Kann ich mehr als ein USB-SATA-Laufwerk gleichzeitig an die 1815+ hängen (die hat doch mehr als einen USB-Port, wimre), und dann die beiden "getrennten Jobs" - bisher habe ich mit USB Copy noch nie was gemacht - muß ich da "von Hand" nachzählen, wieviel in einem Schwung zu kopieren ist, oder macht USB Copy das gar automatisch, wie früher die Sicherung auf Disketten- oder CD etc. Backup-Programme? Im Verbund damit: Kann ich zwei USB-SATA-Laufwerke gleichzeitig befüllen - und später auch wieder ins System zurückkippen?

Danke schon mal für Deine sicher hilfreiche Antwort!

Hab gerade die Seite zu USB Copy im Knowledge Center entdeckt. Werde mich da mal einlesen und dann mit blöden Fragen kommen...)

:cool::rolleyes:
 
Ich meinte per Hyperbackup Einzelversion
 
Uff, das kam dann gerade noch rechtzeitig. Habe mir nämlich gestern noch zwei etwas zeitgemäßere USB 3.0 <> SATA-Adapter bestellt, sollen heute da sein:
Inateck USB 3.0 zu SATA Konverter Adapter für 2.5 / 3.5 Zoll Laufwerke HDD SSD mit 12V 2A Netzteil

und dann erscheint das USB-Laufwerk vermutlich auch in der Setup-Auswahl von Hyper Backup (ja, lokal und USB Einzelversion gewählt!)

Filestation zeigt ja leider nicht die Größe von Ordnern an - gibt es da was? Irgendwie muß ich ja die Trennung der zu sichernden Ordner / Dateien machen, da liegt nach Größe am nächsten - wie machst Du das?
 
Über den Speicheranalysator:
 

Anhänge

  • 1665732630579.png
    1665732630579.png
    78,9 KB · Aufrufe: 11
Hat wieder etwas gedauert, bis ich entdeckt habe, wo die Torte lagert. Aber jetzt! Danke!!! Bericht ist in Arbeit auf der Kiste, sagt sie...
 
Der Speicheranalysator grübelt nun seit heute morgen, rund 8 Stunden bisher, über seinem Speichergrößenbericht, auf der sehr vollen 1815+.

(a) Ist das normal?
Zusatzfragen, wenn es recht ist:
(b) Kann ich mit Hperbackup Einzel ( zwei USB-Laufwerke sind als USBshare1 und ~2 eingerichtet) Teile des Gesamtvolumes nacheinander auf die USB-Platten schreiben, oder
(c) muß das pro Sitzung ein Gesamtaufwasch sein?
(d) Wenn ich zwei Instanzen von Hyperbackup starte(n kann), könnte ich dann zwei Backups auf je eine USB-Platte gleichzeitig laufen lassen?
 
Der Speicheranalysator grübelt nun seit heute morgen,
Hmmm. er grübelt immer noch. Stört es den Analysator, daß er offiziell eigentlich nicht viel Platz für seine Daten hat?


speicherDS2_20221016.jpg

Das ist die Kiste mit den nahezu 24.4 TB (24.3 von 24.4) drauf.
Die andere (die SHR-Maschine) prüft immer noch Paritäten, mittlerweile auch mehr als ne Woche, seit ich das neue Laufwerk eingesetzt habe, aber wenigstens bewegt sich da was. Wenn ich das aus der letzten vergleichbaren Situation richtig in Erinnerung habe, prüft das System Byte für Byte auf allen HDD auf Richtigkeit der Parität - richtig? Dauert natürlich etwas dann... Wenigstens herrscht auf der nicht mehr so drangvolle Enge:

speicherDS1_20221016.jpg


Schönen Restsonntag! Und integrierten Dank für Eure bisherige und noch kommende Hilfe!

Gruß,
U.Longkeeler.
 
Status
Für weitere Antworten geschlossen.
 

Kaffeautomat

Wenn du das Forum hilfreich findest oder uns unterstützen möchtest, dann gib uns doch einfach einen Kaffee aus.

Als Dankeschön schalten wir deinen Account werbefrei.

:coffee:

Hier gehts zum Kaffeeautomat