Umstieg von OMV auf Synology NAS - wie am schlausten mit den Platten & Voumes planen?

[Nickname]

Umstieg von OMV auf Synology NAS - wie am schlausten mit den Platten & Voumes planen?

Hallo zusammen,

ich hatte bisher eine selbstgebaute NAS (mit OMV) in der 2 x 4TB HDD, 2 x 1TB HDD und 1 x 480GB SSD werkelten.
Nun habe ich mir die DS1019+ gekauft, da ich über Rakuten günstig dran kam (inkl. Superpunkte für 550€), ich hatte einfach keine Lust mehr auf Basteln (macht zwar Spaß aber verschlingt Zeit).
Mit dem Umstieg möchte ich aber auch ein bisschen mehr Speicher haben. Bisher habe ich folgendes gemacht:


Zum Installieren die SSD in Bay5 eingebaut. Danach eine noch quasi neue 4TB in Bay1 und per rsync die Daten über Nacht kopiert.
Das hat soweit geklappt. Ich habe dann eine der alten 4TB-Platten aus der alten NAS ausgebaut und in die DS1019+ eingebaut und dem Speicherpool hinzugefügt.
Somit habe ich derzeit folgende Konfiguration:

Speicherpool 1: SHR
1 x 480 GB SSD
- ein Volume für VMs (Virtual Machine Manager)

Speicherpool 2: SHR
2 x 4 TB HDD
- Volume 1: UserDisk (jeder im Haushalt bekommt ein eigenes Netzlaufwerk für seine Daten an Rechner/Notebooks) - Btrfs
- Volume 2: Hier installiere ich die Apps hin, außer solche "doofen" Apps, wo man keinen Backup-Ziel-Speicher auswählen kann wie Active Backup for Office 365 - Btrfs
- Volume 4: Backups (als Ziel für Active Backup & Backups per NFS von VMs) - Btrfs
- Volume 5: Public (für eine öffentliche Freigabe auf die alle User & Geräte im Netz Zugriff haben zum schnellen Austausch von Daten) - Btrfs
- Volume 6: Media (für Videos & Fotos) - Btrfs
- Volume 7: Surveillance (eben für die Surveillance Station) - Ext4


Nun meine Fragen:

1.)
Macht diese Aufteilung Sinn? Oder ist es sinniger, alles in ein großes Volume zu machen (außer die Überwachungskameras)?

2.)
Desweiteren wollte ich ja den Speicher erweitern und frage mich, was da die schlauste Strategie wäre. Ich habe noch die 4TB-Festplatte aus der alten NAS übrig, mit der ich den Speicherpool ja auf 8 TB Nutzdaten + 4 TB Redundanz vergrößern könnte.
Nur, wie kann ich dann in Zukunft erweitern? Geht es, dass ich dann irgendwann z.B. eine 8TB-Platte hinzufüge und sobald die Daten verteilt sind, eine 4TB entferne und eine weitere 8 TB hinzufüge?
Dann müsste ich ja laut Raid-Rechner mit 2 x 4 TB und 2 x 8 TB = 16 TB nutzbar und 8 TB für Redundanz haben, richtig?

3.)
Und noch eine generelle Frage zu den Apps: Wenn ich diese und ihre Einstellungen sichern möchte für den DR-Fall, wie mache ich das? Einfach durch backuppen des Volumes auf der sie installiert sind? Auf meinen VMs sichere ich per Cronjob einfach die Einstellungen (meist im /etc/-Verzeichnis) weg...

Danke schon mal & beste Grüße

 

[Fusion]

1) Sinnfrage: Ist Geschmackssache. Sehe keine akuten Vor/Nachteile das entweder per Volumes oder Gemeinsame Ordner zu machen, aber ... vielleicht jemand anderes

2) Du kannst nur Platten tauschen oder hinzufügen, du kannst keine Platten reduzieren. Und du kannst nur Platten die mindestens so groß wie die kleinste im SHR sind hinzufügen.
Aber ja, du kannst von 4+4 (SHR RAID-1, 4 TB Nutz) auf 4+4+4 (SHR-RAID5, 8TB Nutz) gehen und dann auf 4+4+4+8 (SHR-RAID5, 12TB Nutz) und dann auf 4+4+8+8 (SHR-RAID5 12TB + SHR-RAID1 4TB Nutz zusammengebaut via LVM, RAIDs mit mdadm). Bei jeder Aktion wird das RAID neu resynced/aufgebaut. Ist halt bisschen Plattenstress, aber...

3) Auf der DS läuft alles mit Gemeinsamen Ordner und nicht auf Volume-Ebene.
Welche Apps und welche Einstellungen gesichert werden (z.B: via Hyper Backup) finden sich in der Online Doku der einzelnen Anwendungen und Hyper Backup.
Eine Lösung welche Alle Apps und alle Einstellungen sichert (mit einem Klick) gibt es meines Wissens nicht.

 

[Theslowman]

Ich würde überall ext4 nehmen und nicht mit BTRFS rummachen....

 

[Nickname]

Hallo Fusion,
danke für deine Antwort!

1) Sinnfrage: Ist Geschmackssache. Sehe keine akuten Vor/Nachteile das entweder per Volumes oder Gemeinsame Ordner zu machen, aber ... vielleicht jemand anderes

2) Du kannst nur Platten tauschen oder hinzufügen, du kannst keine Platten reduzieren. Und du kannst nur Platten die mindestens so groß wie die kleinste im SHR sind hinzufügen.
Aber ja, du kannst von 4+4 (SHR RAID-1, 4 TB Nutz) auf 4+4+4 (SHR-RAID5, 8TB Nutz) gehen und dann auf 4+4+4+8 (SHR-RAID5, 12TB Nutz) und dann auf 4+4+8+8 (SHR-RAID5 12TB + SHR-RAID1 4TB Nutz zusammengebaut via LVM, RAIDs mit mdadm). Bei jeder Aktion wird das RAID neu resynced/aufgebaut. Ist halt bisschen Plattenstress, aber...

3) Auf der DS läuft alles mit Gemeinsamen Ordner und nicht auf Volume-Ebene.
Welche Apps und welche Einstellungen gesichert werden (z.B: via Hyper Backup) finden sich in der Online Doku der einzelnen Anwendungen und Hyper Backup.
Eine Lösung welche Alle Apps und alle Einstellungen sichert (mit einem Klick) gibt es meines Wissens nicht.

Zu 1.) Ich lasse es dann jetzt erstmal so wie ich es oben beschrieben habe.

Zu 2.) Danke, das war mir nicht bewusst, dass man keine Anzahl an Platten reduzieren kann. Ich habe jetzt 2 x 4 TB und seit heute 1 x 8TB drin. Ich glaube, dann werde ich als nächstes lieber eine der 4 TB Platten durch eine 8er ersetzen. Sobald das reshape abgeschlossen ist, werde ich ja mit 4+4+8 = 8 TB Nutzdaten, 4 TB für Redundanz haben.
Zeitnah fliegt dann eine 4 TB raus um durch eine weitere 8TB ersetzt zu werden, damit ich zum einen nicht 4 TB verschwende und 12 TB Nutzdaten und 8 TB Redundanz habe.

Meinst du mit Plattenstress, dass der resync/reshape echt lange dauert? Mir wird im mdadm derzeit das hier angezeigt:


admin@borgcube:~$ cat /proc/mdstat
Personalities : [linear] [raid0] [raid1] [raid10] [raid6] [raid5] [raid4]
md3 : active raid5 sdd5[2] sda5[0] sdb5[1]
3902187456 blocks super 1.2 level 5, 64k chunk, algorithm 2 [3/3] [UUU]
[===>.................] reshape = 17.1% (668512320/3902187456) finish=1860.8min speed=28961K/sec

29 MB/Sekunde ist nicht grade viel..

Zu 3.) Ok, mal angenommen mir fliegt die ganze DS um die Ohren, sollte man am Besten ein Backup des "gemeinsamen Ordners" haben und zurück spielen? Dann macht es ja schon Sinn, soviele Apps wie möglich in ein Volume und damit in einen Ordner zu installieren - außer halt die Apps welche als Datenspeicher immer das Volume auf dem sie installiert sind nutzen und es sich nicht ändern lässt.


@Theslowman: Ne, ich mag die Vorteile von btrfs Vom Job her bin ich WAFL gewohnt und finde die Vorteile des copy-on-write einfach überragend gegenüber "alten" FS wie ext4 & co.

 

[Fusion]

Zu 2) Mit Plattenstress meine ich allgemein die Unmengen an Daten die gelesen/geschrieben werden müssen, wenn man z.B: von RAID-1 auf RAID-5 wechselt (also SHR 2 Platten auf 3 Platten). Wenn man sich das sparen kann würde ich es immer bevorzugen.

zu 3) Die Struktur ist immer /volumeX/Gemeinsamerordner. In der GUI siehst und hast du nur Zugriff auf die Ebene der Gemeinsamen Ordner, die Volumes selber siehst du nicht in der Dateistruktur. Die Apps landen dann unter /volumeX/@apps@ oder ähnlich (habs grad nicht im Kopf). Darauf hast du auch keinen direkten Zugriff (via GUI). Demensprechend muss man sich auf Synology und seine Backup Apps verlassen die diese Daten und eventuell verwendete Datenbanken sichern oder auch nicht.
Von daher habe ich gerade ein Mix aus allem möglichen:
- Konfigurationssicherung (die auch nicht alle Einstellungen im DSM enthält)
- Sicherung Gemeinsamer Ordner mit Hyper Backup
- Sicherung mancher Apps mit Hyper Backup
- Sicherung von SQL Datenbanken mit mysqldump-script
- teilweise Notizen der Einstellungen in Apps und DSM
Da ist die Sicherung im Eigenbau-NAS gefühlt noch einfacher. (und da weiß ich explizit was ich sichere und was nicht, ohne die Doku bis ins letzte Detail gelesen zu haben)

 

[Theslowman]

@Theslowman: Ne, ich mag die Vorteile von btrfs Vom Job her bin ich WAFL gewohnt und finde die Vorteile des copy-on-write einfach überragend gegenüber "alten" FS wie ext4 & co.

Ich bin selbst glühender ZFS Fan seit Jahren, aber wenn du hier mal die Nase ins Forum steckst, wirst du den ein oder anderen Thread da zu finden. Die Implementierung in den Synos macht zB. bei manchen Streamingsachen Probleme. Speziell Linuxreceiver sind da ein Thema...

 

[Nickname]

Zu 2) Mit Plattenstress meine ich allgemein die Unmengen an Daten die gelesen/geschrieben werden müssen, wenn man z.B: von RAID-1 auf RAID-5 wechselt (also SHR 2 Platten auf 3 Platten). Wenn man sich das sparen kann würde ich es immer bevorzugen.

Ok, ging leider nicht anders. Das lahme reshape war übrigens der beknackte AV Scanner, der extrem langsam ist. Der braucht knapp 2 Tage um meine Files zu scannen. Habe es irgendwann bemerkt und ausgeschaltet, da lieg der reshape mit 75-80 mb/sek.
Aktuell habe ich heute die zweite 4TB ausgebaut und gegen 8TB getauscht, derzeit läuft das Recovery mit 130 MB/Sek.

Wenn das fertig ist, bleibe ich bei 8+8+4 und wenn die 4er mal kaputt geht (eine HGST Deskstar die in der alten NAS seit 4 Jahren duchlief) wird sie auch gegen eine 8TB getauscht. Danke für deine Tips!

Achja, dem Pool 1 habe ich eine zweite SSD gegönnt im RAID1.
Damit sind jetzt alle Bays frei, aber man kann ja gut in die DX517 investieren wenn Platz knapp wird. Oder funktionieren auch andere ESATA-Gehäuse mit Port Mutiplier an Synology-NAS?

zu 3) Die Struktur ist immer /volumeX/Gemeinsamerordner. In der GUI siehst und hast du nur Zugriff auf die Ebene der Gemeinsamen Ordner, die Volumes selber siehst du nicht in der Dateistruktur. Die Apps landen dann unter /volumeX/@apps@ oder ähnlich (habs grad nicht im Kopf). Darauf hast du auch keinen direkten Zugriff (via GUI). Demensprechend muss man sich auf Synology und seine Backup Apps verlassen die diese Daten und eventuell verwendete Datenbanken sichern oder auch nicht.
Von daher habe ich gerade ein Mix aus allem möglichen:
- Konfigurationssicherung (die auch nicht alle Einstellungen im DSM enthält)
- Sicherung Gemeinsamer Ordner mit Hyper Backup
- Sicherung mancher Apps mit Hyper Backup
- Sicherung von SQL Datenbanken mit mysqldump-script
- teilweise Notizen der Einstellungen in Apps und DSM
Da ist die Sicherung im Eigenbau-NAS gefühlt noch einfacher. (und da weiß ich explizit was ich sichere und was nicht, ohne die Doku bis ins letzte Detail gelesen zu haben)

[/QUOTE]

Ok, ich denke ich fahre es so wie du und sicher dann die Daten in den @-Ordnern per Cronjob und tar nochmal separat weg. Schade, dass es nicht konsistenter über alle Apps ist.

Ich bin selbst glühender ZFS Fan seit Jahren, aber wenn du hier mal die Nase ins Forum steckst, wirst du den ein oder anderen Thread da zu finden. Die Implementierung in den Synos macht zB. bei manchen Streamingsachen Probleme. Speziell Linuxreceiver sind da ein Thema...

Ich habe bereits ein wenig im Forum dazu gelesen und es waren ja eher Einzelfälle und v.a. in speziellen Szenarien. Ich habe keinen Linuxreceiver da ich kein TV schaue.

 

[Nickname]

Hallo,
noch eine kurze Frage: Derzeit ist mein Speicherpool bestehend aus 8+8+4 TB.
Wenn ich jetzt noch die letzte 4TB Platte gegen 8TB tausche, wird dann viel wieder umgebaut? Sprich dauert das reshapen/resyncen wieder so lange?
Das Amazon-Angebot mit der 8TB-Platte für 149€ ist grade zu verlockend... ;-)

 

[Fusion]

"cat /proc/mdstat" aktuell?

Nehme an du hast ein RAID-5 mit 4+4+4 und ein RAID-1 mit 4+4 zum SHR zusammen gebaut mit 12 TB Nutzdaten + Redundanz.
Dann muss beim Tausch der 4 TB eben das RAID-1 zum RAID-5 umgebaut werden um am Ende zwei RAID-5 mit je 8TB zum Pool mit 16 TB Nutzdaten zu gelangen.
Wird sicher eher Richtung 15-24h dauern, mindestens.

 

[Nickname]

Hi Fusion,
nein ich habe 8+8+4.
Und die 4er würde ich noch austauschen.

Das hier sagt mir mdstat:


Personalities : [linear] [raid0] [raid1] [raid10] [raid6] [raid5] [raid4]
md5 : active raid1 sda6[1] sdd6[0]
3906998912 blocks super 1.2 [2/2] [UU]

md3 : active raid5 sda5[3] sdd5[2] sdb5[1]
7804374912 blocks super 1.2 level 5, 64k chunk, algorithm 2 [3/3] [UUU]

md2 : active raid1 sdc5[1] sde5[0]
464020416 blocks super 1.2 [2/2] [UU]

md4 : active raid1 nvme1n1p1[0] nvme0n1p1[1]
117216192 blocks super 1.2 [2/2] [UU]

md1 : active raid1 sda2[0] sdc2[4] sdd2[3] sdb2[2] sde2[1]
2097088 blocks [5/5] [UUUUU]

md0 : active raid1 sda1[0] sdc1[4] sdd1[3] sdb1[2] sde1[1]
2490176 blocks [5/5] [UUUUU]

 

[Fusion]

Ja, ich weiß was du hast. Das was du in der GUI siehst ist aber nur das Endergebnis. Das wird aus RAIDs (mdadm) und logical volumes (LVM) zusammengebaut im Falle eines SHR, wenn man nicht mit gleich großen Platten anfängt und nichts mehr verändert. SHR versucht aus jedem Platz der redundant vorhanden ist ein RAID zu erstellen und dem Pool hinzu zu fügen.

md0 ist das RAID-1 über alle internen Platten mit dem DSM drauf
md1 ist das RAID-1 über alle internen Platten mit swap
md4 ist das RAID-1 mit den NVMe-SSDs
md2 ist das RAID-1 mit den zwei SSDs

md3 ist ein RAID-5 mit 4+4+4
md5 ist ein RAID-1 mit 4+4
Die zwei zusammen sind dein Speicherpool mit 12TB

Wenn du jetzt die 4 gegen 8 austauscht wird md5 von einem 4+4 RAID-1 zu einem 4+4+4 RAID-5 umgebaut und der Pool erweitert.

 

[Nickname]

Herzlichen Dank für deine Erklärung, interessant zu wissen, was DSM daraus bauen wird.
Würde ich mit drei 8TB Platten neu anfangen, würde also nur ein RAID-5 erstellt werden über eben diese drei Platten, richtig?
Wäre das nicht robuster statt noch mit LVM drum zu basteln? Da meine alte NAS noch parallel läuft, könnte ich auch einen Neuanfang machen.

 

[Fusion]

Korrekt.

Robuster.. ist diskussionswürdig. Sind schon ausgereift die Werkzeuge, aber ja, jedes Stück Software das die Komplexität erhöht stellt auch ein gewisses Risiko dar. Würde ich aber nicht überbewerten.

Wenn du z.B. nicht vorhast je Speicher nutzen zu wollen, bevor nicht alle Platten durch größere ersetzt werden könntest du auch direkt selbst RAID-5 auswählen.
Da geht dann halt nur 4+4+4 oder 8+8+8 oder 10+10+10, wenn man allen Speicher nutzen will.