Wechsel von Synology Server auf Eigenbau- Server

[Zalatschenko]

Hallo zusammen

Ich habe folgende überlegung. Momentan ist bei mir ein RS2416+ im Einsatz. Diese Nutze ich als File und Medienserver. Nun habe ich aber Probleme mit der RAM und CPU Auslastung. Mir ist bewusst dass der RAM Upgradebar ist. Und wenn ich suchen würde könnte ich warscheinlich auch einen CPU finden welcher den gleichen Sockel hat (Habe ich aber nicht obwohl ich nach langer suche den Typ des CPU's fand). Schlussentlich dachte ich mir wieso nicht gleich ein komplett neuer Server welcher dann auch genug Leistung für meine Spielereien ist. (Schliesslich ist die RS ein Daten und kein Medienserver).

Aktuell habe ich mir folgende Rahmen gesetzt:
- Mindestens Erweiterbar auf 24 HDD's verwaltet über einen Hardware - Raid Controller
- 4 SSD's als System und Pufferplatten in einem RAID 10
- Das Motherboard soll ein miniATX werden damit ich genug PCI Lanes habe.
- Einbindung ins LAN über SFP Anschluss
- RAM von ca. 32GB
- CPU hab ich mir den Intel Xeon E3-1240V6 3,70GHz angeschaut.
- Betriebssystem Ubuntu Server

zu meiner Frage:
Ich habe momentan 12 HDD's im Einsatz:
- 3GB System
-3x 3GB als RAID 5
3x 4GB als RAID 5
3x 6GB als RAID 5
1x 4 GB Hot- Spare
1x 6 GB Hot- Spare
Alle RAID 5 sind als BTRFS ohne Verschlüsselung Konfiguriert.

Nun habe ich aber nicht genügend Festplatten um eine Migration über LAN durchzuführen (Copy/ Paste).
Aus diesem grund Frage ich mich:

- Kann ich die Festplatten einfach einbauen und alle LINUX basierten Systeme erkennen dann die Festplatten?

Warscheinlich ist es aber nicht möglich da die Struktur wie die Daten ins RAID geschrieben werden bei einem Software RAID (Was ja soweit ich weis beim RS so ist) zu einem Hardware- Raid wie ich es vorhabe abweicht.

Hat da jemand eine Ahnung oder hat dies sogar schonmal gemacht?

PS: Ich bin mit Synology sehr zufrieden und für leute wie ich die eig. keine Ahnung haben ist das DSM eine sehr gute und einfach zu Konfigurierende Oberfläche. Nicht dass da was falsch verstanden wird. (Sonst hätte ich nicht seit über 10 Jahren Synologys im Einsatz)

Gruss

 

[amarthius]

Mich wundert das die CPU und der RAM ausgelastet ist, wenn es nur Datengrab/Medienserver ist. Welche Dienste hast du denn aktiv, welche Prozesse lasten denn die DS aus,..usw.?

 

[steje43]

PS: Ich bin mit Synology sehr zufrieden und für leute wie ich die eig. keine Ahnung haben ist das DSM eine sehr gute und einfach zu Konfigurierende Oberfläche.

Aus diesem Grund würde ich mir das nicht antun. Allein die Anwendungen die von Synology mitgeliefert werden nehmen einem schon viel Arbeit ab.
Dann hier das große Forum hier. Für mich ist das nichts. Keine Ahnung wie ich einen Webserver oder Mailserver selber aufsetzen soll.

 

[Zalatschenko]

Mich wundert das die CPU und der RAM ausgelastet ist, wenn es nur Datengrab/Medienserver ist. Welche Dienste hast du denn aktiv, welche Prozesse lasten denn die DS aus,..usw.?

Bei mir läuft Synology Drive, Plex (welcher fast der grösste Leistungskraken ist aufgrund von Video Comprimierung 4K -> HD), Backup Server, Mail Server und geplant beim neuen wäre noch irgend eine Aktiv Directory Lösung (Ja synology hat auch eine). Bin mir grad nicht sicher. Schaue nach dem Mittag nach

 

[blurrrr]

Die RS24x ist jetzt nicht grade ein Performance-Wunder... Habe selbst eine RS2418RP+ laufen und CPU-technisch ist das schon ein wenig mager (aber was will man auch von so einem nackten Kasten für 2500€ erwarten... ). Ich bin sowieso der Meinung, dass man für DAS Geld hardwaremässig doch WEITaus besseres bekommt (wenn man halt selber macht)... wenn es einfach nur "einfach" und "schnell" gehen soll, dann sind die Synos noch ganz ok. Raidcontroller haben die Dinger ja auch nicht (mdadm -> Software-Raid), somit kann man die Platten einfach woanders hinschmeissen und via mdadm wieder zusammenklöppeln (gibt es aber auch irgendwo eine entsprechende Anleitung seitens Synology zu). Eine direkte Umwandlung zu einem Hardware-Raid wird eher nicht möglich sein (bräuchtest also irgendwas für die Migration, wenn Du umstellst). Das AD ist auch nur Samba4-basiert, kannste also auch auf jeder anderen Kiste machen. Als Beispiel dazu sei mal die UCS-Community-Edition genannt (hatte ich die Tage nochmal getestet), da kannst Du auch direkt mit ein paar Klicks einen Slave-DC erstellen und/oder einen RO-DC, musst halt nur die AD-Erweiterungen mit dazu installieren.

 

[TechX]

Nun habe ich aber nicht genügend Festplatten um eine Migration über LAN durchzuführen (Copy/ Paste).

Wie wurde das bislang gesichert?
Sonst könntest Du jeweils die HDDs freischaufeln, Umbauen, step-by-step

Allerdings würde ich wohl bei so einem Vorhaben im neuen Server den Pool mit neuen, entsprechend grossen Platten aufziehen und die kleineren Raids ablösen. Viele Platten heisst viel Lärm, viel Verbrauch, unnötig hohe Abwärme.

Ich habe momentan 12 HDD's im Einsatz:
- 3GB System
-3x 3GB als RAID 5
3x 4GB als RAID 5
3x 6GB als RAID 5
1x 4 GB Hot- Spare
1x 6 GB Hot- Spare

Platten im TB-Bereich sind ja nicht mehr so teuer

 

[Zalatschenko]

...... somit kann man die Platten einfach woanders hinschmeissen und via mdadm wieder zusammenklöppeln (gibt es aber auch irgendwo eine entsprechende Anleitung seitens Synology zu).

Das AD ist auch nur Samba4-basiert, kannste also auch auf jeder anderen Kiste machen. Als Beispiel dazu sei mal die UCS-Community-Edition genannt (hatte ich die Tage nochmal getestet), da kannst Du auch direkt mit ein paar Klicks einen Slave-DC erstellen und/oder einen RO-DC, musst halt nur die AD-Erweiterungen mit dazu installieren.

Danke das ist so glaube ich genau das was ich gesucht habe

Eine direkte Umwandlung zu einem Hardware-Raid wird eher nicht möglich sein (bräuchtest also irgendwas für die Migration, wenn Du umstellst).

Hmmm... ok das habe ich befürchtet ?
Hoffe die Platten machen den Umzug mit ?

Wie wurde das bislang gesichert?

Sind ja alles RAID5.Durch die 2 Hot-Spares denke ich dass es für meine Zwecke ausfallsicher genug ist. Zumindest kann ich jeweils 1 HDD-Ausfall in 2 verschiedenen RAID's abfangen. Und die wirklich wichtigen Daten passen auf ein zwei externe HDD's.

Allerdings würde ich wohl bei so einem Vorhaben im neuen Server den Pool mit neuen, entsprechend grossen Platten aufziehen und die kleineren Raids ablösen. Viele Platten heisst viel Lärm, viel Verbrauch, unnötig hohe Abwärme.

Ja Leider kostet eine 6TB Neu immernoch knapp 200.- (+/- 40.-). Zumindest Seagate oder WD Server HDD's wobei ich begonnen habe die WD's durch Seagates zu ersetzen. Zusammen mit dem Server ist das für mich momentan zu Teuer. Ist schlussentlich immernoch ein Privat Server.

Platten im TB-Bereich sind ja nicht mehr so teuer

Hab es erst durch dich gesehen ?

 

[blurrrr]

Ja Leider kostet eine 6TB Neu immernoch knapp 200.- (+/- 40.-).

Dann solltest Du vermutlich nicht dort kaufen, wo es Preisaufschläge von 50-100% gibt Aber mal ernsthaft: Wenn richtiger Server, dann auch richtige HDDs (ausser natürlich, Du willst sie schlafen legen, wovon ich mal nicht ausgehe)... Ich hab die Tage erst ein paar WD Gold verbaut und was anderes kommt mir auch nicht ins Haus (ausser bei 2,5"-"HDD", da sind es dann die WD Black, ansonsten nur Intel-DC-SSDs). Ich würde den Kram sowieso aufteilen... OS-vDisks immer schön auf die Enterprise-SSDs und den sonstigen Datenkram halt auf vernünftig flotte Platten. Würde auch nicht mehrere Raid5 mit 3 Platten machen, da wäre mir der Performance-Verlust schon etwas zu groß. Wäre vielleicht auch mal eine Überlegung wert...

 

[TechX]

Sind ja alles RAID5.Durch die 2 Hot-Spares denke ich dass es für meine Zwecke ausfallsicher genug ist. Zumindest kann ich jeweils 1 HDD-Ausfall in 2 verschiedenen RAID's abfangen.

Dann sind die Daten da drauf eh obsolet - Raid (auch mit hot-spare) taugt nicht für "sicher".

4xSSD im Raid10 für System halt ich (im Privatumfeld) etwas übertrieben, da gegenüber eine HDD die IOP ohnehin schon massiv gesteigert ist; würd es bei einem Raid1 belassen - spart Geld.

Was hast Du mit der Syno vor? Verscherbeln, weiternutzen?
Je nachdem, könntest Du die Datenpools belassen u. über z.B. NFS an den neuen Server anbinden, der dann die Arbeit macht, während die Syno Datenhaltung betreibt.

Falls die Syno weg sollte - für die Einsparung der 2St. SSD könntest Du nochmal eine 6TB-Platte holen und diese - in Kombination der vorh. 6TB-hot-spare - als Umzugshilfe benutzen.

Wie voll sind die jeweiligen Pools?

 

[Zalatschenko]

Dann solltest Du vermutlich nicht dort kaufen, wo es Preisaufschläge von 50-100% gibt

Was? wo? wie?? ?Hab nochmal geschaut. Auch deine WD Gold finde ich nur im 200+ bereich. Ja eine WD Blue bekomm ich schon für 150.- aber da der Server ja grundsätzlich 24/7 läuft, hab ich mir von Anfang an WD RED's bzw jetzt neu Seagate IronWolf's.

Aber mal ernsthaft: Wenn richtiger Server, dann auch richtige HDDs (ausser natürlich, Du willst sie schlafen legen, wovon ich mal nicht ausgehe)... Ich hab die Tage erst ein paar WD Gold verbaut und was anderes kommt mir auch nicht ins Haus (ausser bei 2,5"-"HDD", da sind es dann die WD Black, ansonsten nur Intel-DC-SSDs). Ich würde den Kram sowieso aufteilen... OS-vDisks immer schön auf die Enterprise-SSDs und den sonstigen Datenkram halt auf vernünftig flotte Platten.

Genau aus diesem Grund bin ich von den WD's weg. Ich kenn WD Gold nicht. Weiss jetzt nicht ob diese für 24/7 geeignet sind. So wie ich das verstanden habe sind die Blue = PC, Red = Nas. Ausserdem hatte ich vor dem kauf der neuen 6TB Platten etwas in diese Richtung gelesen (Ist nicht genau der Post aber aufgrund von dem hab ich dann von RED auf die IronWolf gewechselt:

"WD fertigt einige Modelle nun anders als zuvor mit der Aufzeichnungstechnik Shingled Magnetic Recording (SMR), was beim RAID-Rebuild zu Problemen führen kann."

Muss erlich sein eigentlich versteh ich nur dass es um die art geht wie die Daten geschrieben werden und dass die RAID- COntroller nicht mit dem Umgehen können. Dies heisst jetzt bei mir eventuell dass ich die anderen 6 Platten welche Red's sind gar nicht verwenden kann im Neuen Server. Das muss ich noch abklären.
Auch zu Intel-DC-SSD's und OS-vDisks kann ich grad nichts sagen da ich davon keine Ahnung hab und mich erst einlesen muss. DIes kann ein paar Tage gehen da ich das alles ja nebenbei mach.

Würde auch nicht mehrere Raid5 mit 3 Platten machen, da wäre mir der Performance-Verlust schon etwas zu groß. Wäre vielleicht auch mal eine Überlegung wert...

Naja aber es bringt mir ja nichts mehr Platten reinzumachen da sie ja nicht die gleiche grösse Besitzen. Eventuell wäre es eine Idee bei den 3ern und 6ern. Da hab ich mich aber noch gar nicht damit ausseinandergesetzt.

Dann sind die Daten da drauf eh obsolet - Raid (auch mit hot-spare) taugt nicht für "sicher".

Nicht Es ist ja nicht so dass die Daten einen grossen Wirtschaftlichen verlust bedeuten würde wie gesagt diese Daten sind anders gespeichert. Aber dachte eig. schon dass ich damit überdurchschnittlich zum Normalen gebrauch abgesichtert bin RAID5 ist Natürlich kein RAID 10 aber trotzdem.

4xSSD im Raid10 für System halt ich (im Privatumfeld) etwas übertrieben, da gegenüber eine HDD die IOP ohnehin schon massiv gesteigert ist; würd es bei einem Raid1 belassen - spart Geld.

Ja da stimm ich dir zu. Da ich aber noch 4 stk. habe möchte ich eig alle verwenden. Fragte mich schon ob man eventuell auch die SSD's als wie nen art Proxy zwischen HDD und LAN fungiert um häuffig benutzte Daten bereitzustellen.

Was hast Du mit der Syno vor? Verscherbeln, weiternutzen?
Je nachdem, könntest Du die Datenpools belassen u. über z.B. NFS an den neuen Server anbinden, der dann die Arbeit macht, während die Syno Datenhaltung betreibt.

Hab mir zuerst überlegt alles in den alten Rahmen zu bauen. Mit der benötigten Kühlung inkl. möglichst kleiner Lautstärke hat sich das jedoch erledigt. Nun bin ich noch nicht sicher ob ich nur die HDD Schächte ausbau und Weiterverwede oder alles neu mach.

Die Überlegung als Datenhaltung hab ich mir auch schon gemacht. Das einzige was mich dabei stört ist dass halt beide Systeme CPU RAM etc. laufen müssen. Desshalb tendire ich schon zu einer einzellösung.

Falls die Syno weg sollte - für die Einsparung der 2St. SSD könntest Du nochmal eine 6TB-Platte holen und diese - in Kombination der vorh. 6TB-hot-spare - als Umzugshilfe benutzen.

Wie voll sind die jeweiligen Pools?

Da ich erst gerade geupgradet hab sind nur die ersten 2 Pools voll der neue mit den 6TB Platten ist nur zu vieleicht 30 % Voll wodurch ich mit den externen HDD's und der Hotspare den Umzug schaffen sollte. Meine sorge ist mehr das schreiben und löschen aller Daten. (Auch wenn sie ja eig für das gemacht sind ?)

 

[blurrrr]

WD Gold und die Intel DC Serie sind primär für den RZ-Betrieb (24/7)gedacht. Hardware verzichtet dabei gern auf "leise", bringt dafür eben Power. Bei den SSDs ist dann z.B. die hohe TBW einer der ausschlaggebenden Faktoren (und teils die Spezialisierung auf bestimmte Workloads).

 

[synfor]

Auch deine WD Gold finde ich nur im 200+ bereich.

Western Digital WD Gold 6TB, 512e, SATA 6Gb/s (WD6003FRYZ)

 

[blurrrr]

Btw... "Mindestens Erweiterbar auf 24 HDD's verwaltet über einen Hardware - Raid Controller"... findeste das nicht "etwas" übertrieben? Da geht man doch eher hin und nimmt grössere HDDs? Also ich hab hier letztens bei mir auch eine RS feddich gemacht (12-Bay) mit 10x10TB, übrig geblieben sind halt knapp 72TB, aber die muss man auch erstmal voll kriegen... zudem werden die Platten mit der Zeit auch nicht teurer, sondern günstiger und sofern man nicht grob Mist gebaut hat, kann man aus (fast egal welchem) dem Raidverbund 1-2 HDDs ziehen und z.B. doppelt so große einbauen und damit einen neuen Pool gestalten, wo man dann schrittweise umzieht (jetzt vllt nicht bei 72TB, aber Du weisst schon, was ich meine).. Da Du ja anscheinend sowieso eine Vorliebe für "kleine" Raids hast, dürftest Du da eigentlich gar keine Probleme bekommen

 

[TechX]

RAID5 ist Natürlich kein RAID 10 aber trotzdem.

RAID sorgen für erhöhte Verfügbarkeit, nicht für erhöhte Sicherheit - wird gerne verwechselt.

 

[Zalatschenko]

Also:
1. Sorry für die Lange Funkstille!
2. Ich versuche nun nochmal abschliessend zu erklären was ich jetzt wieso gemacht habe. Dabei versuch ich es noch so aufzuteilen dass man weiss was zu was gehört. Sind ja nun relativ viele Themen in einem Thread geworden.

Zu den Gold HDD's:
Ok ich hatte nicht so billige gefunden (in der Schweiz) --> Sorry für die erste antwort damals. Hätte deffinitiv länger suchen müssen.

Zur Datensicherheit:
Raid 5 ist kein Datenschutz --> Ja das durfte ich nun auch Feststellen.... 2 HDD's eines RAID 5 ausgestiegen. (Das Glück ist mit den Dummen, eine HDD bekahm ich wieder zum Leben wodurch ich das RAID reparieren konnte)
Mein Fazit dazu--> Ich werde mich nach einem Online Hoster wie z.B. pCloud umsehen wo ich vorhabe ein Verschlüsseltes Backup der wichtigsten Daten abzulegen. Dies da bei einem z.B. Brand mein Backup auf ne Externe HDD welche ebenfalls zuhause ist genauso Nutzlos ist/wäre.

Zum Synology Server wechsel:
Ich musste feststellen dass mein Projekt zu gross wird bzw. der Finanzielle aufwand die Mittel welche ich bereit bin dafür aufzuwenden deutlich übersteigt.
Aus diesem Grund habe ich mich, zumindest für die nächste Zeit, für folgenden aufbau entschieden:

Die RS bekahm 2 SSD's (keine Enterprise nur solche die ich halt noch bei mir hatte.)
Diese sind jetzt als SSD Cache im Einsatz. Dadurch erhoffe ich mir einen leicht schnelleren Datendurchsatz beim zugriff.
Dadurch schmiss ich aber meine 2 Hot Spares raus wodurch ich bei einem ausfall die HDD halt selber wechseln muss.

Für den Server nahm ich meinen alten Gaming PC auf diesen habe ich ubuntu Server auf nem RAID 0 mit 2 SSD's Installiert.

Über einen neuen Acc. auf dem Synology hat der server Zugriff auf alle Medien und sonstigen Ordner welche ich von hier aus nutzen möchte.

FAZIT für mich:
- Budget erhöhen um einen kompletten ersatz zu planen ^^
- Aktuelles Problem der Prozessorauslastung des RS gelöst.
- Klarer nachteil für mich ist dass es halt nun 2 Systeme sind. Beide müssen gemanaget und aktuell gehalten werden.

Sorry nochmal dass ich so lange nichts hab hören lassen.
Danke an alle die mir geholfen haben!!

Gruss
Zala

Edit:
Was die 24 HDD's anbelangt. Habe ich mich dafür entschieden euren anregungen zu folgen und ihn in zukunft Speicherknappheit durch grössere HDD's und nicht durch mehr zu lösen.