Umstieg auf 19" Server

[JoGi65]

Hallo Leute,

da in meinem Lieblingsforum doch die eine oder andere Frage bzgl. meines Umstiegs auf neu HW kommt, hier mal eine kurze Zusammenfassung, die vielleicht für den einen oder anderen interessant ist. Ich hoffe es ist ok, das im Syno Forum zu posten.

Ausgangssituation:
Qnap T453S Pro – 4x512GB Samsung SSD 840 Pro – Raid 5 - - - Arbeitslaufwerk und Sicherung
Synology DS115 – 1x300GB Intel320 SSD - - - Web Hosting / Fotostation
Synology DS1815+ - 8x3TB Toshiba/Hitachi Home 5400u Platten - - - Medien und Sicherung
Synology DS2411+ - 12x2TB Samsung HD204ui und andere - - - Medien Sicherung

Da es im neuen Haus einen großen 19“ Schrank geben wird, wollte ich auf entsprechende HW umrüsten. Dabei sollte ECC Ram, sichereres Filesystem, mehr Platz in den Gehäusen, Zusammenfassung von Geräten, schneller, besser usw. umgesetzt werden.
Von Syno keine brauchbare HW, Qnap bietet nicht vorhandenes Service, und eine Oberfläche, an die ich mich nie gewöhnt habe. Also Selber bauen.

Nach langem hin und her, hab ich mich für drei Server entschieden.

Server1 = SSD Server – Arbeitslaufwerk, Sicherungen, Überwachung, Web Hosting, ev. noch Haus Bedienung und Speicher bzw. Überwachung für SPS und Photovoltaik (mal schauen in wie weit er da von Nutzen sein wird..)
Server2 – Sicherung für Server1 und Medien Server
Server3 – Sicherung für Medien Server

Da Server2 und 3 nicht immer laufen sollten, hab ich den Server1 separiert. Sonst hätten zwei locker gereicht.


Bauteile:

SSD Server1
Gehäuse – Chenbro 14108 8x2,5“ 1HE 6GB Backplane
Board - Supermicro X11SSH-TF
Prozessor – Xeon E3-1220 v5
Kühler - Dynatron K129
Ram – 64GB ECC 4x Samsung DDR4-2133 RAM, 16GB, ECC unbufferd (M391A2K43BB1-CPB)
Netzteil – Supermicro PWS-203-1H 200W 80Plus Gold
SSDs – 1x Intel SSD335 120GB – Betriebssystem
1x Samsung PM851 256GB – Cams
1x Intel SSD320 300GB – XPenology Photostation und Websites, etc.
4x Samsung SSD850 Pro 512GB Parity Storage Space – Daten
1x Samsung SSD840 Pro 512GB Server Sicherung
Div. Kabel und Kleinmaterial
Betriebssystem - Windows Server 2012R2 Essentials

Server2 + 3 (unterscheiden sich nur bei Gehäuse und Platten und Netzteil)
1x Gehäuse – Chenbro 23612 12x3,5“ 2HE 6GB Backplane
1x Gehäuse – Chenbro 31616 16x3,5“ 3HE 6GB Backplane
Boards - Supermicro X11SSH-CTF
Prozessoren – Xeon E3-1220 v5
Kühler – Original Boxed
Rams – 32GB ECC 2x Samsung DDR4-2133 RAM, 16GB, ECC unbufferd (M391A2K43BB1-CPB)
1x Netzteil - 2HE Seasonic SS-400L2U 400 Watt EPS Netzteil - Gold
1x Netzteil - 2HE Seasonic SS-500L2U 500 Watt EPS Netzteil - Gold
Bootplatten - Intel SSD335 120GB – Betriebssystem
Server2 10x3TB Toshiba/Hitachi Raid Z2
Server2 1x Samsung SSD840 Pro 512GB Verschlüsselt – Sicherung
Server3 14x 2TB – hauptsächlich Samsung HD204UI RaidZ2
Betriebssystem - FreeNAS

Der Zusammenbau und die HW Inbetriebnahme hat sich über 1 Monat gezogen. Allein bis man die richten Breakout Kabel für die Mini SAS etc hat, dann das Flashen von Bios, Controller Bios und FW, IPMI FW, (ja das ganze pro Board!) da kommt schon was zusammen.
Eine Doku hab ich gemacht fürs LSI Flashen - https://forums.freenas.org/index.ph...x11ssh-ctf-über-integrierte-uefi-shell.42558/

Und dann die Suche nach geeigneter SW.
Hab fast alles ausprobiert (bis auf Linux mit BTRFS – was wahrscheinlich das Beste wäre), und bin Schlussendlich bei Win Server 2012R2 Essentials beim SSD Server und bei FreeNAS für die anderen Server gelandet. Richtig zufrieden bin ich mit keinem der Systeme, weder mit dem Storage Pool/Space unter Win Server2012R2, noch mit dem FreeNAS System als ganzen, speziell aber mit dem langsamen Schreibspeed bei kleinen Dateien. Viele Nächte und ich weiß noch lange nicht alles.
Es gäbe noch viel zu testen, aber so viel Zeit kann und mag ich derzeit nicht mehr investieren.

So, noch ein paar Bilder: (Speed Werte folgen):

 

[jugi]

Kurz und Knapp: Geil!

Die Software ist dann dem Zeitmangel geschuldet? Oder wolltest du von vorne herein keinen "richtigen Linuxserver" (RHEL o.ä.) aufziehen?

 

[JoGi65]

Die Software ist dann dem Zeitmangel geschuldet? Oder wolltest du von vorne herein keinen "richtigen Linuxserver" (RHEL o.ä.) aufziehen?

Ich hab mich über Linux nicht drüber getraut, ehrlich gesagt. Mir hat schon durch die Vielfalt der Möglichkeiten der Ansatz gefehlt und ausserdem bin ich schon mal in einer VM am installieren des richtigen Grafiktreibers gescheitert. (leicht traumatisches Erlebnis ) Die Zeit die jetzt in FreeNAS und Server 2012R2 (beides war neu für mich) drinnensteckt, hätte vielleicht gereicht. EV mach ich mich noch mal drann, wenn mich das Zeug das erste mal so richtig ärgert. Und am liebsten wären mir drei gleiche Systeme gewesen.


Jetzt noch ein paar Geschwindigkeits Vergleiche:

Max Speed, den ich bis jetzt erreicht habe:
Lesen von Server2 (die Datei muss im Ram gelegen sein) - Schreiben auf Server1 (auch hier in den Ram, den der Storage Space selbst ist Schneckenlangsam)




Durchschnittliches Schreiben von großen Dateien auf den ZFS Pool Server2 (ob hier das Lesen oder Schreiben limitiert weiß ich nicht)




Wenn der Ram am Server1 mit Storage Space voll ist geht’s runter




100.000 1kbyte Dateien schreiben auf Server1 und Server2 im Vergleich




Geschwindigkeitsvergleich schreiben DS1815 oben und FreeNAS unten – 100000 1kB Dateien
Je größer die Dateien werden, umso besser wird FreeNAS. Beide nutzen GBit aus. 10Gbit hab ich in der Syno nicht gehabt.
Also Leute - überlegt euch das gut, für was Ihr das System braucht, und ob Ihr wirklich Eure DS hergeben möchtet (Ich bin nicht sicher, was Konfig mäßig noch geht, denn das sind Standart Einstellungen bei FreeNAS, aber ich hab in zwei Foren gefragt und scheinbar gibt es keine einfache Antwort)

 

[JoGi65]

Und noch der verbrauch vom SSD Server mit 8xSSD, 2x10Gbit Nic, 1x1GB Nic, 32GB ECC (die 2ten 32GB kommen erst heute), und vor allem 4x kleine "Lüftermonster " mit 4x12W!
So schauts aus, wenn er lauft und ein bisschen Traffic am Lan hat. 1VM läuft da auch.

Anhang anzeigen 30152

Ich finds ganz ok, da der Server bei mir 1xDS115 und Qnap TS453S Pro ersetzt.
Die anderen häng ich später mal dran.

 

[Dennis1002]

SEHR interessantes Setup hast du da!

24W für den SSD-Server sind echt in Ordnung. Da hätte ich mit wesentlich mehr gerechnet.
Die Verbräuche der anderen beiden Server würden mich auch interessieren. Das sind ja dann mal eben 24 Festplatten, die da laufen. Warum hast du so viele kleine Festplatten genommen? Mit 6TB Platten könntest du sicher einige HDDs und damit auch Strom sparen.

 

[dil88]

Durch das Mehr an Spindeln bekommst Du mehr Speed, was bei 10Gbit-Ethernet schon relevant sein dürfte.

 

[JoGi65]

Ja, das ist natürlich auch nicht zu vernachlässigen, wobei die neuen großen meistens auch mehr Speed bringen.

Allerdings sind mehr Punkte für mich relevant gewesen:
1.) Platten waren bis auf 2 Stück alle vorhanden - wichtigster und kostenintensivster Punkt.
2.) Bei größeren Platten steigt die Wahrscheinlichkeit auf unkorrigierbare Lesefehler pro gelesenem Bits massiv an, ausser man verwendet Server Platten mit 10 hoch-15, die Preislich und Verbrauchsmäßig dann eine andere Region erreichen (rechne mal nach) - (was ich jetzt nicht auswendig weiß ist, ob RaidZ2 davor auch beim lesen schützen würde). Die Entscheidung für kleinere ist schon vor langer Zeit gefallen. Da ich auch für mich wichtige Daten darauf lagere/sichere (keine Filme), ist das für mich relevant.
3.) Die Verläßlichkeit muß hoch sein, da mich das Einschicken extrem nervt. Da ich glaube, die richten Platten gefunden zu haben, war ein Umstieg für mich zu viel Risiko.
4.) Platten werden wenn älter, in den Sicherungsserver übersiedelt. Da laufen sicher immer mehr als 8 Stück. Würde wieder nur spezielle Platten erlauben. Die Toshibas und auch die alten Samsung haben und hatten damit nie ein Problem. Vermutlich auch wegen den geringen Vibrationen durch nur 5400 U/min. Dadurch relativiert sich auch die Stromaufnahme, die sich mit wenigen entsprechd größeren in etwa die Waage halten wird.

 

[JoGi65]

24W für den SSD-Server sind echt in Ordnung. Da hätte ich mit wesentlich mehr gerechnet.
Die Verbräuche der anderen beiden Server würden mich auch interessieren....

Die Daten vom Server2 mit 2xSSD und 10xHDD.



Spindown gibts irgendwie nicht. Somit braucht das Teil durchschnittlich 80W und beim Scrub wo alle Platten dauernd lesen so um die 100W.
Müßte noch mal die ganzen Möglichkeiten von FreeNas durchtesten, aber mit Stufe 1 (maximaler Stromsparfunktion) hören sie nie auf zu laufen. war schon mal weiter, aber das ist mir irgendwie zu blöd. Das Betriebssystem wird, sofern sich nicht einiges tut beim Update auf 10, nicht ewig oben bleiben.

 

[JoGi65]

falls noch wer mitliest:
alles wurde ins neue Zuhause übersiedelt.
Ein gebrauchter Serverschrank um 150€, zwei 24 Port Patchpanel Cat6a, Kabelhalter und Steckdosenleisten. (Vor und nach USV)

Server1 hat eine SSD verbraucht, und muckt seit der Übersiedlung ab und an. Nachdem ich die Speicherriegel neu gesteckt habe geht er wieder, aber da kommt Sehnsucht nach der Einfachheit der Synos auf. Bis er wieder 100% geht, werkelt als Alternative für die Xpenology Web VM meine DS115 wieder im Schränkchen.

Das wesentlich spannendere ist daneben, aber das kommt in den "Smart Home" Beitrag.