DS1815+ per 4x1Gbit BOND an 10Gbit Switch -> nicht mehr als 1Gbit/s

[T3knoRufus]

Hallo Zusammen

Ich habe mein Netztwerk zu Hause auf 10Gbit aufgerüstet.
Vom Computer gehe ich auf ein GS110EMX Switch per 10Gbit und von dort eine Station weiter an mein ESX welches ein FiberStorage angeschlossen hat (4Gbit).
Von der VM auf den ESX kopiere ich mit ~480MB/s, das 10Gbit Netz funktioniert also.

Am GS110EMX Switch habe ich meine DS1815+ angeschlossen und zwar mit allen vier 1Gbit Schnittstellen. Diese sind als BOND zusammengefasst und am Switch auch als LAG mit LACP konfiguriert (IEEE 802.3ad).
Aber egal ob ich Adaptive Load Balancing, Dynamic LAG oder Balance XOR anwähle, ich komme nie über 112MB/s beim Übertragen/lesen auf dem Synology NAS..

LACP auf dem Switch scheint richtig eingerichtet zu sein, denn wenn ich es deaktiviere, sagt mir mein NAS, dass die 802.3ad Verbdingung nicht eingerichtet werden konnte.

Muss da in DSM noch was zusätzlichen eingestellt werden?

Hat wer schon erfolgreich Portbonding in 10Gbit Netzwerk gemacht?

 

[frankyst72]

also ich bin wahrlich kein Experte auf dem Gebiet und ich mag auch falsch liegen, das was ich glaube verstanden zu haben ist, dass Dein Bond auch nur je Client max. 1 GB/s zur Verfügung stellen wird, aber halt 4 Clients mit jeweils 1 GB/s gleichzeitig zugreifen können, oder halt auch mehr Clients die insgesamt 4 GB/s zur Verfügung haben, aber nie mehr als 1 GB/s jeweils.
Das was Du willst, hat etwas mit SMB3 zu tun, ein Bond ist daran unbeteiligt. Hier können mehrere Leitungen wirklich 'gebündelt' werden. Siehe LinuxTechTips - Quadruple Your Network Speed for $100 with SMB 3.0 Multichannel!

Die Frage ist, ob Synology SMB 3 Multichannel unterstützt?

Ggf. solltest Du Dir Gedanken über eine DS1817+ machen (und da gibt es heute noch ein paar andere Modelle die das unterstützen), in diese kann eine 10 GB-Netzwerkkarte eingebaut werden.

 

[NSFH]

Wenn nach IEEE 802.3ad ein BOND erstellt wurde muss auch die gesamte Kapazität wie eine einzelne Leitung gehandelt werden. Was du da mit 4 Clients und jeweils nur 1GB beschreibst trifft auf XOR zu.
Aber auch wenn man 4GB Ports bonded kommen keine 4GB dabei raus. Der Switch muss die Pakete ja aufteilen, über 4 Leitungen schicken und wieder zusammensetzen. Broadcast zB geht nur über eine der 4 Leitungen, nicht jede beliebige davon.
Allerdings sollte der Datendurchsatz in jedem Fall oberhalb der 2GB liegen. Ich weiss auch nicht wie der Switch damit umgeht 10GB zu erhalten und diese per LCAP auf 4 GB Schnittstellen zu verteilen. Auch da könnte das Problem liegen.
Eigentlich baut man das System ja anders herum auf. Der Server hat die schnellste Verbindung, denn er ist das Nadelöhr bei den Datenzugriffen.

 

[mb01]

Ähm, nö? frankyst72 hat schon recht: Hier bräuchte man SMB3 Multichannel, damit ein einziger Datentransfer alle vier GBit-Links zur Diskstation parallel benutzen kann. Bei Link Aggregation kann nicht ein einziger Datentransfer unterwegs über mehrere Links parallel gehen. Oder anders gesagt: Die Pakete werden nicht parallel auf mehrere Links verteilt und anschließend wieder zusammengesetzt. Es können nur mehrere unterschiedliche Transfers (=von/zu mehreren IPs) parallel geführt werden, sodass die Einzellinks jeweils voll ausgelastet werden.

Sonst: DS1817+ mit 10GBit/s-Karte ... SMB3 Multichannel kann beim aktuellen DSM aktiviert werden, ist aber experimentell und nicht "für den produktiven Einsatz" empfohlen.

 

[MagicMelody]

SMB3 Multichannel funktioniert aber auch nur mit DS <> Windows einwandfrei.... Mit OSX leider nicht. Zumindest hats bei mir nicht funktioniert. In Windows 8 (VM unter Parrallels auf dem iMac) funktioniert einwandfrei.

 

[T3knoRufus]

Danke für die schnellen Antworten.

Richtig, bis vor kurzem, also vor 10Gbit, hatte ich eine XOR LAG eingerichtet bei der mein Kollege und ich gleichzeitig 1Gbit schreiben und lesen konnten.

Der genannte Switch hat 2x10Gbit und 8x1Gbit Ports. Meine Idee war nun, dass die Last die durch die 10Gbit Verbindung vom Computer kommt, auf den 4Gbit BOND verteilt wird. Damit ich quasi vom PC ein Paket zum Switch geht, im Switch durch vier geteilt wird, diese viertel je durch eines der 4 Kabel geht und auf Synology wieder zusammengesetzt wird.
Scheint aber leider nicht so zu funktionieren

Leider nützt mir eine DS1817+ (noch) nichts, denn mein 10Gbit Switch hat nur 2 Ports: Einer ist mit meinem Rechner verbunden und der andere mit dem 10Gbit Switch im Keller wo aufs ESX geht.
Leider gibt es noch keine Simple 10Gbit Switch so wie ein 8 1Gbit Port Netgear teil für 60.- Die nächste Stufe wäre dann ein mehere tausend Fr. teure riesiger 19" Switch mit Funktionen die ich nicht brauche.
Ich verstehe nicht wieso es keine einfachen nicht gemanagte 4 oder 8 Port 10Gbit Switches gibt. Auch wenn sie 300.- Kosten oder 500.- von mir aus.

Synology ist mein Hauptspeicher, dort ist der Speicher ja auch günstig weil SATA und keine SAS Platten verbaut sind. Sprich ich habe dort die meisten Sachen drauf. Der ESX mit dem SAN Storage betreibt eigentlich nur die VMs und was vorig geblieben ist, habe ich als Archiv genutzt. Jetzt habe ich so fürs Archiv eine 10Gbit Leitung und für den eigentlichen Speicher nur 1Gbit.

Wie mb01 sagt geht genau das, was ich mir vorgestellt habe und oben beschrieben nicht.
Werde mich mal über SMB3 schlau machen, ich habe nur Win Rechner im einsatz und alle mit Win10 oder Server 2016

 

[T3knoRufus]

Wie aktiviere ich SMB3 speziell mit Multichannel?
In den Erweiterten Einstellungen kann ich Maximales (SMB3) und minimales (SMB2 und Large MTU) SMB Protokoll einstellen. Sehe hier aber nichts von Multichannel.

 

[Fusion]

Das geht nur auf der Konsole, war glaube die /etc/samba/smb.conf, findet sich auch im Forum irgendwo.

Vermute aber fast, dass dies nichts bringen wird, da du einen physischen Client Link mit 10GBit hast und 4 Server Links mit 1GBit. Multi-Channel ist denke ich auf mehrere Links auf Client und Server Seite ausgelegt, also wirklich parallele Verbindungen.
Mehrere SMB/CIFS Verbindungen pro physischem Link gehen denke nicht.

Aber probier es mal aus, dann wissen wir es.

 

[T3knoRufus]

Danke, allerdings habe ich noch nie per Konsole auf DSM etwas gemacht, wie trage ich das dort ein?
Gefunden habe ich das:

server multi channel support = yes
aio read size = 1
aio write size = 1

Dies müsste ich in die SMB.conf eintragen.

 

[mb01]

Ob das in der Konstellation mit 10 GBit-Link davor funktioniert, weiß ich auch nicht. Bei Multichannel muss man ja den LAG-Bond auflösen, d.h. die Diskstation hätte dann vier unterschiedliche IPs (achja, wichtiger Hinweis noch. ) Das Tolle an Multichannel soll ja sein, dass SMB "erkennt", dass das Zielgerät unter diesen beispielsweise 4 unterschiedlichen IP-Adressen zu erreichen ist und das "System" dann so schlau ist, die Route auf vier Einzelverbindungen aufzuteilen, sofern sie vorhanden sind. Ob es die Details der Route (Geschwindigkeit der Abschnitte, Anzahl der Links) erkennt, keine Ahnung. Vermutlich nicht, aber man kann es ja mal testen.

PS: Wollte Multichannel auch schon längst mal aktivieren, aber bin noch nicht dazu gekommen.
PPS: Ich würde wenn bei mir wohl 10GBit aktuell über den TP-Link T1700G-28TQ realisieren ... der hat vier SFP+ Ports für knapp 250€.

 

[klaus007]

Hallo!
Der Mikrotik CRS317 hat 16 10Gbit SFP+ und einen 1Gbit Anschluss für € 350,- und kann LACP.

 

[NSFH]

Ähm, nö? frankyst72 hat schon recht: ............ Bei Link Aggregation kann nicht ein einziger Datentransfer unterwegs über mehrere Links parallel gehen. Oder anders gesagt: Die Pakete werden nicht parallel auf mehrere Links verteilt und anschließend wieder zusammengesetzt. Es können nur mehrere unterschiedliche Transfers (=von/zu mehreren IPs) parallel geführt werden, sodass die Einzellinks jeweils voll ausgelastet werden. ...

Geht, allerdings benötigt man eine spezielle Software, die auf LCAP aufsetzt. Auf diesem Weg ist mein Xeon Server mit einem Switch verbunden. Leider kommen bei 3GB Gesamtleistung nur 2GB echter Datentransfer an. Laut Intel ist das ein Treiberproblem.