10G Durchsatz nicht Zu niedrig?

[blurrrr]

Bevor hier wieder so "wilde" Ideen aufkommen, die Tests die ich Dir geschickt hatte.. da waren als OS "HDD"s einfach nur "WD Black" im Raid1 drin und das spielt wie gesagt "überhaupt" keine Rolle, wenn man nur die Netzwerkgeschwindigkeit messen möchte(!).

@Leon175: sorry, aber was redest Du da -> "Du wirst nie das Maximum herausholen von 10gigabit"+"es liegen sehr viel Komponenten dazwischen" es geht hier nicht um eine Übertragung im Internet, das ist Dir schon klar, oder? Ausserdem dreht es sich hier schon die ganze Zeit "rein" um die "Netzwerk"-Geschwindigkeit und nicht um die Datenübertragung von Festplatte zu Festplatte (was dann noch ein ganz anderes Thema ist). Was das Maximum von 10G (oder auch 40G via QSFP+ oder noch mehr) angeht: SICHER geht sowas, man muss es nur entsprechend vernünftig gestalten (nur weil Du es nicht kannst, heisst es nicht, dass es nicht geht ). Falls es Dir entgangen sein sollte: SSDs werden nämlich auch immer günstiger. Ein Paar davon in einen RaidX-Verbund (vllt nicht grade 1) und dann gehts schon los, alternativ via M2 wo man "ganz" leicht an die 10Gbit kommt... Da hier aber schon die reine Netzwerkgeschwindigkeit (völlig unabhängig von den HDDs/SSDs) nicht passt, beziehst Du Dich hier meiner Meinung nach auf ein "nachgelagertes" Problem.

Also kurzum: erstmal das EINE Problem irgendwie in den Griff bekommen, danach "ggf" das ANDERE...
(Nur weil der Porsche nie mit 300km/h gefahren wird, heisst es nicht, dass er es nicht können muss, denn so steht es in der Beschreibung.)

 

[blurrrr]

Aber um die Sache mal abzukürzen: https://www.synology.com/de-de/products/performance#5_8bay (ich hab dann auch mal nachgeschaut ^^)

Aggregierte 10GbE-SMB- und 10GbE-iSCSI-Netzwerkumgebungen:

DS1819+, DS1618+, 2 x 10GbE-Ports (1 x Intel X710-DA2 NIC); MTU 9000; verbunden mit Client-PCs via Juniper QFX5100-48S-AFO Switch

10GBit-"Trunk": 2037.83 lesend ist okay, 624.25MB/s schreibend allerdings schon sehr mau. Also wenn es um irgendwelche Schreibvorgänge geht, ist das Ding halt nicht so der Bringer. Dennoch solltest Du zumindestens lesenderweise ansatzweise an die 10GBit kommen. Schreibend halt... nicht so...

 

[Swp2000]

Was hältst du von dem von mir gepostetem CrystalDiskMark Screen?
Kommt das so nicht in etwa hin was rein das Netzwerk angeht?

2.) Du mein das es evtl. doch an der CPU liegt das hier nicht mehr kommt?

 

[blurrrr]

Wie gesagt, die Werte liegen da im ähnlichen Rahmen, was aber (leider) erstmal so rein garnichts mit der Netzwerkgeschwindigkeit an sich zu tun hat. Wie gesagt, hier - mit gleicher CPU - knapp die 10GBit und das "rein Netzwerk" (ohne HDD/SSD). Darauf kommt es da aber auch garnicht an. Der Durchsatz muss erstmal "generell" stimmen und da seh ich derzeit schon das Problem. Die armen HDDs können ja nix dafür, dass sie nicht schneller sind. Irgendwann gehst Du vllt auf SSDs im Raid und dann ist das Geschrei "riesig", wenn die 10Gbit nicht voll ausgereizt werden können

Also bitte keine Argumentation in Richtung "ist mir egal, ob mein Porsche nur 100km/h fährt, ich fahre sowieso nicht schneller"... irgenwann kommt der Tag!

Ich bin also der Meinung, dass man eher dieses Netzwerk-Problem lösen sollte. Die HDDs und deren Durchsatz sehe ich da nicht als Problem, ist zwar schade, aber das sind halt Fakten, da kann man eh nichts dran drehen.

 

[peterhoffmann]

Vom Netzwerkproblem abgesehen, sollte sich der HDD-Durchsatz mit einem

dd if=/meinFile of=/dev/zero

testen lassen.

 

[AndiHeitzer]

Nach /dev/zero schreiben bringt nicht wirklich was

Um HDDs zu untersuchen, wäre folgende Seite hilfreich:
https://wiki.ubuntuusers.de/Festplatten-Geschwindigkeitstest/

 

[peterhoffmann]

Nach /dev/zero schreiben bringt nicht wirklich was

Ich nehme an, dass du das wegen dem Cache meinst.

Ok, da war ich dann wohl etwas zu ungenau und bin davon ausgegangen, dass die zu lesende Datei sich nicht im Cache (vom Linux) befindet und auch relativ groß (z.B. 5GB) ist. Alternativ kann man den Speicher auch vorher leerräumen:

sync ; sync ; sync ; echo 3 > /proc/sys/vm/drop_caches

Und der Cache der HDDs ist bei großen Dateien zu vernachlässigen.

 

[Fusion]

Nein, ich denke er meinte, dass man entweder VON /dev/zero liest oder NACH /dev/null schreibt.

 

[peterhoffmann]

VON /dev/zero liest oder NACH /dev/null schreibt.

Korrekt, auch etwas ungenau. Ich gelobe Besserung.

Funktioniert aber auch.

 

[AndiHeitzer]

Maaaahlzeit

Ja, ich war da der Erbsenzähler, weil /dev/zero vom Ansatz her eher als DATA-Provider dient, soweit ich mich bei meiner Recherche nicht vertan hab.
Ich verfolge ja den Fred hier etwas, und bin nicht wirklich schlau geworden, was man zuerst untersuchen sollte.
Und da fand ich die UBUNTU-Seite für mich recht hilfreich.
In meinen Augen muss erst die Basis (HDD) passen und erst dann kann mit dem NETZ weitergemacht werden.

Wobei, jetzt wo ich das schreibe, wäre ein 'dd if=/dev/zero of=/dev/NETZWERK' denkbar?
Wenn ich der Logik von Linux folgen wollte, müsste das doch gehen? Das NETZWERK ist ja auch nix anderes als ein Device?

 

[AndiHeitzer]

Funktioniert aber auch.

Anhang anzeigen 52771

Ja, wenn auch langsamer

Das EINE MB musste jetzt noch sein, weil nicht gegen den DATA-Stream geschwommen werden musste

 

[Fusion]

Ich würde es umgekehrt sehen Andi bzw. je nachdem *was* man testen will. Am Ende zählt dann die Kombi.

Das Netz. Hier werden nur Pakete über die Leitung geschickt. Sollte also maximal CPU und RAM abhängig sein. Stichwort iperf3
Da sehe ich ob das Netz prinzipiell die Leistung bringt die es soll, oder vielleicht irgendwo dummerweise ein 100MBit Switch eingebaut ist, oder an der Verdrahtung was nicht passt.
Habe ich hier schon ein Problem brauche ich gar nicht weiter suchen, stimmt hier alles geht's weiter.

Die Geräte. Hier kommen neben den Netzwerk PHY/NICs dann auch noch andere Hardware-Komponenten ins Spiel... bei ALLEN beteiligten Geräten.
Das können einfache Lese/Schreibtests sein ala if=file of=/dev/null bzw if=/dev/zero of=file, zusätzlich mit Berücksichtigung von Caches/fs-syncs wie Peter dargestellt hat.
Oder andere Tools ala CrytalDisk oder nas-tester die Lese/Schreibleistung über die ganze Platte testen.
Da kommen dann sata/sata-ssd/nvme-ssd mit ins Boot genauso wie RAIDs.

Dann sieht man entweder die reale Leistung die man dann auch übers Netz erwarten kann, oder ob das Netz das Nadelöhr ist.
Bei GBit im Normalfall das Netz begrenzend, bei 10GBit eher der Rest der Hardware zur Zeit.

Und als letztes können natürlich noch via Konsole Daten zwischen mounts verschoben werden (nur dein /dev/netz geht SO nicht, aber indirekt z.B: of=/mnt/nas auf einem Mountpunkt), oder mit Anwendungen getestet werden, ob diese zusätzlich eine Bremse sind , z.B. Speichern geht nicht RAM > Netz > NAS sondern RAM > HDD-temp > Netz > NAS. Ist also nicht mehr die reine Transferzeit bestimmend.

 

[AndiHeitzer]

Huiiihhh

Ich versuche grade zu begreifen, was Du da alles zusammengetragen hast

Das muss ich für mich erstmal in einzelne Häppchen zerlegen und nachvollziehen, damit ich dem Thema ausreichend folgen kann

 

[blurrrr]

hdparm und Konsorten gäbe es übrigens auch noch (bzgl. HDD-Test), aber das nur mal so am Rande

"Habe ich hier schon ein Problem brauche ich gar nicht weiter suchen, stimmt hier alles geht's weiter." genau "das" mein ich ja auch, weswegen mich auch nicht interessiert, was die HDDs so liefern, da die Netzwerkperformance schon überhaupt nicht stimmt.