DS1825+ mit 4 Festplatten und SHR-2 ist sehr langsam

[miabichella]

Hallo zusammen,

ich bin sowohl neu im Forum als auch beim Thema NAS, habe mir aber über YouTube Vidoes und einen Videokurs einiges an Wissen angeeignet.
Deswegen hoffe ich mal, ich bin hier mit meinem Thema richtig und ihr könnt mir helfen.

Kurz vorab: Ich bin Videograf und habe ein NAS angeschafft, da wir einfach mehr Speicherplatz gebraucht haben. Gemeinsam mit meinem Mitarbeiter möchte ich auf das NAS zugreifen können um von dort aus Videos zu schneiden, da wir bisher immer mehrere SSD Festplatten genutzt haben und nie gleichzeitig an Projekten arbeiten konnten.

Mein Problem:
Das DS1825+ ist in der Datenübertragung extrem langsam. Ich erreiche beim Schreiben max. 123 MB/s und beim Lesen max. 112 MB/s.

Das NAS hat die 10 Gbit Karte von Synology und ist über einen 10 Gbit Switch mit CAT7 Kabeln mit dem Router und meinem MacBook M1 Max verbunden.
Das MacBook bekommt über mein Thunderbolt 4 Dock 2.5 Gbit LAN. Soweit so gut, hier sollte meiner Meinung nach noch kein Flaschenhals vorliegen.

Ich habe 4 x 28 TB Festplatten eingebaut und SHR-2 als RAID gewählt, damit ich die Ausfallsicherheit von zwei Platten habe.
Ich frage mich jetzt wo genau der Flaschenhals ist. Habe ich zu wenige Festplatten drin oder liegt es vielleicht auch am RAID?

Ich habe alle 4 Festplatten in einen Speicherpool zusammengefasst und ein großes Volume mit ca. 52 TB erstellt, was ich auch verschlüsselt habe. Könnte das ggf. auch das NAS ausbremsen?
Denn beim erstellen des Volumes hat es jetzt schon ca. 4 Tage gedauert bis im DSM "in Ordnung" stand.

Das ich nicht an die Geschwindigkeit von SSDs ran komme, weiß ich, allerdings habe ich gehofft, dass ich zumindest mal auf 300-400 MB/s Lesen und Schreiben komme mit den 4 Festplatten.

Gegoogelt habe ich auch schon viel und auch schon einige Beiträge hier im Forum gelesen, aber irgendwie werde ich daraus nicht schlau.

Zu meinem Setup:

• Synology DS1825+ mit 10Gbit Erweiterung (E10G30-T1)
• 4 x Seagate Ironwolf Pro 28 TB
• 10Gbit Switch (alles ist mit CAT7 Kabeln verbunden): Ubiquiti UniFi Flex XG
• RAID: SHR-2
• PC: Macbook Pro M1 Max

Ich hoffe Ihr könnt mir weiterhelfen, falls Ihr noch irgendwelche Infos braucht, sagt mir gerne Bescheid!

Liebe Grüße
Marco

 

[Ronny1978]

Das DS1825+ ist in der Datenübertragung extrem langsam. Ich erreiche beim Schreiben max. 123 MB/s und beim Lesen max. 112 MB/s.

Herzlich willkommen im Forum. Es sieht so aus, als würden nur 1GBit genutzt werden. Es gibt hier im Forum Experten, die dafür eine Lösung haben. Einfach etwas Geduld oder im Forum mal manuell suchen. Dieses Problem ist hier schon mehrfach behandelt worden.

Evtl. hier schon einmal schauen.

https://www.synology-forum.de/threa...rk-dringend-hilfe-gesucht.139057/post-1263665

 

[Benie]

Das MacBook bekommt über mein Thunderbolt 4 Dock 2.5 Gbit LAN. Soweit so gut, hier sollte meiner Meinung nach noch kein Flaschenhals vorliegen.

Mehr als ca. 245 bis ca. 280 MB/sec können es schon allein deshalb nicht werden.
Die 10GBit Karte in der DS bringt deshalb auch nicht mehr. Die hättest Du Dir meiner Meinung nach sparen können. 2,5 GBit bringt die DS1825+ doch eh schon mit.
Warum allerdings nicht mehr als ca. 120MB/s laufen, sehe ich auch etwas ungewöhnlich.
Es sei denn es handelt sich dabei um viele kleine Dateien.

 

[Der_Veranstalter]

Der Switch ist m.E. der Teufel....



Laut Datenblatt hat der folgende Anschlüsse:

• 1 x 10/100/1000 MBit/s
• 4 x 1000/10000 MBit/s

Das heißt, dein 2,5-GBit-Adapter geht nicht mit 2,5 GBit in den Switch, sondern nur mit 1 GBit. Denn die vier "schnellen" Anschlüsse am Switch können nur 1 GBit oder 10 GBit, keine Zwischenstufe.*

* Cave: Die Informationen sind hier sehr widersprüchlich, bei manchen Händlern stehen die Zwischenstufen, bei manchen nicht. Der Screenshot oben ist von Ubiqutis Webseite, weswegen ich sagen würde, dass der Switch nur 1 oder 10 auf den schnellen Anschlüssen kann.

Der Switch ist doch managebar, hast du schon mal geprüft, wie schnell die einzelnen Ports laufen?

 

[miabichella]

Mehr als ca. 245 bis ca. 280 MB/sec können es schon allein deshalb nicht werden.
Die 10GBit Karte in der DS bringt deshalb auch nicht mehr. Die hättest Du Dir meiner Meinung nach sparen können. 2,5 GBit bringt die DS1825+ doch eh schon mit.
Warum allerdings nicht mehr als ca. 120MB/s laufen, sehe ich auch etwas ungewöhnlich.
Es sei denn es handelt sich dabei um viele kleine Dateien.

Die 10 Gbit Karte habe ich schonmal vorsorglich geholt, da ich in den nächsten Monaten sowieso vor habe, noch 4 weitere HDDs zu holen und wir dann mit 2.5 Gbit eigentlich an die Grenzen stoßen müssten.

Ich habe das kopieren vom MacBook auf das NAS und umgekehrt mit einer 10 GB großen Videodatei ausprobiert.

Der Switch ist m.E. der Teufel....

Anhang anzeigen 111836

Laut Datenblatt hat der folgende Anschlüsse:

• 1 x 10/100/1000 MBit/s
• 4 x 1000/10000 MBit/s

Das heißt, dein 2,5-GBit-Adapter geht nicht mit 2,5 GBit in den Switch, sondern nur mit 1 GBit. Denn die vier "schnellen" Anschlüsse am Switch können nur 1 GBit oder 10 GBit, keine Zwischenstufe.*

* Cave: Die Informationen sind hier sehr widersprüchlich, bei manchen Händlern stehen die Zwischenstufen, bei manchen nicht. Der Screenshot oben ist von Ubiqutis Webseite, weswegen ich sagen würde, dass der Switch nur 1 oder 10 auf den schnellen Anschlüssen kann.

Der Switch ist doch managebar, hast du schon mal geprüft, wie schnell die einzelnen Ports laufen?

Ich glaube es lag tatsächlich am Switch. Ich muss gestehen, dass ich den Switch noch gar nicht richtig eingerichtet hatte, das habe ich jetzt mit der Software einmal gemacht. Screenshot hänge ich mal an, die Ports sehen aber gut aus wenn ich das richtig deute.

Ergebnis:
Jetzt bekomme ich zumindest mal Werte bis max. 248 MB/s Write und 135 MB/s Read laut dem Resourcen Monitor beim NAS.
Blackmagic Disk Speed Test zeigt mir allerdings etwas weniger an, siehe Screenshot.

Ich habe auch gestern mal die Zeit gestoppt, als ich die 10 GB große Videodatei mal hin und her kopiert habe. Es ist auf jeden Fall jetzt beim Schreiben auf das NAS deutlich schneller, nur das Lesen ist immer noch deutlich langsamer.

Vor der Einrichtung des Switch:
Schreiben: max. 123 MB/s -> Dauer zum Kopieren der Datei ca. 1 Min. 28 Sek.
Lesen: max. 112 MB/s -> Dauer zum Kopieren der Datei ca. 1 Min. 26 Sek.

Nach der Einrichtung des Switch:
Schreiben: max. 248 MB/s -> Dauer zum Kopieren der Datei nur noch ca. 37 Sek.
Lesen: max. 135 MB/s -> Dauer zum Kopieren der Datei ca. 1 Min. 13 Sek.

Normalerweise sollte beim Lesen ja noch mehr Geschwindigkeit drin sein mit dem Setup, da die 2.5 Gbit von meinem Macbook ja noch garnicht ausgereizt werden.
Oder brauche ich einfach mehr HDDs, weil SHR-2 bzw. einfach zu wenig Festplatten der limitierende Faktor sind?

Werde mir wahrscheinlich auch noch eine 10 Gbit Netzwerkkarte für das MacBook zulegen.
Aber das macht natürlich erst dann Sinn, wenn ich auch auf die Geschwindigkeiten dafür komme.

Noch zum Screenshot von dem Switch:
Port 1: ist frei, das ist dieser PoE Port der aktuell nicht genutzt wird
Port 2: Da hängt unser Router dran, eine FRITZ!Box 5690 Pro. Dort habe ich den 2.5 Gbit WAN Port als LAN Port konfiguriert, der in den Switch geht.
Port 3: Mein MacBook M1 Max was ich auch für den Test und Einrichtung nutze
Port 4: Das MacBook von meinem Mitarbeiter (aktuell ausgeschaltet)
Port 5: Das DS1825+ mit 10 Gbit Erweiterungskarte

Vielen Dank Euch schonmal für die Hilfe!

Nachtrag: Ein Benchmark von den 4 Festplatten habe ich auch mal über das NAS gemacht. Liefern alle ähnliche Ergebnisse. Den Screeshot hänge ich ebenfalls mal mit dran.

 

[ctrlaltdelete]

Teste bitte mal 2 gleichzeitige Lesevorgänge, ob du dann über 200 MB/s erreichst?

 

[Der_Veranstalter]

1. Der Switch kann also 2,5 GBit, das könnte der Hersteller besser kommunizieren...

2. Das Bild von den Switch Ports schaue ich mir nicht an, das ist nicht lesbar. Wenn das jemand anschauen soll, mach es bitte größer.

3. Mehr Festplatten brauchst du für mehr Geschwindigkeit definitiv nicht. Siehe deinen Benchmark auf dem NAS.

4. Es macht mich sehr nervös, wenn ein Laie an den Einstellungen eines Switches rumbastelt. Grundsätzlich sollte auch ein managebarer Switch out of the box volle Geschwindigkeit bringen. Imho kannst _du_ an dem Switch nichts einstellen, das die Datenübertragung verbessert oder beschleunigt.

 

[Ronny1978]

@miabichella Warum stellst du nicht Port 5 mal auf 2,5 GBit und testest noch einmal? Die Schwachstelle ist aber immer ein MacBook mit 2,5Gbit/s -> also rein rechnerisch ~312 MB/s. Mit 248 MB/s bist du, meiner Meinung nach mit HDDs gut dabei und mehr wird nicht wirklich gehen.

Der Benchmark zeigt dir auf der Synology, so ich weiß, das an, was möglich ist. Und wenn du bei 210-240 MB/s rauskommst, ist das gut.

 

[miabichella]

Teste bitte mal 2 gleichzeitige Lesevorgänge, ob du dann über 200 MB/s erreichst?

Habe ich gerade mal mit zwei unterschiedlichen Videodateien getestet.

Laut Ressourcen-Monitor vom NAS komme ich so auf:
Schreiben: 311 MB/s
Lesen: 138 MB/s

Also Schreiben funktioniert anscheinend dann sogar noch schneller. Wobei ich mich hier frage, wie ich auf 311 MB/s kommen kann, wenn die Benchmarks der Festplatten nur ca. 250 MB/s sagen. Oder sind die Benchmarks immer pro Festplatte und diese addieren sich theoretisch?

2. Das Bild von den Switch Ports schaue ich mir nicht an, das ist nicht lesbar. Wenn das jemand anschauen soll, mach es bitte größer.

Habe ich nochmal in größer in den Anhang gepackt.

@miabichella Warum stellst du nicht Port 5 mal auf 2,5 GBit und testest noch einmal? Die Schwachstelle ist aber immer ein MacBook mit 2,5Gbit/s -> also rein rechnerisch ~312 MB/s. Mit 248 MB/s bist du, meiner Meinung nach mit HDDs gut dabei und mehr wird nicht wirklich gehen.

Der Benchmark zeigt dir auf der Synology, so ich weiß, das an, was möglich ist. Und wenn du bei 210-240 MB/s rauskommst, ist das gut.

Das verstehe ich, aber wieso komme ich dann beim Lesen nicht auch auf diese Geschwindigkeiten? Der Test mit den zwei gleichzeitigen Kopiervorgängen hat ja gezeigt, dass im Schreibvorgang sogar mehr drin ist bzw. ich die 2,5 Gbit komplett ausreizen kann. Aber wieso wird die Geschwindigkeit beim Lesevorgang dann nicht voll ausgereizt?

Für den Videoschnitt wäre ja eine hohe Lesegeschwindigkeit wichtig, wenn ich mich nicht täusche, da mein Schnittprogramm ja die Videodateien auf dem NAS lesen muss. Oder täusche ich mich da?

Den Port 5 habe ich mal testweise im Switch auf 2.5Gbe runter gestellt und auch hier nochmal zwei parallele Kopiervorgänge gestartet. Die Ergebnisse sind in etwa wie oben, bzw. etwas langsamer

Schreiben: 286 MB/s
Lesen: 132 MB/s

 

[Benares]

Oder sind die Benchmarks immer pro Festplatte und diese addieren sich theoretisch?

Ja, ich denke die Benchmarks sind immer nur pro Festplatte. Dein Raid sollte schneller können.

Teste doch mal den Durchsatz der Einzelkomponenten, also Raid- und Netzwerkperformance separat. Beispiel:

dd if=/dev/zero of=/volume1/daten/test.iso bs=1M status=progress

Der Befehl schreibt dir lauter 0en in eine Datei /volume1/daten/test.iso und zwar so lange bis du mit Strg-C abbrichst und zeigt dir dabei die aktuelle Schreibrate. Parallel das kannst du auch im Ressourcen-Monitor sehen, was da abgeht. Du wirst sehen, dass es höllenschnell losgeht, weil sich zunächst der RAM-Cache füllt, und dann auf eine konstante Schreibrate abfällt. Ich komme da auf 500MB/s. Bei 37GB hab ich abgebrochen.

Dann die umgekehrte Richtung, lesend und Inhalt wegschmeißen

dd if=/volume1/daten/test.iso of=/dev/null bs=1M status=progress

Hier muss man nicht abbrechen, der Test endet, wenn die Datei gelesen wurde. Ich komme da auf 380MB/s. Danach die Datei natürlich wieder löschen.

rm /volume1/daten/test.iso

Dann kannst du auch noch schauen, was hdparm bei einem Lesetest sagt:

hdparm -tT --direct /dev/md2

bei mir kommt da

/dev/md2:
 Timing O_DIRECT cached reads:   1246 MB in  2.00 seconds = 622.18 MB/sec
 Timing O_DIRECT disk reads: 1242 MB in  3.00 seconds = 413.59 MB/sec

Nun weißt du welche Raten deine Platten im Raidverbund schaffen. Nun kannst du schauen, wie der Netzwerkdurchsatz alleine ohne Platten ist. Ich nutze da meinst iperf3. Auf meinem UGREEN-NAS ist iperf3 eh drauf und für die Synos gibt iperf3als Bestandteil des Pakets "SynoCLI Monitor Tools" der Syno-Community. Für PCs gibt's das auch. Das Messprinzip ist immer gleich, auf einer Seite startet man iperf3 als Server (iperf3 -s) und auf der anderen testet man gegen diesen Server. Beispielausgabe

root@DS1522:~# iperf3 -R -c dxp4800plus
Connecting to host dxp4800plus, port 5201
Reverse mode, remote host dxp4800plus is sending
[  5] local 2001:16b8:bb04:a900:9209:d0ff:fe19:7bcd port 56298 connected to 2001:16b8:bb04:a900:a8e7:4ff1:68db:a8fd port 5201
[ ID] Interval           Transfer     Bitrate
[  5]   0.00-1.00   sec  1.07 GBytes  9.15 Gbits/sec
[  5]   1.00-2.00   sec  1.08 GBytes  9.28 Gbits/sec
[  5]   2.00-3.00   sec  1.06 GBytes  9.08 Gbits/sec
[  5]   3.00-4.00   sec  1.06 GBytes  9.14 Gbits/sec
[  5]   4.00-5.00   sec  1.08 GBytes  9.28 Gbits/sec
[  5]   5.00-6.00   sec  1.07 GBytes  9.16 Gbits/sec
[  5]   6.00-7.00   sec  1.06 GBytes  9.12 Gbits/sec
[  5]   7.00-8.00   sec  1.07 GBytes  9.15 Gbits/sec
[  5]   8.00-9.00   sec  1.08 GBytes  9.28 Gbits/sec
[  5]   9.00-10.00  sec  1.07 GBytes  9.16 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-10.06  sec  10.7 GBytes  9.13 Gbits/sec  9525            sender
[  5]   0.00-10.00  sec  10.7 GBytes  9.18 Gbits/sec                  receiver

iperf Done.

Die 10GB/s-Verbindung zwischen DS1522+ und DXP4800plus wird also annähernd voll ausgenutzt. Erst wenn du die Einzelwerte kennst, kannst du beurteilen, wo dein Nadelöhr steckt.

 

[miabichella]

Danke für Dein Feedback! Ich hätte nicht gedacht, dass ich irgendwann mal mit dem Terminal auf dem Mac arbeite, aber mithilfe von ChatGPT hab ich es irgendwie geschafft mich auf dem NAS einzuloggen und Deine Befehle einzugeben.

Der letzte lange Befehl übersteigt allerdings dann leider doch meine Fähigkeiten.

Folgendes kam raus:

CENSORED@Iabichella:~$ dd if=/dev/zero of="/volume1/Iabichella Media/testfile.bin" bs=1M status=progress
31448891392 bytes (31 GB, 29 GiB) copied, 61 s, 516 MB/s^C
30416+0 records in
30416+0 records out
31893487616 bytes (32 GB, 30 GiB) copied, 61.891 s, 515 MB/s

CENSORED@Iabichella:~$ dd if="/volume1/Iabichella Media/testfile.bin" of=/dev/null bs=1M status=progress
31447842816 bytes (31 GB, 29 GiB) copied, 61 s, 515 MB/s
30416+0 records in
30416+0 records out
31893487616 bytes (32 GB, 30 GiB) copied, 61.9292 s, 515 MB/s
CENSORED@Iabichella:~$ hdparm -tT --direct /dev/md2
/dev/md2: Permission denied
CENSORED@Iabichella:~$ sudo hdparm -tT --direct /dev/md2

We trust you have received the usual lecture from the local System
Administrator. It usually boils down to these three things:

    #1) Respect the privacy of others.
    #2) Think before you type.
    #3) With great power comes great responsibility.

Password:

/dev/md2:
 Timing O_DIRECT cached reads:   956 MB in  2.00 seconds = 477.32 MB/sec
 Timing O_DIRECT disk reads: 688 MB in  3.00 seconds = 229.18 MB/sec

Ich hoffe das hilft trotzdem irgendwie.

 

[Benares]

Na ja, das zeigt doch, dass dein Raid insgesamt schon mal um die 500MB/s lesend/schreibend schafft. Jetzt musst du das nur noch über dein Netz bekommen,
Berichte mal, was ein iperf3-Test bringt. Die schlechteste Rate ist das Nadelöhr. Der "letzte lange Befehl" war nicht lang, da habe ich nur auch meine Ausgabe dazu kopiert.
Ich kenne mich mit mit MAC nicht aus, aber Tante Google sagt, iperf3 müsste es auch für Apple geben, s. hier.