DS Benchmark - Ein Testszenairo

geimist

Benutzer
Sehr erfahren
Maintainer
Mitglied seit
04. Jan 2012
Beiträge
5.371
Punkte für Reaktionen
1.188
Punkte
234
Ich finde es echt beeindruckend, wie signifikant sich die Leistung der DSen gesteigert hat (wenn ich daran denke, dass meine DS111 für den Photostation-Benchmark über 4 Stunden brauchte …).
 

dil88

Benutzer
Contributor
Sehr erfahren
Mitglied seit
03. Sep 2012
Beiträge
29.709
Punkte für Reaktionen
1.018
Punkte
754
Hehehe, wobei der Fall insofern extrem ist, als die Ursache im Wechsel von CPUs ohne zu solchen mit FPU liegt. Aber auch ansonsten sind die Steigerungen bemerkenswert und in der Praxis ja auch spürbar (Stichwort Schupdizität). Da haben m.E. insbesondere Mehrkern-CPUs einiges gebracht.
 

gente

Benutzer
Mitglied seit
07. Mrz 2016
Beiträge
252
Punkte für Reaktionen
0
Punkte
22
gerade getestet für Erweiterung der Performance Datenbank:

DS216j
neueste DSM 6.0.1-7393
CPU: Marvell Armada 385 88F6820
CPU-Architektur: 32-bit
CPU-Frequenz: Dual Core 1.0 GHz
Systemspeicher: 512 MB DDR3

Photostation: 16:32 min. CPU 85%
DSM Apache Webserver: 2,171 sec.
MySQL-Server: 24,89 sec.
DSM Dateikomprimierung: 29,63 sec. CPU 88%

LG Thomas
 

goetz

Super-Moderator
Teammitglied
Sehr erfahren
Mitglied seit
18. Mrz 2009
Beiträge
13.998
Punkte für Reaktionen
264
Punkte
373
Hallo,
hast Du bei Dateikomprimierung die Komprimierungsstufe auf Beste gestellt? Der Wert scheint mir für DSM 6 zu gut.

Gruß Götz
 

dil88

Benutzer
Contributor
Sehr erfahren
Mitglied seit
03. Sep 2012
Beiträge
29.709
Punkte für Reaktionen
1.018
Punkte
754
Klasse, danke! Habe ich ins Wiki übernommen.
 

peterhoffmann

Benutzer
Sehr erfahren
Mitglied seit
17. Dez 2014
Beiträge
5.525
Punkte für Reaktionen
1.360
Punkte
234
Ich habe nicht den ganzen Thread gelesen, sondern nur die erste Seite und die dortigen Anweisungen durchgeführt.

Ergebnis mit einer DS216+ 8GB (Celeron N3050 2x1,6-2,16):

[6.0] 7min 13s (Photostation)
[6.0] 0.016s (Webserver)
[6.0] nicht installiert (MySQL)
[6.0] 61s (Komprimierung)
85 / x / x / 100 (CPU-Auslastung)

Die 61s für die Komprimierung wundern mich, da im Wiki schwächere Modelle sind, die bei weitem schneller waren.
 

dil88

Benutzer
Contributor
Sehr erfahren
Mitglied seit
03. Sep 2012
Beiträge
29.709
Punkte für Reaktionen
1.018
Punkte
754
DSM 6.0 nutzt an diversen Stellen andere Software. Deshalb sind manche Benchmarkergebnisse nicht mit denen älterer DSM Versionen vergleichbar. Danke für Deine Messungen, ich werde die Zahlen ins Wiki übernehmen.
 

geimist

Benutzer
Sehr erfahren
Maintainer
Mitglied seit
04. Jan 2012
Beiträge
5.371
Punkte für Reaktionen
1.188
Punkte
234
Die 0,0016 Sekunden für den Webserver kann ich nur schwerlich nachvollziehen. Bei dem Test für den Webserver wird ja der Ordner "dsbench" n-mal ausgelesen. Evtl. war der nicht richtig entpackt? Evtl. schon php7?
Auf einer DS916+ mit 8GB RAM dauert der Test 1,78s (DSM 6.0).

P.S: Die DSen werden immer schneller. Zu dem wird er Webserver immer vielschichtiger (apache, nginx, php5.6, php7). Irgendwie müsste man den Test nochmal erweitern.:rolleyes:
 

peterhoffmann

Benutzer
Sehr erfahren
Mitglied seit
17. Dez 2014
Beiträge
5.525
Punkte für Reaktionen
1.360
Punkte
234
Die 0,0016 Sekunden für den Webserver kann ich nur schwerlich nachvollziehen.
Irgendwas muss wirklich schiefgelaufen sein. Ich habe den Test wiederholt und komme im ersten Durchgang auf 1.594s und im zweiten Durchgang auf 1.153s.
Also bitte im Wiki korrigieren.
 

mgutt

Benutzer
Mitglied seit
14. Nov 2012
Beiträge
429
Punkte für Reaktionen
18
Punkte
18
Ich ergänze später noch mehr:

DS213+
Komprimierung: 29 Sekunden CPU: 93%
 

mgutt

Benutzer
Mitglied seit
14. Nov 2012
Beiträge
429
Punkte für Reaktionen
18
Punkte
18
DS213+ mit DSM 6.0.2-8451 Update 9

Apache Webserver
2,2457 Sekunden CPU 99%

Dazu muss ich ergänzen, dass ich den Befehl wie folgt geändert habe:
Code:
ab -n 100 -c 10 http://{DISKSTATION_IP}/dsbench/index.php?dir=pictures

D.h. 100 Requests, wobei max. 10 parallel abgesetzt werden. Da nun die Ausführung deutlich länger benötigt, sieht man auch erst im CPU Diagramm die wirkliche Auslastung des NAS. Die finale Ausführungszeit habe ich dann durch 10 geteilt, damit es vergleichbar bleibt.

Hier noch mal die ab.exe für Windows, da der Download mittlerweile offline gegangen ist:
http://www.programmierer-forum.de/ab-exe-apache-benchmark-fuer-windows-download-t375533.htm#4508206


MySQL
34.906539 Sekunden CPU 65%

Dabei zu der Aussage:
Die Ausführungszeit wird direkt in Minuten und Sekunden ausgegeben.
(Grundsätzlich kann man das SQL-Kommando auch über phpMyAdmin ect. absetzen, die Rechenzeiten unterscheiden sich aber deutlich. Daher nur über Telnet testen!)
Das ist falsch. Es ist egal wie der Befehl an den MySQL Server gesendet wird. Es kommt auf die Auswertung an.

Nutzt man dieses Skript, dann erfolgt die Auswertung durch MySQL selbst und wird nicht von PHP negativ beeinflusst:
http://www.programmierer-forum.de/einfaches-mysql-benchmark-php-skript-select-benchmark-t375536.htm

Ich wäre daher dafür, dass man mysql.php in das Paket aufnimmt und sich dadurch den Telnet-Teil sparen kann. Man muss dann nur das aufrufen:
http://{DISKSTATION_IP}/dsbench/mysql.php


PhotoStation

1. Versuch 12 Minuten (grob mit Uhr)
Hier hatte ich nach Installation der Photostation das ZIP das erste mal in "photo/" entpackt

2. Versuch 2:30 Minuten
Die Dateien wurden in ein anderes Verzeichnis verschoben. Dann über Button neu indexiert. Dann Dateien wieder zurück in "photo/". Da es diesmal viel schneller ging ist davon auszugehen, dass die Dateien noch im Cache waren.

3. Versuch 2:11 Minuten
Diesmal nur den Button neu indizieren gedrückt. Auch hier scheint der Cache noch vorhanden zu sein.

4. Versuch 12:58 Minuten (exakt an Hand CPU Diagramm abgelesen)
Diesmal habe ich das ZIP in Windows entpackt und alle Bilder und Videos innerhalb des entpackten Verzeichnisses noch mal reinkopiert, so dass alle Bilder und Videos doppelt vorhanden waren, aber eben mit neuem Dateinamen (enden dann auf "Kopie"). Auf die Art wollte ich sicherstellen, dass auf dem NAS kein Cache greift. Ich habe dann auf dem NAS die Mediendaten aus diverses/ gelöscht. Obwohl das Verzeichnis nicht vom Medienindexierungsdienst abgedeckt war, sprang die Medienindexierung an. Ich kann es nur vermuten, aber ich glaube, dass das NAS den Cache erst dann löscht, wenn die Dateien komplett von der Festplatte gelöscht werden. Es ist also egal in welchem Verzeichnis sie wirklich liegen. Oder es war Zufall. Jedenfalls habe ich nun die neu benannten Dateien wieder auf das NAS in "diverses/" geladen. Nachdem das NAS dann im Leerlauf war, habe ich die Dateien in "photo/" verschoben und schon an der CPU-Last konnte ich eine deutliche Veränderungen zu den vorherigen Versuchen sehen. Diesmal wurde wirklich neu indexiert:
2017-01-19 16_15_46-VideoStation - Synology DiskStation.png

Daraus schließe ich übrigens, dass der PhotoStation Cache nicht gelöscht wird, wenn man das PhotoStation Paket entfernt. Jedenfalls geht die Deinstallation so schnell, so schnell ist die Indexierung nicht, wenn man Dateien entfernt.

Fazit:
Der Test ist nicht ausgereift, da fehleranfällig und auch nicht wirklich genau und man kann das Ende des Benchmark verpassen, wenn man mal vom Rechner weg muss. Außerdem wird es problematisch, wenn bereits photo/ und video/ mit Mediendateien vorhanden sind, da sich die Photostation hier auch gleich ans Werk macht. Und abschließend wissen wir auch nicht ob Synology was bei den Konvertierungsparametern bei den verschiedenen DSM Versionen geändert hat, so dass sich dadurch schon eine niedrigere Last ergibt, wie man am Verlauf der bereits vorhandenen Benchmarks sehen kann.

Mein Ablauf war übrigens so:
- PhotoStation installiert
- CPU Diagramm geöffnet und auf 30 Minuten eingestellt (da sieht man an Hand der Ausschläge wann es wirklich startet und endet)
- Einstellungen vom Medienindexierungsdienst angepasst und hier auch noch mal "indizierte Ordner geprüft, dass nur "photo/" gewählt ist und da dann auch nur "Bilder" und "Videos" indiziert werden sollen. Außerdem
- Dann die Ordner "pictures" und "videos" von einem anderen Verzeichnis auf dem NAS verschoben. D.h. das NAS muss nichts kopieren oder sonstwie auf die Platte schreiben, sondern es wird einfach nur der Festplatten-Index geändert, so dass sich das nicht weiter auf die Last auswirken sollte.



Fertig

So ich hab jetzt alle Tests durch. Es fällt auf, dass sich Apache deutlich verbessert hat. Ich vermute mal früher gab es noch kein NGINX mit PHP FPM oder? Das alleine würde das nämlich erklären. MySQL ist relativ gleich und Komprimierung auch. Auch hat sich die Photostation Indexierung stark verbessert, was aber bei den Tests mit der DS713+ genauso war.

Noch mal zusammengefasst fürs Wiki

DS213+
PhotoStation [6.0] 12m 58s
Webserver [6.0] 2,25s
MySQL [6.0] 34,9s
Komprimierung [6.0] 29s
CPU 85 / 99 / 65 / 93
 
Zuletzt bearbeitet:

mgutt

Benutzer
Mitglied seit
14. Nov 2012
Beiträge
429
Punkte für Reaktionen
18
Punkte
18
Eventuell sollte man die Medien-Konvertierung wie auch das MySQL Benchmark in PHP auslagern? Man könnte darüber per Shell auf imagemagick (Fotos) und ffmpeg (Videos) zugreifen und hätte so etwas konsistentere Ergebnisse über verschiedene DSM Versionen hinweg. Was meint Ihr?
 

xelarep

Benutzer
Mitglied seit
17. Dez 2008
Beiträge
318
Punkte für Reaktionen
10
Punkte
18
DS216+II und DS111 "revisited"

Hallo,

nachdem mich @dil88 dezent geschubst hat, habe ich heute meine DS216+II gebenchmarked - die scheint hier noch zu fehlen.

Setup: DS216+II, 2x4TB SHR/btrfs, 1GB RAM (Auslieferzustand) - DSM 6.0.2-8451 Update 9

Apache Benchmark
Rich (BBCode):
ab -n 10 -c 10 http://DIE_IP_DER_DISKSTATION/dsbench/index.php?dir=pictures
Flotte 1,778s :cool:
CPU konnte ich nur nen kurzen Ausschlag auf ca. 50% ausmachen

MySQL
Ebenfalls flotte 9,52s
CPU etwa 37%

7zip
Immerhin 1:04min
CPU schwankend, meist um 80-90%

Photostation
hier möchte mich leider @mgutt anschliessen: der Test ist schwierig und ggf. nicht Aussagekräftig, obwohl er natürlich absolut auf die Praxis anspielt. Allerdings muss man höllisch aufpassen, da neben der Indizierung ja auch noch die Konvertierung läuft (siehe unten!). Evtl. spielt hier auch das Festplattensetup (SHR, RAID, Single Disk) eine Rolle?

Bearbeitungszeit (komplett Indexer+Konverter): 9:50min CPU schwankend zwischen 50% und 70%max

Da mich die aktuelle wiki-Tabelle etwas irritierte, und ich gerade noch die Vergleichsmöglichkeit habe, habe ich meine alte DS111 mit dem aktuellen Test nochmal angeworfen

Setup: DS111, 2TB EXT4, 256MB RAM (Auslieferzustand) - DSM 6.0.2-8451 Update 9

Apache Benchmark
Rich (BBCode):
ab -n 10 -c 10 http://DIE_IP_DER_DISKSTATION/dsbench/index.php?dir=pictures
akzeptable 11,912s :rolleyes:

MySQL
Jetzt dauert's schon länger: 43,2s :eek:
CPU 100%

7zip
Gähnende 8:26min! :mad:
CPU 100%

Photostation
Während ich das hier schreibe läuft der Test noch, und es sind bisher 20 Minuten um, der Indexer wurde gerade fertig, der Medienkonverter hat gerade erst angefangen und steht bei 5%, und läuft, und läuft, und...
CPU 100% - RAM ist mit 58% übrigens entspannt!

Fazit: Upgrade war überfällig und hat sich gelohnt! Man merkt überall deutlich bessere Reaktionen und Antwortzeiten (Webserver, DSM, Photostation, ...). Fortschritt halt :)

Bitte übertragt die Daten ins wiki!

Alexander

[Edit] Nachtrag: nach 1h und erst 25% konvertierter Bilder habe ich bei der DS111 abgebrochen...
 
Zuletzt bearbeitet:

dil88

Benutzer
Contributor
Sehr erfahren
Mitglied seit
03. Sep 2012
Beiträge
29.709
Punkte für Reaktionen
1.018
Punkte
754
Den Wiki-Beitrag habe ich um beide Messreihen ergänzt, vielen Dank für die Daten!
 

vaszago

Benutzer
Mitglied seit
09. Sep 2012
Beiträge
164
Punkte für Reaktionen
7
Punkte
18
Gibt es eigentlich schon Daten von der Neuen DS *18 Serie.

Bin am Überlegen von meiner DS111 auf die DS118 zu wechseln da die DS111 schon recht langsam wird. Überhaupt beim Foto trans kodieren.
Das dauert gefühlt ja eine Ewigkeit.

Um wieviel würde sich das verbessern.?
 

dil88

Benutzer
Contributor
Sehr erfahren
Mitglied seit
03. Sep 2012
Beiträge
29.709
Punkte für Reaktionen
1.018
Punkte
754
Das würde sich dramatisch verbessern, kannst Du anhand der aktuellen Messwerte (siehe Wiki) ja schon sehen, weil die CPU der 111 über keine FPU verfügt. Irgendwas im Bereich Faktor 10.
 

vaszago

Benutzer
Mitglied seit
09. Sep 2012
Beiträge
164
Punkte für Reaktionen
7
Punkte
18

Andy14

Benutzer
Mitglied seit
05. Mrz 2014
Beiträge
1.013
Punkte für Reaktionen
0
Punkte
0
Nein, leider gibt es davon noch keine Messungen. Ich würde mich dil88 anschließen und von min. Faktor 10 ausgehen.
Da es aber (für Synology) eine ganz neue Architektur ist (64Bit ARMv8) trau ich mich da keine "Hochrechnung" aus anderen CPU Werten ;-)
 

der_janosch

Benutzer
Mitglied seit
12. Aug 2018
Beiträge
83
Punkte für Reaktionen
10
Punkte
8
Halli Hallo,

Gibt es schon jemanden, der den Benchmark mit der DS418play gemacht hat? Überlege von meiner DS213+ zu upgraden und wäre um einen Leistungsvergleich dankbar.

Mfg der_janosch
 


 

Kaffeautomat

Wenn du das Forum hilfreich findest oder uns unterstützen möchtest, dann gib uns doch einfach einen Kaffee aus.

Als Dankeschön schalten wir deinen Account werbefrei.

:coffee:

Hier gehts zum Kaffeeautomat