SSD SATA RAID5 mit 3-4 SSD weniger Belastung für die SSD als bei RAID1 mit 2 SSD?

[ctrlaltdelete]

Ich betreibe eine DS920+ mit 2 SATA SSDs im SHR/RAID1.
Der Wear_Leveling_Count ist bei 11% nach 3.980 Betriebsstunden (331 Tage, die DS läuft 24/7).
Macht es Sinn, auf SHR/RAID5 upzugraden mit 3-4 SSDs gesamt, um die Schreiblast pro SSD zu verringern und somit die Lebenszeit zu erhöhen?
Einziger Nachteil m.W. ist die schlechtere Performance bei Random Writes, wegen der zu schreibenden Parity -> Read-Modify-Write.
Wie seht ihr das und wie beurteilt ihr die Performance beim Schreiben?

Setup Infos:
DS920+ (20 GB RAM):
2 x 2 TB SSD Speicherpool01 SHR/RAID1 Volume01 BTRFS; DSM, Pakete, VMS
2 x 1 TB NVME-SSD Speicherpool02 RAID1 Volume02 BTRFS: Docker Container, Photos Ordner
DX517:
4 x 12 TB HDD Speicherpool03 SHR/RAID5 Volume03 BTRFS: Ordner: Data, Video, Music

 

[Benares]

So aus dem hohlen Bauch heraus, würde ich sagen, das bringt nicht viel. Eine Reduzierung der Schreiblast pro SSD um 2-3 vielleicht, aber nicht um Welten.
Bei einem Raid1 müssen geschriebene 1TB Daten irgendwann mal halt auch geschrieben werden, bei einem Raid5 verteilt sich das etwas. Das Schreiben zerstört die SSDs, nicht das Lesen.
Mir fallen da spontan auch gar nicht so viele Anwendungen ein, wo Unmengen von Daten ständig geschrieben werden müssen, nur z.B. die "Surveillance Station" ist so eine.

 

[Synchrotron]

… oder der Cache: Dann geht der gesamte Datenverkehr durch die SSD.

 

[Benares]

Ich denke, @ctrlaltdelete redet da eher von seinen SSDs als Volume.

 

[ctrlaltdelete]

Ja, ich denke ich erweitere das Raid1 auf Raid5, mir ging es eher um die Random Write Performance des Raid5 mit 3 x 2 TB SSD. Bei großen Dateien sollte Raid5 sowieso schneller sein.

 

[Benares]

Ja, probier's aus und berichte. Ich denke nicht, dass die Write Performance leidet, eher im Gegenteil.

 

[ctrlaltdelete]

Ja, werde ich nach dem Urlaub testen, bzw. umsetzen und berichten. Will nur auf ein passendes Angebot warten, momentan 150€ für 2 TB SSD sind mir zu teuer.
Edit: Preis Oktober 2024: 127 €

 

[Iarn]

Meine persönliche Meinjng ist, lieber 100€ SSD verbauen und für den Fall, dass die hinüber sind (ist mir nur in den Anfangszeiten mit <= 1 TB passiert) tauschen. 2 TB sind ja sehr schnell im Rebuild.

Ich habe mir jüngst für unter 100€ mit einem Ebay Gutschein Fanxiang S101 (nicht die Q!) geschossen, laut diverser asiatischer Foren der P/L Geheimtipp, TLC mit hoher (1024) TBW. DSM meckert wegen unsupprtet drive aber ich kann nicht drüber meckern.

 

[maxblank]

ich erweitere das Raid1 auf Raid5, mir ging es eher um die Random Write Performance des Raid5 mit 3 x 2 TB SSD

RAID1 wird allerdings überlegen sein, da bei RAID5 die Paritätsberechnung dazukommt und die wird bei vielen kleinen IOPS (Datenbank, VMs, Docker, Logs) das RAID5 ggfls. deutlich in dieser Disziplin ausbremsen.

Falls dann die SSD je nach Modell selbst noch in die Knie geht, kann es eklig werden.
Welches SSD Modell kommt zum Einsatz?

 

[DaveR]

Assuming my parity maths is correct?

If you write 9GB to RAID 1 with 2 drives:

• 9GB gets written to SSD 1
• 9GB gets written to SSD 2

If you write 9GB to RAID 5 with 3 drives:

• 3GB gets written to SSD 1 (and 0.5GB of parity gets written to SSD 2 and 0.5GB of parity gets written to SSD 3)
• 3GB gets written to SSD 2 (and 0.5GB of parity gets written to SSD 1 and 0.5GB of parity gets written to SSD 3)
• 3GB gets written to SSD 3 (and 0.5GB of parity gets written to SSD 1 and 0.5GB of parity gets written to SSD 2)

So with RAID 1 9GB gets written to each drive. With RAID 5 only 4GB gets written to each drive.

 

[synfor]

Da gibts im RAID5 zu wenig Parität. In einem RAID5 aus 3 Platten sind ein Drittel der Daten die Parität. Im Beispiel sind das aber nur ein Viertel.

 

[ctrlaltdelete]

@maxblank ganz einfache Samsung SSD 870 EVO 2TB, 2.5"

fio Benchmark – Volume1 (SHR, 2× SSD, BTRFS)

Test 1: Sequentielles Schreiben (128k Blöcke)​

Kennzahl	Ergebnis
Durchsatz	196 MiB/s (205 MB/s)
IOPS	1.566
Gesamtschreibmenge	5.79 GiB
Latenz (Median)	~1.0–1.2 ms
99.9 % Latenzspitze	3.5–5.9 s (Cache Flushs)
CPU Last	0.89 % (usr), 5.54 % (sys)

Test 2: Random Write (4k Blöcke)​

Kennzahl	Ergebnis
Durchsatz	152 MiB/s (159 MB/s)
IOPS	38.900
Gesamtschreibmenge	4.50 GiB
Latenz (Median)	~163 µs
99.9 % Latenzspitze	58 ms – 1.6 s
CPU Last	4.26 % (usr), 18.76 % (sys)

​

Fazit:

Testart	MB/s	IOPS	Latenz (Median)	CPU Load
128k Write	205	1.566	~1.0 ms	6.4 %
4k Rand Write	159	38.900	~163 µs	23 %

#Logge dich per SSH ein:

ssh admin@deine-synology
sudo -i

----------------------------------------------------------

#Erstelle einen Testordner:

mkdir -p /volume1/test-fio

----------------------------------------------------------

#Sequentielles Schreiben (128k Blöcke)
fio --name=write-test \
    --directory=/volume1/test-fio \
    --size=512M \
    --bs=128k \
    --rw=write \
    --ioengine=libaio \
    --iodepth=16 \
    --numjobs=2 \
    --time_based \
    --runtime=30s \
    --group_reporting
----------------------------------------------------------

# Zufälliges Schreiben (Random Write, 4K)
fio --name=rand-write-test \
    --directory=/volume1/test-fio \
    --size=512M \
    --bs=4k \
    --rw=randwrite \
    --ioengine=libaio \
    --iodepth=16 \
    --numjobs=2 \
    --time_based \
    --runtime=30s \
    --group_reporting


#Bereinige danach wieder:
rm -rf /volume1/test-fio

 

[ctrlaltdelete]

fio Cache vs. Direct Benchmark zufälliges Schreiben (Random Write, 4K)

Test	IOPS	Bandwidth (MiB/s)	Bandwidth (MB/s)	Median Latency (µs)	99.9% Latency	CPU usr/sys (%)	Median Latency (ms)
Random Write (mit Cache)	44300	173.0	182.0	157.0	46 ms	4.78 / 19.83
Random Write (direct, ohne Cache)	5282	20.6	21.6		125 ms	1.35 / 12.54	5.0

128k Sequential Write – Cache vs. Direct

Test	IOPS	Bandwidth (MiB/s)	Bandwidth (MB/s)	Median Latency (µs)	99.9% Latency	CPU usr/sys (%)	Median Latency (ms)
128k Sequential Write (mit Cache)	2987	373	392	898.0	1954 ms	1.49 / 9.76
128k Sequential Write (direct, ohne Cache)	987	123	129		1083 ms	0.71 / 7.53	27.0

 

[maxblank]

@maxblank ganz einfache Samsung SSD 870 EVO 2TB, 2.5"

Das sind allerdings anständige und ausdauernde SSDs mit eigenem DRAM, die konstant gute Werte bringen. Passt schon!

 

[Benares]

Ich finde es immer etwas enttäuschend, wie wenig die SSDs in NASen können.
In meinem PC habe ich eine NVME-SSD (Samsung SSD 960 EVO 500GB) fürs Betriebssystem verbaut sowie einige SATA-SDDs (Samsung SSD 870 QVO) für die Daten. Da sehe ich Werte von ~2900MB/s (180.000 IOPS) für Sequentielles Lesen und ~1800MB/s (125.000 IOPS) für Sequenzielles Schreiben, die SATA-SSDs kommen auf ~600MB/s (~65.000 IOPS).
Und das Teil ist mind. 10 Jahre alt

 

[ctrlaltdelete]

Ja, leider, deshalb habe ich auch keine HighEnd bzw. Datacenter SSDs eingesetzt, weil "Perlen vor die Säue"

Specs: Samsung SSD 870 EVO 2TB​

Lesen: 560MB/s
Schreiben: 530MB/s SLC-Cached
IOPS: 4K98k lesend, 88k schreibend
Speichermodule: 3D-NAND TLC, Samsung, 128 Layer (V-NAND v6)
TBW:1.2PB (entspricht 600TB pro TB Kapazität)
Zuverlässigkeitsprognose: 1.5 Mio. Stunden (MTBF)
Controller: Samsung MKX, 8 Kanäle
Cache: 2GB (LPDDR4), SLC-Cache (dynamisch ab 6GB bis 78GB)
Protokoll: AHCI

 

[Hagen2000]

Ich kann hier einige Berechnungen nicht nachvollziehen, bzw. habe Rückfragen dazu.

@ctrlaltdelete: 3.980 h / 24 h = 165,833 d, Du ermittelst jedoch 331 d?
@Benares: "Eine Reduzierung der Schreiblast pro SSD um 2-3 vielleicht" - um was wird hier reduziert? Oder sollte es vielleicht um/auf 2/3 heißen?

Zum Rechenbeispiel von @DaveR:

Die Betrachtung für RAID 1 stimmt.
Die Betrachtung für RAID 5 mit 3 Festplatten (kurz RAID 5/3) müsste hingegen wie folgt aussehen:

• 3 GB werden geschrieben und hälftig aufgeteilt: 1,5 GB werden auf SSD1 geschrieben, 1,5 GB auf SSD2 und 1,5 GB Parity-Daten auf SSD3
• 3 GB werden geschrieben und hälftig aufgeteilt: 1,5 GB werden auf SSD2 geschrieben, 1,5 GB auf SSD3 und 1,5 GB Parity-Daten auf SSD1
• 3 GB werden geschrieben und hälftig aufgeteilt: 1,5 GB werden auf SSD3 geschrieben, 1,5 GB auf SSD1 und 1,5 GB Parity-Daten auf SSD2

So werden bei einem RAID 5/3 auf jede Festplatte 4,5 GB geschrieben.
In Summe werden also 13,5 GB Daten geschrieben, 1/3 davon (wie von @synfor zu Recht postuliert) - nämlich 4,5 GB - sind Paritätsdaten und 9 GB sind Nutzdaten.

Daraus folgt das, zunächst vielleicht etwas unintuitive Ergebnis, dass auf jedes Laufwerk nur halb so viele Daten geschrieben werden wie bei RAID 1 und somit das Gesamtsystem doppelt so lange halten wird!

Diesen "Gewinn" bezahlt man mit einer höheren Ausfallwahrscheinlichkeit (siehe Wikipedia-Artikel https://de.wikipedia.org/wiki/RAID, Abschnitt "Die gebräuchlichen RAID-Level im Einzelnen").

Man kann das Ergebnis auch durch folgende Überlegung herleiten:
SL sei die "Schreiblast" aller Festplatten
NL sei die "Nutzlast" (im obigen Beispiel also 9 GB)

Bei RAID 1 gilt: SL = 2 * NL
Pro Festplatte - hier sind es 2 Stück - ergibt sich also eine Schreiblast in Höhe von SL / 2 = NL.
Bei RAID 5/3 gilt: SL = 1,5 * NL
Pro Festplatte - hier sind es 3 Stück - ergibt sich also eine Schreiblast in Höhe von SL / 3 = NL * 0,5.

Ausgehend von den Nutzungsdaten aus #1 von 11% in 3.980 Betriebsstunden werden die SSDs nach 4,1 Jahren 100% Wear Leveling erreicht haben. Ein RAID 5/3 würde hingegen 8,2 Jahre dafür benötigen.

Betrachtet man nun die Kosten (vereinfacht ohne Zinsen, Preisänderungen, sonstige Ausfallszenarien usw.) so würden bei einem RAID 1 in der Nutzungszeit von 8,2 Jahren 4 SSDs benötigt werden (Austausch von 2 SSDs nach 4,1 Jahren erforderlich) und bei einem RAID 5/3 hingegen nur 3 SSDs. Die RAID 1-Lösung ist also 33% teurer.

Ein RAID 5 mit 4 Festplatten ist übrigens nicht empfehlenswert, das wird ebenfalls im Wikipedia-Artikel erläutert (siehe Ende Abschnitt "Einfluss auf die Write-Performance").

 

[Benares]

@Benares: "Eine Reduzierung der Schreiblast pro SSD um 2-3 vielleicht" - um was wird hier reduziert? Oder sollte es vielleicht um/auf 2/3 heißen?

Ich wollte da jetzt keine Wissenschaft draus machen, sondern damit nur sagen, dass die Last pro HDD/SSD sicherlich kleiner sein wird, aber eben nicht um Welten.
Mit 2-3 war "Faktor 2-3" gemeint, also eine Reduzierung auf ungefähr die Hälfte.

Übrigens: Hab grad gesehen, dass Synology in seinen Kompatibilitätslisten bei den Drittherstellern unter "Klasse" NAS- und Surveillance-Platten unterscheidet. Was das wohl ist?

 

[ctrlaltdelete]

@Hagen2000 klassischer Layer 8 Fehler von mir.
Danke für deinen Input!!!
Ich werde auf Raid5 upgraden