Hoher Speicherverlust bei Nutzung von SHR-Volumen

[hexx-it]

Ich habe einen SHR-Speicherpool aus (Verkaufsnennwert) 4x20TB, 2x14TB und 2x8TB angelegt ( Bruttonennspeicher 124 TB)
Die Laufwerksgrößen werden mir als 18.2 TB, 12,7TB uns 7.3 TB angezeigt (Nutzspeicher: 112,80 TB). Soweit alles in Ordnung.
SHR müsste ja nun anlegen:
+ ein RAID 5 auf 7,3TB*8 anlegen (58,4 TB Nutzspeicher// 7,3TB*7= 51,1 TB Nettospeicher durch RAID5) ,
+ ein RAID 5 mit (12,7-7,3 TB)*6 = 5,4 TB*6 (32,4 TB Nutzspeicher // 27,0 TB Nettospeicher durch RAID5)
+ ein RAID 5 mit (18,7-(7,3+5,4))*4 = 6,0 TB*4 (24 TB Nutzspeicher // 18 TB Nettospeicher durch RAID5)
Der Nettospeicher sollte demnach 96,1 TB betragen.
Mir werden jedoch nur 83,6 TB zur Verfügung gestellt.
Mache ich einen Denkfehler oder frisst SHR sehr viel zusätzlichen Speicher über RAID5 hinaus?

 

[dil88]

Willkommen im Forum!

SHR frisst keinen Speicher. Das ist letztlich ein Linux Logical Volume Manager, der verschiedene RAID-Arrays zu einem Speicherpool zusammenfasst, so wie Du es skizziert hast. Der RAID-Rechner von Synology liefert 96,5TiB - wie auch meine eigene Kalkulation. Das entspricht ja nahezu Deinen 96,1TiB. Könntest Du bitte einmal einen Screenshot mit den Speicherpool-Optionen posten? Gibt es dort eine Option, den Speicherpool zu vergrößern? 0 Byte frei spricht auf den ersten Blick dagegen. Aber vielleicht bringt die Datenbereinigung etwas. War die Bestückung der Platten immer auf Basis 8TB, 14TB und 20TB oder wurde da schon getauscht in der Vergangenheit?

Randbemerkung: Ich persönlich würde bei acht Platten kein SHR sondern ein SHR-2 nutzen.

 

[Benares]

Der Raid-Rechner spuckt 94,5TB aus, s. hier.
Hat vielleicht was mit TB/TiB zu tun.

Edit; @dil88 war schneller

 

[dil88]

Nee, die 94,5TiB entsprechen 104TB. Da passt etwas nicht.

 

[Benares]

Vielleicht ändert sich ja noch was, wenn die Datenbereinigung fertig ist. Wir kennen ja die Vorgeschichte nicht.
Bei mir passt die Anzeige von Raid-Rechner und Speicher-Manager zusammen, 25,4TB bei beiden.

 

[hexx-it]

Willkommen im Forum!

SHR frisst keinen Speicher. Das ist letztlich ein Linux Logical Volume Manager, der verschiedene RAID-Arrays zu einem Speicherpool zusammenfasst, so wie Du es skizziert hast. Der RAID-Rechner von Synology liefert 96,5TiB - wie auch meine eigene Kalkulation. Das entspricht ja nahezu Deinen 96,1TiB. Könntest Du bitte einmal einen Screenshot mit den Speicherpool-Optionen posten? Gibt es dort eine Option, den Speicherpool zu vergrößern? 0 Byte frei spricht auf den ersten Blick dagegen. Aber vielleicht bringt die Datenbereinigung etwas. War die Bestückung der Platten immer auf Basis 8TB, 14TB und 20TB oder wurde da schon getauscht in der Vergangenheit?

Ich kann den Speicherpool Entfernen oder in den Einstellungen die Stripe-Size ändern.
Die Bereinigung wird den Pool vermutlich nicht vergrößern.

Das NAS war bisher mit diversen 4TB und 6TB Platten bestückt - ebenfalls im SHR. Diesen habe ich jetzt in liebevoller zweiwöchiger , achtmaliger Austausch-und-Rebuild-Aktion alle getauscht. Aber dabei scheint es wohl Reibungsverluste gegeben zu haben.

 

[hexx-it]

Parallel habe ich nun einmal den Support bemüht. Vielleicht gibt es beim Vergrößern alter SHRs bekannte Probleme, die dann nur einzelne User betreffen, die den Weg gegangen sind ein SHR durch neue Platten zu vergrößern. Ich vermute das irgendwo noch Speicher brach liegt - das aber über das GUI nicht zu erkennen ist.
Was Pool und Volumenverwaltung angeht warte ich hier lieber die Rückmeldung ab, bevor ich mich zur Konsole begebe.

 

[Benares]

Berichte mal, wenn alles fertig ist.

 

[hexx-it]

Ich habe mir die RAIDs mal über den Terminal angesehen. Diese ergeben interessanterweise die erwartete Summe.

md0	8 GB	RAID1
md1	2 GB	RAID1
md2	6924 GB	RAID5
md3	14000 GB	RAID5
md4	21004 GB	RAID5
md5	14000 GB	RAID5
md6	36000 GB	RAID5

[td]

91938 GB​

[/td]​

 

[hexx-it]

Details:
/dev/md0:
Version : 0.90
Creation Time : Thu Dec 28 02:00:29 2023
Raid Level : raid1
Array Size : 8388544 (8.00 GiB 8.59 GB)
Used Dev Size : 8388544 (8.00 GiB 8.59 GB)
Raid Devices : 8
Total Devices : 8
Preferred Minor : 0
Persistence : Superblock is persistent

Update Time : Fri Jul 18 16:32:36 2025
State : active
Active Devices : 8
Working Devices : 8
Failed Devices : 0
Spare Devices : 0

UUID : 992321a5:cb93a94b:3017a5a8:c86610be
Events : 0.281578

Number Major Minor RaidDevice State
0 8 1 0 active sync /dev/sda1
1 8 17 1 active sync /dev/sdb1
2 8 33 2 active sync /dev/sdc1
3 8 49 3 active sync /dev/sdd1
4 8 65 4 active sync /dev/sde1
5 8 81 5 active sync /dev/sdf1
6 8 97 6 active sync /dev/sdg1
7 8 113 7 active sync /dev/sdh1
hx-admin@hxs07:/$ sudo mdadm -D /dev/md1
/dev/md1:
Version : 0.90
Creation Time : Thu Dec 28 02:00:32 2023
Raid Level : raid1
Array Size : 2097088 (2047.94 MiB 2147.42 MB)
Used Dev Size : 2097088 (2047.94 MiB 2147.42 MB)
Raid Devices : 8
Total Devices : 8
Preferred Minor : 1
Persistence : Superblock is persistent

Update Time : Thu Jul 17 15:11:53 2025
State : clean
Active Devices : 8
Working Devices : 8
Failed Devices : 0
Spare Devices : 0

UUID : 4522d168:aa3563fe:3017a5a8:c86610be
Events : 0.836

Number Major Minor RaidDevice State
0 8 2 0 active sync /dev/sda2
1 8 18 1 active sync /dev/sdb2
2 8 34 2 active sync /dev/sdc2
3 8 50 3 active sync /dev/sdd2
4 8 66 4 active sync /dev/sde2
5 8 82 5 active sync /dev/sdf2
6 8 114 6 active sync /dev/sdh2
7 8 98 7 active sync /dev/sdg2
hx-admin@hxs07:/$ sudo mdadm -D /dev/md2
/dev/md2:
Version : 1.2
Creation Time : Wed Mar 27 09:45:17 2024
Raid Level : raid5
Array Size : 6762249088 (6448.98 GiB 6924.54 GB)
Used Dev Size : 966035584 (921.28 GiB 989.22 GB)
Raid Devices : 8
Total Devices : 8
Persistence : Superblock is persistent

Update Time : Fri Jul 18 16:33:55 2025
State : clean
Active Devices : 8
Working Devices : 8
Failed Devices : 0
Spare Devices : 0

Layout : left-symmetric
Chunk Size : 64K

Name : hxs07:2 (local to host hxs07)
UUID : f44ff00d:1e2cbf40:492a63e7:ef64b4c2
Events : 22213

Number Major Minor RaidDevice State
10 8 5 0 active sync /dev/sda5
11 8 21 1 active sync /dev/sdb5
12 8 101 2 active sync /dev/sdg5
13 8 37 3 active sync /dev/sdc5
8 8 85 4 active sync /dev/sdf5
7 8 69 5 active sync /dev/sde5
6 8 53 6 active sync /dev/sdd5
9 8 117 7 active sync /dev/sdh5
hx-admin@hxs07:/$ sudo mdadm -D /dev/md3
/dev/md3:
Version : 1.2
Creation Time : Thu Jun 12 20:26:10 2025
Raid Level : raid5
Array Size : 13674464384 (13040.99 GiB 14002.65 GB)
Used Dev Size : 1953494912 (1863.00 GiB 2000.38 GB)
Raid Devices : 8
Total Devices : 8
Persistence : Superblock is persistent

Update Time : Fri Jul 18 12:12:28 2025
State : clean
Active Devices : 8
Working Devices : 8
Failed Devices : 0
Spare Devices : 0

Layout : left-symmetric
Chunk Size : 64K

Name : hxs07:3 (local to host hxs07)
UUID : adfc4f11:e107c32a:9618ed0d:b707eb23
Events : 34749

Number Major Minor RaidDevice State
8 8 103 0 active sync /dev/sdg7
9 8 39 1 active sync /dev/sdc7
2 8 55 2 active sync /dev/sdd7
10 8 87 3 active sync /dev/sdf7
3 8 71 4 active sync /dev/sde7
5 8 119 5 active sync /dev/sdh7
6 8 7 6 active sync /dev/sda7
7 8 23 7 active sync /dev/sdb7
hx-admin@hxs07:/$ sudo mdadm -D /dev/md4
/dev/md4:
Version : 1.2
Creation Time : Fri Jun 6 14:11:33 2025
Raid Level : raid5
Array Size : 20511728384 (19561.51 GiB 21004.01 GB)
Used Dev Size : 2930246912 (2794.50 GiB 3000.57 GB)
Raid Devices : 8
Total Devices : 8
Persistence : Superblock is persistent

Update Time : Fri Jul 18 15:45:10 2025
State : clean
Active Devices : 8
Working Devices : 8
Failed Devices : 0
Spare Devices : 0

Layout : left-symmetric
Chunk Size : 64K

Name : hxs07:4 (local to host hxs07)
UUID : 110a2317:e5a8236c:b1da4714:befb1dee
Events : 57258

Number Major Minor RaidDevice State
8 8 6 0 active sync /dev/sda6
9 8 22 1 active sync /dev/sdb6
10 8 102 2 active sync /dev/sdg6
11 8 38 3 active sync /dev/sdc6
12 8 86 4 active sync /dev/sdf6
5 8 70 5 active sync /dev/sde6
4 8 54 6 active sync /dev/sdd6
7 8 118 7 active sync /dev/sdh6
hx-admin@hxs07:/$ sudo mdadm -D /dev/md5
/dev/md5:
Version : 1.2
Creation Time : Fri Jun 20 19:52:20 2025
Raid Level : raid5
Array Size : 13674464384 (13040.99 GiB 14002.65 GB)
Used Dev Size : 1953494912 (1863.00 GiB 2000.38 GB)
Raid Devices : 8
Total Devices : 8
Persistence : Superblock is persistent

Update Time : Fri Jul 18 16:35:59 2025
State : clean
Active Devices : 8
Working Devices : 8
Failed Devices : 0
Spare Devices : 0

Layout : left-symmetric
Chunk Size : 64K

Name : hxs07:5 (local to host hxs07)
UUID : e78a7d7d:1a555934:2205de03:3d24d678
Events : 22668

Number Major Minor RaidDevice State
8 8 40 0 active sync /dev/sdc8
1 8 56 1 active sync /dev/sdd8
2 8 72 2 active sync /dev/sde8
9 8 88 3 active sync /dev/sdf8
4 8 120 4 active sync /dev/sdh8
5 8 8 5 active sync /dev/sda8
6 8 24 6 active sync /dev/sdb8
7 8 104 7 active sync /dev/sdg8
hx-admin@hxs07:/$ sudo mdadm -D /dev/md6
/dev/md6:
Version : 1.2
Creation Time : Tue Jul 1 16:21:57 2025
Raid Level : raid5
Array Size : 35153357568 (33524.85 GiB 35997.04 GB)
Used Dev Size : 11717785856 (11174.95 GiB 11999.01 GB)
Raid Devices : 4
Total Devices : 4
Persistence : Superblock is persistent

Update Time : Fri Jul 18 16:39:56 2025
State : active
Active Devices : 4
Working Devices : 4
Failed Devices : 0
Spare Devices : 0

Layout : left-symmetric
Chunk Size : 64K

Name : hxs07:6 (local to host hxs07)
UUID : 8aff0669:23b47439:cf76dadc:bb5a4067
Events : 39770

Number Major Minor RaidDevice State
0 8 121 0 active sync /dev/sdh9
1 8 9 1 active sync /dev/sda9
2 8 25 2 active sync /dev/sdb9
3 8 41 3 active sync /dev/sdc9

 

[Benares]

md0 ist DSM, md1 Swap, erst ab md2 geht's los mit den Daten-Raids. Schau mal mit "cat /proc/mdstat". LVM fasst die dann zusammen (vgdisplay, lvdisplay)

 

[hexx-it]

Geht auch:

Personalities : [raid1] [raid6] [raid5] [raid4] [raidF1]
md6 : active raid5 sdc9[3] sdb9[2] sdh9[0] sda9[1]
35153357568 blocks super 1.2 level 5, 64k chunk, algorithm 2 [4/4] [UUUU]

md3 : active raid5 sdf7[10] sdc7[9] sdg7[8] sdb7[7] sda7[6] sdh7[5] sde7[3] sdd7[2]
13674464384 blocks super 1.2 level 5, 64k chunk, algorithm 2 [8/8] [UUUUUUUU]

md4 : active raid5 sdf6[12] sdc6[11] sdg6[10] sdb6[9] sda6[8] sdh6[7] sdd6[4] sde6[5]
20511728384 blocks super 1.2 level 5, 64k chunk, algorithm 2 [8/8] [UUUUUUUU]

md5 : active raid5 sdf8[9] sdc8[8] sdg8[7] sdb8[6] sda8[5] sdh8[4] sde8[2] sdd8[1]
13674464384 blocks super 1.2 level 5, 64k chunk, algorithm 2 [8/8] [UUUUUUUU]

md2 : active raid5 sdf5[8] sdc5[13] sdg5[12] sdb5[11] sda5[10] sdh5[9] sdd5[6] sde5[7]
6762249088 blocks super 1.2 level 5, 64k chunk, algorithm 2 [8/8] [UUUUUUUU]

md1 : active raid1 sdf2[5] sdc2[2] sdg2[7] sdb2[1] sda2[0] sdh2[6] sde2[4] sdd2[3]
2097088 blocks [8/8] [UUUUUUUU]

md0 : active raid1 sdf1[5] sdc1[2] sdg1[6] sdb1[1] sda1[0] sdh1[7] sde1[4] sdd1[3]
8388544 blocks [8/8] [UUUUUUUU]

unused devices: <none>

 

[Benares]

Dann rechne die mal zusammen (ohne md0/md1). Ein Block sind m.W. 512 Bytes.
Mmh, eigentlich hätte ich erwartet, dass man da auch die laufende Datenbereinigung und deren Fortschritt sieht

 

[hexx-it]

Die Datenbereinigung läuft ja unabhängig von den Speicherpools - auf dem Volumen. Es ist Dateisystembereinigung auf Volumenebene und hat nichts mit der Raid-Verbunderstellung zu tun.

 

[dil88]

Durch die über die Zeit verwendeten Platten sind statt drei RAID-5-Arrays, die bei einer Neuerstellung angelegt worden wären, nun fünf RAID-5-Arrays in Verwendung, so dass der Speicherpool ziemlich fragmentiert ist. So sieht es m.E. aus:

RAID-5 (md2) 8x  1TB ->  7TB
RAID-5 (md3) 8x  2TB -> 14TB
RAID-5 (md4) 8x  3TB -> 21TB
RAID-5 (md5) 8x  2TB -> 14TB
RAID-5 (md6) 4x 12TB -> 36TB
SUMME                   92TB

Wenn man dies mit der Aufstellung im ersten Posting vergleicht, dann fehlen hier m.E. 12TB zu den 104TB, die ein neu erstellter Speicherpool mit diesen Plattengrößen bereitstellen würde. Wenn Du ein getestetes Backup hast, würde ich den Speicherpool löschen und als SHR-2 neu erstellen. Die Fragmentierung reduziert sich erheblich und die Ausfallsicherheit auch. Der Aufbau wäre dann folgendermaßen:

RAID-6 8x 8TB -> 48TB
RAID-6 6x 6TB -> 24TB
RAID-6 4x 6TB -> 12TB
SUMME            84TB

Sollte diese Kapazität nicht reichen, würde ich die beiden 8TB Platten durch größere ersetzen. Der Rebuild eines Speicherpools belastet die Platten erheblich. Die Ausfallwahrscheinlichkeit von 8 Platten mit entsprechender Laufzeit wäre mir da zu hoch bei SHR-1 bzw. RAID-5.

 

[ctrlaltdelete]

Yup, du verlierst den Speicherplatz durch die 5 x RAID5 Arrays. Da wirst du um ein Neuaufbau nicht herumkommen. Das frisst auch viel CPU Leistung, da es ein Software Raid ist und wird dadurch langsamer.

 

[hexx-it]

Eine 80TB Kopierorgie wären nur mein drittliebstes Szenario.
Die Vor- und Nachteile eines RAID5 und RAID6 habe ich auf dem Schirm. Für mein Szenario reicht mir die Ausfallsicherheit gegen den Ausfall einer Festplatte.

Ich bin lediglich auf der Jagd nach den verlorenen Terrabytes, die DSM nicht anzeigt, die aber scheinbar im mdadm richtig ausgewiesen werden. Vielleicht habe ich einen tollen DSM-Bug gefunden, vielleicht aber auch nicht.

 

[dil88]

Nein, es werden per mdadm 12TB zu wenig in den RAID-5-Arrays dokumentiert, das hatte ich schon geschrieben. Vielleicht hat Synology eine Idee. Ansonsten hilft m.E. nur ein großes Reinemachen.

Edit: Ich vermute, dass die beiden 14TB nur mit 8TB pro Platte genutzt werden, das entspricht genau den fehlenden 12TB. Dass das Kopieren von 80TB unerfreulich ist, steht außer Frage, aber ich fürchte, dass es keine Alternative gibt, wenn Du die 12TB nutzbar machen möchtest.

 

[synfor]

Dann müssten aber mindestens zwei 20 TB-Platten vor den 14 TB-Platten ins SHR gekommen sein. Ersetze die 14 TB-Platten durch zwei gleichgroße mit mindesten 20 TB und du hast kein ungenutzten Platz mehr.

 

[hexx-it]

Update: Der Synology-Support bietet eine Fernwartung der Hardware an. Warten wir das einmal ab...