412+/DX510 Raid5 rebuild dauert ewig

[axuaxu]

Salü zusammen

Ich habe ein kleines "Problem" :

Rebuild auf dem Raid5 dauert eine ewigkeit...

Ausgangslage:
Raid5 auf 5x2TB in der DX510 -> eine Platte defekt, ersetzt.
Die ganzen Tipps mit dem stripe_size_cache gemacht, ebenfalls das mit dem mdadm bitmap ausprobiert. Aber egal was ich mache, ich komme beim Rebuild nicht über 20MB/s

Auszug mdstats:

md3 : active raid5 sdgb3[7] sdga3[0] sdge3[6] sdgd3[5] sdgc3[2]
7795169024 blocks super 1.2 level 5, 64k chunk, algorithm 2 [5/4] [U_UUU]
[>....................] recovery = 2.1% (40987992/1948792256) finish=1661.3min speed=19138K/sec
bitmap: 0/15 pages [0KB], 65536KB chunk

Liegt das an der DX510, oder dauert ein Rebuild von 5 Platten einfach so lange?

Angehängt noch ein Bild vom Ressourcenmonitor. Gut zu sehen, das er beim schreiben nicht über die 20MB/S kommt.

Grüsse Michael

 

[dil88]

Willkommen im Forum. Hast Du Dir von allen Platten auf der DX die SMART-Werte im Detail angesehen? Wenn eine davon defekte Sektoren ausmappt, dann geht die Performance heftig in den Keller.

 

[axuaxu]

salü

Die werte von current_pending_sector offline_uncorrectable reallocated_sector_ct sind +- bei 200
Genau gleich wie bei neuen 4tb red platten. oder reden wir von einem anderen smart wert?

grüssle und danke für die rasche antwort

ps: beim lesen normal über das netzwerk kann ich Gigabit locker ausreizen

 

[dil88]

Wir reden von allen Werten, die nicht informativen Charakter haben wie der Temperaturwert z.B. Wenn Current_Pending_Sector, Offline_Uncorrectable und Reallocated_Sector_Count bei 200 stehen, dann hast Du Probleme. Die stehen bei "gesunden" Platten auf 0.

 

[axuaxu]

hm.. bei rohdaten steht tatsächlich bei allen platten 0
die dsm meint ebenfalls das die werte okay sind

scheint so als müssti ich damit leben. auf dem raid sind eh nur unwichtige daten und die platten sind gemischt. sprich samsung und wd gemischt, unterschiedlichen alters

 

[dil88]

Es geht um die Werte in der Spalte Rohdaten. Wenn die auf 0 stehen, ist alles gut. Vielleicht postest Du Screenshots, wenn Du unsicher in der Interpretation bist. Achte dabei bitte darauf, dass alle Werte zu sehen sind.

 

[Ansorg]

Aber egal was ich mache, ich komme beim Rebuild nicht über 20MB/s

hier läuft seit gut 10 Stunden ein RAID1 rebuild (zweite 4TB Platte dazu gepackt) und ist mittlerweile bei 90%

ich hab kein mdstats tool, aber in dmsg sehe ich dieses:

[  776.935477] md: recovery of RAID array md2
[  776.935479] md: minimum _guaranteed_  speed: 10000 KB/sec/disk.
[  776.935480] md: using maximum available idle IO bandwidth (but not more than 200000 KB/sec) for recovery.

Würde das die 20MB/s erklären?

Grüße

 

[axuaxu]

hm... kaum. hab auch ein raid 1 rebuild laufen auf der 214play. die hat zwischen 80-100MB/s

md2 : active raid1 sda3[3] sdb3[2]
1948692416 blocks super 1.2 [2/1] [_U]
[===========>.........] recovery = 59.8% (1166583168/1948692416) finish=151.4min speed=86042K/sec

 

[dil88]

Das ist für sich genommen noch kein Argument, können doch beide Systeme unterschiedlich konfiguriert sein. Wie man das tun kann, wird hier beschrieben.

 

[axuaxu]

diese tipps hab ich schon umgesetzt, hat keine wirkung gezeigt :/

 

[dil88]

Sicher? Was spuckt denn cat /proc/sys/dev/raid/speed_limit_min aus?

 

[axuaxu]

100 000 so wie ich es gesetzt habe

 

[dil88]

Ok, von dem Wert hatte ich in Deinen Ursprungspost nichts gelesen. Dann bliebe jetzt höchstens noch eine detaillierte Prüfung aller SMART-Werte. Wie sehen eigentlich CPU- und RAM-Auslastung der 412+ aus?

 

[axuaxu]

auslastung ram ca 50% da ich die stripe_size_chache erhöht habe. cpu dümpelt bei 10% rum

Samrt hab ich angehängt

 

[dil88]

Datenträger 1 und 5 machen Probleme (Raw_Read_Error_Rate und Multi_Zone_Error_Rate). Die Systemauslastung dürfte keine Rolle spielen.

 

[axuaxu]

huhu.
dachte ich mir schon... das sind die 2 Samsung Spinpoint platten.... das andere sind wd red/green
muss mal gucken, die dateien wegkopieren und die beiden platten raus nehmen. mal gucken
evt werden die platten im 214play mal durch grössere ersetzt, dann wandern die ins raid und ersetzen die Samsungs

 

[axuaxu]

Soooo, nach entfernen der Samsung platten und erstellen von einem neuen Raid sieht es minimal besser aus

Personalities : [linear] [raid0] [raid1] [raid10] [raid6] [raid5] [raid4]
md3 : active raid5 sdgc3[2] sdgb3[1] sdga3[0]
3897384832 blocks super 1.2 level 5, 64k chunk, algorithm 2 [3/3] [UUU]
[>....................] resync = 0.3% (7046728/1948692416) finish=1041.3min speed=31075K/sec
bitmap: 2/15 pages [8KB], 65536KB chunk

So sieht ein Rebuild auf der 412+ mit 4x4tb Red aus:

md2 : active raid5 sdd3[4] sda3[0] sdc3[2] sdb3[1]
11706888768 blocks super 1.2 level 5, 64k chunk, algorithm 2 [4/3] [UUU_]
[>....................] recovery = 0.3% (15442540/3902296256) finish=575.0min speed=112656K/sec

WELTEN unterschied....
somit dürfte klar sein, dass die Expansionseinheit DX510 einfach... öhm... lahm ist beim rebuild... xD