How to? Bottlenecks vermeiden - RS3617RPxs + Ext., 180TB, SSD Cache, LUNs

pcpanik

Benutzer
Mitglied seit
22. Jun 2015
Beiträge
63
Punkte für Reaktionen
4
Punkte
8
Servus Community,

wir haben uns als Datenspeicher für unser Veeeam-Backup-System, welches unsere ESX Landschaft sichert, eine weitere RS3617RPxs plus ein Expansion-Modul RX1217RP angeschafft.

Je Shelf sind 9 Stück 12TB Iron Wolf und je 3 Stück SSD960 IronWolf eingesetzt. Die Anbidung erfolgt direct attached über eine E10G17-F2.

Nun wollen wir möglichst hohe Performance bei größtmöglichem Speicherplatz erreichen. Aktuell habe ich folgende Konfiguration eingerichtet:

  • 1 global Hot Spare in der RS3617RPxs
  • 1 RAID 5 Speicherpool #1 in der RS3617RPxs aus den restlichen 8 HDDs = 75 TB
  • 1 Volume Thick Provisioned auf dem Speicherpool 1 mit entsprechend 75 TB
  • 1 SSD Lese/Schreib-Cahce RAID5 aus den 3 SSDs in der RS3617RPxs

  • 1 RAID 5 Speicherpool #2 in der RX1217RP aus den 9 HDDs = 85 TB
  • 1 Volume Thick Provisioned auf dem Speicherpool 2 mit entsprechend 85 TB
  • 1 SSD Lese/Schreib-Cahce RAID5 aus den 3 SSDs in der RX1217RP
  • LUN1 mit 75 TB aus Volume 1 aus Speicherpool 1
  • LUN2 mit 85 TB aus Volume 2 aus Speicherpool 2


Beide LUNs sind an 1 Target gebunden und im Backupserver (Windows) als Laufwerke eingebunden.

Hier stellt sich mir aktuell die Frage:
Was ist sinnvoller zu verwenden? Die Synology als NAS Server mit CIFS Freigabe oder LUNs als Datenträger?
Veeam schreibt große Backup-Dateien (VM Maschinen) in Laufwerke oder halt auch Freigaben.

Das CIFS Protokoll hat deutlich Overhead.
Darum habe ich LUNs eingebunden.Dadurch aber nochmal je zwei Abstraktionebenen mehr.

Was ist besser bzw. performanter? Ein Bottleneck sehe ich beim Netzwerk mit den 10 Gigabit jedenfalls nicht.
Leider finde ich keine Hinweise darauf, was der SCSI-Controller der Synology durchreichen kann. Ich vermute aber "Genug", da ja sogar eine 2. Expansionseinheit angebunden werden kann.

Was sind eure Erfahrungen?
 
Zuletzt bearbeitet:

pcpanik

Benutzer
Mitglied seit
22. Jun 2015
Beiträge
63
Punkte für Reaktionen
4
Punkte
8
Falls mal jemand in der gleichen Situation ist, hier meine Erfahrung nach 2 Jahren:

Auf den SSD Cache haben wir nach einem kurzen Test mit drei Samsung 850 Pro verzichtet, da die SSDs durch den hohen Datenfluss von etwa 50TB Sicherungsvolumen täglich schnell verschleißen. Auch wenn nur inkrementell gesichert wird, wird der Cache dennoch stark belastet.
Die SSDs hatten nach 1 Monat bereits 10% der Lebenszeit eingebüßt. Somit habe wir je 12 HDDs eingesetzt und so effektiv rund 100TB je Volume erhalten.

Wir haben LUNs erzeugt und diese mit der E10G 17-F2 per 10Gigabit und iSCSI angebunden. Der Backupserver sieht also Festplatten.
Die Stripesize der Volumes haben wir später auf "gering" umgestellt, da es Warnmeldungen bezüglich hoher Latenz gab, welche dann aber dauerhaft verschwanden.

Von den Seagate Iron Wolf 12 TB HDDs sind in den Jahren drei gestorben.
Der letzte Ausfall hat allerdings ein Volume komplett zerlegt. Wenngleich nur eine HDD tatsächlich defekt war und auch eine HotSpare hätte einspringen können, sind mehrere HDDs gleichzeitig ausgefallen und es gab einen logischen Fehler und Crash des Volumes.
Hier hat der Synology Support mit viel Mühe das RAID 5 wieder lesbar machen können und uns die Expansionseinheit ausgetauscht. Da haben wir Schwein gehabt, denn da es sich um das Backup-Ziel handelt, sind die darauf liegenden Daten (noch) nicht täglich als Backup vom Backup vorhanden, nur nachgelagert wöchentlich auf Tape.

Um das zu ändern wurde ein zweites System angeschafft, mit Synology HDDs. Als Lehre aus dem Crash wird zukünftig nur noch RAID 6 statt 5 eingesetzt. Das neue System wird das vorhandene ersetzen und wir werden per Snapshot-Replikation die Daten dann auf das "Alte" duplizieren und von da auf Tape schieben. Also Backup 2 Disk 2 Disk 2 Tape an verschiedenen Standorten. (Und falls sich jemand fragt, warum nicht gleich so: Es ist einfach ein Kostenfaktor. Wenn es Jahresbudgets gibt, geht eben nicht immer alles sofort.)

Grundsätzlich sind wir mit der Performance zufrieden. Auf die Neue (RS3621RPxs mit Expansion und HAT5300 16 TB HDDs) kopiere ich 130 TB Sicherungsdaten mit kleinen Peaks von 800MB/s, größeren Peaks von 560 MB/s. Dauerhaft haben sich 350-450 MB/s als Mittelwert gezeigt.
(Kopie auf dem Backupsystem, welches die LUNs per iSCSI angebunden hat)

Kann man also durchaus so machen. Der Crash des Volumes war doof, aber wir haben keinen Datenverlust erlitten.
 
  • Like
Reaktionen: ctrlaltdelete

ctrlaltdelete

Benutzer
Sehr erfahren
Maintainer
Mitglied seit
30. Dez 2012
Beiträge
9.803
Punkte für Reaktionen
3.477
Punkte
364
Ich finde das Setup gut, das der Cache nichts bringt war leider klar. Was macht ihr wenn das Backup größer als die verfügbaren 160 TB wird?
 

pcpanik

Benutzer
Mitglied seit
22. Jun 2015
Beiträge
63
Punkte für Reaktionen
4
Punkte
8
Wir haben ja ein Main System und die 1. Expansionseinheit dafür gekauft. (Später auch die 2. Expansion, dort landen ActiveBackup for Business und Hyper Backup Daten drauf)

Sind je 109TB Volume, die LUNs sind je 100 TB. Die Backups laufen zeitgleich auf beide LUNs.
Ich habe damals mit 60% Füllgrad + Wachstum geplant. Das Reicht für ca. 50-60 Tage tägliche Backups in Direktzugriff. Beide LUNs zusammen sind die genannten 130 TB Datenbestand.
Das neue System hat Main Unit und beide Expansionseinheiten zu je 145 TB = 2x 136 TB LUNs und eine weitere Expansion für ABfB und HB. Das wird die nächsten Jahre reichen.
 
  • Like
Reaktionen: ctrlaltdelete


 

Kaffeautomat

Wenn du das Forum hilfreich findest oder uns unterstützen möchtest, dann gib uns doch einfach einen Kaffee aus.

Als Dankeschön schalten wir deinen Account werbefrei.

:coffee:

Hier gehts zum Kaffeeautomat