Synology DS und ESXi 5 - NFS oder SCSI

[erzwodezwo]

Hallo,

ich finde zu dem Thema keine richtige Aussage und daher frag ich mal hier in die Runde:

Was ist performanter ISCSI oder NFS?

Ich hab zwei Hosts mit 10x Giga NIC die wiederum greifen auf eine DS1813+ (4x NIC) und eine Ds1812+ (2xNIC) zu.
Momentan sind die Hosts über je vier (im Trunk zusammengeschlossenen) NICs im Mgmt Netzwerk an die DS'se angeschlossen.
Die Nics der DS'se sind ebenfalls als LACP Bond konfiguriert.

Allerdings kommt die Geschwindigkeit wirklich über die 100 Megabyte rate raus.
Die DS'se sind mit einmal 7x 4TB und 8x2 TB bestückt.

Wie kann ich die performance steigern, was benutzt Ihr und wie sind eure Performance erfahrungen?

Gruß
Torsten

 

[dave82]

Hi Torsten,

Ich hatte mich vor kurzem auch mit dem Thema auseinander gesetzt. Ich kann dir folgendes Whitepaper von VMware nahelegen (falls du es noch nicht gelesen hast)

http://www.vmware.com/files/pdf/techpaper/VMware-NFS-BestPractices-WP-EN.pdf

Auf Seite 7 ist die Erklärung wieso du eventuell keinen Geschwindigkeitsvorteil erzielen kannst:

NIC teaming provides failover but not load-balanced performance (in the common case of a single
NAS datastore)
It is also important to understand that there is only one active pipe for the connection between the ESX server
and a single storage target (LUN or mountpoint). This means that although there may be alternate connections
available for failover, the bandwidth for a single datastore and the underlying storage is limited to what a single
connection can provide. To leverage more available bandwidth, an ESX server has multiple connections from
server to storage targets. One would need to configure multiple datastores with each datastore using separate
connections between the server and the storage. This is where one often runs into the distinction between load
balancing and load sharing. The configuration of traffic spread across two or more datastores configured on
separate connections between the ESX server and the storage array is load sharing.

Sobald du dein Cluster mit mehreren Connections und Datastores betreibst, hast du auch einen Geschwindigkeitsvorteil (Loadsharing). Ich habe mehrere Datastores (NFS-Shares) auf jeweils mehrere Portgruppen (wg Failover) aufgeteilt. Pro Datastore und Portgruppe erreiche ich Gigabit, somit könnte ich theoretisch 2x 1 GBit übertragen nur nicht bei einer einzelnen Verbindung. Eine Gute Erklärung stand mal im Admin-Magazin:

http://www.admin-magazin.de/Das-Hef...t-Sicherheit-und-erhoeht-Durchsatz/(offset)/2

...
Ein einzelnes Ethernet-Frame wird trotz Link Aggregation immer nur über einen einzelnen Link übertragen. Laut dem IEEE-802.1AX-2008-Standard [1] darf die Reihenfolge der Frames einer Konversation zwischen zwei Endgeräten nicht verändert werden. Das ist leicht sicherzustellen, wenn sämtliche Frames einer solchen Konversation ausschließlich über denselben einzelnen Link versendet werden. Sind zwei Server mit einer LAG aus zwei 1-GBit-Verbindungen direkt verbunden, wird das Kopieren einer Datei von einem zum anderen Server aber trotzdem nur mit 1GBit/s stattfinden.
...

Seit vSphere 5.1 gibt es die Möglichkeit LACP für ein VDS (vSphere Distributed Switch) zu erstellen. Für ein VDS brauchst du soweit ich weiß ein vCenter. Eventuell ist dann eine Verdopplung der Bandbreite für eine Verbindung möglich!?

Wie sieht deine Infrastruktur aus? vCenter? Datastores? Portgroups? etc.?

Zum Thema iSCSI vs. NFS:
Hab viel getestet und für meine Infrastruktur (2x ESX 5.5 Hosts, 1x Freenas, 1x DS414) konnte ich folgende Schlüsse ziehen:

- Datendurchsatz bei beiden Protokollen etwa gleich
- NFS fast doppelte IOPS
- NFS einfaches Thin-Provisioning
- NFS leicht niedrigere Komplexität gegenüber iSCSI

Hoffe ich konnte dir ein wenig weiterhelfen, bin aber auch kein Experte, vielleicht hat jemand anders noch ein paar Erfahrungswerte.

Gruß Dave

 

[erzwodezwo]

Hallo,

mein konfig lässt eigentlich alles zu:

2x ESXi 5.5 Enterprise Plus
VCenter 5.5
1x DS 1812+
1x DS 1813+
VMWare Switche als VSwitch konfiguriert

ich könnte jetzt entweder vD Switch austesten, glaube aber nicht dass das mehr bringt...
Oder versuchen zu tricksen, einen NFS Store über zwei IPs ansprechen und die eine VM unter IP 1 ablegen und die nächste unter IP 2 so würde ich die Hosts zwingen zwei Leitungen zu nutzen...
Einziger Nachteil: Will ich eine VM vin IP1 auf IP2 bringen kompiert die VM eventuell wirklich....

Oder nich jemand eine bessere Idee?

Gruß
Torsten

 

[erzwodezwo]

Eines fällt mir noch auf: Ich hab zwei Hosts auf denen die VMs gehostet sind, somit greift Host 1 und Host 2 über getrente leitungen auf die Storages zu, somit müsste ich doch auf jeden fall zumindest merklich über 100 Megabyte kommen,
meistens aber sind es nur so um die 80, die Storages sind im SHR2 bzw. SHR1 konfiguriert und die Raid performance müsste sagen wir mal 150 Megabyte doch mitmachen......

Gibts ein Tool oder einen Weg die max Performance der Platten/Raid zu testen, denn wenn die nicht mehr als sagen wir mal 80 Megabyte pro Sekunde bringen dann kann ich am Netzwerk tunnen was ich will.

Gruß
Torsten

 

[dave82]

Lass doch einfach in VM1 auf Host1 und in VM2 auf Host2 gleichzeitig ein Diskbenchmark (z.B. HDTune oder H2Bench) laufen. So hatte ich auch getest, beide Tools laufen aber unter Windows. Im HDTune kannst du z.B. eine Größe von 10GB für Read und Write wählen und einfach mal die Werte im vCenter und DS im auswerten. Alternativ über die Console mit esxtop und iostat. Mit HDTune kannst du auch schön die IOPS vergleichen für iSCSI und NFS. Eventuell brauchst du aber die Pro Version, weiß ich grad nicht genau hatte mir die Pro Version gekauft.

Gruß Dave

 

[schmadde]

- Datendurchsatz bei beiden Protokollen etwa gleich
- NFS fast doppelte IOPS
- NFS einfaches Thin-Provisioning
- NFS leicht niedrigere Komplexität gegenüber iSCSI

Bei iSCSI kann aber viel mehr vom Client gecached werden, weil der Client einen exclusiven Zugriff auf das Volume hat. Drum ist die Performance in der Praxis vermutlich meist deutlich höher. In manchen Anwendungen (Cluster z.B.) bringt dann wiederum der mögliche gleichzeitige Zugriffe von mehreren Clients Vorteile.

An sich würde ich in den meisten Anwendungen auch eher zu NFS tendieren. Bei VMs wenn Performance gebraucht wird würd ich aber auch iSCSI evaluieren.

Bzgl. der Link Aggregation wurde ja schon alles gesagt. Wenn GBit nicht ausreicht, muss 10GBit Equipment angeschafft werden. Da kommst Du dann mit Deinen 1813+ (die für mich eher in der Privatkundenliga spielen) aber nicht mehr hin.

 

[dave82]

Bei iSCSI kann aber viel mehr vom Client gecached werden, weil der Client einen exclusiven Zugriff auf das Volume hat. Drum ist die Performance in der Praxis vermutlich meist deutlich höher. In manchen Anwendungen (Cluster z.B.) bringt dann wiederum der mögliche gleichzeitige Zugriffe von mehreren Clients Vorteile.

An sich würde ich in den meisten Anwendungen auch eher zu NFS tendieren. Bei VMs wenn Performance gebraucht wird würd ich aber auch iSCSI evaluieren.

Bzgl. der Link Aggregation wurde ja schon alles gesagt. Wenn GBit nicht ausreicht, muss 10GBit Equipment angeschafft werden. Da kommst Du dann mit Deinen 1813+ (die für mich eher in der Privatkundenliga spielen) aber nicht mehr hin.

Stimme ich dir zu. Bei uns in der Firma mit zwei Netapp FS2240-2 (ca. 30000€ pro Stück) an fünf Hosts mit 100 VMs ist da schon ein recht deutlicher Perfomance Unterschied.

Meine Erfahrung bezog sich auf mein Equipment zuhause mit einer DS414. Bei meiner DS unter DSM 4.3 ist aber die iSCSI Performance nicht recht toll (wird scheinbar unter DSM 5 besser). Deshalb habe ich NFS den Vorzug gegeben.

Gruß Dave

 

[erzwodezwo]

Haa, zwei NetApps würd ich auch noch hinstellen aber selbst wenn ich die geschenkt bekäme würden mich wahrscheinlich die Stromkosten auffressen. ;-)
Im großen und ganzen ist die Performance schon nicht schlecht für "zuhause", es ging mir mehr darum ob da noch mehr raus zu holen ist....
Wenn ich z.B von einem Client auf ein Serverlaufwerk auf einer VM kopiere dann liege ich so bei 60 -> 90 Megabyte pro Sekunde.
Und schneller als lokale Storages sind die DS'se auf jeden Fall....

ich werd mal mit einem VDS testen, ich hab noch einen reserve Host und denn werd ich mal einbinden.....

 

[dave82]

Haa, zwei NetApps würd ich auch noch hinstellen aber selbst wenn ich die geschenkt bekäme würden mich wahrscheinlich die Stromkosten auffressen. ;-)
Im großen und ganzen ist die Performance schon nicht schlecht für "zuhause", es ging mir mehr darum ob da noch mehr raus zu holen ist....
Wenn ich z.B von einem Client auf ein Serverlaufwerk auf einer VM kopiere dann liege ich so bei 60 -> 90 Megabyte pro Sekunde.
Und schneller als lokale Storages sind die DS'se auf jeden Fall....

ich werd mal mit einem VDS testen, ich hab noch einen reserve Host und denn werd ich mal einbinden.....

ja die Stromkosten wären recht hoch, aber auch der Lärm.

Kannst ja deine Erfahrungen mit VDS mal hier posten, würde mich auch interessieren. Leider hab ich momentan kein Host zum testen. Auf welcher Hardware laufen eigentlich deine ESX-Hosts?

Gruß Dave

 

[erzwodezwo]

Selbst die zwei DS'se brauchen schon was aber ein "richtiges" Storage....
Ich werd auf alle Fälle mal berichten wie die Performance mit VDS ist. Vielleicht bringt das ja Besserung.......

 

[s24-asm]

Also...

Es ist wohl schon so, daß Tools wie HD-Tune bei NFS bessere Resultate liefern. Da dies aber für echte HDs konstruiert ist, kann man das Ergebnis auch gut und gerne bezweifeln. Mal sehen, ich will demnächst noch SQL-Server stress tests fahren, vl. ergeben die irgendwas.

Was aber ganz sicher der Fall ist, daß NFS kein VAAI unterstützt. Das gibt's auf der Syno nur mit iSCSI. Und Achtung, ganz wichtig, auch nur mit dem "regular files" LUN, nicht mit dem block level LUN.

VAAI hat für die Apps in den VMs wohl auch keine große Bedeutung, wohl aber z.B. beim Provisionieren. Habe heute mal ein und dasselbe 33 GB Template thin provisioniert, einmal auf NFS und einmal auf iSCSI mit VAAI. Während es auf NFS 22 Minuten brauchte, waren es unter VAAI-iSCSI keine zwei Minuten.

So kann jeder für sich entscheiden, was ihm wichtig ist. Wer häufig große VMs provisioniert, der sollte unbedingt iSCSI mit VAAI auf der Syno nutzen.