SMB-Zugriff auf Ordner mit mehr als 1000 Unterordnern langsam

[Theslowman]

Hm, also kommst du als "Minimum" nicht um ein Raid5/Raid10 rum....... Das is mal hart, kann ich aber aus beruflicher Sicht nachvollziehen : - )

Testweise eine DS414 mit 3x 4TB im Raid5/ Raid 10 ( 4 Platten) könnte zwar schneller sein da weniger Platten die drehen, aber bei der Anzahl an Dateien spielt Samba sogar ne Rolle.

Edit: Kannst du nicht die verschiedenen Software - Versionen auf verschiedene Nas aufteilen ? Im schlimmsten Fall brauchst du eine NAS mit mehr Power (mehr IOPS) !!

Gruß TSM

 

[ecryptFS]

Danke für die Tipps aber ich habe keine 1800 Euro für eine NAS ausgegeben um nach 10 Monaten schon wieder über eine neue nachzudenken. Ich KANN ja damit leben, aber es ist halt etwas nervig.

Wundert mich, dass ich der einzige bin?

 

[Theslowman]

Wundert mich, dass ich der einzige bin?

Hm, also nach 27 Jahren IT Erfahrung wärst du der 3. mit so einer Konstellation den ich kenne. Is schon ein Sonderfall wenn man Datenmenge/ Anzahl der Dateien und verwendete Hardware betrachtet : - )

Gruß TSM

 

[JoGi65]

Schau auf die Cpu last. Die zuckt bei mir nicht mal beim aufmachen! Und das bei 10 platten mit raid6. (gleicher proz.)
Selbst meine USB Station2 kann 100.000 und mehr Datein handeln auf einem Stick! dort dauert es allerdings.
Ich lass die mal vollaufen und schieb dann die dateien auf die große mit mehreren kopien.

 

[ecryptFS]

so eben mal gemacht... der CPU-Balken bewegt sich überhaupt nicht. Ich hab einen Ordner mit insgesamt 1850 Unterordnern, insgesamt 226GB verteilt auf insgesamt 1953 Ordner und 37500 Dateien - das Dauert 20 Sekunden, bis ich drauf zugreifen kann. CPU-Last wie gesagt bei 0.

 

[Matthieu]

Ich vermute mal dass in dem Moment auch bei "I/O Warten" kein wirklich höherer Wert steht. Damit ist der Flaschenhals ziemlich sicher das Netz bzw. die Netzwerkchips. Die gesamten Infos zu den Ordnern zu übertragen wird schon eine ganze Zeit dauern. Das ist wie bei der Übertragung von vielen kleinen Dateien. Die dauert bei SMB auch ordentlich lange (hab gehört dass ein Mac mit AFP aber noch mal deutlich mehr Zeit braucht).

MfG Matthieu

 

[derniwi]

Hallo,

kannst du denn den Virenscanner sowie LargeMTU ausschließen?

Wenn du mal den Virenscanner deaktiveren kannst, wäre das einen Versuch wert. Je nach Programm und Konfiguration machen die recht viel. Und viele kleine Dateien bremsen das Kopieren auf jeden Fall, das kann man an allen Geräten mit div. Testprogrammen sehen... einen Virenscanner auf der DS hast du nicht am Laufen?

LargeMTU muss die gesamte Kette unterstützen. Ich bin mir nicht sicher, ob das an manchen Stellen nicht doch kontraproduktiv ist, gerade wenn der Switch intern nicht alle Ports mit höchster Geschwindigkeit bedienen kann. Wenn der z.B. intern nur 1 GBit/s schafft, dann hilft die Link Aggregation auch nichts. Leider kriegt man diese Angaben meistens nicht, da helfen nur Tests (bei vier Ports von Gerät am Port 1 auf Port 2 und von Port 3 auf Port 4 riesige Datenmengen übertragen. Wenn man mit Port 1 und 2 anfängt, hat man eine Datenrate, wenn diese einbricht, sobald von Port 3 auf 4 kopiert wird, dann ist die Backplane im Switch zu langsam).

Gruß
Nils

 

[RS2212]

Ich habe das Problem hier mit einer RS2212+ auch bei verschiedenen Ordnern. Egal welche Einstellungen, mit oder ohne Cache, LAG usw., es macht keinen Unterschied.

Der Zugriff über den Browser ist flott. Über die freigebenen Ordner und die entsprechenden Unterordner dauert es auch ca. 20-30 Sekunden, selbst wenn mal nur mal kurz den Ordner wechselt.

Vielleicht tut sich ja noch eine Lösung auf. Ich probiere auch weiter.

Gruß

Matthias

 

[Abda]

Ich denke mal, das Problem liegt an der Fritzbox, die ja kein large MTU unterstützt. Ich hab bei einem ähnlichen Problem meine DS und die PCs über einen Switch verbunden und diesen an die Fritzbox gehängt. So klappt's dann auch mit large MTU

 

[RS2212]

Aber isch abe gar keine Fritz!Box im Netz.

Nein im Ernst, ich schaue mir mal die MTU-Einstellungen und -Features der Switche an. Vielleicht lässt sich da noch was drehen.

Gruß
Matthias

 

[Abda]

Router ist eine FritzBox 7390, aktuelle Firmware.

Sorry, hab mich auf das Anfangsposting bezogen...

 

[derniwi]

Die MTU dürfte da keine Rolle spielen, da es über den IE ja schnell geht.
Wie gesagt, der Virenscanner könnte ein Problem sein, aber auch der Explorer, der bei versch. Dateitypen auch Vorschaubilder zeigen will, und dazu muss er die Dateien öffnen. Bei ausführbaren Programmen werden daraus die Ions geladen, auch hier muss geöffnet werden. Und hier würde normalerweise auch der Virenscanner anspringen und die Datei vorher erst einmal prüfen.

 

[RS2212]

Soweit ich inzwischen herausgefunden habe, wird das Problem auch mit übertragen.

Wenn ich also einen "langsamen" Ordner von der Diskstation auf ein lokales Laufwerk kopiere, bleibt der Effekt erhalten. Der Ordnerzugriff ist also weiterhin verzögert.

Kann das evtl. etwas mit der Indizierung bzw. Datei-Neuordnung zu tun haben? Leider ändert sich aber nichts, wenn das Häkchen entferne. Ich vermute also, dass bereits indizierte Dateien ihr Index-Kennzeichen behalten.

Es wäre also interessant zu wissen, ob und wenn ja wie sich der Index entfernen lässt. Vermutlich wird in den Windows-Bibliotheken dann wieder eine Warnung angezeigt, aber damit könnte ich leben.

Gruß
Matthias

 

[derniwi]

Um welche Art von Dateien handelt es sich?

 

[RS2212]

Verschiedene, hauptsächlich Word- und Excel-Dateien. Mit der Windows-Optimierung für verschiedene Ordnerinhalte habe ich es schon versucht.

 

[derniwi]

Virescanner mal deaktiviert? Bei Office könnte der auch nach Makro-Viren suchen...

 

[RS2212]

Ja, hab ich auch schon.

 

[derniwi]

Dann würde ich auf der Synology mal die MTU auf Standard (1500) setzen.
Bei Netzwerkproblemen kann das eine deutliche Bremse sein. Wenn ein Switch intern nicht alle Ports mit voller Geschwindigkeit bedienen kann (bei einer Fritzbox gibt es m.W. nach vier GBit-Ports), dann werden Pakete verworfen, welche dann erneut gesendet werden müssen. Je große die MTU, desto mehr Daten müssen im Fehlerfall erneut übertragen werden.

In meinem kleinen Heimnetzwerk habe ich mit versch. MTU mal herumgespielt, mein Windows-Rechner hat auch eine direkte Verbindung über ein gekreuztes Kabel zu einem "alten" Backup-Rechner, welcher auch GBit-Netzwerk hat. Hier habe ich mal mit den MTU von 1500 bis 9000 gespielt, ohne wirklich nennenswerte Verbesserungen beim Backup zu bekommen. Aber das kann auch an den langsamen internen Platten von meinem PC liegen...

Die MTU würde ich, solange es keine Notwendigkeit oder deutliche Verbesserung gibt, auf dem Standardwert lassen.

 

[RS2212]

Also erstmal danke für die Tipps, aber die MTU-Einstellungen sind es auch nicht.

Eine Lösung habe ich aber trotzdem gefunden, ob sie allerdings dauerhaft ist, wird die Zeit zeigen.

1. Für den betreffenden Gemeinsamen Ordner habe ich die Datei-Neuordnung deaktiviert.
2. Die betroffenen Unterordner im Gemeinsamen Ordner habe ich auf eine lokales Laufwerk kopiert.
3. Auf dem lokalen Laufwerke habe ich neue Ordner angelegt und die Inhalte der betroffenen Unterordner in diese neuen Ordner kopiert.
4. Die neuen Ordner habe ich dann wieder in den Gemeinsamen Ordner auf der Diskstation kopiert.

So funktioniert es bei dir, dass die Ordner wieder normal geöffnet werden.

Was passiert, wenn ich die Datei-Neuordnung wieder aktiviere, kann ich noch nicht sagen. Ich beobachte jetzt erst einmal den aktuellen Zustand.

Gruß
Matthias

 

[rumknapser]

Hi ecryptFS und RS2212,

Es sind nun einige Monate ins Land gezogen, und mich täte es interessieren, ob und wie sich Euer "Geschwindigkeitszustand" eventuell zum positiven verändert hat.

Könnt Ihr etwas berichten, das konkret als Fehlerquelle, oder gar Lösungsansatz dient?