Verzeichnisse parsen sehr langsam - Abhilfe?

[ixpi011]

Hallo,
Ich hab ein Raid5 im DS-411-II mit ext4. Mich wundert, dass das Dateien indizieren über Cifs so langsam ist: Z.B. Winamp oder Backupprogramme oder Dupefinder etc, die unter Win laufen und über einen Share am Nas die Verzeichnisse durchsuchen und dabei die Dateien indizieren benötigen sehr lange. Für ca 63.000 Dateien ca 3h.

Kann man das irgendwie beschleunigen?
Thx!

 

[itari]

Wie ist denn die Auslastung deiner DS so? Prozesse? Dienste?

Itari

 

[ixpi011]

fabriksmässig, hab nix dazugetan. Mich wundert ja eher, dass das wirklich File für File passiert und hier nicht eine Partitionstabelle oä augelesen wird, man merkt ja auch, wenn man dir über ein Verzeichnis macht, wie er auf den Platten rumrödelt und für jedes File beim File selbst nachsieht, das kanns doch nicht sein?

 

[Puppetmaster]

Die Erfahrung, daß das Indizieren über Netzwerk immer sehr behäbig ist, habe ich auch schon gemacht.
Ich erkläre mir das eben so, daß wenn du jetzt z.B. Duplikate finden willst, dann reicht es eben nicht aus, eine Partitionstabelle wie du das nennst, auszulesen. Es muß sich jedes File angeguckt werden, weil nicht jeder Parameter, der untersucht wird, auch in einer Tabelle steht.
Wenn du mp3 Files scannst, dann mußt du dir aufgrund der Metadaten (TAGs) ja auch jedes File einzeln anschauen.

Also ich kann das nur bestätigen. Dieses Verhalten habe ich bisher immer beobachten dürfen, wenn ich etwas über das Netz gescannt habe.

 

[ixpi011]

Jetzt wo du das schreibst, fällt mir ein, dass das indizieren des DS-Audio-Dienst genauso langsam läuft, der Dienst läuft lokal.

 

[Matthieu]

Die CPU-Auslastung der DS wäre trotzdem gut zu wissen, denn dann kann man ungefähr sagen wo der Flaschenhals sitzt.

MfG Matthieu

 

[ixpi011]

Werd ich mir mal ansehen, da es ein dual-core-atom ist, sollte das nicht der flaschenhals sein.

 

[amarthius]

Werd ich mir mal ansehen, da es ein dual-core-atom ist, sollte das nicht der flaschenhals sein.

Bei der Medienindexierung und Thumbnailerstellung wird jede CPU zum Flaschenhals.

Glaub uns, wir sind schon länger hier unterwegs

 

[ixpi011]

Hallo
Hier die Auslastung beim Parsen von Dateien über ein Windows-Share von win7 aus per Backup Software (Crashplan);
Die Backup-Software zählt die geparsten Files mit, das ergibt grob 30-40 Files pro Sekunde, die Files sind ca 6MB groß.
@Puppetmaster: also liegt das eher an cifs als am nas selber; ich dachte schon, dass eventuell ext3 für solche Aufgaben langsam ist.

 

[amarthius]

Klick doch mal bitte auf die CPU-Auslastung und mach einen Screenshot. Auf diesem erkennt man nichts

 

[itari]

Mich wundert ja eher, dass das wirklich File für File passiert und hier nicht eine Partitionstabelle oä augelesen wird, man merkt ja auch, wenn man dir über ein Verzeichnis macht, wie er auf den Platten rumrödelt und für jedes File beim File selbst nachsieht, das kanns doch nicht sein?

In der Partitionstabelle steht nichts über Dateien drinne ... folglich bringt das überhaupt nichts. Bei dem ext3/4-Dateisystem werden die Infos in den Verzeichnisblöcken und in der iNodes-Tabelle verwaltet; beides wird gecached und ist quasi resident. Da aber die Metadaten in den Dateien selbst stecken, wird jede Datei gelesen und die Metadaten extrahiert ... das dauert naturgegeben recht lange (ähnlich wie ein richtiger Virenscanner)

Itari

 

[ixpi011]

 

[Matthieu]

Da würde ich mal auf die Festplatte oder das Netzwerk als Limit tippen.

MfG Matthieu