löschen großer Dateien sehr langsam

[crazynet24]

Das Löschen großer Dateien dauert bei meinen Diskstations sehr lange, es ist genauer gesagt unerträglich langsam. Ich recherchiere nun schon seit längerem nach diesem Phänomen, aber bekommen nur einige Treffer von anderen Nutzern, die das Problem ebenfalls haben (ohne Lösung). Ich habe derzeit mehrere DS207+ (ext3) mit unterschiedlichen Platten und Konfigurationen im Einsatz und eine RS409 (ext4). Alle hängen im Windows Netzwerk und haben den Papierkorb CIFS-Papierkorb nicht angeschaltet. Die Geräte werden als Backup-Ziele genutzt und werden mit Dateien von bis zu 300GB "gefüttert".
Wenn man versucht, über Netzwerk (SMB) oder direkt über den Dateimanager im Geräte-Frontend eine größere Datei zu löschen, dann dauert der Löschvorgang durchaus auch mal über 30 Minuten! Man kann richtig beobachten, wie der Speicherplatz langsam wieder freigegeben wird.
Was dauert daran so lange, den Verzeichniseintrag aus der Tabelle zu löschen und den belegten Speicherplatz wieder als frei zu geben? Überschreibt die Diskstation etwas die gesamten Daten oder was geht da vor sich?
Überlicherweise dürfte das blitzschnelle Löschen von Dateien heute nicht mehr zu den Features gehören, die noch irgend jemanden beeindrucken. Erstaunlich finde ich, dass die Foren nicht voll mit Beschwerden sind zu diesem Problem.
Ich benötige in Kürze weitere NAS-Speicher für Kunden und benötige Informationen dazu, ob diese Probleme auch bei neueren Geräten auftreten und ob Synology sich der Problematik überhaupt bewusst ist. Hat hier jemand Informationen dazu oder kann sonstwie helfen?

viele Grüße!
Stefan

 

[jahlives]

wie schnell das Löschen geht hängt bei ext3 direkt von der Dateigrösse ab. Denn das Dateisystem entfernt nicht nur den Verzeichniseintrag, sondern muss auch alle von der Datei genutzten Blöcke wieder als frei markieren. Je nachdem wie gross die Datei ist/war kann es also schonmal länger dauern. Wie gross ist denn die Datei, welche 30min zu Löschen brauchte? Meld dich auch mal auf der Konsole via ssh oder telnet an und probier wie schnell es geht wenn du die Datei direkt mit dem rm Kommando löscht

 

[raymond]

Richtig: wie groß ist dann die Datei und wie groß die Platten? Die DS207+ ist nicht mehr die schnellste und wenn du da noch eine/zwei 2 TB Platte drin hast (die angeblich max sein soll) und eine beispielsweise 1 TB Datei löschen möchtest, ist es klar. 2007 gabs es auch noch nicht so große Platten und so große Dateien waren auch eher unüblich. Das gleiche mit sehr vielen mittel bis großen Dateien. Irgendwann wird halt eine dickere NAS bei gestiegenen Anforderungen fällig.

Die RS409 mit 1,2 Ghz ist auch nicht mehr eine Rennmaschine.

Ein genauer Test wäre hilfreich:

Rechner (Leistung? Software?) vom dem der Job gestartet worde? Mal direkt aus dem DSM probiert?
Gleiche Datei mal mit der DS207+ und einmal mit der RS409 gelöscht...Zeiten jeweils?

 

[crazynet24]

Danke erstmal für die Antworten,

die Dateien sind wie schon beschrieben etwa 200-300GB groß, die Platten sind im RAID1 bzw. auf der RS409 seit neuestem als RAID5 am laufen. 2TB-Platten.

Ich werde mal per SSH versuchen zu löschen, sobald ich die Möglichkeit habe.

Gruß

 

[crazynet24]

Der Löschtest über SSH war auch nicht viel schneller. Die Löschung einer 230GB-Datei hat etwa 15 Minuten auf der RS409 gedauert, es handelt sich dabei um ein RAID5 mit 3x 2TB Festplatten.

Ich werde mich dann wohl nach anderen Systemen umschauen müssen, wenn ich eine ausreichende Performance erwarte. Synology schein mir hier nicht sehr geeignet. Unter Windows-Clients blockiert so ein Löschvorgang ja das gesamte System.

Gruß,
Stefan

 

[raymond]

Ich bin mir nicht sicher, aber RAID5 war was Dateioperationen angeht eh langsamer als RAID0 oder RAID1...dann noch so eine große Datei und eine relativ langsame NAS. Vielleicht kann noch Synology selbst testen, wie lange es in deren Labor dauert so eine Datei zu löschen. Ich kann mir aber vorstellen, dass es normal ist. Schreib die einfach mal an.

Synology ist schon noch geeignet, aber gestiegene Anforderungen > größere NAS, so einfach ist das.

Wenn du gerade mal Synology anschreibst, kannst du ja auch nach einem "Löschbenchmark" bei neuen NASes anfragen.

Wenn Windows blockiert ist das Windows schuld, was hat ein Löschvorgang auf einer NAS mit dem Betrieb von Windows zu tun > musst du wohl Microsoft fragen.

PS: Was die RS409 schafft:
http://benchmarkreviews.com/index.php?option=com_content&task=view&id=938&Itemid=2
47 MB/s lesen und 35 MB/s schreiben (kannst dir ja ausrechen, wie lange der Löschvorgang einer so großen Datei dauert! Zugegeben: der Löschvorgang ist schneller ein der Schreibvorgang )
Bereits die kleine RS812 schafft 109 MB/s lesen und 50 MB/s schreiben:
http://www.synology.com/products/product.php?product_name=RS812&lang=deu
Aber prozentual siehst du hier ja bereits wieviel schneller die RS812 es schaffen müsste.

 

[jahlives]

@topicstarter
was erwartest du denn beim Löschen eines 200GByte Files? Soll das in einem Sekundbruchteil erledigt sein? Dann brauchst du aber einen Storage, der auch den entsprechenden Durchsatz bringt. Wir drücken in der Firma ~400MB/s auf unseren Storage und wenn ich ein 200GB File lösche, dauert das auch seine Zeit. Ich weiss ja nicht ob du als Referenz allenfalls ein Windows nimmst. Falls ja musst du aber beachten, dass Windows per default den Papierkorb benutzt und damit nicht jeden Block auf der Disk löscht. Das geht viel schneller

 

[crazynet24]

@jahlives:
Was ich erwarte kann ich Dir sagen:
Zu den Basics:
Ein Dateisystem besteht aus einem Inhaltsverzeichnis, das den Namen und Typ der Datei, Zusatzdaten wie Schreibrechte und die für die Nutzdaten belegten Festplattensektoren enthält. Also eine 1:n-Beziehung.
Beispiel: Eine Datei mit Namen "Beispieldatei.txt" belegt Sektor 5 bis 5000. (keine Fragmentierung)

Verbesser mich, sollte ich falsch liegen: Meinem Wissen nach passiert unter Windows Folgenes, wenn gelöscht wird (richtiges Löschen (Shift+Entf.) ohne Papierkorb):
Das Betriebssystem löscht den Namen "Beispieldatei.txt" mit den belegten Sektoren aus dem Verzeichnis und das wars. Die Nutzdaten bleiben verwaist auf der Festplatte und Windows weiß nun dass Sektor 5-5000 wieder zum freien Speicher zugerechnet und neu beschrieben werden dürfen. Es ist nicht notwendig, die Festplattenköpfe zeitaufwendig über alle Sektoren zu jagen und jeden einzelnen zu löschen. Dafür gibt es Shredder-Tools, das dauert aber auch länger.
Der Löschvorgang für eine noch so große Datei dauert unter Windows Sekundenbruchteile.

Was also produziert ext3 oder Synology in der Zeit, in der gelöscht wird? Den Dateinamen und die zugehörigen Sektoren in der Filetable freigeben sollte für heutige Dateisystem eine triviale Angelegenheit darstellen. Auch mit Journaling, auch wenn das noch minimal Zeit zusätzlich frisst. (geht ja auch unter NTFS blitzschnell)

Als Vergleich: Bei SQL-Datenbanken kann man es auch schnell und langsam machen, möchte man beipielsweise eine Tabelle komplett leeren: Bei der Methode "DELETE * FROM TABLE" fängt ein SQL-Server an, jeden Datensatz, einen nach dem anderen, zu löschen. Dauert je nach Befüllungsgrad ewig. Das selbe Ergebnis erhält man durch "TRUNCATE TABLE", und es dauert Sekundenbruchteile.

Also, um auf mein Problem zurückzukommen, meine Vermutung: Entweder ist ext3 völlig unperformant, weil Löschbefehle nicht so effektiv wie unter Windows ausgeführt werden, oder Synology spricht das Dateisystem falsch an, sollte es noch eine schnellere Methode geben.

Sag mir mal bitte jemand, wo mein Denkfehler liegt, ich wäre wirklich sehr dankbar.

viele Grüße,
Stefan