Ist das Formatieren einer externen USB-Platte mit ext4 besser als mit NTFS?

[frankw69]

Hallo

Ich habe eine defekte externe USB 3.0-WD Elements 4TB-Festplatte durch eine externe Toshiba 4TB-Festplatte (Canvio Basics) ersetzt. Ist meine erste Toshiba-Platte überhaupt.

Das initiale Backup von 1,3TB Daten mit HyperBackup hat schon auf die neue Toshiba-Platte mehrere Tage gedauert. Das tägliche Backup, das mit der alten WD-Platte ca.10 Minuten gedauert hat, dauert nun weit über eine Stunde. Ich habe nach den Unterschieden geschaut. Datenvolumen gleich, USB-Anschluss gleich (nicht etwa USB 2.0 statt 3.0). Einziger Unterschied: Die WD-Platte war ext4-formatiert, die Toshiba-Platte ist NTFS-formatiert.

Ich weiß, dass NTFS unter Windows effizienter ist und ext4 unter Linux.

Aber kann das den großen Zeitunterschied erklären?

Danke im voraus,
Frank

 

[Kurt-oe1kyw]

Ja.
ext4 formatierte HDDs sind um einiges schneller als NTFS formatierte.
Man muss sich halt entscheiden, will man Geschwindigkeit, oder will man eine 100% kompatible ext HDD die man sofort an den PC anstecken kann und alle Daten sofort zur Verfügung stehen.
Für ext4 formatierte externe HDDs benötigt man halt eine funktionierende DS und kann sich über diese die Daten vom PC aus ansehen, oder mit einem Plugin in windows wenigtens "lesend" die Platten verwenden.

Anmerkung:
Bei mir hier ist es auch so, dass meine Fotosicherung vom gemeinsamen Ordner /photo auf der NTFS formatierten externen HDD eine kleinere Datenmenge hat, als auf der ext4 formatierten ext HDD.
Der Grund ist, dass nur auf der ext4 formatierten HDD die thumbnails der Originalbilder beim Backup auch mitgesichert werden. Bei der NTFS formatierten HDD fehlen die thumbnails, im Falle einer Wiederherstellung muss die Diskstation diese also wieder neu berechnen.
Bei der ext4 werden auch die thumbnails wiederhergestellt.
Zumindest bei den bisherigen Hypberbackup Versionen mit der Variante 1:1 Kopie (also nicht in eine Datenbank gesichert) habe ich dieses Phänomen hier.

 

[Puppetmaster]

NTFS ist proprietär und wird unter Linux nur bedingt unterstützt. Ich gehe stark davon aus, dass es auch von der Performance weit hinter einem nativen Linux-Format ist.

 

[synfor]

Was für Platte ist denn drin? Wobei, bei 4 TB ist wohl eine mit SMR.

 

[frankw69]

Was für Platte ist denn drin? Wobei, bei 4 TB ist wohl eine mit SMR.

Würde ich auch vermuten. Musste aber erst googeln.

 

[Dennis-TW]

Ich verwende schon seit Jahren zwei WD Elements Portable 2 TB im Wechsel für externe Backups.

Eine ist NTFS und die andere ext4 formatiert und zeitlich sind mir noch nie signifikante Unterschiede aufgefallen, kann mich daher allen Vorredern überhaupt nicht anschließen.

Probier es aber am besten doch einfach aus. Die Toshiba Platte in ext4 formatieren und schauen, ob dies dein Problem löst. Falls nicht, liegt es an der Platte selbst.

 

[Kurt-oe1kyw]

zwei WD Elements Portable 2 TB im Wechsel für externe Backups.
Eine ist NTFS und die andere ext4 formatiert und zeitlich sind mir noch nie signifikante Unterschiede aufgefallen,

Meine externe HDD für Backup via USB an die DS angeschlossen und im Format ext4:



dürfen wir bitte ein Bild von deiner externen Backup HDD sehen welche du in NTFS formatiert hast und bitte die Geschwindigkeit einblenden, so wie auf meinen Bild.
Ich möchte mit eigenen Augen sehen ob es da tatsächlich keine signifikanten Unterschiede gibt....
Wenn du auch nur annähernd an die 166,65 MB/s Übertragungsgeschwindigkeit kommst mit deiner NTFS HDD, dann habe ich auch wieder was dazu gelernt, aber bitte zuerst dein Bild.
Nicht gleich von Beginn, weil da werden oft hohe Datenraten erzielt weil zuerst der verfügbar RAM Speicher "befüllt" wird, bitte ein Bild von "mittendrin", so wie im Bild oben zu sehen.
Bitte, Danke.

 

[Puppetmaster]

Also solche Geschwindikeiten habe ich noch nie gesehen mit einer meiner externen HDDs. Da komme ich auch mit ext4 nicht über ~50MB/s nicht hinaus. Im Schnitt dann noch weit weniger.

 

[Kurt-oe1kyw]

Echt?
hmmmmmm, also konkret habe ich hier die DS 916+ in welcher 4 WD red im SHR1 laufen als "Quelle" und das Ziel ist die Dockingstation in meiner Signatur in welcher eine HDD steckt die im Format ext4 formatiert ist.



Das USB Kabel ist eher kurz, ~ 50cm.
Das Bild zeigt noch eine alte Datensicherung mit DSM 5.2 mit dem Vorgänger von Hyperbackup mit dem Namen "Datensicherung&Replikation", das war der Vorgänger von Hyperbackup.
Das Bild im vorigen Beitrag wurde dann schon mit Hyperbackup gemacht.

~50 MB/s ist zwar nicht schlecht, aber liegt das an deiner verwendeten HDD oder ist die Verbindung generell so langsam via USB 3.0 bei dir?
Nur zur Sicherheit, ich verbinden einen blauen USB 3.0 Anschluss der DS916+ mit der Dockingstation die auch USB 3.0 kann und schafft.
Die 166,65 MB/s kommen so auch ziemlich an das Maximum heran welche die WD red als max. Schreibgeschwindigkeit schafft. Möglicherweise wäre als so gar noch mehr und höhere Geschwindigkeit möglich, aber das schafft meine externe HDD dann nicht.

 

[frankw69]

Habe die Platte jetzt umformatiert und habe signifikante Unterscheide zwischen ntfs und ext4 festgestellt.

Ohne jetzt auf exakte Datenübertragungsraten einzugehen:

Initialsicherung ntfs: ~6d
Tägliche Delta-Sicherung ntfs: ~3h

Initialsicherung ext4: ~1d
Tägliche Delta-Sicherung ext4: ~15m

 

[mae-syn]

So, da ich micht auch gerade mit dem Thema befasse, wollte ich es mal genauer wissen. Die Ausgangslage ist wie folgt:
DS 213 (DSM 4.2.-3211) mit 2 x 3000GB WD Red IntelliPower 64MB SATA III

Als externe HDD kamen zum Einsatz: WD Elements, Basic Storage. Es ist mir bewußt, daß da "irgendwelche" HDD enthalten sein können und es auch von daher Unterschiede zwischen der 5 TB und der 4 TB geben kann.

Außerdem beeinflußt natürlich Dateianzahl und Dateigröße das Tempo. Die gesicherten Daten waren zum überwiegenden Teil (58,7 von 67,1 GB) mit Dateigröße zwischen 3,6 GM und 5 GB.

Als Amateur ging es darum ein Gefühl dafür zu bekommen, ob der Geschwindigkeitsunterschied bei der Sicherung zwischen "EXT4" und "NTFS" die "Inkompatibilität" von "EXT4" zu Windows wert ist. Einzelheiten wie folgt:

[EDIT 20:35 / Tabelle ergänzt um Datei+Ordneranzahl]

 

[Flessi]

ist wohl eine mit SMR.

#4 / Diesem Verdacht ist wohl noch nicht nachgegangen worden?
Meine Erfahrung mit SMR: das Backup dauert jetzt statt zwei Stunden ganze 2 Tage!

 

[ottosykora]

#4 / Diesem Verdacht ist wohl noch nicht nachgegangen worden?

nur ist so was schwierig. Was in den schwarzen Plastik Gehäusen eingeschweisst ist kann man kaum wirklich erfahren.

Ich habe da verschiedene Platten von WD und Toshiba, klar ist es nicht, es fängt so mit 77MB/s aber geht dann immer langsamer. Habe nur ca 600G Daten verfügbar, habe gestern eine Kopie mit USB Copy gemacht, war so ca 2h.

 

[synfor]

600 GB in 2 Stunden sind etwa 83 MB/s. Sieht nicht nach SMR aus.

 

[Synchrotron]

Was mich in dem Spiel mal interessieren würde: Wie schneidet exFAT ab ?

Vorteil wäre ja schon mal, dass man dieses Format an Linux, Windows und Mac lesen und schreiben kann, ggf. unter Erwerb einer Lizenz.

 

[Kurt-oe1kyw]

Was in den schwarzen Plastik Gehäusen eingeschweisst ist kann man kaum wirklich erfahren

Das geht jetzt relativ einfach, seitdem BigRonin in einem der letzten Versionen vom AvrLogger das Auslesen von externen HDDs welche via USB Verbunden sind eingebaut hat:



Das Funktioniert einwandfrei und du siehst dann welche HDD verbaut ist im Gehäuse der externen HDD.
Im Bild oben AvrLogger, Register "System" > Optionen HDD Icon > linke Spalte unterhalb der 4 internen HDDs in der DS steht die via USB angeschlossene, externe HDD welche ich als usbshare7 definiert habe, daher wird sie korrekt als Laufwerk7 angezeigt.
In der Mitte obere Zeile ist schön zu sehen, dass in diesem Datenhafen von Medion eine WD30EZRX verbaut ist, daneben die Seriennr dieser HDD.
Unter SMART Values werden nach dem Aufklappen die SMART Werte dieser externen HDD angezeigt.

 

[ottosykora]

600 GB in 2 Stunden sind etwa 83 MB/s. Sieht nicht nach SMR aus.

ja, denke ich auch. Das hier war eine 216+ und die vordere Buchse, also usb3 Anschluss.
Platte ist eine 2T WD Eelemnts

Bei einer Aussenstelle habe ich auch ca 600G an Daten. Doert ist es eine 218+.
Platte auch von WD, aber mit 4T.
Dauer ca 6-7h.
Da es dort zum Schluss wirklich merklich langsamer wurde, tippe ich auf eine SMR.

 

[Fusion]

Alle 2.5" über 2Tb haben garantiert SMR.
Bei Seagate eigentlich alle aktuellen
https://www.seagate.com/de/de/internal-hard-drives/cmr-smr-list/
Bei WD immer noch die meisten in der 2.5" Liga
https://blog.westerndigital.com/wd-red-nas-drives/

 

[mae-syn]

Anknüpfend an meine obenstehenden Testergebnisse, wollte ich es genauer wissen und habe nun den Versuch mit eine deutlich größeren Anzahl an kleineren Dateien durchgeführt. Das sieht dann wie folgt aus:


Vergleich sieht in der Summe so aus:


Da die Dateigröße bei den 67,11 GB deutlich über meinem Durchschnitt liegt, sind die Ergebnisse der 81,47 GB für mich wichtiger. Der Geschwindigkeitsvorteil von EXT 4 liegt bei ca. 10 % oder darunter. Vom Tempo her ist mir der Unterschied zu gering. Die Sicherung der Thumbnails welche wenn ich das richtig gelesen habe nur unter EXT 4 erfolgt ist für mich ohne Belang

 

[synfor]

Alle 2.5" über 2Tb haben garantiert SMR.

Die 3 TB Platte aus der Toschiba MQ03-Serie ist CMR. Allerdings wohl nicht mehr verfügbar. MQ03ABB300 bei Geizhals