Marvell Dateien mit mehr als 4GB?

[sirana]

Hallo,

ich habe seit heute meine DS210j und habe nen RAID0 gebastelt aus 2 mal 1TB ... und wollte nun ne Datei kopieren die mehr als 4GB hat was aber nicht geht, wie kann man das Dateisystem soweit umstellen bzw neu formatieren das ich auch dateien größer als 4GB draufschieben kann ?

 

[itari]

Mit was hast denn versucht die Datei drauf zu kopieren. Mit der FileStation?

Itari

 

[Matthieu]

Was genau heißt "es geht nicht"? Die DS arbeitet mit ext und das hatte noch nie ein Problem mit großen Dateien.

MfG Matthieu

 

[sirana]

ich wollte es per webinterface rüberkopieren und da stand dann beim kopierstatus das die datei zugroß wäre...

 

[jahlives]

Das ist keine Beschränkung des Dateisystems, sondern des verwendeten Clients. Ich gehe mal davon aus, dass du zum Hochladen einen Browser verwendet hast und die können keine Dateien grösser als 4 GByte hochladen. Nebenbei verarbeiten die meisten Serversysteme solch grosse http Uploads nicht korrekt.
Lade doch solche Dateien mit einem FTP Client via FTP hoch oder schiebe solche Dateien via nfs oder samba auf deine DS

 

[Matthieu]

Aus den "Release Notes":

On all browsers, single file upload is limited to 2GB for File Station 2. This is due to browsers' limitation.

MfG Matthieu

 

[itari]

Kopiere mal über den Windows-Explorer. Da geht es. Es liegt daran, dass die Browser zur Zeit nicht mehr als 2 oder 4GB verknusern können; also liegt nicht an der DS.

Itari

 

[sirana]

oh mist bin ich doof, okay, vielen dank für die hilfe... hab allerdings noch eine frage und will eig. keinen neuen thread aufmachen, für z.B. die itunes freigaben muss ich den music ordner nehmen ?

 

[jahlives]

Es liegt daran, dass die Browser zur Zeit nicht mehr als 2 oder 4GB verknusern können; also liegt nicht an der DS.

Mit wäre kein Server bekannt (Apache, IIS & Co) der auf einem 32bit System mehr als 4 GByte grosse Dateien via http entgegennehmen würde. Du kannst es "einfach" testen: Setz einen POST Request an den Server mit einer content-length von mehr als 4 GByte ab. Bei 4294967295 Bytes war bei meinen Tests auch beim letzten Server schluss (550-er Fehler).

Mein asp Testscript ergibt bei einem IIS 6

[FONT=monospace]
[/FONT]POST /content-length-test.asp HTTP/1.1[FONT=monospace]
[/FONT]Content-Type: multipart/form-data; boundary=--------------------------------08235985[FONT=monospace]
[/FONT]Content-Length: 30000000000[FONT=monospace]
[/FONT]User-Agent: [FONT=monospace]

[/FONT]HTTP/1.1 500 Internal Server Error[FONT=monospace]
[/FONT]Content-Type: text/html[FONT=monospace]
[/FONT]Server: Microsoft-IIS/6.[FONT=monospace]0
[/FONT]

Der IIS würde zwar 4294967295 Bytes noch aktzeptieren, aber jenseits von 2 GByte ergibt die asp Fkt request.totalbytes immer -1
Mit dem Apache und php habe ich das nie wirklich getestet, aber das dürfte ähnlich sein.
Der Firefox schickt afaik den Request gar nicht erst ab, wenn die Datei grösser als 2 GByte ist. Der IE versucht es, aber gibt eine negative content-length im Request an, was dann je nach Server auch zum Fehler führt.
Kurz und bündig
Theoretisch gehen bis 4GByte grosse Dateien. Praktisch bis 2GByte. Auch ist http gar nicht dazu gedacht grosse Datenmengen zu übertragen (Overhead ist grösser als bei FTP)

 

[itari]

hi tobi,

man könnte sich eine Welt vorstellen, wo es keine 32Bit-Restriktionen mehr gibt ...
man könnte sich vorstellen, dass HTTP nicht nur fürs Download-Streamen von riesigen Mediastreams verwendet wird, sondern auch zum Uploaden ...
man könnte AJAX benutzen, um eine große Datei in kleine Häppchen aufzuteilen ...
man könnte sich vorstellen, dass mit einem Plug-in zu lösen ....

Itari

 

[jahlives]

@itari
Sicher geht das eines Tages Ich wollte nur "betonen", dass es nicht unbedingt der Client sein muss der sich querlegt, sondern auch der Server eine Rolle spielt.

 

[thedude]

man könnte sich eine Welt vorstellen, wo es keine 32Bit-Restriktionen mehr gibt ...
man könnte sich vorstellen, dass HTTP nicht nur fürs Download-Streamen von riesigen Mediastreams verwendet wird, sondern auch zum Uploaden ...
man könnte AJAX benutzen, um eine große Datei in kleine Häppchen aufzuteilen ...
man könnte sich vorstellen, dass mit einem Plug-in zu lösen ....

Wise man would say: Das Leben ist kein Konjunktiv oder so ähnlich.

 

[itari]

sondern auch der Server eine Rolle spielt.

Die Apache-Konfigurationsanweisung LimitRequestBody kann (!) die Datenübertragungsmenge einschränken. Sie steht allerding default auf 0, d.h. beliebige Größen werden zugelassen. *guck*

Oft stellt sich noch PHP in den Weg mit der Direktive upload_max_filesize, welche default auf 20M steht. Das Manual erlaubt einen Integer-Wert und stellt an anderer Stelle fest, dass die Implementation eines Integer systemspezifisch ist (oft halt 32Bits signed, aber eben nicht immer).

Ein Beitrag in einem anderen Blog spricht auch davon, dass eine Eintragung mit der Notation 10G möglich ist (G steht dabei als shorthand für GigaByte, verfügbar seit PHP 5.1.0). *guck*

Wer das jetzt ausprobieren will, braucht halt einen geeigenten Client ...

Soviel Background zum Konjunktiv Ich will damit nur sagen, dass da nicht wirklich viel Weltbewegendes passieren muss, damit man diese sogenannten Limits außer Kraft setzen kann ... ein bisschen guter Wille und schon würde (!) es gehen.

Itari

 

[itari]

Ich habe hier zum Thema 'large file upload' einen Menge Links gefunden.

Zwei ganz brauchbare Ideen wären z.B. diese hier:

http://fileup.softartisans.com/fileup-246.aspx

http://www.jfileupload.com/products/jfileupload/index.html

Ansonsten noch der Hinweis, dass man bei Mozialla an der Sache schon gearbeitet hat: http://proxy2bay.appspot.com/bugzilla.mozilla.org/show_bug.cgi?id=215450

Itari