Backup zu Amazon S3 sehr langsam (trotz starker Anbindung)

[mfbane]

Hallo zusammen,


derzeit führen wir ein Backup unserer Daten in die Amazon S3 Cloud durch. Wir haben hier eine sehr, sehr starke Anbindung. Eigentlich müssten die 100GB in weniger als 30 Minuten hochgeladen sein... Realität ist jedoch, dass der Upload nun schon die ganze Nacht läuft und wir erst bei 40 GB stehen.

Woran kann das liegen? Hat jemand Erfahrungen mit diesem Problem?

Lieben Gruß

 

[raymond]

Rücke mal mit Details raus: wieviel Download/Upload Anbindung genau? Wieviel MBit/s bzw. MB/s werden bei S3 hochgeladen? Was für eine NAS habt ihr? Welche DSM Version genau?

 

[mfbane]

dsm 4.3
die anbindung hier ist eine gigabit anbindung (geht über ein uni netz)
momentan lädt er im schnitt 400-500kb up und 20kb down
es handelt sich um eine DS713+

 

[raymond]

Uni Netz? Wohnheim (dann würde ich mal die Netzwerk AG fragen ob es derzeit Performanceeinschränkungen gibt) oder direkt in der Uni (Netzwerkadmin fragen)? Die DS713+ hängt aber nicht noch an irgendeinen WLAN Router/Accesspoint?

 

[mfbane]

nein, die DS713+ hängt direkt an einem gigabit anschluss im rechenzentrum bei den admins. da sollte laut deren aussage praktisch nichts dazwischen hängen.

 

[Matthieu]

Hallo,
die Gigabit Ende-zu-Ende zu erreichen ist nicht ganz so einfach. Ich kann mir gut vorstellen dass ihr gerade nicht die einzigen Amazon-Kunden seit die den Server belasten. Aber auch Backbone-Engpässe kommen in Frage. Damit das Gigabit wirklich über die gesamte Strecke ankommt, muss schon einiges passen. Verwendet ihr die Irland-Zone von Amazon? Das Backbone des DFN (ich gehe jetzt mal vom in Deutschland üblichen Uni-Zugang aus) ist eigentlich sehr leistungsstark und war bei mir bisher kein Problem. Mindestens 100MBit sollten da doch drin sein. Habt ihr vor regelmäßig solche Datenmengen zu sichern oder bist du eher interessehalber auf der Suche nach dem Flaschenhals?
Womit lädst du zu S3 hoch? Mit dem Synology-internen Backup-Programm, der Amazon Glacier Applikation, oder einer ganz anderen Lösung?

MfG Matthieu

 

[mfbane]

Hallo,

ich lade mit dem Synology-internen Backup-Programm zur S3 hoch. Ja wir verwenden die Irland Zone. Also das Backup ist ja (zum Glück) inkrementell wenn es mal oben ist. Wir werden nicht regelmäßig 100GB hochladen, aber es wird regelmäßig Backups geben, nur das die anstehenden Änderungen nicht so groß sein sollten. Normalerweise haben wir auch nicht so eine "gute" Anbindung ... ehrlich gesagt hab ich das mit dem UNI Netz gemacht um inital schnell das Zeug hochzubekommen. Leider ziemlich ärgerlich das ganze :/
lg

 

[raymond]

Ja dann würde ich Amazon anschreiben ob es bei eurem Tarif irgendwelche Geschwindigkeitseinschränkungen gibt.

Tritt das Problem auch zu unterschiedlichen Tageszeiten auf?

 

[mfbane]

gibt es chancen das ein upgrade auf dsm 5.0 abhilfe bringt oder hatte das keine auswirkungen auf die backup funktionen?

edit:
mein eindruck bisher ist, das es unabhängig von den tageszeiten recht langsam ist.
ich dachte bei amazon s3 gibt es nur einen tarif?

 

[Matthieu]

ich dachte bei amazon s3 gibt es nur einen tarif?

Das sehe ich auch so. Wenn du noch einen anderen Server in einem anderen Rechenzentrum hast, könntest du eventuell damit mal einen Test der Upload-Geschwindigkeit durchführen. Oder vielleicht gibt es auch eine andere Applikation um Daten zu S3 vom NAS aus hochzuladen. Viel mehr fällt mir da jetzt auch nicht ein.
Persönlich denke ich nicht dass ein Update wirklich Besserung bringt, genau kann ich das aber nciht sagen.

MfG Matthieu

 

[mfbane]

ich bin leider externer hier in dem rechenzentrum, also gast. habe nicht die möglichkeit mit nem anderen server die s3 anbindung zu testen ... ich fürchte ich muss mich damit abfinden. aktuell hat er ca. 44GB hochgeladen. ... morgen gegen mittag sollte die nummer durch sein, ist dann halt leider so.

trotzdem vielen dank für eure hilfe

 

[mfbane]

ich habe noch zwei fragen an die experten hier... ich überlege nämlich die sache "abzubrechen" um es dann an einem anderen anschluss weiterzuführen. deswegen nun meine fragen:

1) wenn ich das amazon s3 backup manuell abbreche und später dann an einem anderen anschluss wieder durchführe, macht er dann dort weiter wo er zuletzt aufgehört hat ODER fängt der komplett von vorne an?
2) wenn ich einfach den netzstecker ziehe, die station also offline nehme, ohne das backup abzubrechen - führt er es dann weiter wenn ich die station wieder an einem anderen anschluss ins netz hänge. oder bricht er auch hier eventuell das backup einfach ab und fängt wieder komplett von vorne an, sobald er wieder netz hat?

vielen dank schonmal!

 

[mfbane]

kann das keiner beantworten? :/

 

[Matthieu]

Es gibt viele Applikationen für das Thema Backup und noch mehr Anwendungs- und Sonderfälle. Die Frage lässt sich nur sehr schwer pauschal beantworten. Ich wüsste nicht mal woran man erkennen kann wie die Applikation eigentlich arbeitet.
Einfach den Stecker ziehen ist auf keinen Fall eine gute Idee, das kann 10 mal gut gehen und beim 11. Mal haut es dir das Raid auseinander und alle Daten sind weg. Das ist keine Seltenheit, deswegen sind USVs im Forum auch ein regelmäßiges Thema. NAS sind diesbezüglich wie Server und mögen das überhaupt nicht. Ich kann mir auch nicht vorstellen, dass es bei dem beschriebenen Szenario etwas bringt. Die DS kann ja nicht einfach die Verbindung "wieder aufnehmen", rein technisch gesehen.

MfG Matthieu

 

[mfbane]

Hallo Matthieu,

vielen Dank für deine Antwort. Beim formulieren meiner Frage ist mir ein Fehler unterlaufen. Also ich meinte mit Netzstecker nicht den Stromanschluss, sondern den Internetanschluss, das Patchkabel. Einfach vom Strom trennen würde ich den Server niemals.

lg