Wie kopiert man einen grossem Ordner mit 110 GB von PC nach NAS?

[MikeSC]

Es ist jetzt 7 Uhr und in den letzten 7 Stunden wurden gerade einmal so 8.000 Dateien kopiert:

 

[dil88]

Wie ist die CPU-Last der DS?

 

[peterhoffmann]

Wir können nicht auf deinen Bildschirm schauen:
Screenshot => Ressourcenmonitor => Leistung
Screenshot => Ressourcenmonitor => Prozesse

Läuft die Foto-Indexierung wieder?

Zum Kopiervorgang selbst: Liegen alle Dateien in einem Verzeichnis? Es wäre ratsam diesen Kopiervorgang in 3-4 Vorgänge (nacheinander!) zu unterteilen, damit man beim Abbruch einen besseren Überblick darüber hat, was schon da ist und was noch rüber muss.

Zum Netzwerk:
Hängt die DS per LAN-Kabel an der Fritzbox?
Hängt der PC per LAN-Kabel an der (gleichen) Fritzbox?
Log dich mal bitte bei der Fritzbox ein. Was steht unter Heimnetz => Netzwerk in der Spalte "Verbindung" bei dem Endgerät DS und PC?

 

[MikeSC]

@dil88: Die CPU lag wieder bei 99%

@peterhoffmann:
Die Foto-Indexierung habe ich deaktiviert.
Die Daten liegen alle in einem Verzeichnis. Den Kopiervorgang in mehrere Stufen zu unterteilen hatte ich auch schon überlegt, ist aber aufgrund der vielen Unterordner sehr aufwändig und fehlerbehaftet. Da müsste ich mir eine Liste ausdrucken und markieren, was schon kopiert wurde und was nicht. Und wenn ein Unterordner viele kleine Dateien enthält, werde ich wahrscheinlich das gleiche Problem haben.
DS und PC hängen an der gleichen Fritzbox. Und beide Geräte haben 1Gbit/s.

Ich habe aber jetzt einen Schlussstrich gezogen und das Kopieren ganz aufgegeben.
Habe einen neuen Versuch gestartet mit FTP.
Und siehe da: mit Fillezilla wurde der 107 GB grosse Ordner vom PC innerhalb von 1,5 Stunden komplett auf die DS kopiert.
Diese Vorgehensweise werde ich in Zukunft immer wählen, wenn ein größerer Datenbestand kopiert werden muss.

Vielen Dank auf jeden Fall euch allen für die Tipps und Hinweise (auch wenn das Problem mit dem Kopieren immer noch besteht. Aber dafür gibt es ja jetzt FTP)
Danke und Gruss
Mike

 

[Puppetmaster]

Da fehlen halt immer die entscheidenden Infos zwischendurch.
Woher kamen die erneuten 99% CPU Last? Welche Prozesse haben diese Last hervorgerufen?
Ohne dieses Wissen ist alles nur Spekulation.

 

[himitsu]

Wenn auf dem Zielvolume/-Freigabe sowas wie Indizierung/Konvertierung/... liegt, dann kannst du dir für sowas auch eine weitere Freigabe erstellen, wo absolut garnichts aktiv ist.
Da dann erstmal via FTP/SMB/... drauf und dann anschließend nur noch intern schnell über die FileStation oder eine geplante Aufgabe (automatisch) das Ganze ins richtige Verzeichnis rüberschieben. (hier evnetuell das schnelle Kopieren im Btrfs aktiviert, wenn innerhalb des selben Volumes kopiert/verschoben wird)

Wenn du vor hast sowas öfters zu machen, dann ist schon alles eingestellt und du mußt nicht jedesmal irgendwas deaktivieren und anschließend vergessen wieder zu aktivieren.

 

[peterhoffmann]

Woher kamen die erneuten 99% CPU Last? Welche Prozesse haben diese Last hervorgerufen?

Ich kann mich dem nur anschließen. Ohne die wirklich wichtigen Infos ist die Lösungssuche nicht möglich.

Das Problem ist im Moment nicht gelöst, sondern (erst mal) nur umgangen.

 

[c0smo]

Bei solch grossen Daten packe ich mir immer mehrere rar oder zip Dateien, auch gern mal komprimiert. Damit schlage ich 2 Fliegen mit einer Klappe. Zum einen hat man einen permanent gleichbleibenden upload, zum anderen behält man den Überblick welche Daten schon kopiert wurden und Abbrüche sind leichter zu handeln. Das entpacken kann dann ohne Probleme Nachts durchlaufen.

 

[peterhoffmann]

Bei solch grossen Daten packe ich mir immer mehrere rar oder zip Dateien, auch gern mal komprimiert.

Das hatte ich auch schon als temporäre Lösung in Betracht gezogen.
Dann fiel mir aber ein, dass ich das mal mit einer Datenmenge von 41GB auf einer DS213j (gleiche Single-CPU) über die Konsole probiert habe (tar+gzip). Das war sehr, sehr mühselig, die DS war während dieser stundenlangen Aufgabe kaum bis gar nicht mehr ansprechbar. Als Notlösung habe ich dann das gzippen weggelassen (keine Komprimierung) und das führte zum Erfolg.

 

[cuio]

Kopieren mittels xcopy von der cmdline ist doppelt so schnell wie per Explorer.

Mittels xcopy [pfad]*.pic \\NAS[pfad] /V /S /D /Y werden etwa alle Dateien kopiert, die noch nicht vorhanden sind und falls auf dem PC neuere gleichnamige sind überschreiben diese die auf dem NAS vorhandenen. Zur Kontrolle kann man die Ausgabe auch in eine Datei umleiten.

 

[Benares]

Robocopy ist eine andere Alternative

robocopy D:\ \\ds415\backup /MIR /XO /FFT /R:1 /XD D:\$RECYCLE.BIN /XD "D:\System Volume Information" /XD "D:\Recovery"

z.B. synct meine komplette Datenplatte aufs NAS. Mit /XD kann man bestimmte Verzeichnisse ausnehmen.

 

[MikeSC]

Robocopy verwende ich auch zum Abgleich mit externen Festplatten, USB-Sticks u.ä..
Aber mit der DS habe ich da auch Schwierigkeiten.
Ich verwende eine Oberfläche von Schroth, da Robocopy einfach zu handeln ist. Aber da liegt ein Script dahinter, welches dann nicht mehr weiterarbeiten möchte.
Anyway. Ich verwende zum Übertragen den FTP-Server. Das klappt ganz gut.
Nun muss ich mich einmal mit dem Drive und Cloudserver herumschlagen, weil ich das überhaupt nicht verstehe.
Eigentlich möchte ich nur Ordner vom PC mit der DS synchronisieren. Aber dann gibt es plötzlich ordner mit 'Drive' und 'Cloudstation'.
Ich schaue 'mal hier im Forum nach, ob es eine Anleitung für dummies (wie mich) gibt.
Danke für alles und Gruss
Mike

 

[himitsu]

Warum nimmt eigentlich niemand rsync?

Dort wird auch der Dateiinhalt mit geprüft, aber ohne dass die kompletten Dateien doppelt übertragen werden, da dieses Protokoll dafür nur den Hash übertragen lässt, aber den "lokal" auf der anderen Seite berechnen lässt.

 

[dil88]

Wird genutzt, keine Sorge.

 

[FrAntje]

Nun muss ich mich einmal mit dem Drive und Cloudserver herumschlagen, weil ich das überhaupt nicht verstehe.

Die solltest du getrennt betrachten und mit wenigen Ausnahmen direkt zu Drive gehen. Drive ist der Nachfolger von Cloud Station Server und dieser wird früher oder später verschwinden.
Die Ordner Drive / Cloudstation werden entsprechend angelegt, weil es die Standardverzeichnisse der Apps sind. Du kannst aber jeden Ordner als Ziel für Drive oder Cloudserver nutzen.

Du solltest dir dann nur ein Konzept überlegen, wie die Daten auf das NAS kommen, was nicht immer ganz leicht ist. Je nachdem ob es nur einfach Ordner sind, oder vielleicht Daten aus Outlook, SQL, Firebird etc.
Die dazugehörigen Synolgy Apps Cloud Station / Cloud Station Backup etc. sind da sehr rudimentär und erfüllen wirklich nur die gaaaanz einfachen Wünsche.

Ein Blick ist auf jeden Fall das neue Active Backup for Business wert, sobald es mal Dateisicherungen unterstützt. In diesem Fall kannst du dann das andere Zeugs eh alles links liegen lassen.

 

[MikeSC]

@Puppetmaster,
@peterhoffmann,

um noch einmal auf die CPU-Last zurückzukommen.
Welche Möglichkeiten hat man, um herauszufinden, welche Prozesse diese bewirken?
Ich kann ja nicht dauernd screenshots machen von den gerade aufenden Prozessen.

 

[peterhoffmann]

Welche Möglichkeiten hat man, um herauszufinden, welche Prozesse diese bewirken?

Ressourcenmanager im DSM oder
über die Konsole (Stichwort SSH u. Putty) und dort einfach nur "top" (bzw. htop) eingeben.

In der Regel brauchst du das nur ein paar Sekunden zu beobachten, dann siehst du schon sehr genau welcher Prozess am meisten beansprucht. In der Regel kommt die CPU-Last weniger in Spitzen, sondern kontinuierlich, z.B. von der Fotoindexierung (ist oft der Täter).

 

[Jing]

sowas kopier ich nur mit totalcommander.. nach kopieren vergleich ich die beiden verzeichnisse ebenfalls mit totalcommander

 

[MikeSC]

@peterhoffmann,
also ich habe gestern einen Blick auf die Prozesse geworfen.
Da ist zum einen den Prozess 'System.Info.CGI', der ab und an fast 50% CDU-Leistung beansprucht.
Dann 'System.Finder.Fill' mit ca. 25%.
Und ansonsten kommen immer diverse Prozesse, die beginnen mit 'synoscgi_SYNO.....'

 

[peterhoffmann]

@MikeSC
Ich nehme an, dass du über das DSM geschaut hast, oder?
Das Problem ist dabei, dass das DSM (Weboberfläche) selbst viele Ressourcen verbraucht. Und das macht sich bei der schwachen DS216se stark bemerkbar.
Geh aus dem DSM raus und schau über SSH und dem Befehl "top" (oder "htop" je nach Geschmack). Dann hast du echte Eckdaten ohne selbst Last zu verursachen.

Dein Hauptproblem bleibt grundsätzlich die schwache Leistung deiner DS. Sobald irgendwas rechenintensives passiert, kämpft sie schon am Limit.

Hast du bei dir eigentlich den Indizierungsdienst (Medienindizierung) für den Photoordner an, wo die 74.000 Fotos schlummern? Wenn du den nicht brauchst, abschalten.