File Startion - löschen dauert ewig und belastet CPU zu 100%...

[Crady]

Hallo zusammen,

ich habe eine DS216se auf der ich unter anderem täglich ein komplett - Backup meiner RaspberryPi per rync mache.

Ein Backup Ordner hat ca. 4,5GB. Zusätzlich noch eine Log Datei von ca. 15MB.

Wenn ich nun einige der alten Backups löschen will, mache ich das manuell in der File Station: rechte Maustaste / löschen.

Das ganze dauert ewig!

Heute um kurz nach 10h habe ich 6 Backups zur Löschung gegeben - jetzt (13:26h) ist diese Hintergrundaufgabe erst zu 75% erledigt - und die CPU Auslastung hängt seit dem bei 96-99%...

Woran liegt das? Wie kann ich das beschleunigen?

Danke!

 

[Puppetmaster]

Wieviele Dateien beinhaltet denn dieses Backup?

Es ist durchaus möglich, dass, wenn es sich um sehr viele (kleine) Dateien handelt, das Löschen zu einer längerwierigen Angelegenheit wird.

 

[Crady]

Ja, sind schon sehr viele, kleine Dateien... ist halt das komplette SD - Karte der RaspberryPi... inkl. System und Daten - also *.*...

Aber schon heftig, dass es so lange dauert...

Könnte man das löschen ggf. per Aufgabenplaner automatisieren sodass dies regelmäßig geschieht und nur 3 Versionen des Backups erhalten bleiben?

 

[Puppetmaster]

Klar, mit einem kleinen script könnte man das sicher automatisieren.

Zuvor würde ich aber darüber nachdenken, das Backup auf dem Pi zunächst in ein .tar zu komprimieren, dann hast du letztlich nur noch eine eine Datei im Backup.

 

[Crady]

Ok... da hört es bei mir auf...

Es war schon ein richtig großes Problem das Backup von der Raspberry Pi überhaupt ans laufen zu bekommen, da es mit der DSM6 ja gewisse Probleme mit der Sicherheit gibt - bzw. diese verschärft wurde.
Ich musste einen Key der DS216se auslesen und diesen dann der RaspberryPi "bekannt" machen, bevor das Backup überhaupt funktionierte...

Wie kann ich denn so ein Backup in ein .tar verwandeln?

Das ist derzeit der Befehl, der täglich ausgeführt wird:

sudo rsync -avz --delete --exclude-from=/volume1/NetBackup/backups/_scripts/rsync-exclude.txt -e "ssh -p 22" xxxx@192.xxx.xxx.xxx:/ /volume1/NetBackup/backups/$(date +%Y%m%d)rasplive/ >> /volume1/NetBackup/backups/$(date +%Y%m%d)raspi_backup.log 2>&1

Wie könnte so ein Skript aussehen, welches die Backups löscht, die älter als 3 Tage sind?

Danke!

 

[dil88]

Warum löschst Du nicht per RasPi Shell mit dem Kommando rm?

 

[Crady]

Keine Ahnung... was ist das? Wie geht das?

Sorry.. stehe mit Linux / Console / Shell / ssh und wie das noch alles so heißt absolut auf Kriegsfuß und habe da so gut wie gar keinen Plan...

Derzeit wird per Aufgabenplaner auf der DS216se das o.g. Skript ausgeführt.
Damit wird jeden Tag die komplette SD-Karte der Raspi auf die DS216se kopiert - und das jeden Tag in ein neues Verzeichnis.

Wie Puppetmaster schon sagte, sind es leider tausende einzelner Dateien in so einen Ordner, was das löschen zur Qual macht.

Zunächst wäre ich für eine Möglichkeit dankbar, die es mir ermöglicht, den Ordner dann in ein Archiv zu packen. So hätte ich nur eine Datei zu löschen und das ginge schnell.

Der nächste Schritt wäre ein Skript zu schreiben, welches alle Daten in dem Backup-Ordner löscht, die älter als sagen wir mal 3 oder 4 Tage sind.

Mit der Raspi komme ich so gut wie gar nicht zurecht - außer stupide per copy/paste irgendwelche Befehle in die Konsole zu kopieren von denen ich meistens gar keine Ahnung habe, was die bewirken...
So habe ich eben Homebridge und HM-Historian installier bekommen und dies würde ich gerne täglich sichern...

 

[dil88]

rm (remove) nennt sich in einer DOS-Shell del (delete). Das ist der Befehl zum Löschen von Dateien. Bei Deinem Vorgehen entsteht viel Overhead, weil Du einerseits per Netzprotokoll löschst, andererseits dafür dann auch noch ein Java-basiertes graphisches Frontend benutzt (FileStation). Du bist auch per ssh/Shell nicht schneller, als die SD-Karte erlaubt, aber zumindest dieser Overhead fällt weg. Informationen zur Kommandozeile gibts u.a. im Wiki.

 

[Crady]

Was hat das ganze mit der SD-Karte zu tun? Ich lösche ja auf der DS216se...

Ich habe auch schon mal versucht, mit mit dem Mac Finder zu verbinden und damit dann zu löschen - das dauert genau so ewig...

 

[dil88]

Sorry, war auf dem falschen Dampfer. Dann merkst Du, dass die CPU der 216se wirklich schwachbrüstig ist. Dass es vom Mac aus nicht schneller ist, macht Sinn. Vielleicht hilft aber rm auf einem Terminal dennoch ein wenig. Könntest 'mal ausprobieren. Solltest Du Dich doch an ein Shell-Skript heranwagen wollen, was Deine rsync-Zeile um die benötigte Funktionalität erweitert, sag Bescheid. Das sollte per find -mtime kein Problem sein.