Tägliches Backup auf Google Cloud Storage

Phobos76

Benutzer
Mitglied seit
13. Apr 2020
Beiträge
3
Punkte für Reaktionen
0
Punkte
1
Hallo,

ich habe versucht, Teile meiner DS918+ mittels Cloud Sync in einem Google Cloud Storage Bucket zu sichern. Ziel war eine tägliche Sicherung aller wichtiger Daten in nur einer Richtung (vom NAS zu Google). Das ganze wollte ich als Notfallsicherung. Änderungen würden nie direkt im Bucket, sondern nur lokal auf dem NAS erfolgen. Auf meinem NAS habe ich relativ wenige Änderungen (einige Dokumente pro Tag, hin und wieder ein paar neue Fotos), zur Zeit ca. 1,3 TB an Daten.

Warum Google Cloud Storage? Google Cloud Storage ist sehr günstig. Die billigste Region für Datenspeicherung im Modus Archive ist in Belgien, wo 1 TB Platz schlappe 1,09 Euro pro Monat kosten. Abgerechnet wird täglich, und nur der tatsächlich verwendete Platz wird in Rechnung gestellt.

Leider funktionierte das nicht wie erwartet. Die Synchronisierung funktioniert problemlos, und der Speicher selbst kostet tatsächlich nur 1,09 Euro pro TB pro Monat. Allerdings kosten Zugriffe auf den Google Speicher (inklusive Auflisting des Inhalts), sogenannte Class A und Class B operations, bereits mehrere Euro pro Tag. Der Grund ist, dass Cloud Sync anscheinend jedes Mal den Inhalt des Buckets komplett auflistet und per Zeitstempel und Dateigröße mit den lokalen Dateien vergleicht, und dann die geänderten Dateien hochlädt. Man kann natürlich einen anderen Storage-Modus (nearline, coldline o.ä.) auf der Google-Seite wählen, dann sind allerdings die Storage-Kosten deutlich höher, die Class A/B operations aber billiger. Wer sich das mal anschauen will: Hier ist ein Kostenrechner: https://cloud.google.com/products/calculator - einfach auf "Cloud Storage" klicken und die Zahlen eingeben.

Eigentlich würde es reichen, wenn sich Cloud Sync den Zustand aller Dateien, wie er auf dem Google Cloud Storage sein müsste, in einer Datei lokal auf dem NAS merkt, sodass auf den Google Storage Bucket nur zugegriffen wird, um geänderte Dateien hochzuladen, aber nicht um jedesmal den gesamten Inhalt aufzulisten. Es klingt irgendwie absurd, dass der eigentliche Speicher viel billiger pro Monat ist, als den Sync-Status zu ermitteln.

Bei Cloud Sync habe ich als Polling Period 86400 Sekunden eingestellt, sowie als Sync Direction "Upload local changes" eingestellt und "Enable advanced consistency check" ausgeschaltet.

Mache ich etwas falsch? Ist es normal, dass Cloud Sync bei jedem Lauf erstmal den kompletten Bucket auflistet, um den Sync-Zustand zu ermitteln? Kann man das umgehen? Gibt es ein anderes Synology-Package, mit dem ein Backup auf Google Cloud Storage besser (d.h. kostengünstiger) funktioniert?

Bin um jeden Hinweis dankbar! :)
 

Phobos76

Benutzer
Mitglied seit
13. Apr 2020
Beiträge
3
Punkte für Reaktionen
0
Punkte
1
Ich benutze mittlerweile ein Perl-Skript, dass ich regelmäßig direkt auf dem NAS ausführe. Das Skript ermittelt die Deltas zwischen dem, was bereits gesynct wurde und den Daten auf dem NAS und kopiert die Deltas per gsutil rüber. Dabei behält das Skript den Status sämtlicher Files auf dem Bucket lokal, d.h. es findet nie ein Scannen des Google Storage Buckets statt. Natürlich darf der Bucket dann nicht von Hand geändert werden, aber das ist ja kein Problem. Das Synchronisieren der Deltas meiner ca. 600 GB zu syncenden Daten geht damit ruckzuck.
 

stephie

Benutzer
Mitglied seit
01. Jan 2020
Beiträge
1
Punkte für Reaktionen
0
Punkte
1
Hast du zufällig ne Anleitung wie du das gemacht hast oder dein Script?
Wäre mega :)
 


 

Kaffeautomat

Wenn du das Forum hilfreich findest oder uns unterstützen möchtest, dann gib uns doch einfach einen Kaffee aus.

Als Dankeschön schalten wir deinen Account werbefrei.

:coffee:

Hier gehts zum Kaffeeautomat