DS218: Nachträgliche Verschlüsselung gem. Ordner / gleichzeitig Team-Ordner für Drive: Doppelte Daten?!

[mbe886]

Hallo liebes Forum,

ich habe über die Suche nichts passendes für mein konkretes Problem gefunden.

Ich habe mir vor ein paar Wochen meine erste NAS (DS218) gekauft. Verbaut sind 2 x 4 TB WD Red. Es gibt einen Speicherpool (Raid 0) und ein Btrfs-Volume. Auf dem Volume sind mehrere gemeinsame Ordner, einer heißt schlicht "Backup". Diesen habe ich als Team-Ordner in Synology Drive aktiviert und darin ca. 2,3 TB Daten von zwei PCs per Drive Client (Datensicherung, nicht Synchronisation) hochgeladen.

Nun habe ich, leider nachträglich, die meisten gemeinsamen Ordner verschlüsselt. Als letztes habe ich den Ordner Backup verschlüsselt. Dabei wird dieser offenbar in einen neuen verschlüsselten Ordner kopiert und der alte Ordner anschließend gelöscht. Das hat auch gut funktioniert. Dann habe ich festgestellt, dass die beiden Drive Clients keinen Zugriff mehr haben (Fehler war sinngemäß, dass der Team-Ordner nicht mehr existiert). Ich habe dann bemerkt, dass der (neue) gemeinsame Ordner Backup in Drive nicht mehr als Team-Ordner aktiviert war. Ich habe ihn also wieder aktiviert. Danach musste ich noch die Verbindung in den Drive Clients trennen und neu einrichten (Datensicherungsziel ist derselbe Ordner im Backup wie vorher auch). Dann fing der Drive Client direkt an, alle Files neu an die NAS zu übertragen. Ich habe den Sync erstmal pausiert. Ich habe festgestellt, dass diese erneute Übertragung passiert, weil parallel der Drive Server bzw. Admin offenbar die alten Dateien im Backup-Ordner "gefunden" hat und, wie im Protokoll zu sehen, eine nach der anderen hinzugefügt hat. Nachdem alle Dateien hinzugefügt waren ist die Situation nun so, dass meine NAS zu 70% voll ist im Vergleich zu vorher 35%. Der gemeinsame Ordner Backup hat aber nur die angesprochenen 2,3 TB. Wenn ich in der Drive Admin-Konsole den Speicher der Datenbank berechnen lasse, steht dort 2,6 TB.

Nun endlich zu meiner Frage:

• Beziehen sich diese 2,6 TB nur auf die Datenbank, oder auf den Team-Ordner? Ich habe gelesen, dass von der Originaldatei eine Kopie angelegt wird (ich arbeite mit Versionierung und der Standardeinstellung von 32 Versionen), sodass der verwendete Platz mal 2 gerechnet werden kann. Nur: Warum war dies vorher nicht so, bevor ich mit dem ganzen Verschlüsseln angefangen habe?!
• Sofern die obige Aussage mit dem doppelten Speicherplatz aufgrund der Versionierung nicht zutrifft: Liegen meine Daten jetzt ggf. doppelt vor, weil Drive sie nun blöderweise doch irgendwie kopiert hat? Das Hinzufügen der Dateien zu Drive, nachdem ich den Team-Ordner wieder aktiviert hatte, hat auch ca. 18 Stunden gedauert - da scheint also doch auch einiges an Daten bewegt worden zu sein.

Ich weiß, lange Geschichte, sorry. Aber das Kopieren der 2,3 TB, das nachträgliche Verschlüsseln und das erneute Hinzufügen zu Drive durch Auswahl des Team-Ordners hat in Summe einige Tage gedauert und ich habe keine Lust, jetzt alles zu löschen und von vorne zu beginnen.

Vielen Dank im Voraus und viele Grüße
Markus

 

[Fusion]

Ist nicht ganz leicht im Detail nachzuvollziehen was jetzt genau wo gelaufen ist und wer was "gefunden" hat etc.

Wenn auf den Clients aktuell alles ok ist und auch die Daten auf dem Server so wie sie sein sollen wäre der schnellste Weg auf die bisherigen Versionen zu pfeifen. Sprich für den Ordner die Versionierung vorübergehend zu deaktivieren. Dann die Datenbank bereinigen lassen und 1-2 Tage warten. Hat sich der Platzverbrauch dann normalisiert (sprich alle unnötigen/veralteten Versionen aus der Datenbank entfernt) kannst du die Versionierung wieder aktivieren.

 

[mbe886]

Vielen Dank für die schnelle Antwort!

Ja, die zeitliche Abfolge ist nicht leicht nachzuvollziehen. Ich wollte keinen noch längeren Roman schreiben, daher ist es auch möglichst kurz.

Okay, werde dann die Versionierung erstmal deaktivieren. Aber was meinst Du mit Datenbank bereinigen lassen? Kann/muss ich das anstoßen, oder passiert das von selbst?

Edit: Mir fällt noch ein: Beim Verschlüsseln des Ordners kam glaube ich der Hinweis, dass damit alle Versionen etc. verloren gehen. Und bei den Dateien, die ich mir stichprobenartig angeschaut habe, gibt es auch nur eine einzige Version. Naja, ich werde es trotzdem mal versuchen.

 

[Fusion]

Irgendetwas sorgt ja gerade dafür, dass du zu den 2.3TB Daten noch eine Datenbank von 2.6TB hast.

Menü > Synology Drive Admin-Konsole > Einstellungen > Sonstiges
Da lassen sich aber glaube nur die Papierkörbe bereinigen, die Datenbank sollte sich selber bereinigen.
Das kann wie gesagt ne Weile dauern.

Wenn "alte Zöpfe" bei dem Umzug in den verschlüsselten Ordner abgeschnitten wurden und "verwaiste" Versionen existieren jetzt, dann sollte sich die Belegung ja von alleine normalisieren.

Der Satz "Versionierung == Platz * 2" bezieht sich meist auf ext4, da belegt die erste Version tatsächlich relativ viel Platz. btrfs sollte da deutlich sparsamer ausfallen.

Sollte das nach ein paar Tagen nicht fruchten bliebe dann noch die Ultima Ratio und die Deinstallation von Drive samt Löschung der Datenbank und anschließender Neuinstallation und Wiederaufbau mit Neuverbindung der Clients. Da sollten bei richtigen Einstellungen kaum noch Daten transferiert werden, aber abgeglichen werden muss dann wieder alles.

 

[mbe886]

Ich habe die Versionierung jetzt deaktiviert und warte mal ab.

Trotzdem noch kurz zwei Fragen:

• Kann man die Datenbank mit irgendeinem Tool einsehen?
• Falls die Dateien doch irgendwie aus Versehen doppelt vorhanden sind, ggf. außerhalb der Datenbank: Gibt es ein Tool, um Daten anzuzeigen, die in der File Station so nicht sichtbar sind, weil sie irgendwie falsch kopiert bzw. nicht gelöscht wurden?

Danke und Gruß
Markus

 

[Fusion]

Kann ich dir ehrlich gesagt aus dem Stand nicht verraten. Übliche Verdächtige wären postgresql oder sqlite.
Gehe aber davon aus, dass die Größenangabe der Datenbank sich entweder auf die Summe aus Datenbank und Hard/Ref-Links im Dateisystem oder nur letzteres bezieht.

Auch zu zweitem keine direkte Lösung. Am ehesten vielleicht noch auf der Konsole mit ext4/btrfs-progs.

Der Komfort macht träge sich mit dem Unterbau zu beschäftigen.

 

[mbe886]

Danke noch mal für Deine Antwort. Dies ganze Geschichte läuft aber maximal enttäuschend, da hätte ich irgendwie mehr erwartet. Der Client überträgt jetzt alle Dateien noch einmal, die ganzen 2,3 TB. Die Admin-Konsole zeigt das aber nicht im Protokoll an (der Client schon) - vermutlich, da die Daten ja mittlerweile bereits mindestens zweimal vorhanden sein sollten.

Das Kopieren der vorhandenen Daten beim Verschlüsseln und anschließend das erneute Hinzufügen in die DB haben jetzt bereits schon ewig gedauert, und jetzt wird alles noch ein drittes Mal vom Client übertragen. Da hätte ich mir wirklich etwas Schlaueres gewünscht oder einfach den Hinweis beim ursprünglichen, nachträglichen Verschlüsseln des Ordners, dass man es doch besser sein lassen und alles direkt neu machen kann.

 

[Fusion]

Sicher, dass er sie überträgt und nicht nur neu abgleicht?
Bzw. was hast du jetzt überhaupt gemacht, außer die Versionierung zu deaktivieren?

 

[mbe886]

Hier noch mal kurz meine Schritte:

• Ursprünglich gemeinsamen Ordner "Backup" angelegt und in Drive als Team-Ordner aktiviert
• Zwei Clients verbunden und ca. 2,4 TB Daten per Drive Backup-Funktion dorthin geschaufelt
• Gemeinsamer Ordner Backup nachträglich verschlüsselt - dabei erschien schon ein Hinweis, dass Versionen verloren gehen (war glaube ich auf Drive bezogen)
• Verschlüsselung wurde durchgeführt, wobei wohl standardmäßig eine verschlüsselte Kopie des Ordners angelegt wird und die Inhalte des unverschlüsselten Ordners dort hineinkopiert und anschließend im bisherigen Ordner gelöscht werden - hat schon zusammen ca. 24 h gedauert
• Festgestellt, dass in Drive der Ordner Backup danach nicht mehr als Team-Ordner aktiviert war, anschließend dann von mir aktiviert
• Drive-Admin hat alle Dateien neu hinzugefügt, konnte man im Protokoll sehen (also auf der DS, ohne Beteiligung der Clients) - hat auch wieder knapp einen Tag gedauert
• Festgestellt, dass die Clients den Server nicht mehr erreichen können wegen fehlendem Team-Order (bis hierhin haben die Clients also eben gar nichts mehr übertragen)
• Verbindung im Client getrennt und neu angelegt mit bisheriger Zielverzeichnis-Struktur
• Jetzt werden alle Daten der Clients erneut übertragen (Protokoll der Clients), was nicht aber nicht im Protokoll der Admin-Konsole auftaucht - da die Clients aber aber Stunden und Tage brauchen scheint dort wirklich eine echte Übertragung stattzufinden (wenn ich die Übertragung pausiere sinken alle Anzeigen im Ressourcen-Monitor der DS auf Null, vorher CPU-Aktivität, Aktivität auf dem Volume und im Netzwerk)

Ich habe gestern die Versionierung deaktiviert und gaaaanz langsam sinkt der Speicherplatzverbrauch. Wenn das in dem Tempo weitergeht wird das aber noch Tage und Wochen dauern, bis die DB geleert ist.

Habe in der Konsole mal die Größen ausgelesen:

93G /volume1/@xxx@
2.4T /volume1/@backup@
134G /volume1/@xxx@
7.2G /volume1/@xxx@
12K /volume1/@S2S
112G /volume1/@xxx@
9.0M /volume1/@SynoFinder-log
8.0K /volume1/@SynologyApplicationService
204K /volume1/@SynologyDriveShareSync
112K /volume1/@USBCopy
252M /volume1/@appstore
66M /volume1/@database
5.0M /volume1/@eaDir
12G /volume1/@img_bkp_cache
0 /volume1/@sharesnap
2.0T /volume1/@synologydrive
956K /volume1/@syslog-ng.core.gz
4.0K /volume1/@tmp
2.4T /volume1/Backup
93G /volume1/xxx
134G /volume1/xxx
7.2G /volume1/xxx
112G /volume1/xxx

Die DB war also wohl mal auch 2,4 TB groß und hast sich schon langsam reduziert. Aber das jetzt die Clients alle Daten komplett neu übertragen, obwohl diese ja nun schon mehrfach vorhanden sind, nervt halt. Der Speicherbedarf wächst ja auch nicht. Ich weiß also nicht, was die DSüberhaupt mit den Daten macht?! Direkt wieder entsorgen oder was ...

Wenn durch das Verschlüsseln die Versionen oder ganz allgemein "der Bezug" zu Drive verloren geht okay, aber ich würde mir wünschen, das nach erneutem Herstellen der Verbindung das System so schlau ist und merkt, dass die Daten schon da sind, und sie dann nicht einmal komplett doppelt, indem es sie in die DB schreibt und danach dann noch die Clients auffordert, alles auch noch mal zu übertragen ...

 

[Fusion]

Wechsel zu verschlüsselten Ordnern geht nur via Kopie, korrekt. Deshalb kann man auch nur wechseln wenn mindestens 50% freier Speicher vorhanden ist.

Der verschlüsselte Ordner ist @backup@, der eingehängte dann 'Backup'. Der sollte verschwinden wenn du ihn aushängst.
Technisch ist das ein anderer Ordner weshalb der Drive Server daraufhin den Ordner neu geprüft (Abgleich Daten mit dem Inhalt der DB, ohne Clients) hat, das dauert halt einfach weil der Server hier auf der sicheren Seite sein will und nicht nur schaut 'ah, Namen gleich wird schon passen' sondern den Inhalt prüft. Auch wenn das nicht das ist was du gerne hättest im Zuge des Zeitverbrauchs.
Später kam das ganze beim Neu Verbinden dann für die Clients. Auch das dauert und involviert zusätzlich den Server, der die Prufsümmen für seine Seite liefert. Der Client trägt trotzdem die Hauptlast. Und da auch hier aller Wahrscheinlichkeit nach keine Daten geflossen sind eben nur im Client log sichtbar.

Für die Datenkonsistenz ist es schon gut, dass genau geschaut wird. Ja, da gäbe es Optimierungspotential wie man trotz genauen Prüfens schneller fertig sein könnte. Hier hat sich Synology vermutlich eben für einen Kompromiss entschieden, dass nicht andere Leute sich wieder beschweren 'Sync läuft und meine DS ist zu sonst nichts mehr zu gebrauchen/ansprechbar'.

Und, dass es Tage dauert hatte ich ja schon vorgewarnt. Aktuell dann eventuell noch gebremst durch die ganze 'Neu-Indizierung/Datenprüfung' auf server und clients.

Wünsche ausreichend Geduld und Nerven und dass es sich in der kommenden Woche normalisiert und 'erledigt' hat.

 

[mbe886]

Hallo Fusion,

ich wollte mich für die nette Hilfe bedanken und eine kurze Rückmeldung geben: Die Drive-DB ist jetzt wieder auf 4,8 GB zusammengeschrumpft. Seit gestern Abend sind dann auch endlich die 2,3 TB des Clients mit dem Server abgeglichen.

Ich werde heute die Versionierung in Drive wieder aktivieren und hoffen, dass dann nicht - warum auch immer - die DB direkt wieder stark anwächst.

Viele Grüße
Markus

 

[Fusion]

OK, danke für die Rückmeldung. Freut mich, dass du es ausgehalten hast.
Kannst ja noch ein Feature request bei Synology ein kippen, ob sie nicht ähnlich wie bei raid-resync eine Option einbauen könnten, dass man auswählen kann, ob man eher länger wartet oder mehr Ressourcen darauf verwenden will und schneller fertig ist.