Synology Photos Migration Moments zu Photos nach DSM 7 Upgrade nachträglich nochmals manuell anstoßen möglich? (Ordner war beim Upgrade verschlüsselt)

[roterteufel81]

Hallo,

ich habe folgendes "Problem", dass sicherlich schon mal jemand hatte, ich finde aber per Suche hier nicht das Passende.

Da bei mir auf allen DS sämtliche gemeinsamen Ordner verschlüsselt sind - auch homes - und beim Hochfahren der DS auch nicht automatisch gemountet werden, hat DSM nach dem Upgrade von DSM 6.2.4 auf DSM 7 die Fotodatenbank nicht von Moments zu Photos migriert.

Alle Fotos liegen weiterhin unter homes/username/drive/moments und der Ordner homes/username/photos ist leer.

Gibt es eine Möglichkeit diese Migration nachträglich nochmal anzustoßen?

Ich gehe davon aus, wenn ich jetzt alle Dateien von Hand in den neuen Ordner kopiere, dass dann die gesamte Fotodatenbank neu aufgebaut werden und auch alles neu indiziert werden müsste und ich habe keine Ahnung, was dann mit der sicherlich noch auf der DS vorhandenen ehemaligen Moments Datenbank passiert (ob sie z.B. als Relikt quasi als Leiche neben der neuen Photos Datenbank einfach auf der DS rumliegen bleibt). Da wurden ja tausende Thumnails etc. erstellt. Ich habe keine Ahnung, wo diese Datenbank normal liegt.

Oder aber das Photos hat die Moments Datenbank übernommen und sämtliche Thumbnails und Indizes aufgrund fehlender Datenmigration eliminiert.

Bei meiner DS415+ und wenigen tausend Fotos würde ich es noch verschmerzen können, wenn ich wirklich alles von Hand rüber kopieren und die Datenbank neu aufbauen müsste.

Bei meiner DS416Slim, auf der der Aufbau der Moments Datenbank mit rund 35.000 Fotos gute 3 Wochen gedauert hat, wäre das der blanke Horror. Die 416Slim habe ich daher bislang mal lieber noch nicht migriert, da auch da der homes Ordner verschlüsselt ist.

Hat jemand einen Tipp?

Falls der saure Apfel manuelles kopieren nötig ist:

Die Ordnernamen haben sich lediglich von "Mobile" zu "MobileBackup" und von ??? zu "PhotoLibrary" geändert, oder? Das Aufbauprinzip mit den Unterordnern bei der automatischen Sicherung ist das Gleiche?

Danke & VG

 

[Psy87]

Beitrag im Thema 'DSM 7.0 (41890) Final - Erfahrungen, Probleme, Bugs' https://www.synology-forum.de/threa...-erfahrungen-probleme-bugs.115344/post-950558

 

[r00b]

Spannend, dass es hierzu nicht mehr Meldungen gibt. Ich hätte erwartet dass ein Großteil gerade den photos Ordner verschlüsselt. Sind Ansätze bekannt wie man das Problem umgehen kann wenn man noch VOR dem Update steht?

@roterteufel81 Hast du mal beim Support angefragt?

 

[roterteufel81]

Hi. Ja mich wundert es auch. Normal sollten viele das gleiche Problem haben.

Ich verstehe nicht, wie den Synology Entwicklern ein solcher Standardfall, der sicher sehr oft auftritt, bei den Regressions-Tests durch die Lappen gehen konnte.

Wenn man es sauber implementiert hätte, hätte der automatische Migationsprozess vor dem Start prüfen müssen, ob die gängigen Ordner /photos und /homes erreichbar sind, und wenn nicht vorab zu einer Entschlüsselung auffordern, damit danach der Prozess laufen kann.

So fuhr die DS hoch, der Migrationsprozess meckerte nicht, tat ne Minute was und hat dann die DS ohne Meldung fertig hochgefahren.

Mir ist es dann erst aufgefallen, als ich Photos auf dem Laptop, bzw. Photos Mobile auf dem iPhone gestartet habe und alles leer war.

Es sollte als mindesten Workaround möglich sein den Prozess, mit einem Batch oder wie auch immer, noch mal nachträglich anstoßen zu können.

Und ja, ich habe hierzu auch bei Synology sofort ein Support Ticket eröffnet und hoffe das tun noch mehr. Um so eher muss man reagieren. Die automatische Mail mit der Ticketnummer meldete allerdings unmittelbar eine Wartezeit von bis zu 7 Tagen für eine Antwort wegen Überlastung.

Es gibt eine zeitaufwendige Möglichkeit mittels VDSM + Backup vor und zurückspielen nach dem Update, aber das ist für mich zu spät und auch ein No Go. Da steht Einiges im verlinkten Beitrag von Psy87.

 

[servilianus]

Ich denke, dass ich auch Betroffener des Problems bin: Bei mir fehlen in Photos ganz viele Fotos, die unter Moments im Home-Ordner lagen - und der Home-Ordner war/ist verschlüsselt. Vor allem sind in Photos meine ganzen Alben leer. Ich darf nicht daran denken, wenn ich die Alben zu verschiedenen Themengebieten wieder manuell neu befüllen müsste.
Aufgrund des Problems mit dem getrennten/verschlüsselten home-Ornder hatte ich die Indizierung deselben (und anderer verschlüsselter Ordner) neu angestoßen, jedoch indiziert die Maschine nun schon seit fast einer Woche. Da werde ich langsam unruhig...

 

[roterteufel81]

Deine Fotos, bzw. Deine Ordnerstrukturen dürften, wie bei mir auch, noch unter

homes/deinbenutzername/Drive/Moments

liegen.

Hätte die Migration beim ersten Hochfahren nach der DSM 7 Installation geklappt, würden die Fotos, bzw. die Ordnerstruktur nun unter

homes/deinbenutzername/Photos

liegen.

Innerhalb des neuen Hauptordners für Uploads vom Smartphone/Tablet heißt „Mobile nun „MobileBackup“, kann aber geändert werden, dass ist neu.

Der Standard Ordner für PC Uploads heißt nun „PhotoLibrary“

Wo allerdings die Datenbank mit all ihren Thumbnails/Gesichtserkennungen/Virtuellen Alben/Orten/Extra Infos liegt, dass weiß ich nicht.

Ich habe jedenfalls zur Sicherheit bisher nichts angefasst und die Fotos alle im alten Moments Ordner belassen, bis sich der Support hoffentlich bald meldet.

Die Indizierung lief bei mir Gott sei Dank nur einen Tag, die 415+ mit 8GB RAM Modul ist aber auch noch ganz ordentlich flott unterwegs. An die 416Slim will ich lieber nicht denken, da wird es mir jetzt schon schlecht für die Migration. Minimum 10:1 so lange im Vergleich zur 415+ dauert da alles, was mit Indizierung und Fotodatenbank zu tun hat.

 

[servilianus]

Ja, ich fasse zunächst auch nichts an - und bin sehr gespannt auf die Rückmeldung des Supports!

 

[Edda1000]

Ich schließe mich mal an. Habe gestern das Upgrade von DSM 6 auf 7 gemacht. Leider ist der Ordner "Photos" leer und alle Fotos liegen im ursprünglichen Ordner von Moments, also homes/username/drive/moments. Auch bei mir war der alte Ordner beim Upgrade verschlüsselt.

Habe dann auch mal ein Ticket beim Support eingereicht, da ich ungern über 5000 Bilder manuell migrieren möchte. Ich habe es gerade mal mehrmals per "Drag & Drop" probiert. Also Synology Photos im Webbrowser geöffnet und mal den Ordner "Mobile" von Moments per "Drag & Drop" da reingezogen. Waren 599 Bilder. Leider ist der Upload immer an verschiedenen Stellen abgebrochen. Maximal 413 Bilder habe ich damit geschafft. Ist also auch keine Lösung, denn jetzt muss ich schauen, welche da sind und welche nicht. Könnte zwar wieder die "Drag & Drop" Aktion machen, denn dabei werden bereits vorhandene Bilder übersprungen, aber trotzdem hängt die Seite nach unbestimmter Zeit auf.

 

[roterteufel81]

Oha. Also scheint sogar die bitterste Variante, manuell neu aufbauen, nicht zu gehen…

#######

Ein Workaround würde mir übrigens noch einfallen, wenn man noch nicht upgegradet hat:

Vor dem Upgrade auf DSM 7 den /homes und /photos Ordner entschlüsseln und nach dem Upgrade wieder verschlüsseln.

Das kann aber je nach Anzahl der User und Datenmengen in /Homes und /Photos eine ganze Weile Zeit in Anspruch nehmen und löst darüberhinaus noch jeweils 2 komplette Neuindizierungen im File System (1x entschlüsseln vor dem Upgrade und 1x verschlüsseln nach dem Upgrade) und einen kompletten Neuaufbau des Caches in der Smartphone App aus.

Auf der 415+ mit 5K Fotos ging das noch, aber auf der 416Slim dauerte das schon unter 6.2.4 bei der Ersteinrichtung + ersten Verschlüsselung mit 35k Fotos + gerade mal 11.000 Drive Dateien mehrere Tage fürs kopieren + Neuindizieren + in meinem Fall ein 24 Stunden kochend heißes iPhone am Ladekabel mit zwangsweise dauerhaft angeschaltetem Display und Moments App im Vordergrund offenda die App ja im Hintergrund sonst die Arbeit nach wenigen Sekunden einstellt.

 

[roterteufel81]

Die erste Antwort des Supports war leider nicht sehr hilfreich und ich habe das Gefühl, die haben das Grundproblem noch gar nicht verstanden:

"Bitte überprüfen Sie, ob Sie das Verschieben der Dateien und neu Indizieren mit dem Update auf die neue Version von Synology Photos umgehen können.

Dazu lasse ich Ihnen einen Link zukommen -->

Version: 1.0.0-0186

https://www.synology.com/de-de/support/download/DS415+#packages

Sollte dies nicht weiterhelfen, so müssen die Dateien/ Ordner in der Tat händisch verschoben und anschließend neu indiziert werden."

Keinerlei Hinweis, ob danach z.B. die ganzen zugewiesenen Gesichtserkennungen, oder händisch angelegten virtuellen Alben verloren gehen.

Ein einfaches drüber kopieren der selben Versions-App, die eh schon bei der Migration drauf war, bringt natürlich auch nichts.

Daher habe ich dem Support nochmal ausführlich geantwortet:

"Die Version auf der Diskstation entsprach nach dem Upgrade von DSM 6.2.4 auf DSM 7.0 schon der Version aus dem Download Zentrum. Ein nochmaliges manuelles darüber installieren hat nichts gebracht.

Ein manuelles Kopieren mit anschließender Neuindexierung möchte ich in jedem Fall vermeiden, es ist keine Option. Insbesondere bei schwachbrüstigen Diskstations wie der DS416Slim mit mehreren 10.000 Fotos nicht, die ich noch zur Migration vor mir habe.

Noch wichtiger wäre allerdings die Antwort auf diese Frage: Gehen bei einem manuellen Kopieren und neu indexieren nicht alle Daten (Thumbnails/zugeordnete Gesichtserkennungen/manuell angelegt virtuelle Alben/Orte/Extra Infos) aus der ursprünglichen Moments Datenbank verloren? Auch dies wäre ein No Go.

Ich möchte noch einmal auf das Ursprungs-Problem hinweisen:

Ist der Ordner /homes VOR der Migration von DSM 6.2.4 auf DSM 7.0 verschlüsselt, so findet beim ersten Hochfahren der Diskstation NACH dem Upgrade von DSM keine Migration von Moments nach Photos statt, da der gemeinsame Ordner /homes vor dem von Synology einprogrammierten automatischen Migrationsprozess noch nicht entschlüsselt wurde.

Hier liegt meiner Meinung nach ein erhebliches Gap vor, da dieses Problem viele User haben werden.

Der Migrations-Prozess müsste an dieser Stelle vor der Migration der Daten, wenn er sie nicht finden kann, eine Vorab-Entschlüsselung fordern.

Oder aber es müsste vor dem Upgrade auf DSM 7.0 vom Upgrade gefordert werden, den /homes Ordner zu entschlüsseln.

Der derzeitige Migrations Prozess ist so definitiv nicht lauffähig für eine Migration von DSM 6.2.4 auf DSM 7.0 bei verschlüsselten Ordnern.

Weitere Frage: Gibt es den Batchjob, der die Migration von Moments auf Photos beim ersten Booten der Diskstation nach dem Upgrade auf DSM 7.0 erledigen sollte, nicht noch einmal händisch zum ausführen (z.B. via Konsole)? Wenn ja, wie lauten die Konsolenbefehle und in welcher Reihenfolge?"

 

[Psy87]

Ich hatte vor einigen Jahren schon mal ein Thema mit den verschlüsselten "homes" und hab den Support angeschrieben.
Kann mich noch an die Antwort erinnern, dass es nicht vorgesehen sei, dass man "homes" verschlüsselt... Kontext weiß ich aber nicht mehr.

Daher würde sich sagen, die ignorieren dieses "Problem" einfach.

Hatte hier auch den Support angefragt, die haben auch innerhalb 24h jedes mal geantwortet. Aber habe mir selbst geholfen daher konnte ich nicht weiter verfolgen wie hier die Lösung von Syno ausgesehen hätte.

Muss ja irgendeine Befehlsabfolge geben für die Migration... Tools sind vorhanden unter:

/var/packages/SynologyPhotos/target/usr/bin

UPDATE:
Synology weiß wohl wie: siehe letzter Beitrag:
https://community.synology.com/enu/forum/7/post/144666

 

[roterteufel81]

Ja. Das habe ich auch gelesen.

Der —full hat bei mir nämlich auch genau nichts getan. Auch nicht als Root ausgeführt.

Genau diese Befehlsabfolge hätte ich gerne.

 

[r00b]

Habe nun auch Feedback von Synology erhalten und sie empfehlen, wenn man noch vor dem Update ist, die Verschlüsselung zu deaktivieren. Also genau wie du das vorschlägst.

Wenn man das nicht tut, tritt wohl folgendes ein:
Die Alternative würde im Anschluss einen Fernzugriff und eine Eskallation beinhalten um das ganze zu beheben.

 

[servilianus]

Hab gerade ein Ticket bei Synology eröffnet, die sollen das reparieren. Ich meine, gerade der home-Ordner ist doch vermutlich von allen Ordnern derjenige, der von Nutzern am ehesten verschlüsselt wird - weil/wenn da sämtliche persönlichen Daten drinliegen...

 

[roterteufel81]

Das ist echt eine üble Sache.

Allein das Entschlüsseln verursacht eine komplette Neuindexierung inkl. einem kompletten Neuaufbau des lokalen Caches auf allen Endgeräten, die die Moments Datenbank nutzen. In Zahlen bedeutete das bei einer meiner DS (416Slim) bei 35K Fotos mehrere Tage lahmgelegte DS + danach zwei rund 24 Stunden kochend heiße iOS Geräte am Ladekabel mit dauerhaftem Display On & App im Vordergrund.

Einen unbeaufsichtigten Fernzugriff werde ich niemals erlauben. Es gibt gute Gründe, warum der Home Ordner verschlüsselt ist.

Warum können die nicht einfach den Batchbefehl rausrücken? Mehr wird es ja nicht sein.

Da kriege ich echt Plaque. Wie kann man sowas nur so schlecht umsetzen? Ich kann da nur den Kopf schütteln...

 

[roterteufel81]

Ich habe heute nochmal Antwort bekommen:

"...bezüglich des Migrationsprozesses und der Aufforderung, dass Ordner erst einmal entschlüsselt werden müssen,
gebe ich Ihnen natürlich vollkommen recht.

Dies ist unserer Entwicklung mittlerweile auch bekannt.

Was eine Indizierung angeht, so müsste diese leider doch manuell angestoßen werden. Anders ist dies so nicht möglich.

Es sollten hier die Gesichtserkennungsdaten nicht verschwinden. Bezüglich der anderen Daten, kann ich Ihnen dies nicht versprechen.

Zu Ihrer letzten Frage, diesen Batchjob gibt es von unserer Seite aus nicht. Auch supporten wir dies hier aus dem Technischen Support nicht, geschweige dass ich diesen rausgeben dürfte.

Hier könnten Sie aber einmal im Synology Forum schauen, ob sich wer schon mit Ihrem Anliegen befasst hat.

Bei solch Änderungen über die Command Line muss ich noch erwähnen entfällt so der weitere Support und die NAS/ DSM muss neu installiert werden."

Was ich nun auf meiner DS415+ einfach mal gemacht habe ist, die vorhandenen Fotos von /Drive/Moments nach /Photos verschoben.

Das dauerte nur wenige Sekunden.

Auf der DS war danach kein Indexierungsprozess der Dateiindexierung oder von Photos in der Infobar auf der Weboberfläche sichtbar ("Blatt Symbol mit Lupe" oder "Kreis mit Punkten"). Ob im Hintergrund was derartiges gelaufen ist, hatte ich nicht auf dem Ressourcen Manager kontrolliert.

Das Caching auf meinem iPhone ging sehr schnell, als wären da schon Thumnails auf der DS in der Datenbank vorhanden. Ich kenne das noch vom damaligen ersten Erstellen, da poppten neue Fotos immer nur sekundenweise auf, wenn man eine größere Menge neue Fotos zu Moments hinzugefügt hat. Rund 5000 Fotos waren in 10 Minuten neu gecached.

Das iPhone (in meinem Fall ein Xr) wird, analog zu Moments, sehr heiß, wenn Photos die gecachten Fotos läd, bzw. was indexiert.

Manko: Anfänglich waren eine ganze Menge Fotos nicht in der richtigen Reihenfolge. Das hat sich nach und nach zurechtgerüttelt. Einige Fotos passen aber bisher weiterhin nicht mehr in die Reihenfolge des Datums rein. Mir scheint, als wäre da nach einem Abgleich der Daten im Windows Explorer bei betreffenden Fotos das Änderungsdatum der Datei statt dem ursprünglichen Aufnahmedatum des Fotos genommen worden. Das galt auch für die zunächst falsch eingereihte Fotos, die sich schon von selbst zurechtgerüttelt haben.

Manko 2: "Personen" ist leer. Auf der DS läuft derzeit im Ressourcen Manager der Prozess "synofoto-face-extraction" und nimmt sich dauerhaft 50% der CPU. Mal gespannt, was passiert, wenn der durch ist, ob die Personengruppierung danach wieder so ist wie vor der Migration, oder ob alles wieder neu zugeordnet werden muss.

Ich bleibe dran...

 

[r00b]

Ich habe nun testweise innerhalb von VirtualDSM (allerdings schon auf DSM7) einen verschlüsselten Bilderordner entschlüsselt und glücklicherweise scheint das keine Neuindizierung (innerhalb von Photos) zur Folge zu haben. Alles zuvor gruppierten Personen sind weiterhin gruppiert, auch die Bilder werden als "die alten" erkannt.
Scheint also für alle die noch vor dem Update stehen die beste Möglichkeit zu sein mit entschlüsseln - updaten - verschlüsseln. Man muss allerdings für die Entschlüsselung noch genügend Speicher zur Verfügung haben.
(Voraussetzung ist das sich DSM6 mit Moments hier genauso verhält wie DSM7 mit Photos)

 

[roterteufel81]

Ergänzung:

Die Personenzuordnung ist beim nachträglichen händischen Kopieren defintiv weg. Ich muss alle erkannten Gesichter neu Gruppieren.

Die betroffenen Fotos, bei denen die Einsortierung fehlerhaft war, sind alles PNGs.

Bei PNGs (z.B. Screenshots auf einem iPhone) gibt es kein "Aufnahmedatum", sondern nur ein "Erstellungsdatum" in den EXIF Daten. Findet Photos kein "Aufnahmedatum", so nimmt er für die Sortierreihenfolge als nächstes anscheinend das Dateiänderungsdatum.

Und das Dateiänderungsdatum wird entweder von der Filestation beim Verschieben, oder aber von Photos beim ersten Abruf manipuliert, oder wurde damals beim ersten Einrichten von Moments verändert. Alle betroffenen Fotos hatten das Dateiänderungsdatum 18.05.2021 oder 19.05.2021 (das könnten die beiden Tage sein, an denen ich damals Moments zum ersten mal unter 6.2.4 auf dieser DS eingerichtet hatte). Siehe Anhang.

Allerdings: Nicht bei allen PNGs passierte das. Ich konnte kein System erkennen, bei welchen PNGs es passiert und bei welchen nicht.

Zum Glück für mich habe ich in /Photos nur eine Kopie einer Auwahl an Foto-Ordnern aus meinem kompletten Fotoarchiv, dass in einem anderen Ordner auf der Diskstation liegt. Ein Überschreiben der betroffenen PNG-Dateien in /Photos mit den "Originalen" aus meinem Archiv brachte Photos dazu die betroffenen Fotos dann richtig einzusortieren. Trotzdem nervig.

Ich werde den potenziellen Bug mal melden.

 

[servilianus]

Hallo, ich habe jetzt eine Rückantwort des Supports bekommen. Ich dachte, dass die sich auf die Synology aufschalten, ein Batch durchlaufen lassen, und die Sache beheben (bei mir war ja auch der home-Ordner verschlüsselt, alle Moments-Alben fehlen in Photos, sowie viele Fotos dort auch. Außerdem läuft die Indizierung nun schon seit 10 Tagen ununterbrochen). Aus der Antwort werde ich nicht recht schlau:

Sehr geehrter Kunde,

vielen Dank, dass Sie den Technischen Support von Synology kontaktieren.


Das stimmt, verschlüsselte Ordner können nicht mit übernommen werden.
Diese müssen erst entschlüsselt werden.

Wenn dieser nicht mehr verschlüsselt ist, müssen Sie die Indizierung unter Synology Photos einmal erneut manuell anstoßen.

Sollte dies nicht funktionieren, so de und installieren Sie Synology Photos einmal neu, gegebenenfalls stoßen Sie die Indizierung
bitte auch da anschließend einmal neu an.


Was die Länge/ Zeit der Indizierung angeht, so kann diese doch recht lange dauern.
Kommt hier auf die Menge und Größe der ganzen Bild/ Videodateien an.

-----

Was heisst das jetzt für mich? Den Ordner home Photos de-installieren, home-Ordner entschlüsseln, Photos neu installieren, home-ordner neu indizieren lassen, oder was? Und dann habe ich wieder alles so wie unter Moments?

 

[roterteufel81]

@servilianus, siehe meine Analysen in #16 und #18 und beachte alle meine Erkenntnisse und Einschränkungen (insbesondere zur Personengruppierung).

Folgende Verschiebungsweise:

• Ordner die in /home/Drive/Moments angelegt wurden nach /home/Photos (z.B. /Moments/Urlaub1 nach /Photos/Urlaub1
• Ordner, die in home/Drive/Moments/Mobile (da liegen alle aus der automatischen iOS/Android Fotosicherung, falls eingerichtet) liegen nach /home/Photos/MobileBackup
• Fotos, die vom PC/Laptop in /home/Drive/Moments lagen (kenne den genauen Ursprungsordner nicht, da ich es nie genutzt habe) nach /home/Photos/PhotoLibrary
• Wo geteilte Alben/Fotos rumlagen und hin müssen weiß ich nicht, da ich das nie genutzt habe.

Ob auch die Orte/virtuellen Alben verloren gehen kann ich leider nicht sagen, da ich keine angelegt hatte. Aber die Chancen dürften nicht schlecht liegen, wenn die Personengruppierung verloren ging.