Paperless NGX: Fehler beim Update

[juelich]

Hallo,

man soll ja nur Dinge tun, von denen man Ahnung hat. Ich habe einen großen Fehler gemacht. Ich verwende schon seit vielen Jahren eine Paperless NGX-Installation auf meine Synology. Diese ist über Portainer installiert, welches über Docker läuft.
Alles lief auch sehr stabil. Ich habe bei Paperless NGX alle Updates gemacht - über Portainer.
Vorgestern habe ich mich allerdings mal wieder in die Dockeroberfläche eingewählt, dort wurden mir für etliche Conatainer, dass es für diese Updates geben würde - und ich habe hier auf Update geklickt. Das war wahrscheinlich der Fehler (da ich ja sonst mit Portainer arbeite).
Seidem läuft Paperless nicht mehr. Im Log sieht man, dass REDIS nicht mehr vernünftig funktioniert:
"
Error: Error -2 connecting to redis:6379. Name or service not known..
Waiting 5s
Failed to connect to redis using environment variable PAPERLESS_REDIS."

Im Redis-Log sehe ich eigentlich nur zwei Fehlermeldungen:
"WARNING: The TCP backlog setting of 511 cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower value of 128."
"WARNING Memory overcommit must be enabled! Without it, a background save or replication may fail under low memory condition. Being disabled, it can also cause failures without low memory condition, see https://github.com/jemalloc/jemalloc/issues/1328. To fix this issue add 'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command 'sysctl vm.overcommit_memory=1' for this to take effect."

Kann jemand etwas damit anfangen und vor allem - bekomme ich meine Installation irgendwie gerettet?


Vielen Dank und viele Grüße


Markus

 

[mickkae]

Hi Markus,
grundsätzlich sagt die reine Lehre, dass bei Docker die Anwendung von den Daten getrennt ist. Damit kannst Du den paperless stack oder - falls Du keinen Stack verwendet hast - die einzelnen Container löschen und neu deployen. In Deinem Fall scheint der redis container das Problem zu sein. Vielleicht fängst Du damit an, redis zu re-deployen. Also erst löschen und dann neu deployen.
Alles auf eigene Gefahr und nach einem Backup aller Daten. Beschreibungen, wie man einen Backup macht, findest Du bei youtube.
Alles Gute
Mick

 

[juelich]

Hallo Mick,

wharscheinlich war Redis wirklich das Problem. Da ich aber leider kurzfristig keine Lösung gefunden habe, habe ich leider alles neu aufgesetzt. Mein Backup hatte leider auch nicht funktioniert (wahrscheinlich hatte ich auf eine neue Datenbankversion geupdatet und diese konnte die alten Daten nicht lesen).
Zum Glück waren die Original-PDFs ja vorhanden, so dass ich diese leider jetzt neu taggen muss, was bei über 700 Dokumenten auch viel Arbeit ist, aber zumindest ist nichts verloren.

Vielen Dank und viele Grüße

Markus

 

[alexhell]

Doch der Satz stimmt genau so. Wenn man die Daten nicht richtig mappt, dann ist man selber Schuld und hat es einfach falsch benutzt. Aber die Trennung zwischen der Anwendung und den Daten ist da. Es ist also kein esoterischer Satz, sondern die Lehre wie man Docker nutzen sollte.

 

[mickkae]

Hallo Mick,

wharscheinlich war Redis wirklich das Problem. Da ich aber leider kurzfristig keine Lösung gefunden habe, habe ich leider alles neu aufgesetzt. Mein Backup hatte leider auch nicht funktioniert (wahrscheinlich hatte ich auf eine neue Datenbankversion geupdatet und diese konnte die alten Daten nicht lesen).
Zum Glück waren die Original-PDFs ja vorhanden, so dass ich diese leider jetzt neu taggen muss, was bei über 700 Dokumenten auch viel Arbeit ist, aber zumindest ist nichts verloren.

Vielen Dank und viele Grüße

Markus

Hallo Markus,
Redis ist wohl nur eine Art cache. Der hält gar keine Daten und wird bei jedem Restart neu befüllt. Ich hatte aber auch schon den Fall, dass das nichts gebracht hat und dass es auf ein neues Deployment rauslief (bei mir war es immich).
Ich denke, man muss diese Upgrades etwas strategischer betrachten und sie nur nach einem Backup und mit den offiziellen Tools durchführen. Ich hatte mir immich (nutzt auch redis) auch während einer falschen Upgrade-Methode zerschossen.
Von diesen ganzen Versprechungen, dass das alles unproblematisch wäre, halte ich seit dem nichts mehr.
Gruss
Mick

 

[mickkae]

@alexhell: So wie der Satz da steht, kann er auf einen Anfänger (!) so wirken, als ob man sich den Container installiert und dann um nichts mehr kümmern muss, wenn die Daten aber nicht gemappt sind, weil man beispielsweise die falsche Anleitung genutzt hat, dann bringt einem das nichts. Mehr wollte ich damit nicht sagen, es lesen hier aber nicht nur Docker-Füchse mit.

Vielleicht antwortest Du das nächste Mal selbst, statt die zu kritisieren, die versuchen zu helfen.
Inhaltlich ist Deine Aussage auch daneben. Zumindest in Bezug auf paperless. Es gibt Anleitungen für Paperless bei der explizit für einen Upgrade gefordert wird, die Container des Stacks zu löschen und den upgegradeten Container neu zu deployen. Und solange er portainer nutzt, wird auch das gleiche Mapping verwendet und die Daten richtig verlinkt.

 

[alexhell]

Man

Vielleicht antwortest Du das nächste Mal selbst anstatt die zu kritisieren, die den Fragenden nicht im Regen stehen lassen.

Wo habe ich dich denn kritisiert? Ich habe dir doch nur zugestimmt.....

@Monacum Ich sehe es so, wer Docker einsetzen will, der sollte sich damit auch befassen. Das betrifft aber jedes Thema. Man kann nicht immer davon ausgehen, dass es ein Anfänger liest und es falsch versteht und bei ihm nichts geht. Dann sollte er sich damit besser befassen, was er da konfiguriert hat.

Edit: @mickkae ah sehe es jetzt erst, du hast deinen Beitrag schon editiert und ich war damit nicht gemeint.

 

[alexhell]

Aber deshalb kannst du nunmal nicht behaupten es wäre sehr esoterisch, nur weil ein Anfänger es falsch verstehen könnte. Das ist nun mal ein Vorteil von Docker. Und ich erwarte nicht, dass jeder Post immer für jeden direkt verständlich ist. Wenn ich mich in ein Thema einlese und etwas nicht verstehe, dann Google ich doch danach. Aber deshalb sowas nicht zu schreiben, weil es jemand falsch verstehen könnte, das ist für mich der falsche Weg. Vor allem hilft vielleicht gerade das auch einem Anfänger, dass er dann hinterfragt wie sowas funktioniert. Und alles was IM Container liegt, gehört auch nicht zu den Daten die getrennt werden sollen. Das gehört zu den Sachen die ruhig platt gemacht werden können. Und das ist nun mal wieder der Punkt => Daten und Anwendung werden getrennt. Ich finde @mickkae hat das sehr gut formuliert.

 

[mickkae]

Man

Wo habe ich dich denn kritisiert? Ich habe dir doch nur zugestimmt.....

@Monacum Ich sehe es so, wer Docker einsetzen will, der sollte sich damit auch befassen. Das betrifft aber jedes Thema. Man kann nicht immer davon ausgehen, dass es ein Anfänger liest und es falsch versteht und bei ihm nichts geht. Dann sollte er sich damit besser befassen, was er da konfiguriert hat.

Edit: @mickkae ah sehe es jetzt erst, du hast deinen Beitrag schon editiert und ich war damit nicht gemeint.

Sorry, Du warst nicht gemeint. Aber ich hatte den Post gelöscht und Deinen upgevoted ;-). Ich bin neu hier im Forum und hatte den Post falsch abgeschickt.

 

[juelich]

Man

Wo habe ich dich denn kritisiert? Ich habe dir doch nur zugestimmt.....

@Monacum Ich sehe es so, wer Docker einsetzen will, der sollte sich damit auch befassen. Das betrifft aber jedes Thema. Man kann nicht immer davon ausgehen, dass es ein Anfänger liest und es falsch versteht und bei ihm nichts geht. Dann sollte er sich damit besser befassen, was er da konfiguriert hat.

Edit: @mickkae ah sehe es jetzt erst, du hast deinen Beitrag schon editiert und ich war damit nicht gemeint.

Ich finde es ja sehr erstaunlich: Ich hatte meinen Hilferuf am 18. Februar (also vor über 2 Wochen) gestellt, ohne bisher eine Antwort zu erhalten - und heute überschlagen sich plötzlich die Kommentare .
Inzwischen habe ich das Problem wie geschrieben längst dahingehend gelöst, dass Paperless wieder läuft - leider ohne die Datenbank, so dass ich jedes Dokument neu taggen muss. Aber es ist zumindest nichts verloren.
Natürlich hast Du Recht, wenn jeder Paperless-Nutzer gleichzeitig auch Docker-Spezialist wäre. Das ist aber unrealistisch. Ich nutze Paperless mittlerweile bereits seit vielen jahren, erst Paperless, jetzt NGX. Ich komme damit auch gut zurecht, habe ein komplettes Archiv mit über 700 Dokumenten (die ich leider neu bearbeiten muss), aber ich behaupte einmal, dass ich, was Paperless angeht, durchaus die Entwicklung mitgemacht habe auch einigermaßen bescheid weiß. Mehr möchte ich auch gar nicht - und schaffe ich auch zeitlich nicht. Es gibt Anleitungen im Netzt und auf Youtube, wie man Paperless über Docker bzw. jetzt über Portainer installieren kann, da muss ich von Docker nichts verstehen! Ich kann auch Word bedienen, ohne die Programmierung dahinter zu verstehen.
Mein Problem hier waren sicherlich zwei Sachen:
1. Ich möchte mit meinen Containern immer einigermaßen uptodate sein.
2. Bei Paperless NGX bin ich immer auf der neuesten Version
3. Bei anderen Modulen wie z.B. Gotenberg gab es ab und zu Probleme, wenn man hier einfach eine aktuelle Version nutzt. Da fehlen mir tatsächlich die Detailkenntnisse, um mit diesen Problemen umzugehen, deshalb sollte ich da vorsichtiger sein. So lief nach der Neuinstallation zuerst der Gotenbergserver nicht, mit viel Schweiß und Tränen habe ich jetzt aber alles zum laufen bekommen.
4. Ich aktualisiere meine Container normalerweise immer mit Portainer. Hier war ich aber zufällig auf der Docker-Oberfläche auf der Synology, da wurde mir angezeigt, dass einige Container nicht mehr aktuell seien und ich habe sie hier kritiklos geupdatet. Genau hier muss der Fehler passiert sein und ich mir die Datenbank zerschossen haben.

So etwas kommt vor, aber bringt mich trotzdem zu der erkenntnis, Paperless weiter nutzen zu wollen und zu können, auch wenn ich nicht weiß, wie Docker funktioniert. Denn eigentlich habe ich damit ja nichts zu tun, wenn ich brav auf der NGX-Oberfläche bleibe...

Vielen Dank für die vielen Tipps

Viele Grüße

Markus

 

[alexhell]

Ich habe deinen Beitrag vorher nicht gesehen/wahrgenommen.
Aber ich finde es sehr schade wenn man etwas einsetzt aber eigentlich gar nicht weiß was man da tut. Man kann doch dann gar kein Problem selber lösen. Wenn du dich damit bisschen befasst hättest, dann müsstest du auch nicht alles löschen. Man muss kein Experte werden, aber die Basics sollte man kennen und verstehen. Aber das wird in der IT ja immer weniger. Es muss nur funktionieren und mehr muss man dazu nicht wissen. Das ist nicht böse gemeint, Aber liest man hier immer häufiger.

 

[juelich]

Ich habe deinen Beitrag vorher nicht gesehen/wahrgenommen.
Aber ich finde es sehr schade wenn man etwas einsetzt aber eigentlich gar nicht weiß was man da tut. Man kann doch dann gar kein Problem selber lösen.

Natürlich kann man das absolut so sehen! Ich finde es auch schade, dass ich von diesem Thema so wenig Ahnung habe! Aber kann kann nicht auf jedem Gebiet Profi sein. Du läufst jeden Tag durch die Gegend, steigst Treppen - weißt Du, wie ein Kniegelenk funktioniert? Wenn es weh tut gehst Du zum fachmann. Du fährst Auto, kennst Du die ganzen Details der Motorsteuerung? Selbst eine Werkstatt kann diese fahrenden Computer nicht mehr reparieren. Du benutzt Word und Excel - kennst Du die Programmierung dahinter? Ich nutze eine Finanzsoftware. Ständig Probleme, wenn die Banken ihre Zugänge ändern. Alleine lösen kannst Du da nichts. Ich habe mir ein Smarthome in FHEM programmiert. Über 30 Geräte. Komplett in PERL. Daran arbeite ich seit 10 Jahren. hatte am Angang natürlich keine Ahnung. Aber das Schöne an solchen Projekten ist ja, dass immer eine hilfsbereite Community dahinter steht. So wie dieses Forum auch. Und da konnte ich bisher immer alle Probleme lösen. Ich habe nichts weiter als eine Dokumentenverwaltung gesucht und bin auf Paperless gestoßen. Fand ich cool. Vor allem, weil die Dokumente auch im original auf der festplatte liegen und ich im Fall von Problemen (wie diesen jetzt) jederzeit herankomme. Es gibt Anleitungen, wie man das Ganze installiert, fertige Scripte, da habe ich Docker oder Portainer nur einmalig zum Installieren benutzt. Danach noch einige Variablen angepasst, fertig. So soll es doch sein!
Ich will Dokumente verwalten und mich nicht mit den Details einer Programmieroberfläche rumschlagen müssen. Dann habe ich leider einen Fehler gemacht (wie ich in meinem Hilferuf auch schrieb) und mich in Details begeben, wo ich mit meinem Nichtwissen eigentlich nichts zu suchen hatte. Ich habe mich in Sicherheit gewähnt, weil ich (und das muss man wirklich Verlangen) natürlich die Paperport-Dokumentation gelesen habe und mit der Export-Funktion meine Datenbank gesichert habe. Nur leider konnte ich sie anders als beschrieben mit "Import" nicht wieder zurücklesen. Daher meine Vermutung, dass ich durch ein Postgres-Update irgendwie die Datenstruktur geändert habe und der Import deshalb nicht mehr geklappt hat. Dann dieser Hilferuf hier in diesem Forum.
Und dann geschah etwas für mich völlig Ungewöhnliches: Niemand hat sich gemeldet, niemand konnte helfen. das ist mir so noch nie passiert. Aber ich hatte natürlich auch den PAPERLESS-TAG vergessen. Aber ich habe auch nichts gefunden, um einen Beitrag zu editieren. Jedenfalls war ich auf mich allein gestellt. habe die Logs durchforstet und gefunden, dass (glaube ich zumindest) Redis gemeckert hat, dass sich schon Daten im Ordnern befanden. Also blieb mir nichts anderes übrig, als diesen Ordner zu leeren, die Original-PDFs zu sichern und von vorne anzufangen. Was sollte ich machen?
So ist das Leben!
Und die Lehre für mich ist nicht, dass ich jetzt in die Tiefen der Docker-Programmierung einsteigen muss, sondern dass ich keine Alleingänge bei Updates mache. So funktioniert alles wie es soll und ich bin mit Paperless an sich sehr zufrieden!

Viele Grüße

Markus

 

[Frank73]

Es gibt Anleitungen für Paperless bei der explizit für einen Upgrade gefordert wird, die Container des Stacks zu löschen und den upgegradeten Container neu zu deployen.

Ist es aber nicht so, dass bei einem stoppen des Stacks der Container automatisch gelöscht wird (im Gegensatz zum stoppen des Containers). Dann passe ich im Stack das Image auf die neue Version an, starte diesen und der Container wird neu deployd.