synOCR synOCR - GUI für OCRmyPDF

[wegomyway]

@geimist , die eh ab Werk eingestellten 300 sind eh wieder drin. Solch Bon reicht wen der im kb-Bereich liegt.
Debug 2, da war was. Jetzt hast mich erwischt. Stell ich um und werde besagte Apo-Bons erneut scannen und hier mal das Log posten.
Bei meinen anderen beiden Profilen ist Debug-Level 2 mit 100 gespeichert.
Nach aussleepen erste Amtshandlung

 

[wegomyway]

das Log ist ja elllenlang, zuviel persönliche Daten stehen drin und daher habe nun den Bereich ab "Installations-Info" bis Ende "Step 1" hier gepostet (hoffe für den Check, dass das reicht).
Originales Datum ist aufn Beleg 02-02-2024, gescanntes/Dateiname 30-04-2010 .
Ein 2ter Scan, gleiche Apotheke, somit identisch, ergab korrektes erkanntes Datum obwohl die Jahreszahl teilweise vom Wasserzeichen "belegt" ist.
EDIT: ein dritter Beleg, identisch mit den anderen, ergab als gescanntes OCR 30-09-2015. Hier freies Datum auf weißem Hintergrund, nicht unterm Wasserzeichen verdeckt.

   -----------------------------------
    |    ==> installation info <==    |
    -----------------------------------

synOCR-user:              synOCR
synOCR-user is admin:     yes
synOCR-version:           1.4.5
Architecture:             x86_64
DSM-build:                69057
Device:                   224plus (2150986347)
current Profil:           Scan All Steuer
monitor is running?:      yes
DB-version:               9
used image (created):     jbarlow83/ocrmypdf:v12.7.2 (2021-11-04T21:53:21)
document author:      
used ocr-parameter (raw): -srd -l deu+eng
OCR-arg 1:                -srd
OCR-arg 2:                -l
OCR-arg 3:                deu+eng
ocropt_array:             -srd -l deu+eng
search prefix:        
replace search prefix:    yes
renaming syntax:          §yocr-§mocr-§docr_§tag_§tit
Symbol for tag marking:   #
target file handling:     useCatDir
Document split pattern:   SYNOCR-SEPARATOR-SHEET
split page handling:      discard
delete blank pages:    
threshold black/white:
threshold black pixels:
clean up spaces:          true
Date search method:       use Python
date found order:         firstfound
source for filedate:      ocr
ignored dates by search:  ;
date range in past:       0 [absolute: 0]
date range in future:     0 [absolute: 0]
PATH-Variable:            /sbin:/bin:/usr/sbin:/usr/bin:/usr/syno/sbin:/usr/syno/bin:/usr/local/sbin:/usr/local/bin:/bin:/sbin:/usr/bin:/usr/sbin:/usr/syno/bin:/usr/syno/sbin:/usr/local/bin:/opt/usr/bin:/usr/syno/synoman/webman/3rdparty/synOCR/bin
Docker test:              OK
DSM notify to user:       Hxxxxxxxy
apprise notify service:
apprise attachment:       false
notify language:          ger
Loglevel:                 debug
max. count of logfiles:   100
rotate backupfiles after: (purge backup deactivated)
Source directory:         /volume1/Dokumente/Rezepte, Brillen, Zahnrechnungen usw. für Steuer/InBox/
Target directory:         /volume1/Dokumente/Rezepte, Brillen, Zahnrechnungen usw. für Steuer/
BackUp directory:         /volume1/Dokumente/synocr/backup/



  ●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
  ● ---------------------------------- ●
  ● |    ==> RUN THE FUNCTIONS <==   | ●
  ● ---------------------------------- ●
  ●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

  -----------------------------------------------------------------------------------
  | check the python3 installation and the necessary modules:                       |
  -----------------------------------------------------------------------------------


[runtime up to now:    00:00:00]


                  Check Python:

                  module list:
                  Package            Version
                  ------------------ ----------
                  apprise            1.4.5
                  argcomplete        3.2.2
                  backports.zoneinfo 0.2.1
                  certifi            2024.2.2
                  charset-normalizer 3.3.2
                  click              8.1.7
                  dateparser         1.2.0
                  DateTime           5.4
                  deprecation        2.1.0
                  idna               3.6
                  importlib-metadata 7.0.1
                  lxml               5.1.0
                  Markdown           3.5.2
                  oauthlib           3.2.2
                  packaging          23.2
                  pikepdf            7.1.2
                  pillow             10.2.0
                  pip                24.0
                  pypdf              3.5.1
                  python-dateutil    2.8.2
                  pytz               2024.1
                  PyYAML             6.0.1
                  regex              2023.12.25
                  requests           2.31.0
                  requests-oauthlib  1.3.1
                  setuptools         56.0.0
                  six                1.16.0
                  tomlkit            0.12.3
                  typing_extensions  4.9.0
                  tzlocal            5.2
                  urllib3            2.2.0
                  xmltodict          0.13.0
                  yq                 3.2.3
                  zipp               3.17.0
                  zope.interface     6.1
                prepare_python: OK
Target temp directory:    /tmp/tmp.rW8RsjwPDz


  ●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
  ● STEP 1 - RUN OCR / SPLIT FILES, IF NEEDED:                                      ●
  ●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●


●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
CURRENT FILE:   ➜ 23042024_0.pdf
                  temp. target file: /tmp/tmp.rW8RsjwPDz/step1_tmp_1713852089/23042024_0.pdf

  -----------------------------------------------------------------------------------
  | processing PDF @ OCRmyPDF:                                                      |
  -----------------------------------------------------------------------------------


[runtime up to now:    00:00:00]

                ➜ OCRmyPDF-LOG:
                    DEBUG ocrmypdf - ocrmypdf 12.7.2.post0+g8be9a68c.d20211104
                    DEBUG ocrmypdf.subprocess - Running: ['tesseract', '--list-langs']
                    DEBUG ocrmypdf.subprocess.tesseract - stdout/stderr = List of available languages (7):
                  chi_sim
                  deu
                  eng
                  fra
                  osd
                  por
                  spa
               
                    DEBUG ocrmypdf.subprocess - Running: ['tesseract', '--version']
                    DEBUG ocrmypdf.subprocess - Found tesseract 4.1.1
                    DEBUG ocrmypdf.subprocess - Running: ['gs', '--version']
                    DEBUG ocrmypdf.subprocess - Found gs 9.53.3
                     INFO ocrmypdf._validation - reading file from standard input
                    DEBUG ocrmypdf.helpers - os.symlink(/tmp/ocrmypdf.io.ejtk_c0m/stdin, /tmp/ocrmypdf.io.ejtk_c0m/origin.pdf)
                    DEBUG ocrmypdf.builtin_plugins.tesseract_ocr - Using Tesseract OpenMP thread limit 3
                    DEBUG ocrmypdf.subprocess -    1  Running: ['gs', '-dQUIET', '-dSAFER', '-dBATCH', '-dNOPAUSE', '-sDEVICE=jpeggray', '-dFirstPage=1', '-dLastPage=1', '-r299.863118x299.863118', '-o', '-', '-sstdout=%stderr', '-dAutoRotatePages=/None', '-f', '/tmp/ocrmypdf.io.ejtk_c0m/origin.pdf']
                    DEBUG ocrmypdf._exec.ghostscript -    1  Rotating output by 0
                    DEBUG ocrmypdf.subprocess -    1  Running: ['tesseract', '-l', 'osd', '--psm', '0', '/tmp/ocrmypdf.io.ejtk_c0m/000001_rasterize_preview.jpg', 'stdout']
                     INFO ocrmypdf._pipeline -    1  page is facing ⇧, confidence 11.02 - no change
                    DEBUG ocrmypdf._pipeline -    1  Rasterize with png16m, rotation 0
                    DEBUG ocrmypdf.subprocess -    1  Running: ['gs', '-dQUIET', '-dSAFER', '-dBATCH', '-dNOPAUSE', '-sDEVICE=png16m', '-dFirstPage=1', '-dLastPage=1', '-r299.863118x299.863118', '-o', '-', '-sstdout=%stderr', '-dAutoRotatePages=/None', '-f', '/tmp/ocrmypdf.io.ejtk_c0m/origin.pdf']
                    DEBUG PIL.PngImagePlugin -    1  STREAM b'IHDR' 16 13
                    DEBUG PIL.PngImagePlugin -    1  STREAM b'iCCP' 41 2354
                    DEBUG PIL.PngImagePlugin -    1  iCCP profile name b'default_rgb.icc'
                    DEBUG PIL.PngImagePlugin -    1  Compression method 0
                    DEBUG PIL.PngImagePlugin -    1  STREAM b'pHYs' 2407 9
                    DEBUG PIL.PngImagePlugin -    1  STREAM b'tEXt' 2428 31
                    DEBUG PIL.PngImagePlugin -    1  STREAM b'IDAT' 2471 8192
                    DEBUG ocrmypdf._exec.ghostscript -    1  Rotating output by 0
                    DEBUG PIL.PngImagePlugin -    1  STREAM b'IHDR' 16 13
                    DEBUG PIL.PngImagePlugin -    1  STREAM b'pHYs' 41 9
                    DEBUG PIL.PngImagePlugin -    1  STREAM b'IDAT' 62 8192
                    DEBUG ocrmypdf._pipeline -    1  resolution (299.9994, 299.9994)
                    DEBUG PIL.PngImagePlugin -    1  STREAM b'IHDR' 16 13
                    DEBUG PIL.PngImagePlugin -    1  STREAM b'pHYs' 41 9
                    DEBUG PIL.PngImagePlugin -    1  STREAM b'IDAT' 62 8192
                    DEBUG ocrmypdf._pipeline -    1  convert
                    DEBUG img2pdf -    1  PIL format = JPEG
                    DEBUG img2pdf -    1  imgformat = JPEG
                    DEBUG img2pdf -    1  input dpi = 300 x 300
                    DEBUG img2pdf -    1  rotation = 0°
                    DEBUG img2pdf -    1  input colorspace = RGB
                    DEBUG img2pdf -    1  width x height = 866px x 3286px
                    DEBUG img2pdf -    1  read_images() embeds a JPEG
                    DEBUG ocrmypdf._pipeline -    1  convert done
                    DEBUG ocrmypdf.subprocess -    1  Running: ['tesseract', '-l', 'deu+eng', '-c', 'textonly_pdf=1', '/tmp/ocrmypdf.io.ejtk_c0m/000001_ocr.png', '/tmp/ocrmypdf.io.ejtk_c0m/000001_ocr_tess', 'pdf', 'txt']
                    DEBUG ocrmypdf._graft -    1  Emplacement update
                    DEBUG ocrmypdf._graft -    1  Text rotation: (text, autorotate, content) -> text misalignment = (0, 0, 0) -> 0
                    DEBUG ocrmypdf._graft -    1  Grafting
                    DEBUG ocrmypdf._graft -    1  Page rotation: (content, auto) -> page = (0, 0) -> 0
                     INFO ocrmypdf._sync - Postprocessing...
                    DEBUG ocrmypdf.helpers - os.symlink(/tmp/ocrmypdf.io.ejtk_c0m/graft_layers.pdf, /tmp/ocrmypdf.io.ejtk_c0m/fix_docinfo.pdf)
                    DEBUG ocrmypdf.subprocess - Running: ['gs', '-dBATCH', '-dNOPAUSE', '-dSAFER', '-dCompatibilityLevel=1.6', '-sDEVICE=pdfwrite', '-dAutoRotatePages=/None', '-sColorConversionStrategy=LeaveColorUnchanged', '-dAutoFilterColorImages=true', '-dAutoFilterGrayImages=true', '-dJPEGQ=95', '-dPDFA=2', '-dPDFACompatibilityPolicy=1', '-o', '-', '-sstdout=%stderr', '/tmp/ocrmypdf.io.ejtk_c0m/fix_docinfo.pdf', '/tmp/ocrmypdf.io.ejtk_c0m/pdfa.ps']
                    DEBUG ocrmypdf.subprocess.gs - GPL Ghostscript 9.53.3 (2020-10-01)
                    DEBUG ocrmypdf.subprocess.gs - Copyright (C) 2020 Artifex Software, Inc.  All rights reserved.
                    DEBUG ocrmypdf.subprocess.gs - This software is supplied under the GNU AGPLv3 and comes with NO WARRANTY:
                    DEBUG ocrmypdf.subprocess.gs - see the file COPYING for details.
                    DEBUG ocrmypdf.subprocess.gs - Processing pages 1 through 1.
                    DEBUG ocrmypdf.subprocess.gs - Page 1
                    DEBUG ocrmypdf.optimize - Treating 18 as an optimization candidate
                    DEBUG ocrmypdf.optimize - XrefExt(xref=18, ext='.png')
                    DEBUG ocrmypdf.optimize - Optimizable images: JPEGs: 0 PNGs: 1
                    DEBUG ocrmypdf.optimize - Treating 18 as an optimization candidate
                    DEBUG ocrmypdf.optimize - Optimizable images: JBIG2 groups: (0,)
                     INFO ocrmypdf.optimize - Optimize ratio: 1.00 savings: 0.0%
                    DEBUG ocrmypdf.helpers - os.symlink(/tmp/ocrmypdf.io.ejtk_c0m/optimize.opt.pdf, /tmp/ocrmypdf.io.ejtk_c0m/optimize.pdf)
                    DEBUG ocrmypdf._pipeline - /tmp/ocrmypdf.io.ejtk_c0m/optimize.pdf -> -
                     INFO ocrmypdf._sync - Output sent to stdout
                ← OCRmyPDF-LOG-END


[runtime up to now:    00:00:24]

                target file (OK): /tmp/tmp.rW8RsjwPDz/step1_tmp_1713852089/23042024_0.pdf


  -----------------------------------------------------------------------------------
  | document split handling:                                                        |
  -----------------------------------------------------------------------------------

                splitpage count: 0

                no separator sheet found, or number of pages too small

  -----------------------------------------------------------------------------------
  | handle source file:                                                             |
  -----------------------------------------------------------------------------------

                ➜ File name already exists! Add counter (2)

                ➜ backup source file to: /volume1/Dokumente/synocr/backup/23042024_0 (2).pdf
                removed directory '/tmp/tmp.rW8RsjwPDz/step1_tmp_1713852089/'

Stats:
  runtime last file:              ➜ 00:00:24
  runtime 1st step (all files):   ➜ 00:00:25

 

[geimist]

Parallel zur Logdatei gibt es im Loglevel 2 eine Textdatei, die nur den erkannten Text deines Dokumentes enthält. Die solltest du dir mal angucken, um zu verstehen, welcher Text wie erkannt wird.

 

[wegomyway]

@geimist , dein Tipp ist umgesetzt worden (hab die Log.txt zusätzlich aufn Book geladen).
Alles mit dem Bon verglichen. Das Datum auf dem Bon wird korrekt, wie auch alles andere, erkannt.
Selbst in der Reihenfolge was gescannt/erkannt wurde, kann ich nicht erkennen woher das falsche Datum "30.04.2010" genommen wird. Aufgrund meines Vergleiches kann ich schreiben das die Erkennung im gesamten >97% liegt.

 

[lil-ac]

Ich habe da noch mal eine kleine Verständnisfrage. Und zwar wird in der Config Datei, zwei mal der targetfolder erwähnt, dass ist soweit auch richtig, oder? Im Ersten wird geschaut, sind neue Dokumente im Scanordner, der zweite ist der "Zielordner"? Macht es da sind, dies über homes laufen zulassen, oder direkt home?

Spoiler: Config

Tag_rule02:
tagname: Finanzamt
targetfolder: "/volume1/DokumenteScan/INPUT/"
tagname_RegEx: "Finanzamt"
multilineregex: false
postscript:
- action: move
target_folder: "/volume1/homes/user1/Drive/Dokumente/Behörden/Finanzen"

 

[geimist]

Wie kommst du zu dieser Regel? Die enthält viele Fehler und ist inkonsistent:

1. targetfolder: ist das Zielverzeichnis, wenn die Regel erfüllt ist
2. tagname_RegEx: sollte einen RegEx enthalten, falls man den Dateinamen dynamisch mit Inhalt aus dem Dokument gestalten möchte (optional)
3. - action: und target_folder: kennt synOCR nicht.
4. es fehlt der Bereich der Unterregeln für die eigentlichen Bedingungen subrules:

Guck nochmal hier:
https://github.com/geimist/synOCR/wiki/03_YAML-(de)#eine-ganz-einfache-regel

 

[lil-ac]

Das war jetzt nur ein Ausschnitt. Hat mich wegen den beiden target_folgern irritiert.

 

[geimist]

Also targetfolder: bezieht sich immer auf das Zielverzeichnis und überschreibt, wenn in der Regel angegeben, die Standardeinstellung in der GUI.
Wo das 2. target_folder: bei dir herkommt, weiß ich nicht.

 

[Bossi65]

Hallo zusammen,
Seit ein paar Tagen bekomme ich bei jedem pdf bei der Konvertierung folgenden Fehler:

CURRENT FILE: ➜ ScanToPDF_002804.pdf
temp. target file: /tmp/tmp.wNRrt1LULD/step1_tmp_1714295539/ScanToPDF_002804.pdf

-----------------------------------------------------------------------------------
| processing PDF @ OCRmyPDF: |
-----------------------------------------------------------------------------------

➜ OCRmyPDF-LOG:
WARNING: Error loading config file: .dockercfg: $HOME is not defined
← OCRmyPDF-LOG-END

┖➜ failed! (target file is empty or not available)
ERROR-Directory [/volume1/Daten/Scan/_INPUT/ERRORFILES] will be created!

Hat jemand eine Plan wo ansetzen?
Läuft seit Jahren auf einer DS1512+ mit DSM 6.2.4-25556 Update 7

freundliche Grüsse
Hanspeter

 

[geimist]

Die einzige Meldung im Dockerlog ist irrelevant und generell sehr kurz.

1. Kannst du mal bitte mit einem älteren PDF probieren, welches in der Vergangenheit funktioniert hat? So können wir ein Problem mit dem aktuellen PDF ausschließen.
2. mal ein anderes Dockerimage einstellen (ocrmypdf v12.7.2 ist in der GUI fest hinterlegt und auswählbar).
3. Mal den Logmodus auf 2 (debug mode) stellen, in der Hoffnung, dass die Ausgabe von Docker etwas redseliger wird.

 

[Bossi65]

Hallo Stephan,

vielen Dank für Deine Antwort. Da auf diesem älteren NAS nur ein Docker Container läuft, habe ich mich entschlossen, alles zu deinstallieren (auch Docker selbst).
Anschliessend alles neu installiert und den debug mode auf 2 gestellt.
zur Auswahl habe ich:
- jbarlow83/ocrmypdf:latest (2024-04-24T21:58:40)
- geimist/ocrmypdf-polyglot:latest (2024-04-24T22:14:00)

mit beiden images bekomme ich nun reproduzierbar mit verschiedenen pdf's folgende Meldung:

-----------------------------------
| ==> installation info <== |
-----------------------------------

synOCR-user: root
synOCR-version: 1.1.2
Architecture: x86_64
DSM-build: 25556
Device: 1512plus (3112035323)
current Profil: default
DB-version: 4
used image (created): jbarlow83/ocrmypdf:latest (2024-04-24T21:58:40)
used ocr-parameter: -srd -l deu
replace search prefix: yes
renaming syntax: §y-§m-§d_§tag_§tit
Symbol for tag marking: #
source for filedate: ocr
ignored dates by search: 2021-02-29;2020-11-31
PATH-Variable: /sbin:/bin:/usr/sbin:/usr/bin:/usr/syno/sbin:/usr/syno/bin:/usr/local/sbin:/usr/local/bin:/bin:/sbin:/usr/bin:/usr/sbin:/usr/syno/bin:/usr/syno/sbin:/usr/local/bin:/opt/usr/bin:/usr/syno/synoman/webman/3rdparty/synOCR/bin
Docker Test: OK
Loglevel: debug
Application Directory: /usr/syno/synoman/webman/3rdparty/synOCR
Source directory: /volume1/Daten/Scan/_INPUT/
Target directory: /volume1/Daten/Scan/_OUTPUT/
BackUp directory: /volume1/Daten/Scan/_BACKUP/


----------------------------------
| ==> Funktionsaufrufe <== |
----------------------------------
show files in INPUT with transcoded special characters

@eaDir$
Test_yuh.pdf$
(pages counted with pdfinfo)
ERROR at line 1241: pagecount_new=$(( $(get_key_value ./etc/counter pagecount) + $pagecount_latest))
ERROR at line 1242: ocrcount_new=$(( $(get_key_value ./etc/counter ocrcount) + 1))

PROCESSING: ➜ Test_yuh.pdf (Tue Apr 30 19:32:19 CEST 2024)
temp. target file: /tmp/tmp.K0JmmBbLb4/Test_yuh.pdf
[runtime up to now: 00:00:00]


➜ OCRmyPDF-LOG:

← OCRmyPDF-LOG-END

[runtime up to now: 00:00:13]

┖➜ failed! (target file is empty or not available)


-----------------------------------
| ==> synOCR ENDE <== |
-----------------------------------

Die Fehlermeldung sieht nun schon etwas mehr nach OCRmyPDF aus. Leider gibt der debug mode auch nicht viel mehr her.

Auf einem anderen NAS, welches aber an einem anderen Standort ist (DSM 7) funktioniert alles bestens (dieselben pdf werden konvertiert)

Ist da noch etwas zu machen oder muss ich mich doch endlich mal nach einem neuen NAS umsehen, das mit DSM 7 läuft?

Gruss
Hanspeter

 

[Struppix]

Hallo Hanspeter, was ich mich frage. Laut dem Log hast Du synOCR mit der Version 1.1.2 installiert. Aktuell gibt es Version 1.5.4, oder sehe ich das falsch?

Karsten

 

[geimist]

Korrekt, gleich Verwunderung auch bei mir.
Bitte von HIER laden (cphub.net ist tot, bzw. derzeit komatös).

 

[Bossi65]

Dies hat geholfen. Ich danke Euch beiden. werde mir den Link speichern.
Schade dass der Link auf der ersten Seite dieses threads auf einen falschen Punkt zeigt.

Nun sind wir wieder im Business und ich kann weiter testen.

vielen herzlichen Dank für den top Job
Gruss
Hanspeter

 

[geimist]

Weich

Schade dass der Link auf der ersten Seite dieses threads auf einen falschen Punkt zeigt.

Was meinst du? Ich habe gerade nochmal nachgesehen und finde die Links im Startpost korrekt.

 

[Bossi65]

Hallo Stephan,

Sorry, da habe ich etwas vermischt, wo ich die alte Source gefunden habe, kann ich leider nicht mehr reproduzieren.

Entschuldigung für die Umstände :-(

Hanspeter

 

[Mamoro92]

Hallo,

ich habe - nachdem es anfangs ohne Probleme lief (bis auf die TAG Konfiguration wo ich mich noch einlesen muss - aktuell das Problem, dass keine Files mehr von "noch zu ordnen" nach "geordnet" geschoben werden, sondern alles landet in ERRORFILES. Das ganze passierte, nachdem ich versuchte meine Ordnerstruktur 2010-2020 komplett zu übernehmen. Waren eventuell zu viele Daten? Habe es mit einem Backup rückgängig gemacht, aber jetzt geht nichts mehr.

Beispiel:

-----------------------------------------------------------------------------------
| processing PDF @ OCRmyPDF: |
-----------------------------------------------------------------------------------

➜ OCRmyPDF-LOG:
docker: Error response from daemon: Conflict. The container name "/synOCR" is already in use by container "0ec6450cea0d8d6852532f46a3a774086140ca1cb4c4c008bab79f25d82b457d". You have to remove (or rename) that container to be able to reuse that name.
See 'docker run --help'.
← OCRmyPDF-LOG-END

┖➜ failed! (target file is empty or not available)
ERROR-Directory [/volume1/Homeserver/Meine Dokumente/Allgemeine Dokumente/Noch zu ordnen/ERRORFILES] will be created!

 

[geimist]

Wahrscheinlich hast du den Prozess unterbrochen und so den Ablauf gestört. Derzeit läuft noch ein Docker Container namens synOCR. Diesen bitte mal im Container Manager beenden.