RSSCrawler 4.01

[DKeppi]

Leider seit DSM 6.2.1 Probleme

https://www.synology-forum.de/showt...824-erschienen&p=787220&viewfull=1#post787220

 

[DKeppi]

Problem gelöst: https://www.synology-forum.de/showt...824-erschienen&p=787279&viewfull=1#post787279

 

[DrSniper]

Mit welchem Script hast du alles gelöscht?

 

[DKeppi]

Manuell bzw. über ipkgui

Mit Script meinte ich das Script get-pip.py mit dem ich ursprünglich pip installiert hatte

 

[DrSniper]

Woher weiß ich was ich löschen muss?
Da taucht im ipkgui weder pip noch flask noch lxml auf.

 

[DKeppi]

which python

muss

/usr/bin/python

liefern
und

which pip

muss

/usr/bin/pip

liefern
dann verwendest du das vom DSM!!!

 

[DrSniper]

Er liefert
/bin/python und /bin/pip

 

[DKeppi]

Falls was anderes rauskommt hast du irgendwo/irgendwie ein anderes python installiert...zB übers Paketzentrum oder über das get-pip.py Script
Dann müsstest du das vorher entfernen!



Danach

pip install -r /volume1/@appstore/RSScrawler-master/requirements.txt

und alle nötigen Module sind installiert


Danach hats bei mir geklappt!

 

[DKeppi]

Er liefert
/bin/python und /bin/pip

Solange es nicht /opt ist, sollte es passen!!!

 

[Norax]

Habe den RSScrawler jetzt doch über Docker installiert, weil mir das ewige anpassen nach den Syno Updates dann doch etwas lästig war. Den Container habe ich wie folgt installiert:

docker run -d \
  --name="RSScrawler" \
  -p :9090 \
  -v /volume1/@appstore/RSScrawlerdocker:/config:rw \
  -v /volume1/@appstore/JDownloader:/jd2:rw \
  -e BRANCH=master \
  -e REPO=https://github.com/rix1337/RSScrawler.git \
  rix1337/docker-rsscrawler

Die Weboberfläche ist erreichbar und im Log erscheinen die gecrawlten Ergebnisse auch, aber diese werden nicht in den JDownloader übertragen, obwohl Folderwatch aktiviert ist und auf den Ordner in /volume1/@appstore/JDownloader verweist...Hat jemand eine Ahnung woran das liegen könnte?

 

[DustnHawk]

@Norax:
ich habe dasselbe Problem wie du. Hast du es in der Zwischenzeit gelöst? Falls nicht, hat hier jemand anderes eine Idee, woran es liegen könnte, warum die Jobs nicht in Jdownloader übetragen werden?
Danke schon mal vorab...

 

[Althir]

Das Skript von RSScrawler startet im putty manuell...
Aber über den Aufgabenplaner (beim hochfahren) erhalte ich folgendes:

/usr/local/lib/python2.7/site-packages/cffi/model.py:526: UserWarning: 'point_conversion_form_t' has no values explicitly defined; next version will refuse to guess which integer type it is meant to be (unsigned/signed, int/long)
% self._get_c_name())
/usr/lib/python2.7/site-packages/fuzzywuzzy/fuzz.py:11: UserWarning: Using slow pure-python SequenceMatcher. Install python-Levenshtein to remove this warning
warnings.warn('Using slow pure-python SequenceMatcher. Install python-Levenshtein to remove this warning')
??????????????????????????????????????????????????????????
Programminfo: RSScrawler v.5.0.0 von RiX
Projektseite: https://github.com/rix1337/RSScrawler
??????????????????????????????????????????????????????????
Traceback (most recent call last):
File "/volume2/@appstore/RSScrawler/RSScrawler.py", line 1902, in <module>
jdownloaderpath + u'" für Crawljobs')
UnicodeEncodeError: 'ascii' codec can't encode character u'\xfc' in position 79: ordinal not in range(128)

 

[Misaal]

Weiss jemand wie man python-Levenshtein installiert?
Mit

pip install python-Levenshtein

geht bei mir nicht

 

[spunxs60]

Das Skript von RSScrawler startet im putty manuell...
Aber über den Aufgabenplaner (beim hochfahren) erhalte ich folgendes:

/usr/local/lib/python2.7/site-packages/cffi/model.py:526: UserWarning: 'point_conversion_form_t' has no values explicitly defined; next version will refuse to guess which integer type it is meant to be (unsigned/signed, int/long)
% self._get_c_name())
/usr/lib/python2.7/site-packages/fuzzywuzzy/fuzz.py:11: UserWarning: Using slow pure-python SequenceMatcher. Install python-Levenshtein to remove this warning
warnings.warn('Using slow pure-python SequenceMatcher. Install python-Levenshtein to remove this warning')
??????????????????????????????????????????????????????????
Programminfo: RSScrawler v.5.0.0 von RiX
Projektseite: https://github.com/rix1337/RSScrawler
??????????????????????????????????????????????????????????
Traceback (most recent call last):
File "/volume2/@appstore/RSScrawler/RSScrawler.py", line 1902, in <module>
jdownloaderpath + u'" für Crawljobs')
UnicodeEncodeError: 'ascii' codec can't encode character u'\xfc' in position 79: ordinal not in range(128)

Ich hab genau das gleiche Problem.
Über Putty funktioniert der Befehl. Nur über die Aufgabenplanung nicht.

 

[Misaal]

gleiches Problem auch bei mir über Putty läuft gut aber über den Aufgabenplaner passiert nichts.

 

[Althir]

gleiches Problem auch bei mir über Putty läuft gut aber über den Aufgabenplaner passiert nichts.

Hat jemand wenigstens eine Idee in welche Richtung man schauen könnte?! Ich vermute irgendwie passt die verwendete "Zeichentabelle" durch die Aufgabenplanung nicht und deshalb bricht er ab...

Oder?!

 

[spunxs60]

Das ist aber auch erst seit dem neuen Synology Update so. Nach manchen Updates funktioniert immer wieder mal was nicht.
Echt nervig das ganze.

 

[spunxs60]

habs gelöst

folgenden befehl am anfang im Aufgabenplaner ausführen:

export PYTHONIOENCODING=utf-8

also z.b:

killall rsscrawler
export PYTHONIOENCODING=utf-8
rsscrawler --config="/volume1/public/RSScrawler"

 

[Althir]

Hey,

sehr gut...

killall rsscrawler
export PYTHONIOENCODING=utf-8
python /volume2/@appstore/RSScrawler/RSScrawler.py

funktioniert aber leider z.B. noch nicht...

 

[DKeppi]

Sieht schlecht aus ja... die letzte Version die bei mir geht ist 4.2.8

Bei neueren kommt immer das hier:

Building wheels for collected packages: python-levenshtein
  Running setup.py bdist_wheel for python-levenshtein ... error
  Complete output from command /bin/python -u -c "import setuptools, tokenize;__file__='/tmp/pip-install-kmiVep/python-levenshtein/setup.py';f=getattr(tokenize, 'open', open)(__file__);code=f.read().replace('\r\n', '\n');f.close();exec(compile(code, __file__, 'exec'))" bdist_wheel -d /tmp/pip-wheel-6OpMmW --python-tag cp27:
  running bdist_wheel
  running build
  running build_py
  creating build
  creating build/lib.linux-x86_64-2.7
  creating build/lib.linux-x86_64-2.7/Levenshtein
  copying Levenshtein/__init__.py -> build/lib.linux-x86_64-2.7/Levenshtein
  copying Levenshtein/StringMatcher.py -> build/lib.linux-x86_64-2.7/Levenshtein
  running egg_info
  writing requirements to python_Levenshtein.egg-info/requires.txt
  writing python_Levenshtein.egg-info/PKG-INFO
  writing namespace_packages to python_Levenshtein.egg-info/namespace_packages.txt
  writing top-level names to python_Levenshtein.egg-info/top_level.txt
  writing dependency_links to python_Levenshtein.egg-info/dependency_links.txt
  writing entry points to python_Levenshtein.egg-info/entry_points.txt
  reading manifest file 'python_Levenshtein.egg-info/SOURCES.txt'
  reading manifest template 'MANIFEST.in'
  warning: no previously-included files matching '*pyc' found anywhere in distribution
  warning: no previously-included files matching '*so' found anywhere in distribution
  warning: no previously-included files matching '.project' found anywhere in distribution
  warning: no previously-included files matching '.pydevproject' found anywhere in distribution
  writing manifest file 'python_Levenshtein.egg-info/SOURCES.txt'
  copying Levenshtein/_levenshtein.c -> build/lib.linux-x86_64-2.7/Levenshtein
  copying Levenshtein/_levenshtein.h -> build/lib.linux-x86_64-2.7/Levenshtein
  running build_ext
  building 'Levenshtein._levenshtein' extension
  creating build/temp.linux-x86_64-2.7
  creating build/temp.linux-x86_64-2.7/Levenshtein
  /usr/local/x86_64-pc-linux-gnu/bin/x86_64-pc-linux-gnu-ccache-gcc -fno-strict-aliasing -DSYNOPLAT_F_X86_64 -O2 -include /usr/syno/include/platformconfig.h -DSYNO_ENVIRONMENT -DBUILD_ARCH=64 -D_LARGEFILE64_SOURCE -D_FILE_OFFSET_BITS=64 -DSYNO_RUNNING_DSM_BUILD_SYSTEM -g -pipe -fstack-protector --param=ssp-buffer-size=4 -Wformat -Wformat-security -D_FORTIFY_SOURCE=2 -O2 -Wno-unused-result -DOPENSSL_NO_SSL3 -I/usr/local/x86_64-pc-linux-gnu/x86_64-pc-linux-gnu/sys-root/usr/lib/libffi-3.2.1/include -DNDEBUG -g -fwrapv -O3 -Wall -Wstrict-prototypes -fPIC -I/usr/include/python2.7 -c Levenshtein/_levenshtein.c -o build/temp.linux-x86_64-2.7/Levenshtein/_levenshtein.o
  unable to execute '/usr/local/x86_64-pc-linux-gnu/bin/x86_64-pc-linux-gnu-ccache-gcc': No such file or directory
  error: command '/usr/local/x86_64-pc-linux-gnu/bin/x86_64-pc-linux-gnu-ccache-gcc' failed with exit status 1


  ----------------------------------------
  Failed building wheel for python-levenshtein
  Running setup.py clean for python-levenshtein
Failed to build python-levenshtein
Installing collected packages: python-levenshtein, fuzzywuzzy, rsscrawler
  Running setup.py install for python-levenshtein ... error
    Complete output from command /bin/python -u -c "import setuptools, tokenize;__file__='/tmp/pip-install-kmiVep/python-levenshtein/setup.py';f=getattr(tokenize, 'open', open)(__file__);code=f.read().replace('\r\n', '\n');f.close();exec(compile(code, __file__, 'exec'))" install --record /tmp/pip-record-DlvX3n/install-record.txt --single-version-externally-managed --compile:
    running install
    running build
    running build_py
    creating build
    creating build/lib.linux-x86_64-2.7
    creating build/lib.linux-x86_64-2.7/Levenshtein
    copying Levenshtein/__init__.py -> build/lib.linux-x86_64-2.7/Levenshtein
    copying Levenshtein/StringMatcher.py -> build/lib.linux-x86_64-2.7/Levenshtein
    running egg_info
    writing requirements to python_Levenshtein.egg-info/requires.txt
    writing python_Levenshtein.egg-info/PKG-INFO
    writing namespace_packages to python_Levenshtein.egg-info/namespace_packages.txt
    writing top-level names to python_Levenshtein.egg-info/top_level.txt
    writing dependency_links to python_Levenshtein.egg-info/dependency_links.txt
    writing entry points to python_Levenshtein.egg-info/entry_points.txt
    reading manifest file 'python_Levenshtein.egg-info/SOURCES.txt'
    reading manifest template 'MANIFEST.in'
    warning: no previously-included files matching '*pyc' found anywhere in distribution
    warning: no previously-included files matching '*so' found anywhere in distribution
    warning: no previously-included files matching '.project' found anywhere in distribution
    warning: no previously-included files matching '.pydevproject' found anywhere in distribution
    writing manifest file 'python_Levenshtein.egg-info/SOURCES.txt'
    copying Levenshtein/_levenshtein.c -> build/lib.linux-x86_64-2.7/Levenshtein
    copying Levenshtein/_levenshtein.h -> build/lib.linux-x86_64-2.7/Levenshtein
    running build_ext
    building 'Levenshtein._levenshtein' extension
    creating build/temp.linux-x86_64-2.7
    creating build/temp.linux-x86_64-2.7/Levenshtein
    /usr/local/x86_64-pc-linux-gnu/bin/x86_64-pc-linux-gnu-ccache-gcc -fno-strict-aliasing -DSYNOPLAT_F_X86_64 -O2 -include /usr/syno/include/platformconfig.h -DSYNO_ENVIRONMENT -DBUILD_ARCH=64 -D_LARGEFILE64_SOURCE -D_FILE_OFFSET_BITS=64 -DSYNO_RUNNING_DSM_BUILD_SYSTEM -g -pipe -fstack-protector --param=ssp-buffer-size=4 -Wformat -Wformat-security -D_FORTIFY_SOURCE=2 -O2 -Wno-unused-result -DOPENSSL_NO_SSL3 -I/usr/local/x86_64-pc-linux-gnu/x86_64-pc-linux-gnu/sys-root/usr/lib/libffi-3.2.1/include -DNDEBUG -g -fwrapv -O3 -Wall -Wstrict-prototypes -fPIC -I/usr/include/python2.7 -c Levenshtein/_levenshtein.c -o build/temp.linux-x86_64-2.7/Levenshtein/_levenshtein.o
    unable to execute '/usr/local/x86_64-pc-linux-gnu/bin/x86_64-pc-linux-gnu-ccache-gcc': No such file or directory
    error: command '/usr/local/x86_64-pc-linux-gnu/bin/x86_64-pc-linux-gnu-ccache-gcc' failed with exit status 1


    ----------------------------------------
Command "/bin/python -u -c "import setuptools, tokenize;__file__='/tmp/pip-install-kmiVep/python-levenshtein/setup.py';f=getattr(tokenize, 'open', open)(__file__);code=f.read().replace('\r\n', '\n');f.close();exec(compile(code, __file__, 'exec'))" install --record /tmp/pip-record-DlvX3n/install-record.txt --single-version-externally-managed --compile" failed with error code 1 in /tmp/pip-install-kmiVep/python-levenshtein/