jDownloader RSScrawler V2 neuste Version (JDownloader Add-on)

Status
Für weitere Antworten geschlossen.

sweatcher

Benutzer
Mitglied seit
26. Apr 2014
Beiträge
40
Punkte für Reaktionen
0
Punkte
6
**RSScrawler v.2.3.1**

Projekt von https://github.com/rix1337

Enthält Code von:

https://github.com/dmitryint
https://github.com/zapp-brannigan
https://github.com/Gutz-Pilz
https://github.com/bharnett

DSM
unbekannt (getestet auf DSM 6.0.2-8451 Update 7)

Unterstützte DS und RS
unbekannt (getestete auf DS: DS214play und DS415+)

Paketstatus
Es wird vorerst kein Paket geben, falls Neutron wieder aktiv ist kann er dies gerne erledigen oder vieleicht finde ich Zeit eines zu erstellen.

Welche Voraussetzungen gibt es ?

Python 2.7
Java 8 offizielle Version oder die Version die Filebot empfiehlt
JDownloader 2

Funktionsweise
Der RSScrawler holt von 2 Seiten entsprechende Informationen und speichert diese im Folderwatch-Format für JDownloader. Einigen von euch dürfte diese Funktion von pyload bekannt sein.
Um das ganze zu konfigurieren stellt der Entwickler ein Webinterface bereit. Die Einstellungen von RSScrawler erfolgen über den integrierten Webserver.

Installation

SSH Verbindung als Admin
Rich (BBCode):
sudo su
für temporäre Rootrechte (ab DSM 6, bei DSM 5 könnt ihr direkt als Root SSH machen)

Zum JDownloader Ordner wechseln
Rich (BBCode):
cd /volume1/@appstore/JDownloader

Ordner folderwatch erstellen
Rich (BBCode):
mkdir folderwatch

Rechte des Ordners anpassen
Rich (BBCode):
chmod -R 777 /volume1/@appstore/JDownloader/folderwatch/

Die Ordnerüberwachung aktivieren und einstellen. Hinweise hierzu

Das Installationsskript herunterladen
Rich (BBCode):
wget https://raw.githubusercontent.com/rix1337/RSScrawler/master/setup.sh

Das Script per chmod
Rich (BBCode):
+x setup.sh
ausführbar machen.

Das Installationsskript ausführen (su muss weiterhin aktiv sein):
Rich (BBCode):
bash setup.sh

Option 2) für Synology wählen.

Nachdem das Script die notwendigen Pakete installiert hat, müssen der Pfad des JDownloaders (Version 2, mit folderwatch Unterverzeichnis), sowie der gewünschte Port des Webservers angegeben werden.
Standard Pfad des JDownloaders: /volume1/@appstore/JDownloader/
Standadart Port des Webinterfaces: 9090 Port muss nur geändert werden, wenn ihr bereits etwas anderes auf diesem Port am laufen habt.

Danach ist der RSScrawler einsatzbereit und startet direkt.

Zu erledigen nach der Installation

Nun muss noch dafür gesorgt werden das dieses Script immer läuft
Dazu gehen wir zum Aufgabenplaner und erfassen einen neuen Task

Geplante Aufgabe > Benutzerdefiniertes Script
Vorgang: RSScrawler
Benutzer: root
Zeitplan so belassen oder anpassen
Aufgabeneinestellung Befehl ausführen > python /volume1/@appstore/RSScrawler-master/RSScrawler.py

Viel Spass

FAQ

Wiki des Entwicklers: zum Wiki

Wird nach und nach erstellt

Updates in naher Zukunft?
rix1377
Updates gibt es vorerst keine mehr, da das Programm (endlich) für meine Zwecke Feature Complete ist, ich selbst möchte also kaum noch Funktionen umsetzten; auch aus Zeitmangel
Trotzdem kommt bestimmt irgendwann eine Form von API, damit man bspw. PlexRequests/Ombi anbinden kann.

Testet das Paket ausgiebig, Verbesserungswünsche nehme ich gerne entgegen.
Vorschläge bezüglich Autostart des Scripts und euere DSM Version + Model gerne als Kommentar hinterlassen.

Viel Spass mit der neuen Version
 
Zuletzt bearbeitet:

DrSniper

Benutzer
Mitglied seit
16. Mai 2012
Beiträge
54
Punkte für Reaktionen
0
Punkte
0
Muss ich vorher den alten RSSCRAWLER deinstallieren?
 

sweatcher

Benutzer
Mitglied seit
26. Apr 2014
Beiträge
40
Punkte für Reaktionen
0
Punkte
6
Ich denke ja, wie heisst dein alter RSSCrawler Ordner und wo befindet sich dieser?
 

sweatcher

Benutzer
Mitglied seit
26. Apr 2014
Beiträge
40
Punkte für Reaktionen
0
Punkte
6
Dann definitiv deinstallieren oder den vorhandenen Ordner Umbenennen!!!
 

DrSniper

Benutzer
Mitglied seit
16. Mai 2012
Beiträge
54
Punkte für Reaktionen
0
Punkte
0
Habe jetzt alles so installiert wie du geschrieben hast.
Leider wird irgendwie nicht erkannt. Im Log steht auch nichts!
 

sweatcher

Benutzer
Mitglied seit
26. Apr 2014
Beiträge
40
Punkte für Reaktionen
0
Punkte
6
Was wird nicht erkannt?
Auf welchen Log beziehst du dich?
Du hast nun einen Folder Namens RSScrawler-master in /volume1/@appstore/RSScrawler-master ?

Welche DSM Version und welche DS hast du?
 

DrSniper

Benutzer
Mitglied seit
16. Mai 2012
Beiträge
54
Punkte für Reaktionen
0
Punkte
0
habe zwei Serien eingetragen
Das Log feld auf der Seite im Browser
Ja hab den Ordner in volume1/@appstore
Habe die aktuelle DSM 6
Nutze xpenology
 

sweatcher

Benutzer
Mitglied seit
26. Apr 2014
Beiträge
40
Punkte für Reaktionen
0
Punkte
6
achso, ok suchst du via suche oder rss feed und oder regex suche?
MB oder SJ, was bringt eine manuele Suche auf der Seite? Falls kein Eintrag erscheint dann gibt es aktuell nichts, somit gibts auch kein Log Eintrag

Evtl. musst du das direkt bei Feedback posten auf der Seite des Entwicklers, weiss nicht wie das Forum zu solchen Fragen hier steht.
 
Zuletzt bearbeitet:

Norax

Benutzer
Mitglied seit
17. Jul 2015
Beiträge
16
Punkte für Reaktionen
0
Punkte
1
Danke für die Anleitung, beim letzten Schritt "bash setup.sh" wird jedoch ne Fehlermeldung bei mir ausgespuckt.

Rich (BBCode):
ash-4.3# bash setup.sh

Hinweise im Wiki: https://github.com/rix1337/RSScrawler/wiki
Bitte Plattform wählen:
1) Ubuntu/Debian
2) Synology
3) Beenden
#? 2
Es müssen Python 2.7, JDownloader 2 und Java 8 installiert sein!
Durch Tastendruck bestätigen...
setup.sh: line 52: cd: /volume1/@appstore/PythonModule/usr/lib/python2.7/site-packages/: No such file or directory
python: can't open file 'easy_install.py': [Errno 2] No such file or directory
Requirement already up-to-date: pip in /usr/lib/python2.7/site-packages
Requirement already up-to-date: virtualenv in /usr/lib/python2.7/site-packages
Requirement already up-to-date: virtualenvwrapper in /usr/lib/python2.7/site-packages
Requirement already up-to-date: stevedore in /usr/lib/python2.7/site-packages (from virtualenvwrapper)
Requirement already up-to-date: virtualenv-clone in /usr/lib/python2.7/site-packages (from virtualenvwrapper)
Requirement already up-to-date: pbr>=1.8 in /usr/lib/python2.7/site-packages (from stevedore->virtualenvwrapper)
Requirement already up-to-date: six>=1.9.0 in /usr/lib/python2.7/site-packages (from stevedore->virtualenvwrapper)
Requirement already satisfied: docopt in /usr/lib/python2.7/site-packages
Requirement already satisfied: feedparser in /usr/lib/python2.7/site-packages
Collecting lxml
  Using cached lxml-3.7.2.tar.gz
Collecting requests
  Using cached requests-2.12.4-py2.py3-none-any.whl
Collecting cherrypy
  Using cached CherryPy-8.9.0-py2.py3-none-any.whl
Collecting BeautifulSoup
Requirement already satisfied: six in /usr/lib/python2.7/site-packages (from cherrypy)
Building wheels for collected packages: lxml
  Running setup.py bdist_wheel for lxml ... error
  Complete output from command /bin/python -u -c "import setuptools, tokenize;__file__='/tmp/pip-build-iVUOH0/lxml/setup.py';f=getattr(tokenize, 'open', open)(__file__);code=f.read().replace('\r\n', '\n');f.close();exec(compile(code, __file__, 'exec'))" bdist_wheel -d /tmp/tmpe80_3Xpip-wheel- --python-tag cp27:
  Building lxml version 3.7.2.
  Building without Cython.
  ERROR: /bin/sh: xslt-config: command not found

  ** make sure the development packages of libxml2 and libxslt are installed **

  Using build configuration of libxslt
  running bdist_wheel
  running build
  running build_py
  creating build
  creating build/lib.linux-armv7l-2.7
  creating build/lib.linux-armv7l-2.7/lxml
  copying src/lxml/doctestcompare.py -> build/lib.linux-armv7l-2.7/lxml
  copying src/lxml/__init__.py -> build/lib.linux-armv7l-2.7/lxml
  copying src/lxml/_elementpath.py -> build/lib.linux-armv7l-2.7/lxml
  copying src/lxml/sax.py -> build/lib.linux-armv7l-2.7/lxml
  copying src/lxml/ElementInclude.py -> build/lib.linux-armv7l-2.7/lxml
  copying src/lxml/usedoctest.py -> build/lib.linux-armv7l-2.7/lxml
  copying src/lxml/pyclasslookup.py -> build/lib.linux-armv7l-2.7/lxml
  copying src/lxml/cssselect.py -> build/lib.linux-armv7l-2.7/lxml
  copying src/lxml/builder.py -> build/lib.linux-armv7l-2.7/lxml
  creating build/lib.linux-armv7l-2.7/lxml/includes
  copying src/lxml/includes/__init__.py -> build/lib.linux-armv7l-2.7/lxml/includes
  creating build/lib.linux-armv7l-2.7/lxml/html
  copying src/lxml/html/diff.py -> build/lib.linux-armv7l-2.7/lxml/html
  copying src/lxml/html/defs.py -> build/lib.linux-armv7l-2.7/lxml/html
  copying src/lxml/html/__init__.py -> build/lib.linux-armv7l-2.7/lxml/html
  copying src/lxml/html/ElementSoup.py -> build/lib.linux-armv7l-2.7/lxml/html
  copying src/lxml/html/soupparser.py -> build/lib.linux-armv7l-2.7/lxml/html
  copying src/lxml/html/_setmixin.py -> build/lib.linux-armv7l-2.7/lxml/html
  copying src/lxml/html/usedoctest.py -> build/lib.linux-armv7l-2.7/lxml/html
  copying src/lxml/html/formfill.py -> build/lib.linux-armv7l-2.7/lxml/html
  copying src/lxml/html/clean.py -> build/lib.linux-armv7l-2.7/lxml/html
  copying src/lxml/html/_diffcommand.py -> build/lib.linux-armv7l-2.7/lxml/html
  copying src/lxml/html/html5parser.py -> build/lib.linux-armv7l-2.7/lxml/html
  copying src/lxml/html/builder.py -> build/lib.linux-armv7l-2.7/lxml/html
  copying src/lxml/html/_html5builder.py -> build/lib.linux-armv7l-2.7/lxml/html
  creating build/lib.linux-armv7l-2.7/lxml/isoschematron
  copying src/lxml/isoschematron/__init__.py -> build/lib.linux-armv7l-2.7/lxml/isoschematron
  copying src/lxml/lxml.etree.h -> build/lib.linux-armv7l-2.7/lxml
  copying src/lxml/lxml.etree_api.h -> build/lib.linux-armv7l-2.7/lxml
  copying src/lxml/includes/xinclude.pxd -> build/lib.linux-armv7l-2.7/lxml/includes
  copying src/lxml/includes/uri.pxd -> build/lib.linux-armv7l-2.7/lxml/includes
  copying src/lxml/includes/xmlschema.pxd -> build/lib.linux-armv7l-2.7/lxml/includes
  copying src/lxml/includes/htmlparser.pxd -> build/lib.linux-armv7l-2.7/lxml/includes
  copying src/lxml/includes/xslt.pxd -> build/lib.linux-armv7l-2.7/lxml/includes
  copying src/lxml/includes/tree.pxd -> build/lib.linux-armv7l-2.7/lxml/includes
  copying src/lxml/includes/xmlparser.pxd -> build/lib.linux-armv7l-2.7/lxml/includes
  copying src/lxml/includes/xpath.pxd -> build/lib.linux-armv7l-2.7/lxml/includes
  copying src/lxml/includes/schematron.pxd -> build/lib.linux-armv7l-2.7/lxml/includes
  copying src/lxml/includes/config.pxd -> build/lib.linux-armv7l-2.7/lxml/includes
  copying src/lxml/includes/dtdvalid.pxd -> build/lib.linux-armv7l-2.7/lxml/includes
  copying src/lxml/includes/c14n.pxd -> build/lib.linux-armv7l-2.7/lxml/includes
  copying src/lxml/includes/etreepublic.pxd -> build/lib.linux-armv7l-2.7/lxml/includes
  copying src/lxml/includes/xmlerror.pxd -> build/lib.linux-armv7l-2.7/lxml/includes
  copying src/lxml/includes/relaxng.pxd -> build/lib.linux-armv7l-2.7/lxml/includes
  copying src/lxml/includes/etree_defs.h -> build/lib.linux-armv7l-2.7/lxml/includes
  copying src/lxml/includes/lxml-version.h -> build/lib.linux-armv7l-2.7/lxml/includes
  creating build/lib.linux-armv7l-2.7/lxml/isoschematron/resources
  creating build/lib.linux-armv7l-2.7/lxml/isoschematron/resources/rng
  copying src/lxml/isoschematron/resources/rng/iso-schematron.rng -> build/lib.linux-armv7l-2.7/lxml/isoschematron/resources/rng
  creating build/lib.linux-armv7l-2.7/lxml/isoschematron/resources/xsl
  copying src/lxml/isoschematron/resources/xsl/RNG2Schtrn.xsl -> build/lib.linux-armv7l-2.7/lxml/isoschematron/resources/xsl
  copying src/lxml/isoschematron/resources/xsl/XSD2Schtrn.xsl -> build/lib.linux-armv7l-2.7/lxml/isoschematron/resources/xsl
  creating build/lib.linux-armv7l-2.7/lxml/isoschematron/resources/xsl/iso-schematron-xslt1
  copying src/lxml/isoschematron/resources/xsl/iso-schematron-xslt1/iso_schematron_skeleton_for_xslt1.xsl -> build/lib.linux-armv7l-2.7/lxml/isoschematron/resources/xsl/iso-schematron-xslt1
  copying src/lxml/isoschematron/resources/xsl/iso-schematron-xslt1/iso_abstract_expand.xsl -> build/lib.linux-armv7l-2.7/lxml/isoschematron/resources/xsl/iso-schematron-xslt1
  copying src/lxml/isoschematron/resources/xsl/iso-schematron-xslt1/iso_svrl_for_xslt1.xsl -> build/lib.linux-armv7l-2.7/lxml/isoschematron/resources/xsl/iso-schematron-xslt1
  copying src/lxml/isoschematron/resources/xsl/iso-schematron-xslt1/iso_schematron_message.xsl -> build/lib.linux-armv7l-2.7/lxml/isoschematron/resources/xsl/iso-schematron-xslt1
  copying src/lxml/isoschematron/resources/xsl/iso-schematron-xslt1/iso_dsdl_include.xsl -> build/lib.linux-armv7l-2.7/lxml/isoschematron/resources/xsl/iso-schematron-xslt1
  copying src/lxml/isoschematron/resources/xsl/iso-schematron-xslt1/readme.txt -> build/lib.linux-armv7l-2.7/lxml/isoschematron/resources/xsl/iso-schematron-xslt1
  running build_ext
  building 'lxml.etree' extension
  creating build/temp.linux-armv7l-2.7
  creating build/temp.linux-armv7l-2.7/src
  creating build/temp.linux-armv7l-2.7/src/lxml
  /usr/local/arm-unknown-linux-gnueabi/bin/arm-unknown-linux-gnueabi-ccache-gcc -fno-strict-aliasing -DSYNO_MINDSPEED_COMCERTO2K -DSYNOPLAT_F_ARMV7 -O2 -mcpu=cortex-a9 -march=armv7-a -mtune=cortex-a9 -mfpu=neon -mfloat-abi=hard -mthumb -fno-diagnostics-show-caret -Wno-unused-local-typedefs -DBUILD_ARCH=32 -D_LARGEFILE64_SOURCE -D_FILE_OFFSET_BITS=64 -DSYNO_PLATFORM=MINDSPEED_COMCERTO2K -DSYNO_RUNNING_DSM_BUILD_SYSTEM -g -pipe -fstack-protector --param=ssp-buffer-size=4 -Wformat -Wformat-security -D_FORTIFY_SOURCE=2 -O2 -Wno-unused-result -DOPENSSL_NO_SSL3 -I/usr/local/arm-unknown-linux-gnueabi/arm-unknown-linux-gnueabi/sysroot/usr/lib/libffi-3.2.1/include -DNDEBUG -g -fwrapv -O3 -Wall -Wstrict-prototypes -fPIC -Isrc/lxml/includes -I/usr/include/python2.7 -c src/lxml/lxml.etree.c -o build/temp.linux-armv7l-2.7/src/lxml/lxml.etree.o -w
  unable to execute '/usr/local/arm-unknown-linux-gnueabi/bin/arm-unknown-linux-gnueabi-ccache-gcc': No such file or directory
  Compile failed: command '/usr/local/arm-unknown-linux-gnueabi/bin/arm-unknown-linux-gnueabi-ccache-gcc' failed with exit status 1
  creating tmp
  cc -I/usr/include/libxml2 -c /tmp/xmlXPathInitgLxTWk.c -o tmp/xmlXPathInitgLxTWk.o
  unable to execute 'cc': No such file or directory
  *********************************************************************************
  Could not find function xmlCheckVersion in library libxml2. Is libxml2 installed?
  *********************************************************************************
  error: command '/usr/local/arm-unknown-linux-gnueabi/bin/arm-unknown-linux-gnueabi-ccache-gcc' failed with exit status 1

  ----------------------------------------
  Failed building wheel for lxml

Eine noobfreundliche Erklärung wäre sehr nett, da sich meine Kentnisse diesbezüglich sehr in Grenzen halten, ich den RSSCrawler dennoch sehr gern nutzen würde:rolleyes:
 

sweatcher

Benutzer
Mitglied seit
26. Apr 2014
Beiträge
40
Punkte für Reaktionen
0
Punkte
6
Hast du Python 2.7 und Python Module installiert?

Welche DSM Version und welche DS hast du?
 

Norax

Benutzer
Mitglied seit
17. Jul 2015
Beiträge
16
Punkte für Reaktionen
0
Punkte
1
Ok, hat sich geklärt. Hatte zwar Python 2.7 + Module installiert gehabt, aber bei letzterem gab es anscheinend irgendwie Probleme. Nach einer Neuinstallation läuft jetzt alles sauber! :D
Falls es noch interessiert: DSM Version ist DSM 6.0.2-8451 Update 8 und DS ist DS414J
 

DKeppi

Benutzer
Mitglied seit
01. Apr 2011
Beiträge
3.207
Punkte für Reaktionen
62
Punkte
114
Bei mir kommt beim Start folgendes:

Rich (BBCode):
Traceback (most recent call last):  File "/volume1/@appstore/RSScrawler-master/RSScrawler.py", line 38, in <module>
    from docopt import docopt
ImportError: No module named docopt
 
Zuletzt bearbeitet:

DKeppi

Benutzer
Mitglied seit
01. Apr 2011
Beiträge
3.207
Punkte für Reaktionen
62
Punkte
114
Habs hinbekommen:

Habe mir ein Script geladen
Rich (BBCode):
wget https://bootstrap.pypa.io/get-pip.py

Damit pip installiert
Rich (BBCode):
python get-pip.py

Und anschließend die Module nachinstalliert
Rich (BBCode):
pip install docopt
pip install cherrypy
pip install feedparser
pip install requests
pip install BeautifulSoup
pip install lxml

Evtl. gehts aber auch anders...

Danach noch in der
Rich (BBCode):
/volume1/@appstore/RSScrawler-master/Einstellungen/RSScrawler.ini

den JDownloader-Pfad eingetragen
Rich (BBCode):
/volume1/@appstore/JDownloader
Hat wohl per Setupscript nicht geklappt

Jetzt läufts... :) :) :)
 
Zuletzt bearbeitet:

DKeppi

Benutzer
Mitglied seit
01. Apr 2011
Beiträge
3.207
Punkte für Reaktionen
62
Punkte
114
Bevor ich versuche meine Syno neu zu starten.
Beendet sich der RSScrawler automatisch oder kann ich davon ausgehen dass die Syno hängenbleibt?
 

sweatcher

Benutzer
Mitglied seit
26. Apr 2014
Beiträge
40
Punkte für Reaktionen
0
Punkte
6
ich beende meine Syno ab und zu bzw, neustarte sie, hatte bisher keine Probleme.
Neueste Version 2.4.1 läuft bei mir, gerade geupdatet.
 

DKeppi

Benutzer
Mitglied seit
01. Apr 2011
Beiträge
3.207
Punkte für Reaktionen
62
Punkte
114
Danke für die Info, hat geklappt :)
Liegt wohl daran das python ein Paket ist und autom. beendet wird.

Wie hast du das Update gemacht ohne die Einstellungen zu verlieren?
 

sweatcher

Benutzer
Mitglied seit
26. Apr 2014
Beiträge
40
Punkte für Reaktionen
0
Punkte
6
die Einstellungen gingen verloren aber default mässig wird ja nur nach dem JD Pfad und der Port gefragt, alternativ könnte ja die Einstellungsdatei kopiert werden.
 

DKeppi

Benutzer
Mitglied seit
01. Apr 2011
Beiträge
3.207
Punkte für Reaktionen
62
Punkte
114
Ok danke für die Info!

Mir gings mehr um die Einstellungen bzgl. Scraper da das doch einiges an Arbeit war, besonders die Regex.txt
Und es gibt ja die Datenbanken wo drinnen steht was bereits geladen wurde und die Filtereinstellungen welche nicht gescrapt werden sollen.

Aber nachdem ich gesehen habe, dass das Update eh ur Youtube betrifft kann ich drauf verzichten ;)
 
Status
Für weitere Antworten geschlossen.
 

Kaffeautomat

Wenn du das Forum hilfreich findest oder uns unterstützen möchtest, dann gib uns doch einfach einen Kaffee aus.

Als Dankeschön schalten wir deinen Account werbefrei.

:coffee:

Hier gehts zum Kaffeeautomat