jDownloader RSScrawler (noarch) / Paketzentrum (JDownloader Add-on)

[neutron]

**RSScrawler v.1.3.0**

Projekt von https://github.com/rix1337

Enthält Code von:

https://github.com/dmitryint

https://github.com/zapp-brannigan

https://github.com/Gutz-Pilz

https://github.com/bharnett

DSM
Jede Version.

Unterstützte DS und RS
Jede.

Paketstatus
Das Paket ist aktuell mit der Version 1.3.0 ausgestattet. Updates und Verbesserungen sind über das Paketzentrum als Update verfügbar.

Download
Das Paketzentrum auf euer DS oder RS öffnen und unter Einstellungen->Paketquellen folgende Quelle hinzufügen:

https://spk.netzbaer.de

Welche Voraussetzungen gibt es ?
Es muss eine vollständige Python Umgebung vorhanden sein, dazu installiert Ihr am besten Python 2.7.x aus dem SynoCommunity Repo.

Funktionsweise
Der RSScrawler holt von diversen Seiten entsprechende Informationen und speichert diese im Folderwatch-Format für JDownloader. Einigen von euch dürfte diese Funktion von pyload bekannt sein.
Um das ganz zu konfigurieren installiert euch bitte entweder einen Editor für DSM oder Ihr müsst das ganze zu "Fuss" auf der Shell erledigen.

Im Installationspfad der Anwendung (volumeX/@appstore/RSSCrawler/Settings) gibt es folgenden relevanten Dateien dafür:

- Settings.ini
- Lists/Movies.txt
- Lists/Shows.txt
- Lists/Shows_Regex.txt

Was dort wie zu editieren ist, ist größtenteils selbsterklärend, ansonsten schaut euch bitte die README an.

Anschließend müsst Ihr natürlich noch das Folderwatch Plugin in JDownloader aktivieren und den Pfad des Folderwatch Ordners im RSSCrawler hinterlegen:

- /volumeX/@appstore/RSSCrawler/Folderwatch

Testet das Paket ausgiebig, Verbesserungswünsche nehme ich gerne entgegen. Es wird sicherlich noch das eine oder andere Paket-Update folgen, auch eine FAQ bauen wir hier nach und nach auf.
Der Author des Skripts liest hier mit, sollte es also tatsächlich Probleme geben die das Skript betreffen, wird er sich evtl. hier dazu selbst äußern.

Viel Spaß.

 

[DKeppi]

Wie muss ich denn die Shows eintragen (nur ein Beispiel)?

Alles.Klara

Alles Klara

Alles Klara;

 

[neutron]

Das steht eigentlich schon in der Movies.txt drin als Format. Da steht sowas wie "Name.der.Serie". Also im Prinzip einfach die Schreibweise eingeben die du auf der Seite bzw im Feed auch suchst.

 

[DKeppi]

Ok also mit .
Jede Serie in eine extra Zeile nehme ich an?

Irgendwie tut sich nichts....


EDIT:
Aufruf von python /volume1/@appstore/RSSCrawler/RSSCrawler.py bringt

Traceback (most recent call last):
File "./RSScrawler.py", line 23, in <module>
from docopt import docopt
ImportError: No module named docopt


Es fehlt also irgendwie docopt

 

[DKeppi]

Und ein kleiner Fehler im start-stop-status

 

[neutron]

Den Schreibfehler korrigiere ich. Sicher das du die Python 2.7 von der SynoCommunity nutzt ? Schau mal im scripts Ordner in das postinst Script, ich installiere via PIP die nötigen requirements nach, auch docopt. Das funktioniert bei mir, ich hab python runter geworfen, python frisch installiert, dann das Paket, alles installiert wie er sollte. Du kannst auch mal in /var/log/synopkg.log schauen wie die Ausgabe von PIP während der Installation aussieht.

 

[DKeppi]

Verwende die Python 2.7 von Synocommunity
Log sagt es wurde installiert
pip findet docopt auch
Trotzdem kommt der Fehler wenn ich es auf der Konsole starte

Das Paket startet ohne Probleme aber obwohl ich eine Serie eintrage die im RSS Feed enthalten ist kommt nichts.
Habe alle Intervalle auf 1 gestellt...

Mal weiter abwarten

 

[neutron]

Der Fehler beim manuellen starten kommt daher dass du das falsche Python aufrufst. Also ich mache das im Format Name. Season.* z.b.

 

[jankete]

Um das ganz zu konfigurieren installiert euch bitte entweder einen Editor für DSM oder Ihr müsst das ganze zu "Fuss" auf der Shell erledigen.

Im Installationspfad der Anwendung (volumeX/@appstore/RSSCrawler/Settings) gibt es folgenden relevanten Dateien dafür:

- Settings.ini
- Lists/Movies.txt
- Lists/Shows.txt

Kennst einen Editor für die DSM-Weboberfläche, mit dem ich Zugriff auf besagten Pfad bzw. die Dateien bekomme? Der Synology-eigene Editor lässt nur die Arbeit in den Nutzerfreigaben zu.

Auch wenn es nicht zum Thema direkt gehört: Kennst du ein Plugin für jDownloader 2, mit dem ich die SJ-Captchas automatisch lösen kann? Sonst wäre das automatische Einsammeln der Links zur zur Hälfte sinnvoll.

 

[neutron]

Mit einem Editor kann ich dir leider nicht helfen. Was JD2 angeht, brauchst kein Plugin, JD2 kann das von Haus aus. Ich benutze z.b. 9kw,eu, findest du in den Profieinstellungen.

 

[DKeppi]

Hab jetzt die Shows.txt folgendermaßen (Beispiel da es bei dieser Serie aktuell neue Folgen gibt!):

Alles.Klara*


Python 2.7.11-15 von der Synocommunity ist installiert, Folderwatch mit dem Pfad konfiguriert, alles auf minütlich gestellt.
Es tut sich nichts...weder im folderwatch Ordner noch im JDownloader.

Was mache ich falsch?!

 

[neutron]

Hab dir doch gestern Beispiele geschickt.

Probier mal:

Alles.*Klara.* oder
Alles.Klara.*

In der Settings.ini haste auch alles so eingestellt wie gewünscht? rejectlist nicht evtl. was drin was er ausschließt, sprache, quali ?!

 

[DKeppi]

Habe beide Möglichkeiten probiert, es tut sich nichts!

Habe die Ausschlussliste zudem mal geleert, nur zum Test! Nichts...

Meine settings.ini sieht so aus:

[MB]# List of Movies - Each line should contain one Movie title
patternfile = /volume1/@appstore/RSScrawler/Settings/Lists/Movies.txt
# Database used to ignore already downloaded Releases in the future
db_file = /volume1/@appstore/RSScrawler/Settings/Databases/Downloads_MB.db
# JDownloaders folderwatch directory for automatic link adding - Enable folderwatch!
crawljob_directory = /volume1/@appstore/RSScrawler/Folderwatch
# Ignore pattern - Comma seperated list of Release tags to ignore
ignore = ts,cam,subbed,untouched,remux,pal,md,ac3md,mic,hou
# Execution interval of the script in minutes
interval = 1
# Quality to look for in Release titles - 480p, 720p or 1080p
quality = 480p
# Add your Pushbullet-API key if you want to be notified
pushbulletapi = 
# Hoster to load from on MB - OBOOM, Uploaded, Share-Online or Zippyshare
hoster = Uploaded
# Use search function - Disable if you only want current Releases to be added
historical = True
# Crawl for 3D versions of Movies - in 1080p, regardles of quality set above
crawl3d = False
# If release without DL tag is added, look for DL release - ignoring quality setting
enforcedl = False
# Crawl complete Seasons on MB
crawlseasons = False
# List of shows, to crawl for complete seasons - May be equal to SJ file
seasonslist = /volume1/@appstore/RSScrawler/Settings/Lists/Shows.txt
# Quality of complete seasons to crawl for - 480p, 720p or 1080p
seasonsquality = 480p
# Source tag to look for in complete seasons - e.g. bluray, web-dl or hdtv
seasonssource = bluray


[SJ]
# List of Shows - Each line should contain one Show title
file = /volume1/@appstore/RSScrawler/Settings/Lists/Shows.txt
# Database used to ignore already downloaded Releases in the future
db_file = /volume1/@appstore/RSScrawler/Settings/Databases/Downloads_SJ.db
# JDownloaders folderwatch directory for automatic link adding - Enable folderwatch!
crawljob_directory = /volume1/@appstore/RSScrawler/Folderwatch
# Reject list - Semicolon seperated list of Release tags to ignore
rejectlist = 3d;subbed;1080p;720p;md;untouched;ts;cam
# Execution interval of the script in minutes
interval = 1
# Add your Pushbullet-API key if you want to be notified
pushbulletapi = 
# Language to load Shows in - DEUTSCH or ENGLISCH
language = DEUTSCH
# Quality to look for in Release titles - 480p, 720p or 1080p
quality = 480p
# Hoster to load from on SJ - ul, so, fm, cz, alle
hoster = ul
# Treat entries of the List as regular expressions - for advanced use cases
regex = False

 

[DKeppi]

Hab jetzt die settings.ini nochmal komplett neu ausgefüllt und gespeichert
Genauso die shows.txt und siehe da, es klapp plötzlich?! :-O

Wie verhindere ich das die Serien aus dem Linksammler direkt in die Downloads übernommen werden?

EDIT:
Habs selbst gefunden!!!


Das mit meinem 1 minütigem Interval klappt aber nicht ganz - tut schon wieder nichts!

 

[neutron]

Also nach meiner Erfahrung bis jetzt, in der rejectlist 720p und 1080p funktioniert nicht und macht keinen Sinn, nimm das da raus. Wenn du bei "quality=" was eingibst, hält er sich auch nur daran. 480p wird nicht gehen, weil 480p in der Serie im Namen nicht vorkommt, überhaupt finde ich das nur in den englischen Serien. "language" holt er sich aus dem XML, nicht aus dem TItel.

Hast du meine Beispiele mit Alles.Klara probiert ?

Ansonsten mach mal folgendes, beende mal das Paket im Paketzentrum, geh auf die Shell, mach dann mal ein:

/usr/local/python/bin/python RSScrawler.py --ontime --log-level=DEBUG

Damit macht er genau EINEN Durchlauf in dem er nach dem sucht was in Shows.txt steht. Das ganze gibt er dann auch auf der Konsole aus, gibt er nix aus, hat er tatsächlich ein Problem damit die Serie mit der Syntax die du verwendest zu finden.

Ich würde jetzt wie gesagt dann mal Alles.Klara.* probieren, oder Alles.Klara.S03* und wenn du was hast, wo er findet, weiter dran pfeilen. Ich mach es mittlerweile komplett anders, ich hab rejectlist und quality in der Settings.ini komplett leer gelassen, hab RegEx auf True gesetzt und suche explizit nur nach dem was ich will, damit kannst du dann auch im Namen sowohl qualitiy als auch alles andere angeben, ergo findet er auch sachen wo weder 480p, noch 720p oder 1080p drin steht.

Mit Regex an und so wie ich geschrieben haben würde ich dann suchen:

Alles.Klara.S03*.* oder vielleicht geht dann eben auch Musst ein bisschen spielen damit. Mit der Debug Methode kann man dann gut schauen.

 

[DKeppi]

Ok es liegt an 480p (steht aber auch so dort das man 480p, 720p oder 1080p angeben soll)
Werde versuchen das mit der rejectlist und ohne Quali hinzubekommen

Das Problem ist, dass immer noch alle in Downloads landen, sobald der Durchgang beendet ist!
Autostart deaktivieren nützt nichts...steht im crawljob leider schon drinnen!

 

[neutron]

Ok es liegt an 480p (steht aber auch so dort das man 480p, 720p oder 1080p angeben soll)
Werde versuchen das mit der rejectlist und ohne Quali hinzubekommen

Das Problem ist, dass immer noch alle in Downloads landen, sobald der Durchgang beendet ist!
Autostart deaktivieren nützt nichts...steht im crawljob leider schon drinnen!

Das sind 3 Werte die auf false müssen, dann landet es nur im Linkgrabber. Ich hab das direkt in der Rsscrawler.py editiert, dann erstellt er die Jobs auch gleich so. Nach der Änderung die .pyc löschen vor dem Starten.

 

[DKeppi]

Super, habs hinbekommen - jetzt funktioniert es eigentlich wie es soll und findet die richtigen Files!

Eines allerdings klappt nicht - das es automatisch läuft!
Er sucht nicht selbst alle paar minuten, muss es manuell starten mit /usr/local/python/bin/python RSScrawler.py --ontime --log-level=DEBUG

EDIT:

So, Paket gestoppt, alle .pyc, .db Files und alles im added Ordner entfernt und Paket neu gestartet.
Es läuft - endlich

Danke für die Hilfe!

 

[neutron]

Nein, das geht. Wenn du alles eingestellt hast, normal starten. Was er schon mal gefunden hat kommt nicht noch mal, speichert er in einer db.

 

[DKeppi]

Ich weiß aber am Anfang kam ja gar nichts daher - jetzt kams einmal und gut ist!
Am Montag/Dienstag werden dann die neuen aufschlagen!

Danke für deinen Support!