jDownloader RSScrawler 1.6.5 (noarch) / Paketzentrum (JDownloader Add-on)

[neutron]

**RSScrawler v.1.6.5**

Projekt von https://github.com/rix1337

Enthält Code von:

https://github.com/dmitryint

https://github.com/zapp-brannigan

https://github.com/Gutz-Pilz

https://github.com/bharnett

DSM
Jede Version.

Unterstützte DS und RS
Jede.

Paketstatus
Das Paket ist aktuell mit der Version 1.6.5 ausgestattet. Updates und Verbesserungen sind über das Paketzentrum als Update verfügbar.

Download
Das Paketzentrum auf euer DS oder RS öffnen und unter Einstellungen->Paketquellen folgende Quelle hinzufügen:

https://spk.netzbaer.de

Welche Voraussetzungen gibt es ?
Es muss eine vollständige Python Umgebung vorhanden sein, dazu installiert Ihr am besten Python 2.7.x aus dem SynoCommunity Repo.

Funktionsweise
Der RSScrawler holt von diversen Seiten entsprechende Informationen und speichert diese im Folderwatch-Format für JDownloader. Einigen von euch dürfte diese Funktion von pyload bekannt sein.
Um das ganz zu konfigurieren installiert euch bitte entweder einen Editor für DSM oder Ihr müsst das ganze zu "Fuss" auf der Shell erledigen.

Im Installationspfad der Anwendung (volumeX/@appstore/RSSCrawler/Einstellungen) gibt es folgenden relevanten Dateien dafür:

- RSScrawler.ini
- Listen/MB_Filme.txt
- Listen/MB_Staffeln.txt
- Listen/SJ_Serien_Regex.txt
- Listen/SJ_Serien.txt

Was dort wie zu editieren ist, ist größtenteils selbsterklärend, schaut euch aber bitte UNBEDINGT die README.md an!

Anschließend müsst Ihr natürlich noch das Folderwatch Plugin in JDownloader aktivieren und den Pfad des Folderwatch Ordners im RSSCrawler hinterlegen:

- /volumeX/@appstore/RSSCrawler/folderwatch

Testet das Paket ausgiebig, Verbesserungswünsche das Paket betreffend nehme ich gerne entgegen. Es wird sicherlich noch das eine oder andere Paket-Update folgen, auch eine FAQ bauen wir hier nach und nach auf.
Diese Version ist fast komplett neu geschrieben und bietet demnach auch einiges an Neuerungen, bittet beachtet dies bei einem UPDATE.

Der Author des Skripts liest hier mit, sollte es also tatsächlich Probleme geben die das Skript betreffen, wird er sich evtl. hier dazu selbst äußern.

Viel Spaß.

 

[neutron]

Jetzt ist mir leider bei dem Update ein Fehler unterlaufen, den ich erst später korrigieren kann. Wenn Ihr das Update noch nicht gemacht habt, sichert bitte eure Listen, deinstalliert dann das Paket und installiert es neu. Ihr müsst ohnehin einige Änderungen vornehmen, da alles komplett neu gemacht wurde.

 

[DKeppi]

Habe das alte deinstalliert und komplett neu installiert.
Listen befüllt - Settings vorgenommen

Leider startet das Paket nicht!

Bei einem

  /usr/local/python/bin/python RSScrawler.py --ontime --log-level=DEBUG

kommt folgender Fehler:

 Traceback (most recent call last):
  File "RSScrawler.py", line 54, in <module>
    from rssdb import RssDb
  File "/volume1/@appstore/RSScrawler/rssdb.py", line 2, in <module>
    import common
  File "/volume1/@appstore/RSScrawler/common.py", line 1
SyntaxError: Non-ASCII character '\x8b' in file /volume1/@appstore/RSScrawler/common.py on line 1, but no encoding declared; see http://python.org/dev/peps/pep-0263/ for details

 

[neutron]

Ja, sehe den Fehler. Ich mache nachher noch ein Update, muss jetzt erst mal los, bin noch in der Firma.

 

[DKeppi]

Das neue 1.6.5-003 Paket läuft - danke!!!


Was mir noch auffällt:

Im folderwatch Ordner landet beim erfolgreichen crawlen auch immer ein "rsscrawler.v.1.6.5.readme-rix.crawljob"

 

[neutron]

Das ist vom Entwickler so gewollt.

 

[DKeppi]

Alles klar!

Schade ist auch das bei Regex die ignorelist nicht zieht, so ist es verdammt schwierig 480p einzugrenzen, da ja 480 nicht im Namen vorkommt wie bei den HD Versionen.
So muss ich so gut wie alles vorgeben (Anbieter/Filename), was aber bei zB. neuen Staffeln dann nicht mehr passt weil sich der Anbieter ändert...ignore = 720;1080 wäre da um einiges einfacher!
Aber das kommt ja so vom Entwickler des Crawlers

 

[neutron]

RegEx ist halt manuell, aber kann man doch basteln?! RegEx funktioniert jetzt richtig gut. Ich kenn halt auch niemand mehr der sich das Augenkrebs Format noch an tut

 

[DKeppi]

Hinbekommen hab ichs eh irgendwie, wollts nur mal loswerden
Ich bin Jäger & Sammler, da braucht HD einfach zuviel Speicher!

OT:
Und bei dir läuft jetzt alles wieder?
Ich habe immer noch Probleme beim übernehmen der crawljobs in den jDownloader - werden immer noch falsch gecrawlt und als OFFLINE FILES angezeigt

 

[DKeppi]

Das ist vom Entwickler so gewollt.

Finde ich seltsam, macht ja keinen Sinn und nervt eher!

Achja:
Hab mir jetzt noch das X84_c86_phantomjs in den entsprechenden tools Ordner gelegt - nun kommen immerhin schon die Captchas die auch lösbar sind.
Fehlt nur noch das die das deathbycaptcha plugin wieder zum Laufen bringen

 

[Itsie]

Hallo zusammen,

eig. habe ich alles soweit hinbekommen, er crawlt wunderbar etc. pp.
Ich habe 9KW als Captcha-Lösung auch eingestellt, jedoch scheint es so als ob er z.B SJ Links nicht wirklich einfügt es kommen Offline-Links aufgrund falscher Adresse (nicht encrypted), gibt es hier eine Lösung?

LG Itsie

 

[DrSniper]

Hallo
Wenn ich versuche RSSCrawler zu starten bekomme ich diese Fehlermeldung:

NAS> python RSScrawler.py
Traceback (most recent call last):
  File "RSScrawler.py", line 44, in <module>
    import pycurl
ImportError: No module named pycurl

Wie bekomme ich dieses pycurl nachinstalliert?

Wenn ich easy_install pycurl eingebe kommt das:

NAS> easy_install pycurl
Searching for pycurl
Reading http://pypi.python.org/simple/pycurl/
Best match: pycurl 7.43.0
Downloading https://pypi.python.org/packages/12/3f/557356b60d8e59a1cce62ffc07ecc03e4f8a202c86adae34d895826281fb/pycurl-7.43.0.tar.gz#md5=c94bdba01da6004fa38325e9bd6b9760
Processing pycurl-7.43.0.tar.gz
Running pycurl-7.43.0/setup.py -q bdist_egg --dist-dir /tmp/easy_install-VZebhq/pycurl-7.43.0/egg-dist-tmp-LonCll
Using curl-config (libcurl 7.24.0)
warning: no files found matching 'src/Makefile'
unable to execute '/usr/local/i686-pc-linux-gnu/bin/i686-pc-linux-gnu-ccache-gcc': No such file or directory
error: Setup script exited with error: command '/usr/local/i686-pc-linux-gnu/bin/i686-pc-linux-gnu-ccache-gcc' failed with exit status 1

 

[berniemacmac]

Hallo
Ich habe eine saublöde Frage:
Wie kann ich am schnellsten die TXT Dateien bearbeiten, bin mit dem Terminal im Listenverzeichnis und nun stehe ich an. Wie öffne ich nun die diese Dateien, mit dem DSM Text Editor komme ich nicht dran und wo finde ich die Readme datei.
Danke für eure Hilfe.

 

[DrSniper]

Entweder:
nano "Dateiname" oder vi "Dateiname"
Nano musst du nachistallieren!
Finde ich aber persönlich besser!

 

[DrSniper]

Kann mir keiner helfen?

 

[tippgeber]

Hallo
Ich habe eine saublöde Frage:
Wie kann ich am schnellsten die TXT Dateien bearbeiten, bin mit dem Terminal im Listenverzeichnis und nun stehe ich an. Wie öffne ich nun die diese Dateien, mit dem DSM Text Editor komme ich nicht dran und wo finde ich die Readme datei.
Danke für eure Hilfe.

Schau mal auf die Github-Seite.

Dort ist gestern ein großes Update erschienen.

Mann kann jetzt über einen Webserver alle Einstellungen und Listen bearbeiten.

Hier wurde allerdings schon seit Monaten nichts mehr aktualisiert.

 

[berniemacmac]

Danke für den Tipp!
Und wie installiere ich neue Version?

 

[tippgeber]

Danke für den Tipp!
Und wie installiere ich neue Version?

Wenn du einen Linux-Rechner hast dann per docker. Bzw. lad das script einfach runter und befolge die Anleitung dort. Musst nur python2.7 und die zusatzpakete installieren.

Für die Synology musst du mal neutron fragen, der pflegt die Updates selber. 1.6.5 ist echt ein Unterschied zu 2.0.8

Das Interface macht echt einen runden Eindruck:

 

[berniemacmac]

Danke für die Infos.

Ich habe die DS1815+, werde mal neutron fragen wie ich es als Laie auch installieren kann.

Habe hier einen iMac mit macOS Sierra.

 

[sweatcher]

Es gibt bald eine kurze Anleitung wie es aktuell auf der Syno installiert werden kann, auf Github wurde es erfolgreich getestet, ich aktuell scheitere noch ein wenig an der installation, werde es verlinken falls es nicht hier gepostet wird.