PDA

Archiv verlassen und diese Seite im Standarddesign anzeigen : RSScrawler (noarch) / Paketzentrum (JDownloader Add-on)



neutron
12.05.2016, 07:19
**RSScrawler v.1.3.0**

Projekt von https://github.com/rix1337

Enthält Code von:

https://github.com/dmitryint

https://github.com/zapp-brannigan

https://github.com/Gutz-Pilz

https://github.com/bharnett

DSM
Jede Version.

Unterstützte DS und RS
Jede.

Paketstatus
Das Paket ist aktuell mit der Version 1.3.0 ausgestattet. Updates und Verbesserungen sind über das Paketzentrum als Update verfügbar.

Download
Das Paketzentrum auf euer DS oder RS öffnen und unter Einstellungen->Paketquellen folgende Quelle hinzufügen:

https://spk.netzbaer.de

Welche Voraussetzungen gibt es ?
Es muss eine vollständige Python Umgebung vorhanden sein, dazu installiert Ihr am besten Python 2.7.x aus dem SynoCommunity (https://synocommunity.com/package/python) Repo.

Funktionsweise
Der RSScrawler holt von diversen Seiten entsprechende Informationen und speichert diese im Folderwatch-Format für JDownloader. Einigen von euch dürfte diese Funktion von pyload bekannt sein.
Um das ganz zu konfigurieren installiert euch bitte entweder einen Editor für DSM oder Ihr müsst das ganze zu "Fuss" auf der Shell erledigen.

Im Installationspfad der Anwendung (volumeX/@appstore/RSSCrawler/Settings) gibt es folgenden relevanten Dateien dafür:

- Settings.ini
- Lists/Movies.txt
- Lists/Shows.txt
- Lists/Shows_Regex.txt

Was dort wie zu editieren ist, ist größtenteils selbsterklärend, ansonsten schaut euch bitte die README an.

Anschließend müsst Ihr natürlich noch das Folderwatch Plugin in JDownloader aktivieren und den Pfad des Folderwatch Ordners im RSSCrawler hinterlegen:

- /volumeX/@appstore/RSSCrawler/Folderwatch

Testet das Paket ausgiebig, Verbesserungswünsche nehme ich gerne entgegen. Es wird sicherlich noch das eine oder andere Paket-Update folgen, auch eine FAQ bauen wir hier nach und nach auf.
Der Author des Skripts liest hier mit, sollte es also tatsächlich Probleme geben die das Skript betreffen, wird er sich evtl. hier dazu selbst äußern.

Viel Spaß.

DKeppi
12.05.2016, 10:13
Wie muss ich denn die Shows eintragen (nur ein Beispiel)?

Alles.Klara

Alles Klara

Alles Klara;

neutron
12.05.2016, 10:17
Das steht eigentlich schon in der Movies.txt drin als Format. Da steht sowas wie "Name.der.Serie". Also im Prinzip einfach die Schreibweise eingeben die du auf der Seite bzw im Feed auch suchst.

DKeppi
12.05.2016, 10:20
Ok also mit .
Jede Serie in eine extra Zeile nehme ich an?

Irgendwie tut sich nichts....


EDIT:
Aufruf von python /volume1/@appstore/RSSCrawler/RSSCrawler.py bringt

Traceback (most recent call last):
File "./RSScrawler.py", line 23, in <module>
from docopt import docopt
ImportError: No module named docopt


Es fehlt also irgendwie docopt :(

DKeppi
12.05.2016, 10:48
Und ein kleiner Fehler im start-stop-status ;)

30482

neutron
12.05.2016, 11:25
Den Schreibfehler korrigiere ich. Sicher das du die Python 2.7 von der SynoCommunity nutzt ? Schau mal im scripts Ordner in das postinst Script, ich installiere via PIP die nötigen requirements nach, auch docopt. Das funktioniert bei mir, ich hab python runter geworfen, python frisch installiert, dann das Paket, alles installiert wie er sollte. Du kannst auch mal in /var/log/synopkg.log schauen wie die Ausgabe von PIP während der Installation aussieht.

DKeppi
12.05.2016, 12:11
Verwende die Python 2.7 von Synocommunity
Log sagt es wurde installiert
pip findet docopt auch
Trotzdem kommt der Fehler wenn ich es auf der Konsole starte :(

Das Paket startet ohne Probleme aber obwohl ich eine Serie eintrage die im RSS Feed enthalten ist kommt nichts.
Habe alle Intervalle auf 1 gestellt...

Mal weiter abwarten :-P

neutron
12.05.2016, 12:50
Der Fehler beim manuellen starten kommt daher dass du das falsche Python aufrufst. Also ich mache das im Format Name. Season.* z.b.

jankete
13.05.2016, 07:08
Um das ganz zu konfigurieren installiert euch bitte entweder einen Editor für DSM oder Ihr müsst das ganze zu "Fuss" auf der Shell erledigen.

Im Installationspfad der Anwendung (volumeX/@appstore/RSSCrawler/Settings) gibt es folgenden relevanten Dateien dafür:

- Settings.ini
- Lists/Movies.txt
- Lists/Shows.txt
Kennst einen Editor für die DSM-Weboberfläche, mit dem ich Zugriff auf besagten Pfad bzw. die Dateien bekomme? Der Synology-eigene Editor lässt nur die Arbeit in den Nutzerfreigaben zu.

Auch wenn es nicht zum Thema direkt gehört: Kennst du ein Plugin für jDownloader 2, mit dem ich die SJ-Captchas automatisch lösen kann? Sonst wäre das automatische Einsammeln der Links zur zur Hälfte sinnvoll. ;)

neutron
13.05.2016, 08:25
Mit einem Editor kann ich dir leider nicht helfen. Was JD2 angeht, brauchst kein Plugin, JD2 kann das von Haus aus. Ich benutze z.b. 9kw,eu, findest du in den Profieinstellungen.

DKeppi
13.05.2016, 10:47
Hab jetzt die Shows.txt folgendermaßen (Beispiel da es bei dieser Serie aktuell neue Folgen gibt!):

Alles.Klara*


Python 2.7.11-15 von der Synocommunity ist installiert, Folderwatch mit dem Pfad konfiguriert, alles auf minütlich gestellt.
Es tut sich nichts...weder im folderwatch Ordner noch im JDownloader.

Was mache ich falsch?! :(

neutron
13.05.2016, 11:06
Hab dir doch gestern Beispiele geschickt.

Probier mal:

Alles.*Klara.* oder
Alles.Klara.*

In der Settings.ini haste auch alles so eingestellt wie gewünscht? rejectlist nicht evtl. was drin was er ausschließt, sprache, quali ?!

DKeppi
13.05.2016, 11:28
Habe beide Möglichkeiten probiert, es tut sich nichts!

Habe die Ausschlussliste zudem mal geleert, nur zum Test! Nichts...

Meine settings.ini sieht so aus:


[MB]# List of Movies - Each line should contain one Movie title
patternfile = /volume1/@appstore/RSScrawler/Settings/Lists/Movies.txt
# Database used to ignore already downloaded Releases in the future
db_file = /volume1/@appstore/RSScrawler/Settings/Databases/Downloads_MB.db
# JDownloaders folderwatch directory for automatic link adding - Enable folderwatch!
crawljob_directory = /volume1/@appstore/RSScrawler/Folderwatch
# Ignore pattern - Comma seperated list of Release tags to ignore
ignore = ts,cam,subbed,untouched,remux,pal,md,ac3md,mic,hou
# Execution interval of the script in minutes
interval = 1
# Quality to look for in Release titles - 480p, 720p or 1080p
quality = 480p
# Add your Pushbullet-API key if you want to be notified
pushbulletapi =
# Hoster to load from on MB - OBOOM, Uploaded, Share-Online or Zippyshare
hoster = Uploaded
# Use search function - Disable if you only want current Releases to be added
historical = True
# Crawl for 3D versions of Movies - in 1080p, regardles of quality set above
crawl3d = False
# If release without DL tag is added, look for DL release - ignoring quality setting
enforcedl = False
# Crawl complete Seasons on MB
crawlseasons = False
# List of shows, to crawl for complete seasons - May be equal to SJ file
seasonslist = /volume1/@appstore/RSScrawler/Settings/Lists/Shows.txt
# Quality of complete seasons to crawl for - 480p, 720p or 1080p
seasonsquality = 480p
# Source tag to look for in complete seasons - e.g. bluray, web-dl or hdtv
seasonssource = bluray


[SJ]
# List of Shows - Each line should contain one Show title
file = /volume1/@appstore/RSScrawler/Settings/Lists/Shows.txt
# Database used to ignore already downloaded Releases in the future
db_file = /volume1/@appstore/RSScrawler/Settings/Databases/Downloads_SJ.db
# JDownloaders folderwatch directory for automatic link adding - Enable folderwatch!
crawljob_directory = /volume1/@appstore/RSScrawler/Folderwatch
# Reject list - Semicolon seperated list of Release tags to ignore
rejectlist = 3d;subbed;1080p;720p;md;untouched;ts;cam
# Execution interval of the script in minutes
interval = 1
# Add your Pushbullet-API key if you want to be notified
pushbulletapi =
# Language to load Shows in - DEUTSCH or ENGLISCH
language = DEUTSCH
# Quality to look for in Release titles - 480p, 720p or 1080p
quality = 480p
# Hoster to load from on SJ - ul, so, fm, cz, alle
hoster = ul
# Treat entries of the List as regular expressions - for advanced use cases
regex = False

DKeppi
13.05.2016, 11:33
Hab jetzt die settings.ini nochmal komplett neu ausgefüllt und gespeichert
Genauso die shows.txt und siehe da, es klapp plötzlich?! :-O

Wie verhindere ich das die Serien aus dem Linksammler direkt in die Downloads übernommen werden?

EDIT:
Habs selbst gefunden!!!


Das mit meinem 1 minütigem Interval klappt aber nicht ganz - tut schon wieder nichts!

neutron
13.05.2016, 11:43
Also nach meiner Erfahrung bis jetzt, in der rejectlist 720p und 1080p funktioniert nicht und macht keinen Sinn, nimm das da raus. Wenn du bei "quality=" was eingibst, hält er sich auch nur daran. 480p wird nicht gehen, weil 480p in der Serie im Namen nicht vorkommt, überhaupt finde ich das nur in den englischen Serien. "language" holt er sich aus dem XML, nicht aus dem TItel.

Hast du meine Beispiele mit Alles.Klara probiert ?

Ansonsten mach mal folgendes, beende mal das Paket im Paketzentrum, geh auf die Shell, mach dann mal ein:


/usr/local/python/bin/python RSScrawler.py --ontime --log-level=DEBUG

Damit macht er genau EINEN Durchlauf in dem er nach dem sucht was in Shows.txt steht. Das ganze gibt er dann auch auf der Konsole aus, gibt er nix aus, hat er tatsächlich ein Problem damit die Serie mit der Syntax die du verwendest zu finden.

Ich würde jetzt wie gesagt dann mal Alles.Klara.* probieren, oder Alles.Klara.S03* und wenn du was hast, wo er findet, weiter dran pfeilen. Ich mach es mittlerweile komplett anders, ich hab rejectlist und quality in der Settings.ini komplett leer gelassen, hab RegEx auf True gesetzt und suche explizit nur nach dem was ich will, damit kannst du dann auch im Namen sowohl qualitiy als auch alles andere angeben, ergo findet er auch sachen wo weder 480p, noch 720p oder 1080p drin steht.

Mit Regex an und so wie ich geschrieben haben würde ich dann suchen:

Alles.Klara.S03*.* oder vielleicht geht dann eben auch Musst ein bisschen spielen damit. Mit der Debug Methode kann man dann gut schauen.

DKeppi
13.05.2016, 11:57
Ok es liegt an 480p (steht aber auch so dort das man 480p, 720p oder 1080p angeben soll)
Werde versuchen das mit der rejectlist und ohne Quali hinzubekommen

Das Problem ist, dass immer noch alle in Downloads landen, sobald der Durchgang beendet ist!
Autostart deaktivieren nützt nichts...steht im crawljob leider schon drinnen! :(

neutron
13.05.2016, 12:53
Ok es liegt an 480p (steht aber auch so dort das man 480p, 720p oder 1080p angeben soll)
Werde versuchen das mit der rejectlist und ohne Quali hinzubekommen

Das Problem ist, dass immer noch alle in Downloads landen, sobald der Durchgang beendet ist!
Autostart deaktivieren nützt nichts...steht im crawljob leider schon drinnen! :(

Das sind 3 Werte die auf false müssen, dann landet es nur im Linkgrabber. Ich hab das direkt in der Rsscrawler.py editiert, dann erstellt er die Jobs auch gleich so. Nach der Änderung die .pyc löschen vor dem Starten.

DKeppi
13.05.2016, 13:15
Super, habs hinbekommen - jetzt funktioniert es eigentlich wie es soll und findet die richtigen Files!

Eines allerdings klappt nicht - das es automatisch läuft!
Er sucht nicht selbst alle paar minuten, muss es manuell starten mit /usr/local/python/bin/python RSScrawler.py --ontime --log-level=DEBUG

EDIT:

So, Paket gestoppt, alle .pyc, .db Files und alles im added Ordner entfernt und Paket neu gestartet.
Es läuft - endlich ;)

Danke für die Hilfe!

neutron
13.05.2016, 13:42
Nein, das geht. Wenn du alles eingestellt hast, normal starten. Was er schon mal gefunden hat kommt nicht noch mal, speichert er in einer db.

DKeppi
13.05.2016, 14:04
Ich weiß ;) aber am Anfang kam ja gar nichts daher - jetzt kams einmal und gut ist!
Am Montag/Dienstag werden dann die neuen aufschlagen!

Danke für deinen Support!

pigaso
13.05.2016, 14:13
Wie ist das wen ich z.b. die serie Alles Klara Staffel 1 und 2 schon habe, jetz aber will das er nur noch die neuen Links ab Staffel 3 hinzufügt und die Staffel 4 die evtl. in einem halben Jahr kommen wird?

@dkeppi kannst du evtl. schrieben was du alles angepast hast oder ein kleines how to mit den wichtigsten punkten?

Danke

yavaz
16.05.2016, 12:40
Irgendwie funktioniert das ganze bei mir nicht automatisch.
Folderwatch ist in JD eingeschalten, mit dem Pfad auf:
["/volume1/@appstore/RSScrawler/Folderwatch"]
Es werden aber keine neuen Episoden gepusht.

Mit einem:
usr/local/python/bin/python RSScrawler.py --ontime --log-level=DEBUG
klappt es allerdings, alle neuen Episoden werden gepusht.

Was habe ich falsch eingestellt?
Habe JD und RSScrawler bereits neugestartet, es passiert allerdings nichts.


Vielen Dank

neutron
17.05.2016, 07:10
Das er Episoden die du bereits während des manuellen Abruf's abgerufen hast, nicht noch einmal abrufst, ist dir bewußt ? Sonst gibt es keinen Unterschied, was während des Test's funktioniert hat, funktioniert auch via normalen Start danach. Einfach etwas Geduld.

yavaz
17.05.2016, 07:28
Ist mir vollkommen bewusst, ja.
Deshalb habe ich einfach so zum testen in /volume1/@appstore/RSScrawler/Settings/Lists/Shows.txt eine weitere Staffel (in diese Beispiel: kalkofes.mattscheibe.rekalked) hinzugefügt.
Da nichts gepusht wurde und auch nichts in der Reject list steht von dieser Staffel, habe ich JD und RSScrawler restartet, leider wurde auch danach nichts gepusht.

Nun habe ich aber eben gesehen, dass über Nacht eine andere Episode heruntergeladen wurde..
Sehe leider nur den Grund nicht, weshalb von dieser Staffel keine Episode heruntergeladen wird, obwohl eine Episode im Feed hinterlegt ist ([DEUTSCH] Kalkofes.Mattscheibe.Rekalked.S04E04.GERMAN.WS.dTV .x264).

Habe es noch nicht getestet, aber mit einem manuellen Abruf werden die Episoden von der Staffeln kalkofes.mattscheibe.rekalked ganz sicher gepusht.
Dieses Vorhergehen habe ich gestern mit anderen Staffeln auch ausprobiert.

neutron
17.05.2016, 07:42
Ist mir noch nicht aufgefallen, wenn das aber ein nachvollziehbarer Fehler ist, dann geh doch bitte auf Github, Link findest du über das Paketzentrum, und reporte das da. Das muss ja dann der Coder fixen.

yavaz
17.05.2016, 07:44
Alles klar, werde ich machen!
Vielen Dank für dein Paket :-)

Cyberbob19
22.05.2016, 10:39
Hi,

ich bekomme das Paket RSSCrawler auf meiner 1515+ nicht zum laufen. Ich habe genau den Fehler von DKeppi aus Beitrag #4.
PIP findet docopt bei mir unter dem Pfad "docopt in /volume1/@appstore/python/lib/python2.7/site-packages". Bin momentan etwas ratlos...

*UPDATE: Ok, RSSCrawler scheint doch zu laufen. Allerdings steht das Paket im Paketzentrum auf angehalten --> Anzeigefehler?
Ein ps | grep RSScrawler zeigt aber an dass es läuft. Jetzt muss ich schauen wie ich den JD mit Daten fülle :-)

Gruß
Bob

neutron
22.05.2016, 17:14
Das sollte so nicht sein. Stopp es noch mal und starte es wieder. Python von Synocommunity verwendest du ?

DKeppi
23.05.2016, 06:27
Ich habe genau den Fehler von DKeppi aus Beitrag #4.
PIP findet docopt bei mir unter dem Pfad "docopt in /volume1/@appstore/python/lib/python2.7/site-packages".

Den Fehler scheint jeder zu bekommen wenn man es mit phyton RSScrwaler.py probiert

usr/local/python/bin/python RSScrawler.py --ontime --log-level=DEBUG ist der korrekte Aufruf um über die Kommandozeile zu testen ;)

Cyberbob19
24.05.2016, 17:05
Hi,

Danke für die Antworten!

Habe festgestellt, dass RSScrawler bei mir doch nicht richtig läuft. Ja, ich habe Python 2.7 von der Community installiert.
DKeppi hat recht. Wenn man nur Python RSScrawler.py eingibt kommt bereits genannter Fehler. Wenn ich RSScrawler anders starte kommen auch die korrekten Folgen in der Debug Meldung die in der Shows.txt eingetragen wurden. Aber halt nur dieses eine Mal!
Übers Paketzentrum starten geht nicht --> steht dauernd auf angehalten.
Habe dann versucht ein cronjob anzulegen der halt einmal am Tag läuft... das geht auch nicht. Nur der manuelle Aufruf scheint zu klappen. Irgendwie merkwürdig...

Gruß
Bob

neutron
24.05.2016, 20:08
Also bei mir läuft das wunderbar, mittlerweile so automatisch, das er alles direkt runter lädt usw...Wenn du die Shows.txt einmal eingepasst hast und gesehen hast das diese per DEBUG richtig alles holt, dann tut Sie dies auch wenn das Skript richtig läuft, da sieht oftmals die Ungeduld weil es eben einfach sehr lange dauert (meist wöchentlich) bis was neues da ist. Alle bereits herunter geholten Folgen werden außerdem in einer Datenbank gespeichert, diese holt er also nicht noch einmal herunter!

Was den Status angeht, bei mir steht da läuft und es läuft auch. Da hilft nur noch analysieren. Starte das Paket im Paketzentrum, schau dann mal auf der Shell in der Prozessliste ob es einen Python Prozess gibt. Gibt es diesen, ruft mal das start-stop-status skript mit "status" auf, was da raus kommt. Aber da es in einem Cron auch fehlschlägt ist da bei dir irgendwas im argen was man raus finden muss.

neutron
25.05.2016, 17:18
Wir Ihr seht ist nun der Eingangspost aktualisiert, hier gab es kleine Differenzen mit dem Author die aber nun geklärt sind. Das letzte Update hat eine neue Funktion gebracht, solltet Ihr also die RegEx Suche verwenden, gibt es dazu nun eine Extra Datei. Ist im Eingangspost erwähnt, ansonsten bitte das Readme lesen, dort steht alles drin. Bei Problemen einfach melden.

Wie oft ich den Eingangspost noch aktualisieren kann, z.B. mit FAQ und ähnlichem, ist fraglich, ich wurde hier auch schon von einem Mod ermahnt das ich dies nicht dauernd machen könne. Leider ist man seitens der Administration dieses Boards nicht willens und/oder in der Lage den Thread-Erstellern, zumindest denen die hier schon einige Posts inne habe, das editieren Ihrer eigenen Posts zu erlauben. vBulleting hat dafür eigens Möglichkeiten und Berechtigungen, aber scheinbar möchte man das eben nicht. Im schlimmsten Fall muss ich für jede neue Version einen neuen Thread erstellen.

Cyberbob19
28.05.2016, 09:11
Hi,

sorry, konnte mich nicht eher melden.

Im Paketzentrum sieht es bei mir so aus:

30757

Über ein "ps" in der Konsole gibt er mir folgende Meldung:

30758

Nach Ausfürung des start-stop-status scripts kommt dann folgendes:

30759

Ich schau mal, ob im Systemlog irgendwas dazu zu finden ist...

Gruß
Bob

Cyberbob19
28.05.2016, 10:26
Hi,

Mittlerweile weitet sich mein Problem aus. Momentan kann ich nichtmal mehr von SJ hinzugefügte Links Captchas lösen.
Normalerweise erscheint ja im MyJDownloader unten rechts an dem Symbol eine 1 auf die man klickt. Dann geht ein neues Fenster auf und man löst das Captcha. Kann nun klicken wie ich will, da passiert nix mehr...

Im Log des JDownloader auf der DS ist dann folgender Fehlerauswurf zu finden:

30760

Hat jemand dasselbe oder ein ähnliches Problem?

Gruß
Bob

neutron
28.05.2016, 10:33
Mix bitte nicht die Threads, für jd gibt es einen eigenen, das hier ist für den crawler. Zu deinem Problem, dein ps kennt das Argument -a nicht, hast du ein altes optware oder so?

Cyberbob19
28.05.2016, 10:39
Hi neutron,

ne habe kein zusätzlichen Paketmanager laufen. Alles Standard was so im DSM enthalten ist. Abgesehen von den installierten Community Paketen über das Paketzentrum.

Gruß
Bob

Cyberbob19
28.05.2016, 10:45
Hm, was mir gerade so aufgefallen ist...
DKeppi und du verwenden DSM 6. Ich weiß jetzt natürlich nicht was Synology hier "unter der Haube" geändert hat. Evtl. hat es damit was zu tun, dass bei mir solche Sachen auftreten?

Gruß
Bob

neutron
28.05.2016, 10:48
Kann sein. Installier mal den "Easy Bootstrap Installer" von QTip und wähle "entware" bei der Installation, dann noch mal probieren.

Cyberbob19
28.05.2016, 10:55
"entware" ist von QTip für armv7, armv7l angegeben. Das alles läuft auf meiner 1515+
Ich denke "optware" wäre hier die richtige Wahl.

Gruß
Bob

neutron
28.05.2016, 20:31
Was auch immer für dich richtig ist, auf jeden Fall sollte es danach gehen.

neutron
28.05.2016, 20:47
Morgen oder übermorgen gibt es ein größeres Update für den Crawler. Aktuell sind übrigens die Feeds von SJ und evtl. auch DJ kaputt, also nicht wundern das nix gefunden wird.

DKeppi
02.06.2016, 07:33
Was auch immer für dich richtig ist, auf jeden Fall sollte es danach gehen.

Ein Kollege von mir hat dasselbe Phänomen auf einer xpenology mit DSM 5.2.-5644-5.
Paket bleibt auf angehalten aber der Crawler läuft.
Installation von EBI/optware hat keine Änderung gebracht.

Nachdem es aber läuft (gecheckt per ps) ist das Problem eher nebensächlich ;)


P.S.: Wann kommt das Crawler Update bzw. was wirst du verbessern?

neutron
07.06.2016, 04:09
Liegt wie gesagt am PS Befehl der das Parameter -a nicht kann. Das Paket werde ich zeitnah aktualisieren, da gibt es mittlerweile eine ganz neue Version von dem RSScrawler. Und DKeppi, wie schon Eingangs erwähnt, ich schnüre nur das Paket, der Code selbst ist nicht von mir. Ich werde dazu aber einen neuen Thread aufmachen.

DKeppi
07.06.2016, 06:38
Danke für die Info! :)

Ja ich weiß dass der Code nicht von dir ist, hab nur gesehen das rix1337 oft was macht am Code ;)
https://github.com/rix1337/RSScrawler/commits/master

lennnox1
16.08.2016, 12:30
Ich habe ein Problem, wenn ich lxml installieren will. Ich bekomme immer die Fehlermeldung:

" Setup script exited with error: command '/usr/local/x86_64-pc-linux-gnu/bin/x86_64-pc-linux-gnu-ccache-gcc' failed with exit status 1"

Wenn ich "gcc -v" eingebe -> gcc version 5.3.0 (GCC)

Vielen Dank schonmal für die Hilfe :)

Edit: Habe DSM 6.0 installiert

Itsie
26.08.2016, 09:20
Hallo zusammen,

eig. habe ich alles soweit hinbekommen, er crawlt wunderbar etc. pp.
Ich habe 9KW als Captcha-Lösung auch eingestellt, jedoch scheint es so als ob er z.B SJ Links nicht wirklich einfügt es kommen Offline-Links aufgrund falscher Adresse (nicht encrypted), gibt es hier eine Lösung?

LG Itsie

Norax
09.09.2016, 18:31
Erst einmal: Grandiose Idee! Ich suche schon lange nach einer Möglichkeit, die Vorteile des Usenets im Hinblick auf Automatisierung auch auf die OCH's bzw. den JDownloader zu übertragen. Nur leider funktioniert der automatische Download bei mir nicht. Python sowie Python3 und auch Optware sind installiert, der Crawler lässt sich jedoch nach einem Restart des NAS nicht mehr ausführen.

Anbei mal die Config Daten, falls da noch etwas im Argen liegt:

RSSCrawler.ini:
# Dieser Pfad muss das exakte Verzeichnis des JDownloaders sein, sonst funktioniert das Script nicht!
jdownloader = /volume1/@appstore/JDownloader
# Das Suchintervall in Minuten sollte nicht zu niedrig angesetzt werden um keinen Ban zu riskieren
interval = 10
# Um ueber hinzugefuegte Releases informiert zu werden hier den Pushbullet API-Key eintragen
pushbulletapi = o.2s5bvVr1bGAoM4BQbCJ9Stxxxxxxxxxx
# Hier den gewuenschten Hoster eintragen (Uploaded oder Share-Online)
hoster = Share-Online

Rest wurde nicht verändert.

MB_Staffeln/SJ_Serien.txt:
DEUTSCH.*Mr.Robot.*.S02.*.720p.*
...

DrSniper
22.09.2016, 21:17
Hallo
Wenn ich versuche RSSCrawler zu starten bekomme ich diese Fehlermeldung:


NAS> python RSScrawler.py
Traceback (most recent call last):
File "RSScrawler.py", line 44, in <module>
import pycurl
ImportError: No module named pycurl

Wie bekomme ich dieses pycurl nachinstalliert?

Wenn ich easy_install pycurl eingebe kommt das:


NAS> easy_install pycurl
Searching for pycurl
Reading http://pypi.python.org/simple/pycurl/
Best match: pycurl 7.43.0
Downloading https://pypi.python.org/packages/12/3f/557356b60d8e59a1cce62ffc07ecc03e4f8a202c86adae34d8 95826281fb/pycurl-7.43.0.tar.gz#md5=c94bdba01da6004fa38325e9bd6b9760
Processing pycurl-7.43.0.tar.gz
Running pycurl-7.43.0/setup.py -q bdist_egg --dist-dir /tmp/easy_install-VZebhq/pycurl-7.43.0/egg-dist-tmp-LonCll
Using curl-config (libcurl 7.24.0)
warning: no files found matching 'src/Makefile'
unable to execute '/usr/local/i686-pc-linux-gnu/bin/i686-pc-linux-gnu-ccache-gcc': No such file or directory
error: Setup script exited with error: command '/usr/local/i686-pc-linux-gnu/bin/i686-pc-linux-gnu-ccache-gcc' failed with exit status 1

DKeppi
23.09.2016, 06:07
Probier es bitte mal mit:


/usr/local/python/bin/python RSScrawler.py --ontime --log-level=DEBUG

DrSniper
23.09.2016, 15:09
Da bekomme ich:


NAS> /usr/local/python/bin/python RSScrawler.py --ontime --log-level=DEBUG
-ash: /usr/local/python/bin/python: not found

DKeppi
26.09.2016, 06:09
Dann hast du wohl kein python installiert!
Nimm packages.synocommunity.com als Paketquelle und installier das mal...

DrSniper
26.09.2016, 21:15
python3 hatte ich installiert
habe jetzt nochmal python installiert
jetzt bekomme ich das als Meldung


NAS> /usr/local/python/bin/python RSScrawler.py --ontime --log-level=DEBUG
Traceback (most recent call last):
File "RSScrawler.py", line 34, in <module>
from docopt import docopt
ImportError: No module named docopt

tippgeber
29.09.2016, 09:59
Du brauchst python 2.7 nicht python 3.

Und dann die aufgezählten Pakete aus der https://github.com/rix1337/RSScrawler/blob/master/requirements.txt

Die aktuelle Version 2.0.3 des Scripts ist aber mittlerweile weit von diesem Paket entfernt. Sollte mal auf den neuesten Stand gebracht werden!

Gibt mittlerweile einen Webserver für die Einstellungen.. ist irgendwie bequemer als in der Konsole rumzufuhrwerken.

lukeS
25.10.2016, 06:03
Hallo zusammen,

ich hätte da mal eine frage !
ist es möglich andere webseiten feed hinzuzufügen ?
oder gehn nur die beiden seiten die schon drinne sind.

freue mich über eine antwort

LG

Misaal
25.10.2016, 07:09
Hallo zusammen

Bei mir kommt folgende Meldung:

33363

Wie kann ich es beheben?

Vielen Dank für die Hilfe

Misaal
26.10.2016, 07:03
Hallo

Ok das PhantomJS hat nicht's mit dem Crowler zu tun. Entschuldigt. :)

yavaz
28.10.2016, 15:47
@neutron, könntest du ggf. das Paket updaten?

DKeppi
29.10.2016, 09:33
+1 fürs Update, aber neutron war ewig nicht mehr online hier! :(

DKeppi
29.11.2016, 15:36
Schade das hier nichts mehr passiert.... :(

Hat evtl. jemand eine Idee/Anleitung wie man RSSCrawler mittels master.zip von rix1337 (https://github.com/rix1337/RSScrawler/archive/master.zip) auf den aktuellen Stand bringen kann?!

Misaal
04.01.2017, 14:19
Ist wirklich schade. Die Idee war gut aber seit kürzlich startet das Paket nicht mehr.
@Nä leider nicht.

sweatcher
04.01.2017, 23:45
Es gibt bald eine kurze Anleitung wie es aktuell auf der Syno installiert werden kann, auf Github wurde es erfolgreich getestet
Ich aktuell scheitere noch ein wenig an der installation,

Misaal
05.01.2017, 09:31
Eine Anleitung gibt es ja schon fast. Ich scheitere immer noch an der Installation von den Paketen.....

pip install docopt feedparser lxml requests cherrypy

sweatcher
05.01.2017, 09:50
Ja ich auch, soweit ich es begreife habe ich die pakete installiert nur bei lxml kommen fehlermeldungen.

Misaal
05.01.2017, 09:53
dann haben wir das gleiche Problem! ;)

sweatcher
05.01.2017, 16:16
werde mich am abend nochmals damit beschäftigen

sweatcher
09.01.2017, 00:22
Update

Version 2.3.0 die aktuelle funktioniert soweit gut, Anleitung folgt, muss noch ein Script fertig schreiben

sweatcher
09.01.2017, 23:23
Neue Version und Anleitung wurde erstelt siehe hier (http://www.synology-forum.de/showthread.html?82202-RSScrawler-V2-neuste-Version-%28JDownloader-Add-on%29)