tvstreamrecord - Aufzeichnen von HTTP-Streams

[DSL-Hexe]

Ich habe das ganze mal mit meiner VU+ Ultimo getestet und es funktioniert tadellos mit den Aufnahmen. Mein Problem ist das EPG wo bekomme ich die EPG-Daten her?

Bei dem voreingetragenen http://xmltv.spaetfruehstuecken.org/xmltv/channels.xml.gz sind nicht alle Sender drin bräuchte mal eine Adresse wo alle Deutschen Sender eigetragen sind oder kann ich die EPG Liste auch aus der Ultimo holen?

 

[Pavion]

Hallo DSL-Hexe,

wie schon oft hier im Forum gefragt und gesagt wurde, vollständige kostenlose EPG-Angebote gibt es einfach nicht. Es gibt offensichtlich nur eine "kostenlose" Lösung - diese Daten aus den Aufnahmen bzw. Streams direkt zu holen. Ich habe dazu bereits vor einiger Zeit selbst eine neue Version entwickelt. Diese ist zwar an sich sicher, jedoch bei Weitem nicht immer genau bzw. erfolgreich. Aus diesem Grund habe ich sie noch nicht "offiziell" veröffentlicht und sammle immer noch Feedback. Wenn Du Interesse hast, diese Version zu testen, kannst Du sie gern herunterladen und über Paketzentrum Deiner DS manuell installieren. Wenn Du weitere Fragen hast, stelle sie bitte hier im Forum oder als Issue auf meiner Projektseite und ich beantworte sie gern.

Mit freundlichen Grüßen
Pav

 

[DSL-Hexe]

Oki werde mal die Beta anfangen morgen zu testen. Wäre halt schön wenn ich die epg.dat aus der Ultimo verwenden könnte denn die ist immer aktuell.

Wenn du möchtest kann ich dir diese epg.dat mal zur verfügung stellen.

 

[Aeugler]

Hallo pavion,

danke für die Tipps. Hab alles ausprobiert, bisher leider ohne Erfolg.

Eingabe in der Shell

ffmpeg -i rtsp://daserste.edges.wowza.gl-systemhaus.de/live/mp4:daserste_int_320 -t 239 -acodec copy -vcodec copy /volume1/video/TV-Aufnahmen/test.mp4

erzeugt:

 [rtsp @ 0x80726c0] Could not find codec parameters (Audio: aac, stereo, s16)
[rtsp @ 0x80726c0] Estimating duration from bitrate, this may be inaccurate
Input #0, rtsp, from 'rtsp://daserste.edges.wowza.gl-systemhaus.de/live/mp4:d
aserste_int_320':                                                            
  Metadata:                                                                  
    title           : wowz://daserste.origin1.wowza.gl-systemhaus.de:1935/liv
e/_definst_/daserste_int_320|wowz://daserste.origin2.wowza.gl-systemhaus.de:1
935/live/_definst_/daserste_int_320                                          
  Duration: N/A, bitrate: N/A                                                
    Stream #0.0: Audio: aac, stereo, s16                                     
    Stream #0.1: Video: h264, yuv420p, 480x272, 90k tbr, 90k tbn, 90k tbc    
[mp4 @ 0x8078b20] sample rate not set
Output #0, mp4, to '/volume1/video/TV-Aufnahmen/test.mp4':                   
  Metadata:                                                                  
    title           : wowz://daserste.origin1.wowza.gl-systemhaus.de:1935/liv
e/_definst_/daserste_int_320|wowz://daserste.origin2.wowza.gl-systemhaus.de:1
935/live/_definst_/daserste_int_320                                          
    Stream #0.0: Video: ![0][0][0] / 0x0021, yuv420p, 480x272, q=2-31, 90k tb
n, 90k tbc                                                                   
    Stream #0.1: Audio: libfaac, stereo                                      
Stream mapping:                                                              
  Stream #0.1 -> #0.0                                                        
  Stream #0.0 -> #0.1

Die Eingabe von:

ffmpeg -i rtsp://daserste.edges.wowza.gl-systemhaus.de/live/mp4/daserste_int_320 -t 239 -acodec copy -vcodec copy /volume1/video/TV-Aufnahmen/test.mp4

erzeugt:

[rtsp @ 0x80726c0] Estimating duration from bitrate, this may be inaccurate
Input #0, rtsp, from 'rtsp://daserste.edges.wowza.gl-systemhaus.de/live/mp4/daserste_int_320':
  Metadata:                                                                                                            
    title           : wowz://daserste.origin1.wowza.gl-systemhaus.de:1935/live/mp4/daserste_int_320|wowz://daserste.ori
gin2.wowza.gl-systemhaus.de:1935/live/mp4/daserste_int_320                                                             
  Duration: N/A, bitrate: N/A                                                                                          
Output #0, mp4, to '/volume1/video/TV-Aufnahmen/test.mp4':                                                             
Output file #0 does not contain any stream

Hast Du irgendeine Idee, woran es nun liegen könnte?

 

[Pavion]

Hallo DSL-Hexe,

ich kenne mich zwar nicht mit Deinem Gerät aus (sieht allerdings sehr interessant aus), werfe dennoch gern einen Blick auf Deine epg.dat und freue mich auf jeden Fall auf Deinen Feedback wegen der Beta.

Gruß
Pav

 

[DSL-Hexe]

So die Beta ist eingespielt und habe erst einen Sender RTL HD eingepflegt. Aufnahme klappt aber leider holt er keine EPG Daten.

Meine VU+ Ultimo hat 4 SAT Tuner und als Betriebssystem läuft das VTI TEAM Image (Enigma 2). Morgen wenn ich wieder zuhause bin werde ich die epg.dat dir schicken.

 

[Pavion]

Du müsstest den Sender dafür markieren (EPG Grab), dann auf der Seite "EPG" auf den Button "Grab EPG from 1 Stream" klicken. Danach kannst Du im Log sehen, ob etwas gefunden wurde.

So die Beta ist eingespielt und habe erst einen Sender RTL HD eingepflegt. Aufnahme klappt aber leider holt er keine EPG Daten.
Meine VU+ Ultimo hat 4 SAT Tuner und als Betriebssystem läuft das VTI TEAM Image (Enigma 2). Morgen wenn ich wieder zuhause bin werde ich die epg.dat dir schicken.

 

[Pavion]

Hallo Aeugler,

offensichtlich scheint Deine Adresse schon richtig zu sein, da ffmpeg darin Streams findet. Leider kann ich nicht mal erkennen, welche Zeilen eine rote Fehlermeldung ist und welche nur die normale Ausgabe. Wie gesagt, kenne ich mich mit ffmpeg leider auch nicht so gut aus. Zwei Ideen:
1. Damit erzwingt man die Umkodierung des Videostreams

ffmpeg -i rtsp://daserste.edges.wowza.gl-systemhaus.de/live/mp4:daserste_int_320 -t 239 -acodec copy -vcodec libx264 /volume1/video/TV-Aufnahmen/test.mp4

2. Damit wird die Stream-Zuordnung festgeschrieben

ffmpeg -i rtsp://daserste.edges.wowza.gl-systemhaus.de/live/mp4:daserste_int_320 -map 0:0 -map 1:1 -t 239 -acodec copy -vcodec copy /volume1/video/TV-Aufnahmen/test.mp4

Da Dein Stream anscheinend mit Wowza gesendet wird, wäre vielleicht diese Seite eine kleine Hilfe.
Tut mir Leid, dass ich nicht mehr helfen kann, aber ohne dem Stream selbst kann ich nicht viel probieren.

Gruß
Pavion

 

[DSL-Hexe]

Erst einmal die die Ausgabe im Log

2013-10-11 16:31:04
OUT
Read finished at 91/150 MB 
2013-10-11 16:31:04
OUT
EPG grab finished with 0 channels, 442 guide infos, joined amount: 0 
2013-10-11 16:30:03
OUT
EPG grabbing started on RTL HD 

Ich fange jetzt an noch weitere Programme zu testen


Im Anhang dann die EPG.dat als Zip.

 

[DSL-Hexe]

Leider klappt das auch mit mehreren Sendern nicht:

2013-10-12 14:56:46
OUT
Read finished at 55/150 MB
2013-10-12 14:56:46
OUT
EPG grab finished with 0 channels, 400 guide infos, joined amount: 0
2013-10-12 14:55:44
OUT
Read finished at 48/150 MB
2013-10-12 14:55:44
OUT
EPG grab finished with 0 channels, 375 guide infos, joined amount: 0
2013-10-12 14:55:44
OUT
EPG grabbing started on  RTL2 HD
2013-10-12 14:54:42
OUT
EPG grab finished with 0 channels, 366 guide infos, joined amount: 0
2013-10-12 14:54:42
OUT
EPG grabbing started on  SAT.1 HD
2013-10-12 14:54:41
OUT
Read finished at 49/150 MB
2013-10-12 14:53:40
OUT
Read finished at 56/150 MB
2013-10-12 14:53:40
OUT
EPG grab finished with 0 channels, 400 guide infos, joined amount: 0
2013-10-12 14:53:40
OUT
EPG grabbing started on  MDR Sachsen
2013-10-12 14:52:38
OUT
Read finished at 89/150 MB
2013-10-12 14:52:38
OUT
EPG grab finished with 0 channels, 358 guide infos, joined amount: 0
2013-10-12 14:52:38
OUT
EPG grabbing started on  VOX HD
2013-10-12 14:51:37
OUT
Read finished at 103/150 MB
2013-10-12 14:51:37
OUT
EPG grab finished with 0 channels, 1969 guide infos, joined amount: 0
2013-10-12 14:51:37
OUT
EPG grabbing started on  NDR FS NDS HD
2013-10-12 14:50:36
OUT
EPG grab finished with 0 channels, 210 guide infos, joined amount: 0
2013-10-12 14:50:36
OUT
EPG grabbing started on ZDF HD
2013-10-12 14:50:35
OUT
Read finished at 97/150 MB
2013-10-12 14:49:34
OUT
Read finished at 106/150 MB
2013-10-12 14:49:34
OUT
EPG grab finished with 0 channels, 402 guide infos, joined amount: 0
2013-10-12 14:49:34
OUT
EPG grabbing started on 1
2013-10-12 14:48:33
OUT
EPG grabbing started on RTL HD
2013-10-12 14:48:15
OUT
Starting tvstreamrecord v.0.5.1
2013-10-12 14:48:15
OUT
Logging output initialized
2013-10-12 14:48:15
OUT
Initializing database...
2013-10-12 14:48:15
OUT
Initializing config...
2013-10-12 14:48:15
OUT
Initializing records...
2013-10-12 14:48:15
OUT
Starting server on: 192.168.2.250:8030

So wie es aussieht würde ich sagen er findet Guide Infos aber kann sie nicht zuordnen. Versuche nochmal wenn ich in den Sendernamen HD weglasse.

Auch wenn ich HD in den Sendernamen weglasse ist nichts da:

2013-10-12 15:14:59
OUT
Read finished at 65/150 MB 
2013-10-12 15:14:59
OUT
EPG grab finished with 0 channels, 403 guide infos, joined amount: 0 
2013-10-12 15:13:58
OUT
Read finished at 71/150 MB 
2013-10-12 15:13:58
OUT
EPG grab finished with 0 channels, 379 guide infos, joined amount: 0 
2013-10-12 15:13:58
OUT
EPG grabbing started on  RTL2 
2013-10-12 15:12:57
OUT
EPG grab finished with 0 channels, 343 guide infos, joined amount: 0 
2013-10-12 15:12:57
OUT
EPG grabbing started on  SAT.1 
2013-10-12 15:12:56
OUT
Read finished at 42/150 MB 
2013-10-12 15:11:55
OUT
Read finished at 81/150 MB 
2013-10-12 15:11:55
OUT
EPG grab finished with 0 channels, 403 guide infos, joined amount: 0 
2013-10-12 15:11:55
OUT
EPG grabbing started on  MDR 
2013-10-12 15:10:54
OUT
Read finished at 91/150 MB 
2013-10-12 15:10:54
OUT
EPG grab finished with 0 channels, 354 guide infos, joined amount: 0 
2013-10-12 15:10:54
OUT
EPG grabbing started on  VOX 
2013-10-12 15:09:53
OUT
EPG grab finished with 0 channels, 1971 guide infos, joined amount: 0 
2013-10-12 15:09:53
OUT
EPG grabbing started on  NDR FS NDS 
2013-10-12 15:09:49
OUT
Read finished at 86/150 MB 
2013-10-12 15:08:48
OUT
Read finished at 94/150 MB 
2013-10-12 15:08:48
OUT
EPG grab finished with 0 channels, 257 guide infos, joined amount: 0 
2013-10-12 15:08:48
OUT
EPG grabbing started on ZDF 
2013-10-12 15:07:47
OUT
Read finished at 81/150 MB 
2013-10-12 15:07:47
OUT
EPG grab finished with 0 channels, 391 guide infos, joined amount: 0 
2013-10-12 15:07:47
OUT
EPG grabbing started on Das Erste 
2013-10-12 15:06:45
OUT
EPG grabbing started on RTL 

 

[Pavion]

Hallo DSL-Hexe,

tut mir Leid, dass ich so lange zum Antworten brauche: momentan überrennen mich andere Sachen ein wenig.

Erstmals habe ich mir Deine epg.dat angeschaut. Wie es aussieht, liest Deine Anlage ebenfalls die Daten von den Streams und legt sie in dieser Datei ab. Offensichtlich schafft sie es jedoch besser als ich Die Idee diese Datei gleich einzulesen, ist an sich also sehr gut, in dieser Datei fehlen allerdings komplett die Namen der Sender, was eine Zuordnung unmöglich macht. Aus diesem Grund und auch aus der Bestrebung, die Lösung universeller zu machen, würde ich daher lieber meine Implementierung so hinbekommen, dass es bei Dir ebenfalls funktioniert.
Aus den Log-Ausgaben, die Du angehängt hast, sieht man, dass Deine Sender zwar die Pakete mit EPG-Daten schicken ("guide infos"), jedoch keine Pakete mit Senderzuordnung. In diesem Zusammenhang ist der Name des Senders übrigens noch unwichtig. Wenn ich sehe, dass Du pro Sender eine variable Anzahl von EPG-Daten erhältst, habe ich eine Idee: vielleicht wird keine Senderliste gesendet, weil keine erforderlich ist, und die gesammelten EPG-Daten sollen einfach dem Sender zugewiesen werden, welcher gerade gescant wurde. Wenn ich ein paar Minuten zur Verfügung habe, mache ich eine neue Testversion. Sollte beim Grabben also ein Ergebnis mit "XXXX guide infos, joined amount: 0" rauskommen, werde ich versuchen die Daten direkt dem Sender zuzuordnen. Ich bin gespannt, wie dann die EPG-Tabelle aussieht. Ich kann allerdings nicht versprechen, dass ich es heute hinbekomme. In jedem Fall werde ich mich wieder melden!

Gruß
Pav

 

[DSL-Hexe]

@Pavion: Lass dir ruhig Zeit, ich habe im Momment auch noch andere Dinge die wichtiger sind, bei mir überschlägt sich das auch. Ab dem 24.10. kann ich dann leider nicht mehr testen da bin ich für 4 Wochen weg und danach bin ich bis Sylvester zu Hause und kann dann genug testen und mir richtig Zeit dafür nehmen.

 

[Pavion]

Hallo DSL-Hexe,

im Anhang ist die angekündigte Version. Die einzige Änderung ist also, dass statt einer Meldung

EPG grab finished with 0 channels, xxx guide infos...

nun versucht wird, die Daten dem aufrufenden Stream zuzuordnen.
Ich kann es leider selbst nicht testen also sofern Du doch noch irgendwann dazu kommst, freue ich mich auf Dein Feedback.

Gruß
Pav

 

[DSL-Hexe]

Wir sind dicht dran, irgendwo ist noch ein Fehler drin.

Der erste Scan brachte folgendes Ergebnis:

Log:

2013-10-15 08:56:25
OUT
Read finished at 58/150 MB
2013-10-15 08:56:25
OUT
Found 501 guide infos with no channel information. Experimentally assigning everything to caller channel RTL2 HD
2013-10-15 08:55:23
OUT
Read finished at 60/150 MB
2013-10-15 08:55:23
OUT
Found 504 guide infos with no channel information. Experimentally assigning everything to caller channel RTL HD
2013-10-15 08:55:23
OUT
EPG grabbing started on RTL2 HD
2013-10-15 08:54:22
OUT
EPG grabbing started on RTL HD

Um ein zweites mal EPG zu scannen musste ich tvstreamrecord neu starten.

2.EPG Scan:
Log:

2013-10-15 09:08:32
OUT
Found 458 guide infos with no channel information. Experimentally assigning everything to caller channel RTL2 HD
2013-10-15 09:08:31
OUT
Read finished at 115/150 MB
2013-10-15 09:07:31
OUT
Read finished at 53/150 MB
2013-10-15 09:07:31
OUT
Found 461 guide infos with no channel information. Experimentally assigning everything to caller channel RTL HD
2013-10-15 09:07:31
OUT
EPG grabbing started on RTL2 HD
2013-10-15 09:06:29
OUT
EPG grabbing started on RTL HD

Im EPG wurde wieder nur ein Ereignis hinzugefügt.

Wenn ich jetzt etwas aus dem EPG auswähle zum Aufnehmen dann habe ich unter Record einen doppelten Eintrag mit derselben Aufnahme. Über das Aufnehmen kann ich erst heute Abend berichten da heut Nachmittag die erste Aufnahme startet.

2013-10-15 09:15:01
OUT
Record: Stopflag for 'Storage Wars - Die Geschäftemacher' received 
2013-10-15 09:14:52
OUT
Record: Thread timer for 'Storage Wars - Die Geschäftemacher' started for 28627 seconds 
2013-10-15 09:14:52
OUT
Record: Thread timer for 'Storage Wars - Die Geschäftemacher' started for 28627 seconds 
2013-10-15 09:14:26
OUT
Record: Stopflag for 'Hilf mir doch!' received 
2013-10-15 09:14:15
OUT
Record: Thread timer for 'Hilf mir doch!' started for 16964 seconds 
2013-10-15 09:14:15
OUT
Record: Thread timer for 'Hilf mir doch!' started for 16964 seconds 

 

[Pavion]

Meh. Klappt ja wohl doch nicht
Die Sendung "Storage Wars" läuft gar nicht erst auf RTL2 HD, sondern auf Sport1. Das bedeutet, dass auch bei Dir mehrere Senderinformationen in einem Stream übertragen werden und eine pauschale Zuweisung doch nicht möglich ist. Tja. Hm. Also komplett falscher Ansatz, egal was da schief läuft. Wäre es Dir möglich, irgendeine Aufnahme von z.B. RTL2 zur Verfügung zu stellen bzw. irgendwo hochzulagen, damit ich es selbst testen könnte? Das wäre super! Muss aber etwas größer werden (auf jeden Fall über 100MB), damit man sicher sein kann, dass alle Pakete mindestens ein mal übertragen wurden.

 

[DSL-Hexe]

Oki, muss mal schauen wo ich Platz habe zum hochladen. Melde mich wenn ich was gefunden habe.

 

[DSL-Hexe]

Lade gerade das Testfile hoch. Ich hoffe das es groß genug ist mit 334MB. Link schicke ich dir per PN.

 

[Pavion]

Hallo DSL-Hexe

und danke für Dein Beispiel. Erstens habe ich bei mir in der Tat zwei Fehler gefunden, die u.A. dafür verantwortlich waren, dass nur ein Eintrag in der EPG-Liste aufgetaucht war . Bei der Zuordnung allerdings stehe ich auch hier vor dem gleichen Problem: in Deinem Stream werden die Sendernamen ebenfalls nicht mitgesendet, sondern nur ihre offiziellen SID. Dazu habe ich mal wieder eine Idee: sofern Du Zeit hast, schaue bitte, ob diese SIDs vielleicht ein Teil Deiner Streamadresse bzw. URL ist. Am Beispiel meiner Adressen (RTL2 HD hat SID 61205 bzw. EF15; VOX HD hat SID 61201 bzw. EF11):
.
Es ergeben sich folgende Möglichkeiten:
1) Wenn es wirklich so ist und zwar bei allen in Frage kommenden URLs (bitte um ein Beispiel Deinerseits), so reicht es bereits für eine pauschale Aussage: "alle URLs, die mit FF enden, haben ihre SID an der Byteposition 4 und 5 vom Ende". Das wäre einfach und genial
2) Ist es nicht so oder teils nicht so, dann sehe nur die Option die SIDs separat zu jedem Sender vorgeben zu lassen oder diese im Sendernamen einzugeben. Das ist zwar nicht besonders schwer, jedoch nicht wirklich benutzerfreundlich

Ich drücke die Daumen, dass die 1. Möglichkeit eintritt

P.S. Nochmals danke für Deine Unterstützung und Deine Geduld!

Gruß
Pav

 

[DSL-Hexe]

Okay, werde heute abend schauen wenn ich zu Hause bin.

 

[DSL-Hexe]

So sehen meine Links aus:

RTL2 HD

 http://192.168.2.240:8001/1:0:19:EF15:421:1:C00000:0:0:0:

VOX HD

http://192.168.2.240:8001/1:0:19:EF11:421:1:C00000:0:0:0: