49d7ab61e3c6f1d6d0c75db9ae71b0c1a4eb96b8
[vlc.git] / modules / demux / ty.c
1 /*****************************************************************************
2  * ty.c - TiVo ty stream video demuxer for VLC
3  *****************************************************************************
4  * Copyright (C) 2005 the VideoLAN team
5  * Copyright (C) 2005 by Neal Symms (tivo@freakinzoo.com) - February 2005
6  * based on code by Christopher Wingert for tivo-mplayer
7  * tivo(at)wingert.org, February 2003
8  *
9  * $Id$
10  *
11  * This program is free software; you can redistribute it and/or modify
12  * it under the terms of the GNU General Public License as published by
13  * the Free Software Foundation; either version 2 of the License, or
14  * (at your option) any later version.
15  *
16  * This program is distributed in the hope that it will be useful,
17  * but WITHOUT ANY WARRANTY; without even the implied warranty of
18  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
19  * GNU General Public License for more details.
20  *
21  * You should have received a copy of the GNU General Public License
22  * along with this program; if not, write to the Free Software
23  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston MA 02110-1301, USA.
24  *
25  * CODE CHANGES:
26  * v1.0.0 - 24-Feb-2005 - Initial release - Series 1 support ONLY!
27  * v1.0.1 - 25-Feb-2005 - Added fix for bad GOP headers - Neal
28  * v1.0.2 - 26-Feb-2005 - No longer require "seekable" input stream - Neal
29  * v2.0.0 - 21-Mar-2005 - Series 2 support!  No AC-3 on S2 DTivo yet.
30  * v2.1.0 - 22-Mar-2005 - Support for AC-3 on S2 DTivo (long ac3 packets)
31  * v3.0.0 - 14-Jul-2005 - Support for skipping fwd/back via VLC hotkeys
32  *****************************************************************************/
33
34 /*****************************************************************************
35  * Preamble
36  *****************************************************************************/
37
38 #ifdef HAVE_CONFIG_H
39 # include "config.h"
40 #endif
41
42 #include <vlc_common.h>
43 #include <vlc_plugin.h>
44 #include <vlc_demux.h>
45 #include "vlc_codec.h"
46 #include "vlc_meta.h"
47 #include "vlc_input.h"
48 #include "../codec/cc.h"
49
50 #include <assert.h>
51
52 /*****************************************************************************
53  * Module descriptor
54  *****************************************************************************/
55 static int  Open ( vlc_object_t * );
56 static void Close( vlc_object_t * );
57
58 vlc_module_begin();
59     set_shortname( N_("TY") );
60     set_description(N_("TY Stream audio/video demux"));
61     set_category( CAT_INPUT );
62     set_subcategory( SUBCAT_INPUT_DEMUX );
63     set_capability("demux", 6);
64     /* FIXME: there seems to be a segfault when using PVR access
65      * and TY demux has a bigger priority than PS
66      * Something must be wrong.
67      */
68     set_callbacks( Open, Close );
69     add_shortcut("ty");
70     add_shortcut("tivo");
71 vlc_module_end();
72
73 /*****************************************************************************
74  * Local prototypes
75  *****************************************************************************/
76 static int Demux  ( demux_t * );
77 static int Control( demux_t *, int, va_list );
78
79 #define SERIES1_PES_LENGTH  (11)    /* length of audio PES hdr on S1 */
80 #define SERIES2_PES_LENGTH  (16)    /* length of audio PES hdr on S2 */
81 #define AC3_PES_LENGTH      (14)    /* length of audio PES hdr for AC3 */
82 #define VIDEO_PES_LENGTH    (16)    /* length of video PES header */
83 #define DTIVO_PTS_OFFSET    (6)     /* offs into PES for MPEG PTS on DTivo */
84 #define SA_PTS_OFFSET       (9)     /* offset into PES for MPEG PTS on SA */
85 #define AC3_PTS_OFFSET      (9)     /* offset into PES for AC3 PTS on DTivo */
86 #define VIDEO_PTS_OFFSET    (9)     /* offset into PES for video PTS on all */
87 #define AC3_PKT_LENGTH      (1536)  /* size of TiVo AC3 pkts (w/o PES hdr) */
88 static const uint8_t ty_VideoPacket[] = { 0x00, 0x00, 0x01, 0xe0 };
89 static const uint8_t ty_MPEGAudioPacket[] = { 0x00, 0x00, 0x01, 0xc0 };
90 static const uint8_t ty_AC3AudioPacket[] = { 0x00, 0x00, 0x01, 0xbd };
91
92 #define CHUNK_PEEK_COUNT    (3)         /* number of chunks to probe */
93
94 /* packet types for reference:
95  2/c0: audio data continued
96  3/c0: audio packet header (PES header)
97  4/c0: audio data (S/A only?)
98  9/c0: audio packet header, AC-3 audio
99  2/e0: video data continued
100  6/e0: video packet header (PES header)
101  7/e0: video sequence header start
102  8/e0: video I-frame header start
103  a/e0: video P-frame header start
104  b/e0: video B-frame header start
105  c/e0: video GOP header start
106  e/01: closed-caption data
107  e/02: Extended data services data 
108  e/03: ipreview data ("thumbs up to record" signal)
109  e/05: UK Teletext
110 */
111
112 #define TIVO_PES_FILEID   ( 0xf5467abd )
113 #define TIVO_PART_LENGTH  ( 0x20000000 )    /* 536,870,912 bytes */
114 #define CHUNK_SIZE        ( 128 * 1024 )
115
116 typedef struct
117 {
118   long l_rec_size;
119   uint8_t ex1, ex2;
120   uint8_t rec_type;
121   uint8_t subrec_type;
122   bool b_ext;
123   uint64_t l_ty_pts;            /* TY PTS in the record header */
124 } ty_rec_hdr_t;
125
126 typedef struct
127 {
128     uint64_t l_timestamp;
129     uint8_t chunk_bitmask[8];
130 } ty_seq_table_t;
131
132 typedef enum
133 {
134     TIVO_TYPE_UNKNOWN,
135     TIVO_TYPE_SA,
136     TIVO_TYPE_DTIVO
137 } tivo_type_t;
138
139 typedef enum
140 {
141     TIVO_SERIES_UNKNOWN,
142     TIVO_SERIES1,
143     TIVO_SERIES2
144 } tivo_series_t;
145
146 typedef enum
147 {
148     TIVO_AUDIO_UNKNOWN,
149     TIVO_AUDIO_AC3,
150     TIVO_AUDIO_MPEG
151 } tivo_audio_t;
152
153 #define XDS_MAX_DATA_SIZE (32)
154 typedef enum
155 {
156     XDS_CLASS_CURRENT        = 0,
157     XDS_CLASS_FUTURE         = 1,
158     XDS_CLASS_CHANNEL        = 2,
159     XDS_CLASS_MISCELLANEOUS  = 3,
160     XDS_CLASS_PUBLIC_SERVICE = 4,
161     XDS_CLASS_RESERVED       = 5,
162     XDS_CLASS_UNDEFINED      = 6,
163     XDS_CLASS_OTHER          = 7,
164
165     XDS_MAX_CLASS_COUNT
166 } xds_class_t;
167 typedef struct
168 {
169     bool b_started;
170     int        i_data;
171     uint8_t    p_data[XDS_MAX_DATA_SIZE];
172     int        i_sum;
173 } xds_packet_t;
174 typedef enum
175 {
176     XDS_META_PROGRAM_RATING_NONE,
177     XDS_META_PROGRAM_RATING_MPAA,
178     XDS_META_PROGRAM_RATING_TPG,
179     /* TODO add CA/CE rating */
180 } xds_meta_program_rating_t;
181 typedef struct
182 {
183     char *psz_name;
184     xds_meta_program_rating_t rating;
185     char *psz_rating;
186     /* Add the other fields once I have the samples */
187 } xds_meta_program_t;
188 typedef struct
189 {
190     char *psz_channel_name;
191     char *psz_channel_call_letter;
192     char *psz_channel_number;
193
194     xds_meta_program_t  current;
195     xds_meta_program_t  future;
196 } xds_meta_t;
197 typedef struct
198 {
199     /* Are we in XDS mode */
200     bool b_xds;
201
202     /* Current class type */
203     xds_class_t i_class;
204     int         i_type;
205     bool  b_future;
206
207     /* */
208     xds_packet_t pkt[XDS_MAX_CLASS_COUNT][128]; /* XXX it is way too much, but simpler */
209
210     /* */
211     bool  b_meta_changed;
212     xds_meta_t  meta;
213
214 } xds_t;
215
216 struct demux_sys_t
217 {
218   es_out_id_t *p_video;               /* ptr to video codec */
219   es_out_id_t *p_audio;               /* holds either ac3 or mpeg codec ptr */
220
221   cc_data_t   cc;
222   es_out_id_t *p_cc[4];
223
224   xds_t       xds;
225
226   int             i_cur_chunk;
227   int             i_stuff_cnt;
228   size_t          i_stream_size;      /* size of input stream (if known) */
229   //uint64_t        l_program_len;      /* length of this stream in msec */
230   bool      b_seekable;         /* is this stream seekable? */
231   bool      b_have_master;      /* are master chunks present? */
232   tivo_type_t     tivo_type;          /* tivo type (SA / DTiVo) */
233   tivo_series_t   tivo_series;        /* Series1 or Series2 */
234   tivo_audio_t    audio_type;         /* AC3 or MPEG */
235   int             i_Pes_Length;       /* Length of Audio PES header */
236   int             i_Pts_Offset;       /* offset into audio PES of PTS */
237   uint8_t         pes_buffer[20];     /* holds incomplete pes headers */
238   int             i_pes_buf_cnt;      /* how many bytes in our buffer */
239   size_t          l_ac3_pkt_size;     /* len of ac3 pkt we've seen so far */
240   uint64_t        l_last_ty_pts;      /* last TY timestamp we've seen */
241   //mtime_t         l_last_ty_pts_sync; /* audio PTS at time of last TY PTS */
242   uint64_t        l_first_ty_pts;     /* first TY PTS in this master chunk */
243   uint64_t        l_final_ty_pts;     /* final TY PTS in this master chunk */
244   int             i_seq_table_size;   /* number of entries in SEQ table */
245   int             i_bits_per_seq_entry; /* # of bits in SEQ table bitmask */
246
247   mtime_t         firstAudioPTS;
248   mtime_t         lastAudioPTS;
249   mtime_t         lastVideoPTS;
250
251   ty_rec_hdr_t    *rec_hdrs;          /* record headers array */
252   int             i_cur_rec;          /* current record in this chunk */
253   int             i_num_recs;         /* number of recs in this chunk */
254   int             i_seq_rec;          /* record number where seq start is */
255   ty_seq_table_t  *seq_table;         /* table of SEQ entries from mstr chk */
256   bool      eof;
257   bool      b_first_chunk;
258 };
259
260 static int get_chunk_header(demux_t *);
261 static mtime_t get_pts( const uint8_t *buf );
262 static int find_es_header( const uint8_t *header,
263                            const uint8_t *buffer, int i_search_len );
264 static int ty_stream_seek_pct(demux_t *p_demux, double seek_pct);
265 static int ty_stream_seek_time(demux_t *, uint64_t);
266
267 static ty_rec_hdr_t *parse_chunk_headers( const uint8_t *p_buf,
268                                           int i_num_recs, int *pi_payload_size);
269 static int probe_stream(demux_t *p_demux);
270 static void analyze_chunk(demux_t *p_demux, const uint8_t *p_chunk);
271 static void parse_master(demux_t *p_demux);
272
273 static int DemuxRecVideo( demux_t *p_demux, ty_rec_hdr_t *rec_hdr, block_t *p_block_in );
274 static int DemuxRecAudio( demux_t *p_demux, ty_rec_hdr_t *rec_hdr, block_t *p_block_in );
275 static int DemuxRecCc( demux_t *p_demux, ty_rec_hdr_t *rec_hdr, block_t *p_block_in );
276
277 static void DemuxDecodeXds( demux_t *p_demux, uint8_t d1, uint8_t d2 );
278
279 static void XdsInit( xds_t * );
280 static void XdsExit( xds_t * );
281
282 #define TY_ES_GROUP (1)
283
284 /*
285  * Open: check file and initialize demux structures
286  *
287  * here's what we do:
288  * 1. peek at the first 12 bytes of the stream for the
289  *    magic TiVo PART header & stream type & chunk size
290  * 2. if it's not there, error with VLC_EGENERIC
291  * 3. set up video (mpgv) codec
292  * 4. return VLC_SUCCESS
293  */
294 static int Open(vlc_object_t *p_this)
295 {
296     demux_t *p_demux = (demux_t *)p_this;
297     demux_sys_t *p_sys;
298     es_format_t fmt;
299     const uint8_t *p_peek;
300     int i;
301
302     /* peek at the first 12 bytes. */
303     /* for TY streams, they're always the same */
304     if( stream_Peek( p_demux->s, &p_peek, 12 ) < 12 )
305         return VLC_EGENERIC;
306
307     if ( U32_AT(p_peek) != TIVO_PES_FILEID ||
308          U32_AT(&p_peek[4]) != 0x02 ||
309          U32_AT(&p_peek[8]) != CHUNK_SIZE )
310     {
311         if( !p_demux->b_force &&
312             !demux_IsPathExtension( p_demux, ".ty" ) &&
313             !demux_IsPathExtension( p_demux, ".ty+" ) )
314             return VLC_EGENERIC;
315         msg_Warn( p_demux, "this does not look like a TY file, "
316                            "continuing anyway..." );
317     }
318
319         /* at this point, we assume we have a valid TY stream */  
320     msg_Dbg( p_demux, "valid TY stream detected" );
321
322     /* Set exported functions */
323     p_demux->pf_demux = Demux;
324     p_demux->pf_control = Control;
325
326     /* create our structure that will hold all data */
327     p_demux->p_sys = p_sys = malloc(sizeof(demux_sys_t));
328     memset(p_sys, 0, sizeof(demux_sys_t));
329
330     /* set up our struct (most were zero'd out with the memset above) */
331     p_sys->b_first_chunk = true;
332     p_sys->b_have_master = (U32_AT(p_peek) == TIVO_PES_FILEID);
333     p_sys->firstAudioPTS = -1;
334     p_sys->i_stream_size = stream_Size(p_demux->s);
335     p_sys->tivo_type = TIVO_TYPE_UNKNOWN;
336     p_sys->audio_type = TIVO_AUDIO_UNKNOWN;
337     p_sys->tivo_series = TIVO_SERIES_UNKNOWN;
338     p_sys->i_Pes_Length = 0;
339     p_sys->i_Pts_Offset = 0;
340     p_sys->l_ac3_pkt_size = 0;
341   
342     /* see if this stream is seekable */
343     stream_Control( p_demux->s, STREAM_CAN_SEEK, &p_sys->b_seekable );
344
345     if (probe_stream(p_demux) != VLC_SUCCESS) {
346         //TyClose(p_demux);
347         return VLC_EGENERIC;
348     }
349
350     if (!p_sys->b_have_master)
351       msg_Warn(p_demux, "No master chunk found; seeking will be limited.");
352
353     /* register the proper audio codec */
354     if (p_sys->audio_type == TIVO_AUDIO_MPEG) {
355         es_format_Init( &fmt, AUDIO_ES, VLC_FOURCC( 'm', 'p', 'g', 'a' ) );
356     } else {
357         es_format_Init( &fmt, AUDIO_ES, VLC_FOURCC( 'a', '5', '2', ' ' ) );
358     }
359     fmt.i_group = TY_ES_GROUP;
360     p_sys->p_audio = es_out_Add( p_demux->out, &fmt );
361
362     /* register the video stream */
363     es_format_Init( &fmt, VIDEO_ES, VLC_FOURCC( 'm', 'p', 'g', 'v' ) );
364     fmt.i_group = TY_ES_GROUP;
365     p_sys->p_video = es_out_Add( p_demux->out, &fmt );
366
367     /* */
368     for( i = 0; i < 4; i++ )
369         p_sys->p_cc[i] = NULL;
370     cc_Init( &p_sys->cc );
371
372     XdsInit( &p_sys->xds );
373
374     return VLC_SUCCESS;
375 }
376
377 /* =========================================================================== */
378 /* Demux: Read & Demux one record from the chunk
379  *
380  * Returns -1 in case of error, 0 in case of EOF, 1 otherwise
381  *
382  * NOTE: I think we can return the number of packets sent instead of just 1.
383  * that means we can demux an entire chunk and shoot it back (may be more efficient)
384  * -- should try that some day :) --
385  */
386 static int Demux( demux_t *p_demux )
387 {
388     demux_sys_t  *p_sys = p_demux->p_sys;
389     ty_rec_hdr_t *p_rec;
390     block_t      *p_block_in = NULL;
391
392     /*msg_Dbg(p_demux, "ty demux processing" );*/
393    
394     /* did we hit EOF earlier? */
395     if( p_sys->eof )
396         return 0;
397
398     /*
399      * what we do (1 record now.. maybe more later):
400     * - use stream_Read() to read the chunk header & record headers
401     * - discard entire chunk if it is a PART header chunk
402     * - parse all the headers into record header array
403     * - keep a pointer of which record we're on
404     * - use stream_Block() to fetch each record
405     * - parse out PTS from PES headers
406     * - set PTS for data packets
407     * - pass the data on to the proper codec via es_out_Send()
408
409     * if this is the first time or  
410     * if we're at the end of this chunk, start a new one
411     */
412     /* parse the next chunk's record headers */
413     if( p_sys->b_first_chunk || p_sys->i_cur_rec >= p_sys->i_num_recs )
414     {
415         if( get_chunk_header(p_demux) == 0 )
416             return 0;
417     }
418
419     /*======================================================================
420      * parse & send one record of the chunk
421      *====================================================================== */
422     p_rec = &p_sys->rec_hdrs[p_sys->i_cur_rec];
423
424     if( !p_rec->b_ext )
425     {
426         const long l_rec_size = p_rec->l_rec_size;
427         /*msg_Dbg(p_demux, "Record Type 0x%x/%02x %ld bytes",
428                     subrec_type, p_rec->rec_type, l_rec_size );*/
429   
430         /* some normal records are 0 length, so check for that... */
431         if( l_rec_size <= 0 )
432         {
433             /* no data in payload; we're done */
434             p_sys->i_cur_rec++;
435             return 1;
436         }
437
438         /* read in this record's payload */
439         if( !( p_block_in = stream_Block( p_demux->s, l_rec_size ) ) )
440             return 0;
441
442         /* set these as 'unknown' for now */
443         p_block_in->i_pts =
444         p_block_in->i_dts = 0;
445     }
446     /*else
447     {
448         -- don't read any data from the stream, data was in the record header --
449         msg_Dbg(p_demux,
450                "Record Type 0x%02x/%02x, ext data = %02x, %02x", subrec_type,
451                 p_rec->rec_type, p_rec->ex1, p_rec->ex2);
452     }*/
453
454     if( p_rec->rec_type == 0xe0 )
455     {
456         /* Video */
457         DemuxRecVideo( p_demux, p_rec, p_block_in );
458     }
459     else if ( p_rec->rec_type == 0xc0 )
460     {
461         /* Audio */
462         DemuxRecAudio( p_demux, p_rec, p_block_in );
463     }
464     else if( p_rec->rec_type == 0x01 || p_rec->rec_type == 0x02 )
465     {
466         /* Closed Captions/XDS */
467         DemuxRecCc( p_demux, p_rec, p_block_in );
468     }
469     else if ( p_rec->rec_type == 0x03 )
470     {
471         /* Tivo data services (e.g. "thumbs-up to record!")  useless for us */
472         if( p_block_in )
473             block_Release(p_block_in);
474     }
475     else if ( p_rec->rec_type == 0x05 )
476     {
477         /* Unknown, but seen regularly */
478         if( p_block_in )
479             block_Release(p_block_in);
480     }
481     else
482     {
483         msg_Dbg(p_demux, "Invalid record type 0x%02x", p_rec->rec_type );
484         if( p_block_in )
485             block_Release(p_block_in);
486     }
487
488     /* */
489     p_sys->i_cur_rec++;
490     return 1;
491 }
492
493 /* Control */
494 static int Control(demux_t *p_demux, int i_query, va_list args)
495 {
496     demux_sys_t *p_sys = p_demux->p_sys;
497     double f, *pf;
498     int64_t i64, *p_i64;
499
500     /*msg_Info(p_demux, "control cmd %d", i_query);*/
501     switch( i_query )
502     {
503     case DEMUX_GET_POSITION:
504         /* arg is 0.0 - 1.0 percent of overall file position */
505         if( ( i64 = p_sys->i_stream_size ) > 0 )
506         {
507             pf = (double*) va_arg( args, double* );
508             *pf = ((double)1.0) * stream_Tell( p_demux->s ) / (double) i64;
509             return VLC_SUCCESS;
510         }
511         return VLC_EGENERIC;
512
513     case DEMUX_SET_POSITION:
514         /* arg is 0.0 - 1.0 percent of overall file position */
515         f = (double) va_arg( args, double );
516         /* msg_Dbg(p_demux, "Control - set position to %2.3f", f); */
517         if ((i64 = p_sys->i_stream_size) > 0)
518             return ty_stream_seek_pct(p_demux, f);
519         return VLC_EGENERIC;
520     case DEMUX_GET_TIME:
521         /* return TiVo timestamp */
522         p_i64 = (int64_t *) va_arg(args, int64_t *);
523         //*p_i64 = p_sys->lastAudioPTS - p_sys->firstAudioPTS;
524         //*p_i64 = (p_sys->l_last_ty_pts / 1000) + (p_sys->lastAudioPTS -
525         //    p_sys->l_last_ty_pts_sync);
526         *p_i64 = (p_sys->l_last_ty_pts / 1000);
527         return VLC_SUCCESS;
528     case DEMUX_GET_LENGTH:    /* length of program in microseconds, 0 if unk */
529         /* size / bitrate */
530         p_i64 = (int64_t *) va_arg(args, int64_t *);
531         *p_i64 = 0;
532         return VLC_SUCCESS;
533     case DEMUX_SET_TIME:      /* arg is time in microsecs */
534         i64 = (int64_t) va_arg( args, int64_t );
535         return ty_stream_seek_time(p_demux, i64 * 1000);
536     case DEMUX_GET_FPS:
537     default:
538         return VLC_EGENERIC;
539     }
540 }
541
542 /* Close */
543 static void Close( vlc_object_t *p_this )
544 {
545     demux_t *p_demux = (demux_t*)p_this;
546     demux_sys_t *p_sys = p_demux->p_sys;
547
548     XdsExit( &p_sys->xds );
549     cc_Exit( &p_sys->cc );
550     free( p_sys->rec_hdrs );
551     free( p_sys->seq_table );
552     free(p_sys);
553 }
554
555
556 /* =========================================================================== */
557 /* Compute Presentation Time Stamp (PTS)
558  * Assume buf points to beginning of PTS */
559 static mtime_t get_pts( const uint8_t *buf )
560 {
561     mtime_t i_pts;
562
563     i_pts = ((mtime_t)(buf[0]&0x0e ) << 29)|
564              (mtime_t)(buf[1] << 22)|
565             ((mtime_t)(buf[2]&0xfe) << 14)|
566              (mtime_t)(buf[3] << 7)|
567              (mtime_t)(buf[4] >> 1);
568     i_pts *= 100 / 9;   /* convert PTS (90Khz clock) to microseconds */
569     return i_pts;
570 }
571
572
573 /* =========================================================================== */
574 static int find_es_header( const uint8_t *header,
575                            const uint8_t *buffer, int i_search_len )
576 {
577     int count;
578
579     for( count = 0; count < i_search_len; count++ )
580     {
581         if( !memcmp( &buffer[count], header, 4 ) )
582             return count;
583     }
584     return -1;
585 }
586
587
588 /* =========================================================================== */
589 /* check if we have a full PES header, if not, then save what we have.
590  * this is called when audio-start packets are encountered.
591  * Returns:
592  *     1 partial PES hdr found, some audio data found (buffer adjusted),
593  *    -1 partial PES hdr found, no audio data found
594  *     0 otherwise (complete PES found, pts extracted, pts set, buffer adjusted) */
595 /* TODO: HD support -- nothing known about those streams */
596 static int check_sync_pes( demux_t *p_demux, block_t *p_block,
597                            int32_t offset, int32_t rec_len )
598 {
599     demux_sys_t *p_sys = p_demux->p_sys;
600
601     if ( offset < 0 || offset + p_sys->i_Pes_Length > rec_len )
602     {
603         /* entire PES header not present */
604         msg_Dbg( p_demux, "PES header at %d not complete in record. storing.",
605                  offset );
606         /* save the partial pes header */
607         if( offset < 0 )
608         {
609             /* no header found, fake some 00's (this works, believe me) */
610             memset( p_sys->pes_buffer, 4, 0 );
611             p_sys->i_pes_buf_cnt = 4;
612             if( rec_len > 4 )
613                 msg_Err( p_demux, "PES header not found in record of %d bytes!",
614                          rec_len );
615             return -1;
616         }
617         /* copy the partial pes header we found */
618         memcpy( p_sys->pes_buffer, p_block->p_buffer + offset,
619                 rec_len - offset );
620         p_sys->i_pes_buf_cnt = rec_len - offset;
621
622         if( offset > 0 )
623         {
624             /* PES Header was found, but not complete, so trim the end of this record */
625             p_block->i_buffer -= rec_len - offset;
626             return 1;
627         }
628         return -1;    /* partial PES, no audio data */
629     }
630     /* full PES header present, extract PTS */
631     p_sys->lastAudioPTS = get_pts( &p_block->p_buffer[ offset +
632             p_sys->i_Pts_Offset ] );
633     if (p_sys->firstAudioPTS < 0)
634         p_sys->firstAudioPTS = p_sys->lastAudioPTS;
635     p_block->i_pts = p_sys->lastAudioPTS;
636     /*msg_Dbg(p_demux, "Audio PTS %lld", p_sys->lastAudioPTS );*/
637     /* adjust audio record to remove PES header */
638     memmove(p_block->p_buffer + offset, p_block->p_buffer + offset +
639             p_sys->i_Pes_Length, rec_len - p_sys->i_Pes_Length);
640     p_block->i_buffer -= p_sys->i_Pes_Length;
641 #if 0
642     msg_Dbg(p_demux, "pes hdr removed; buffer len=%d and has "
643              "%02x %02x %02x %02x %02x %02x %02x %02x "
644              "%02x %02x %02x %02x %02x %02x %02x %02x", p_block->i_buffer,
645              p_block->p_buffer[0], p_block->p_buffer[1],
646              p_block->p_buffer[2], p_block->p_buffer[3],
647              p_block->p_buffer[4], p_block->p_buffer[5],
648              p_block->p_buffer[6], p_block->p_buffer[7],
649              p_block->p_buffer[8], p_block->p_buffer[9],
650              p_block->p_buffer[10], p_block->p_buffer[11],
651              p_block->p_buffer[12], p_block->p_buffer[13],
652              p_block->p_buffer[14], p_block->p_buffer[15]);
653 #endif
654     return 0;
655 }
656
657 static int DemuxRecVideo( demux_t *p_demux, ty_rec_hdr_t *rec_hdr, block_t *p_block_in )
658 {
659     demux_sys_t *p_sys = p_demux->p_sys;
660     const int subrec_type = rec_hdr->subrec_type;
661     const long l_rec_size = rec_hdr->l_rec_size;    // p_block_in->i_buffer might be better
662     int esOffset1;
663     int i;
664
665     assert( rec_hdr->rec_type == 0xe0 );
666     if( !p_block_in )
667         return -1;
668
669 #if 0
670     msg_Dbg(p_demux, "packet buffer has "
671             "%02x %02x %02x %02x %02x %02x %02x %02x "
672             "%02x %02x %02x %02x %02x %02x %02x %02x",
673             p_block_in->p_buffer[0], p_block_in->p_buffer[1],
674             p_block_in->p_buffer[2], p_block_in->p_buffer[3],
675             p_block_in->p_buffer[4], p_block_in->p_buffer[5],
676             p_block_in->p_buffer[6], p_block_in->p_buffer[7],
677             p_block_in->p_buffer[8], p_block_in->p_buffer[9],
678             p_block_in->p_buffer[10], p_block_in->p_buffer[11],
679             p_block_in->p_buffer[12], p_block_in->p_buffer[13],
680             p_block_in->p_buffer[14], p_block_in->p_buffer[15]);
681 #endif
682     //if( subrec_type == 0x06 || subrec_type == 0x07 )
683     if( subrec_type != 0x02 && subrec_type != 0x0c &&
684         subrec_type != 0x08 && l_rec_size > 4 )
685     {
686         /* get the PTS from this packet if it has one.
687          * on S1, only 0x06 has PES.  On S2, however, most all do.
688          * Do NOT Pass the PES Header to the MPEG2 codec */
689         esOffset1 = find_es_header( ty_VideoPacket, p_block_in->p_buffer, 5 );
690         if( esOffset1 != -1 )
691         {
692             //msg_Dbg(p_demux, "Video PES hdr in pkt type 0x%02x at offset %d",
693                 //subrec_type, esOffset1);
694             p_sys->lastVideoPTS = get_pts(
695                     &p_block_in->p_buffer[ esOffset1 + VIDEO_PTS_OFFSET ] );
696             /*msg_Dbg(p_demux, "Video rec %d PTS %"PRId64, p_sys->i_cur_rec,
697                         p_sys->lastVideoPTS );*/
698             if (subrec_type != 0x06) {
699                 /* if we found a PES, and it's not type 6, then we're S2 */
700                 /* The packet will have video data (& other headers) so we
701                  * chop out the PES header and send the rest */
702                 if (l_rec_size >= VIDEO_PES_LENGTH) {
703                     p_block_in->p_buffer += VIDEO_PES_LENGTH + esOffset1;
704                     p_block_in->i_buffer -= VIDEO_PES_LENGTH + esOffset1;
705                 } else {
706                     msg_Dbg(p_demux, "video rec type 0x%02x has short PES"
707                         " (%ld bytes)", subrec_type, l_rec_size);
708                     /* nuke this block; it's too short, but has PES marker */
709                     p_block_in->i_buffer = 0;
710                 }
711             }
712         }/* else
713             msg_Dbg(p_demux, "No Video PES hdr in pkt type 0x%02x",
714                 subrec_type); */
715     }
716
717     if(subrec_type == 0x06 )
718     {
719         /* type 6 (S1 DTivo) has no data, so we're done */
720         block_Release(p_block_in);
721         return 0;
722     }
723
724     /* if it's not a continue blk, then set PTS */
725     if( subrec_type != 0x02 )
726     {
727         /*msg_Dbg(p_demux, "Video rec %d type 0x%02X", p_sys->i_cur_rec,
728                    subrec_type);*/
729         /* if it's a GOP header, make sure it's legal
730          * (if we have enough data) */
731         /* Some ty files don't have this bit set
732          * and it causes problems */
733         if (subrec_type == 0x0c && l_rec_size >= 6)
734             p_block_in->p_buffer[5] |= 0x08;
735         /* store the TY PTS if there is one */
736         if (subrec_type == 0x07) {
737             p_sys->l_last_ty_pts = rec_hdr->l_ty_pts;
738             /* should we use audio or video PTS? */
739             //p_sys->l_last_ty_pts_sync = p_sys->lastAudioPTS;
740         } else {
741             /* yes I know this is a cheap hack.  It's the timestamp
742                used for display and skipping fwd/back, so it
743                doesn't have to be accurate to the millisecond.
744                I adjust it here by roughly one 1/30 sec.  Yes it
745                will be slightly off for UK streams, but it's OK.
746              */
747             p_sys->l_last_ty_pts += 35000000;
748             //p_sys->l_last_ty_pts += 33366667;
749         }
750         /* set PTS for this block before we send */
751         if (p_sys->lastVideoPTS > 0)
752         {
753             p_block_in->i_pts = p_sys->lastVideoPTS;
754             /* PTS gets used ONCE. 
755              * Any subsequent frames we get BEFORE next PES
756              * header will have their PTS computed in the codec */
757             p_sys->lastVideoPTS = 0;
758         }
759     }
760
761     /* Register the CC decoders when needed */
762     for( i = 0; i < 4; i++ )
763     {
764         static const vlc_fourcc_t fcc[4] = {
765             VLC_FOURCC('c', 'c', '1', ' '),
766             VLC_FOURCC('c', 'c', '2', ' '),
767             VLC_FOURCC('c', 'c', '3', ' '),
768             VLC_FOURCC('c', 'c', '4', ' ')
769         };
770         static const char *ppsz_description[4] = {
771             N_("Closed captions 1"),
772             N_("Closed captions 2"),
773             N_("Closed captions 3"),
774             N_("Closed captions 4"),
775         };
776
777         es_format_t fmt;
778
779         if( !p_sys->cc.pb_present[i] || p_sys->p_cc[i] )
780             continue;
781
782         es_format_Init( &fmt, SPU_ES, fcc[i] );
783         fmt.psz_description = strdup( _(ppsz_description[i]) );
784         fmt.i_group = TY_ES_GROUP;
785         p_sys->p_cc[i] = es_out_Add( p_demux->out, &fmt );
786         es_format_Clean( &fmt );
787
788     }
789     /* Send the CC data */
790     if( p_block_in->i_pts > 0 && p_sys->cc.i_data > 0 )
791     {
792         for( i = 0; i < 4; i++ )
793         {
794             if( p_sys->p_cc[i] )
795             {
796                 block_t *p_cc = block_New( p_demux, p_sys->cc.i_data );
797                 p_cc->i_flags |= BLOCK_FLAG_TYPE_I;
798                 p_cc->i_pts = p_block_in->i_pts;
799                 memcpy( p_cc->p_buffer, p_sys->cc.p_data, p_sys->cc.i_data );
800
801                 es_out_Send( p_demux->out, p_sys->p_cc[i], p_cc );
802             }
803         }
804         cc_Flush( &p_sys->cc );
805     }
806
807     //msg_Dbg(p_demux, "sending rec %d as video type 0x%02x",
808             //p_sys->i_cur_rec, subrec_type);
809     es_out_Send(p_demux->out, p_sys->p_video, p_block_in);
810     return 0;
811 }
812 static int DemuxRecAudio( demux_t *p_demux, ty_rec_hdr_t *rec_hdr, block_t *p_block_in )
813 {
814     demux_sys_t *p_sys = p_demux->p_sys;
815     const int subrec_type = rec_hdr->subrec_type;
816     const long l_rec_size = rec_hdr->l_rec_size;
817     int esOffset1;
818
819     assert( rec_hdr->rec_type == 0xc0 );
820     if( !p_block_in )
821         return -1;
822 #if 0
823         int i;
824         fprintf( stderr, "Audio Packet Header " );
825         for( i = 0 ; i < 24 ; i++ )
826             fprintf( stderr, "%2.2x ", p_block_in->p_buffer[i] );
827         fprintf( stderr, "\n" );
828 #endif
829
830     if( subrec_type == 2 )
831     {
832         /* SA or DTiVo Audio Data, no PES (continued block)
833          * ================================================
834          */
835
836         /* continue PES if previous was incomplete */
837         if (p_sys->i_pes_buf_cnt > 0)
838         {
839             const int i_need = p_sys->i_Pes_Length - p_sys->i_pes_buf_cnt;
840
841             msg_Dbg(p_demux, "continuing PES header");
842             /* do we have enough data to complete? */
843             if (i_need >= l_rec_size)
844             {
845                 /* don't have complete PES hdr; save what we have and return */
846                 memcpy(&p_sys->pes_buffer[p_sys->i_pes_buf_cnt],
847                         p_block_in->p_buffer, l_rec_size);
848                 p_sys->i_pes_buf_cnt += l_rec_size;
849                 /* */
850                 block_Release(p_block_in);
851                 return 0;
852             }
853
854             /* we have enough; reconstruct this p_frame with the new hdr */
855             memcpy(&p_sys->pes_buffer[p_sys->i_pes_buf_cnt],
856                    p_block_in->p_buffer, i_need);
857             /* advance the block past the PES header (don't want to send it) */
858             p_block_in->p_buffer += i_need;
859             p_block_in->i_buffer -= i_need;
860             /* get the PTS out of this PES header (MPEG or AC3) */
861             if (p_sys->audio_type == TIVO_AUDIO_MPEG)
862                 esOffset1 = find_es_header(ty_MPEGAudioPacket,
863                         p_sys->pes_buffer, 5);
864             else
865                 esOffset1 = find_es_header(ty_AC3AudioPacket,
866                         p_sys->pes_buffer, 5);
867             if (esOffset1 < 0)
868             {
869                 /* god help us; something's really wrong */
870                 msg_Err(p_demux, "can't find audio PES header in packet");
871             }
872             else
873             {
874                 p_sys->lastAudioPTS = get_pts( 
875                     &p_sys->pes_buffer[ esOffset1 + p_sys->i_Pts_Offset ] );
876                 p_block_in->i_pts = p_sys->lastAudioPTS;
877             }
878             p_sys->i_pes_buf_cnt = 0;
879         }
880         /* S2 DTivo has AC3 packets with 2 padding bytes at end.  This is
881          * not allowed in the AC3 spec and will cause problems.  So here
882          * we try to trim things. */
883         /* Also, S1 DTivo has alternating short / long AC3 packets.  That
884          * is, one packet is short (incomplete) and the next packet has
885          * the first one's missing data, plus all of its own.  Strange. */
886         if (p_sys->audio_type == TIVO_AUDIO_AC3 &&
887                 p_sys->tivo_series == TIVO_SERIES2) {
888             if (p_sys->l_ac3_pkt_size + p_block_in->i_buffer >
889                     AC3_PKT_LENGTH) {
890                 p_block_in->i_buffer -= 2;
891                 p_sys->l_ac3_pkt_size = 0;
892             } else {
893                 p_sys->l_ac3_pkt_size += p_block_in->i_buffer;
894             }
895         }
896     }
897     else if( subrec_type == 0x03 )
898     {
899         /* MPEG Audio with PES Header, either SA or DTiVo   */
900         /* ================================================ */
901         esOffset1 = find_es_header( ty_MPEGAudioPacket,
902                 p_block_in->p_buffer, 5 );
903
904         /*msg_Dbg(p_demux, "buffer has %#02x %#02x %#02x %#02x",
905            p_block_in->p_buffer[0], p_block_in->p_buffer[1],
906            p_block_in->p_buffer[2], p_block_in->p_buffer[3]);
907         msg_Dbg(p_demux, "audio ES hdr at offset %d", esOffset1);*/
908
909         /* SA PES Header, No Audio Data                     */
910         /* ================================================ */
911         if ( ( esOffset1 == 0 ) && ( l_rec_size == 16 ) )
912         {
913             p_sys->lastAudioPTS = get_pts( &p_block_in->p_buffer[
914                         SA_PTS_OFFSET ] );
915             if (p_sys->firstAudioPTS < 0)
916                 p_sys->firstAudioPTS = p_sys->lastAudioPTS;
917
918             block_Release(p_block_in);
919             return 0;
920             /*msg_Dbg(p_demux, "SA Audio PTS %lld",
921                        p_sys->lastAudioPTS );*/
922         }
923         /* DTiVo Audio with PES Header                      */
924         /* ================================================ */
925
926         /* Check for complete PES */
927         if (check_sync_pes(p_demux, p_block_in, esOffset1,
928                             l_rec_size) == -1)
929         {
930             /* partial PES header found, nothing else. 
931              * we're done. */
932             block_Release(p_block_in);
933             return 0;
934         }
935 #if 0
936         msg_Dbg(p_demux, "packet buffer has "
937                  "%02x %02x %02x %02x %02x %02x %02x %02x "
938                  "%02x %02x %02x %02x %02x %02x %02x %02x",
939                  p_block_in->p_buffer[0], p_block_in->p_buffer[1],
940                  p_block_in->p_buffer[2], p_block_in->p_buffer[3],
941                  p_block_in->p_buffer[4], p_block_in->p_buffer[5],
942                  p_block_in->p_buffer[6], p_block_in->p_buffer[7],
943                  p_block_in->p_buffer[8], p_block_in->p_buffer[9],
944                  p_block_in->p_buffer[10], p_block_in->p_buffer[11],
945                  p_block_in->p_buffer[12], p_block_in->p_buffer[13],
946                  p_block_in->p_buffer[14], p_block_in->p_buffer[15]);
947 #endif
948     }
949     else if( subrec_type == 0x04 )
950     {
951         /* SA Audio with no PES Header                      */
952         /* ================================================ */
953         /*msg_Dbg(p_demux,
954                 "Adding SA Audio Packet Size %ld", l_rec_size ); */
955
956         if (p_sys->lastAudioPTS > 0)
957             p_block_in->i_pts = p_sys->lastAudioPTS;
958     }
959     else if( subrec_type == 0x09 )
960     {
961         /* DTiVo AC3 Audio Data with PES Header             */
962         /* ================================================ */
963         esOffset1 = find_es_header( ty_AC3AudioPacket,
964                 p_block_in->p_buffer, 5 );
965
966 #if 0
967         msg_Dbg(p_demux, "buffer has "
968                  "%02x %02x %02x %02x %02x %02x %02x %02x "
969                  "%02x %02x %02x %02x %02x %02x %02x %02x",
970                  p_block_in->p_buffer[0], p_block_in->p_buffer[1],
971                  p_block_in->p_buffer[2], p_block_in->p_buffer[3],
972                  p_block_in->p_buffer[4], p_block_in->p_buffer[5],
973                  p_block_in->p_buffer[6], p_block_in->p_buffer[7],
974                  p_block_in->p_buffer[8], p_block_in->p_buffer[9],
975                  p_block_in->p_buffer[10], p_block_in->p_buffer[11],
976                  p_block_in->p_buffer[12], p_block_in->p_buffer[13],
977                  p_block_in->p_buffer[14], p_block_in->p_buffer[15]);
978         msg_Dbg(p_demux, "audio ES AC3 hdr at offset %d", esOffset1);
979 #endif
980
981         /* Check for complete PES */
982         if (check_sync_pes(p_demux, p_block_in, esOffset1,
983                             l_rec_size) == -1)
984         {
985             /* partial PES header found, nothing else.  we're done. */
986             block_Release(p_block_in);
987             return 0;
988         }
989         /* S2 DTivo has invalid long AC3 packets */
990         if (p_sys->tivo_series == TIVO_SERIES2) {
991             if (p_block_in->i_buffer > AC3_PKT_LENGTH) {
992                 p_block_in->i_buffer -= 2;
993                 p_sys->l_ac3_pkt_size = 0;
994             } else {
995                 p_sys->l_ac3_pkt_size = p_block_in->i_buffer;
996             }
997         }
998     }
999     else
1000     {
1001         /* Unsupported/Unknown */
1002         block_Release(p_block_in);
1003         return 0;
1004     }
1005
1006     /* set PCR before we send (if PTS found) */
1007     if( p_block_in->i_pts > 0 )
1008         es_out_Control( p_demux->out, ES_OUT_SET_PCR,
1009                         p_block_in->i_pts );
1010     /* Send data */
1011     es_out_Send( p_demux->out, p_sys->p_audio, p_block_in );
1012     return 0;
1013 }
1014
1015 static int DemuxRecCc( demux_t *p_demux, ty_rec_hdr_t *rec_hdr, block_t *p_block_in )
1016 {
1017     demux_sys_t *p_sys = p_demux->p_sys;
1018     int i_field;
1019     int i_channel;
1020
1021     if( p_block_in )
1022         block_Release(p_block_in);
1023
1024     if( rec_hdr->rec_type == 0x01 )
1025         i_field = 0;
1026     else if( rec_hdr->rec_type == 0x02 )
1027         i_field = 1;
1028     else
1029         return 0;
1030
1031     /* XDS data (extract programs infos) transmitted on field 2 only */
1032     if( i_field == 1 )
1033         DemuxDecodeXds( p_demux, rec_hdr->ex1, rec_hdr->ex2 );
1034
1035     if( p_sys->cc.i_data + 3 > CC_MAX_DATA_SIZE )
1036         return 0;
1037
1038     p_sys->cc.p_data[p_sys->cc.i_data+0] = i_field;
1039     p_sys->cc.p_data[p_sys->cc.i_data+1] = rec_hdr->ex1;
1040     p_sys->cc.p_data[p_sys->cc.i_data+2] = rec_hdr->ex2;
1041     p_sys->cc.i_data += 3;
1042
1043     i_channel = cc_Channel( i_field, &p_sys->cc.p_data[p_sys->cc.i_data-3 + 1] );
1044     if( i_channel >= 0 && i_channel < 4 )
1045         p_sys->cc.pb_present[i_channel] = true;
1046     return 0;
1047 }
1048
1049 /* seek to a position within the stream, if possible */
1050 static int ty_stream_seek_pct(demux_t *p_demux, double seek_pct)
1051 {
1052     demux_sys_t *p_sys = p_demux->p_sys;
1053     int64_t seek_pos = p_sys->i_stream_size * seek_pct;
1054     int i, i_cur_part;
1055     long l_skip_amt;
1056
1057     /* if we're not seekable, there's nothing to do */
1058     if (!p_sys->b_seekable)
1059         return VLC_EGENERIC;
1060
1061     /* figure out which part & chunk we want & go there */
1062     i_cur_part = seek_pos / TIVO_PART_LENGTH;
1063     p_sys->i_cur_chunk = seek_pos / CHUNK_SIZE;
1064     
1065     /* try to read the part header (master chunk) if it's there */
1066     if ( stream_Seek( p_demux->s, i_cur_part * TIVO_PART_LENGTH ))
1067     {
1068         /* can't seek stream */
1069         return VLC_EGENERIC;
1070     }
1071     parse_master(p_demux);
1072
1073     /* now for the actual chunk */
1074     if ( stream_Seek( p_demux->s, p_sys->i_cur_chunk * CHUNK_SIZE))
1075     {
1076         /* can't seek stream */
1077         return VLC_EGENERIC;
1078     }
1079     /* load the chunk */
1080     p_sys->i_stuff_cnt = 0;
1081     get_chunk_header(p_demux);
1082   
1083     /* seek within the chunk to get roughly to where we want */
1084     p_sys->i_cur_rec = (int)
1085       ((double) ((seek_pos % CHUNK_SIZE) / (double) (CHUNK_SIZE)) * p_sys->i_num_recs);
1086     msg_Dbg(p_demux, "Seeked to file pos %"PRId64, seek_pos);
1087     msg_Dbg(p_demux, " (chunk %d, record %d)",
1088              p_sys->i_cur_chunk - 1, p_sys->i_cur_rec);
1089
1090     /* seek to the start of this record's data.
1091      * to do that, we have to skip past all prior records */
1092     l_skip_amt = 0;
1093     for (i=0; i<p_sys->i_cur_rec; i++)
1094         l_skip_amt += p_sys->rec_hdrs[i].l_rec_size;
1095     stream_Seek(p_demux->s, ((p_sys->i_cur_chunk-1) * CHUNK_SIZE) +
1096                  (p_sys->i_num_recs * 16) + l_skip_amt + 4);
1097
1098     /* to hell with syncing any audio or video, just start reading records... :) */
1099     /*p_sys->lastAudioPTS = p_sys->lastVideoPTS = 0;*/
1100     return VLC_SUCCESS;
1101 }
1102
1103 /* XDS decoder */
1104 //#define TY_XDS_DEBUG
1105 static void XdsInit( xds_t *h )
1106 {
1107     int i, j;
1108
1109     h->b_xds = false;
1110     h->i_class = XDS_MAX_CLASS_COUNT;
1111     h->i_type = 0;
1112     h->b_future = false;
1113     for( i = 0; i < XDS_MAX_CLASS_COUNT; i++ )
1114     {
1115         for( j = 0; j < 128; j++ )
1116             h->pkt[i][j].b_started = false;
1117     }
1118     h->b_meta_changed = false;
1119     memset( &h->meta, 0, sizeof(h->meta) );
1120 }
1121 static void XdsExit( xds_t *h )
1122 {
1123     /* */
1124     free( h->meta.psz_channel_name );
1125     free( h->meta.psz_channel_call_letter );
1126     free( h->meta.psz_channel_number );
1127
1128     /* */
1129     free( h->meta.current.psz_name );
1130     free( h->meta.current.psz_rating );
1131     /* */
1132     free( h->meta.future.psz_name );
1133     free( h->meta.future.psz_rating );
1134 }
1135 static void XdsStringUtf8( char dst[2*32+1], const uint8_t *p_src, int i_src )
1136 {
1137     int i;
1138     int i_dst;
1139
1140     for( i = 0, i_dst = 0; i < i_src; i++ )
1141     {
1142         switch( p_src[i] )
1143         {
1144 #define E2( c, u1, u2 ) case c: dst[i_dst++] = u1; dst[i_dst++] = u2; break
1145         E2( 0x2a, 0xc3,0xa1); // lowercase a, acute accent
1146         E2( 0x5c, 0xc3,0xa9); // lowercase e, acute accent
1147         E2( 0x5e, 0xc3,0xad); // lowercase i, acute accent
1148         E2( 0x5f, 0xc3,0xb3); // lowercase o, acute accent
1149         E2( 0x60, 0xc3,0xba); // lowercase u, acute accent
1150         E2( 0x7b, 0xc3,0xa7); // lowercase c with cedilla
1151         E2( 0x7c, 0xc3,0xb7); // division symbol
1152         E2( 0x7d, 0xc3,0x91); // uppercase N tilde
1153         E2( 0x7e, 0xc3,0xb1); // lowercase n tilde
1154 #undef E2
1155         default:
1156             dst[i_dst++] = p_src[i];
1157             break;
1158         }
1159     }
1160     dst[i_dst++] = '\0';
1161 }
1162 static bool XdsChangeString( xds_t *h, char **ppsz_dst, const char *psz_new )
1163 {
1164     if( *ppsz_dst && psz_new && !strcmp( *ppsz_dst, psz_new ) )
1165         return false;
1166     if( *ppsz_dst == NULL && psz_new == NULL )
1167         return false;
1168
1169     free( *ppsz_dst );
1170     if( psz_new )
1171         *ppsz_dst = strdup( psz_new );
1172     else
1173         *ppsz_dst = NULL;
1174
1175     h->b_meta_changed = true;
1176     return true;
1177 }
1178
1179 static void XdsDecodeCurrentFuture( xds_t *h, xds_packet_t *pk )
1180 {
1181     xds_meta_program_t *p_prg = h->b_future ? &h->meta.future : &h->meta.current;
1182     char name[2*32+1];
1183     int i_rating;
1184
1185     switch( h->i_type )
1186     {
1187     case 0x03:
1188         XdsStringUtf8( name, pk->p_data, pk->i_data );
1189         if( XdsChangeString( h, &p_prg->psz_name, name ) )
1190         {
1191             //fprintf( stderr, "xxxxxxxxxxxxxxxXDS XdsDecode: class 'Current/Future (Program Name) %d'\n", pk->i_data );
1192             //fprintf( stderr, "xxxxxxxxxxxxxxxXDS XdsDecode: ====> program name %s\n", name );
1193         }
1194         break;
1195     case 0x05:
1196         i_rating = (pk->p_data[0] & 0x18);
1197         if( i_rating == 0x08 )
1198         {
1199             /* TPG */
1200             static const char *pppsz_ratings[8][2] = {
1201                 { "None",   "No rating (no content advisory)" },
1202                 { "TV-Y",   "All Children (no content advisory)" },
1203                 { "TV-Y7",  "Directed to Older Children (V = Fantasy Violence)" },
1204                 { "TV-G",   "General Audience (no content advisory)" },
1205                 { "TV-PG",  "Parental Guidance Suggested" },
1206                 { "TV-14",  "Parents Strongly Cautioned" },
1207                 { "TV-MA",  "Mature Audience Only" },
1208                 { "None",   "No rating (no content advisory)" }
1209             };
1210             p_prg->rating = XDS_META_PROGRAM_RATING_TPG;
1211             if( XdsChangeString( h, &p_prg->psz_rating, pppsz_ratings[pk->p_data[1]&0x07][0] ) )
1212             {
1213                 //fprintf( stderr, "xxxxxxxxxxxxxxxXDS XdsDecode: class 'Current/Future (Rating) %d'\n", pk->i_data );
1214                 //fprintf( stderr, "xxxxxxxxxxxxxxxXDS XdsDecode: ====> TPG Rating %s (%s)\n",
1215                 //         pppsz_ratings[pk->p_data[1]&0x07][0], pppsz_ratings[pk->p_data[1]&0x07][1] );
1216             }
1217         }
1218         else if( i_rating == 0x00 || i_rating == 0x10 )
1219         {
1220             /* MPAA */
1221             static const char *pppsz_ratings[8][2] = {
1222                 { "N/A",    "N/A" },
1223                 { "G",      "General Audiences" },
1224                 { "PG",     "Parental Guidance Suggested" },
1225                 { "PG-13",  "Parents Strongly Cautioned" },
1226                 { "R",      "Restricted" },
1227                 { "NC-17",  "No one 17 and under admitted" },
1228                 { "X",      "No one under 17 admitted" },
1229                 { "NR",     "Not Rated" },
1230             };
1231             p_prg->rating = XDS_META_PROGRAM_RATING_MPAA;
1232             if( XdsChangeString( h, &p_prg->psz_rating, pppsz_ratings[pk->p_data[0]&0x07][0] ) )
1233             {
1234                 //fprintf( stderr, "xxxxxxxxxxxxxxxXDS XdsDecode: class 'Current/Future (Rating) %d'\n", pk->i_data );
1235                 //fprintf( stderr, "xxxxxxxxxxxxxxxXDS XdsDecode: ====> TPG Rating %s (%s)\n",
1236                 //         pppsz_ratings[pk->p_data[0]&0x07][0], pppsz_ratings[pk->p_data[0]&0x07][1] );
1237             }
1238         }
1239         else
1240         {
1241             /* Non US Rating TODO */
1242             assert( i_rating == 0x18 ); // only left value possible */
1243             p_prg->rating = XDS_META_PROGRAM_RATING_NONE;
1244             if( XdsChangeString( h, &p_prg->psz_rating, NULL ) )
1245             {
1246                 //fprintf( stderr, "xxxxxxxxxxxxxxxXDS XdsDecode: class 'Current/Future (Rating) %d'\n", pk->i_data );
1247                 //fprintf( stderr, "xxxxxxxxxxxxxxxXDS XdsDecode: ====> 0x%2.2x 0x%2.2x\n", pk->p_data[0], pk->p_data[1] );
1248             }
1249         }
1250         break;
1251
1252     default:
1253 #ifdef TY_XDS_DEBUG
1254         fprintf( stderr, "xxxxxxxxxxxxxxxXDS XdsDecode: class 'Current/Future (Unknown 0x%x)'\n", h->i_type );
1255 #endif
1256         break;
1257     }
1258 }
1259
1260 static void XdsDecodeChannel( xds_t *h, xds_packet_t *pk )
1261 {
1262     char name[2*32+1];
1263     char chan[2*32+1];
1264
1265     switch( h->i_type )
1266     {
1267     case 0x01:
1268         if( pk->i_data < 2 )
1269             return;
1270         XdsStringUtf8( name, pk->p_data, pk->i_data );
1271         if( XdsChangeString( h, &h->meta.psz_channel_name, name ) )
1272         {
1273             //fprintf( stderr, "xxxxxxxxxxxxxxxXDS XdsDecode: class 'Channel (Network Name) %d'\n", pk->i_data );
1274             //fprintf( stderr, "xxxxxxxxxxxxxxxXDS XdsDecode: ====> %s\n", name );
1275         }
1276         break;
1277
1278     case 0x02:
1279         if( pk->i_data < 4 )
1280             return;
1281
1282         XdsStringUtf8( name, pk->p_data, 4 );
1283         if( XdsChangeString( h, &h->meta.psz_channel_call_letter, name ) )
1284         {
1285             //fprintf( stderr, "xxxxxxxxxxxxxxxXDS XdsDecode: class 'Channel (Network Call Letter)' %d\n", pk->i_data );
1286             //fprintf( stderr, "xxxxxxxxxxxxxxxXDS XdsDecode: ====> call letter %s\n", name );
1287         }
1288         if( pk->i_data >= 6 )
1289         {
1290             XdsStringUtf8( chan, &pk->p_data[4], 2 );
1291             if( XdsChangeString( h, &h->meta.psz_channel_number, chan ) )
1292             {
1293                 //fprintf( stderr, "xxxxxxxxxxxxxxxXDS XdsDecode: class 'Channel (Network Call Letter)' %d\n", pk->i_data );
1294                 //fprintf( stderr, "xxxxxxxxxxxxxxxXDS XdsDecode: ====> channel number %s\n", chan );
1295             }
1296         }
1297         else
1298         {
1299             if( XdsChangeString( h, &h->meta.psz_channel_number, NULL ) )
1300             {
1301                 //fprintf( stderr, "xxxxxxxxxxxxxxxXDS XdsDecode: class 'Channel (Network Call Letter)' %d\n", pk->i_data );
1302                 //fprintf( stderr, "xxxxxxxxxxxxxxxXDS XdsDecode: ====> no channel number letter anymore\n" );
1303             }
1304         }
1305         break;
1306     case 0x03:
1307         //fprintf( stderr, "xxxxxxxxxxxxxxxXDS XdsDecode: class 'Channel (Channel Tape Delay)'\n" );
1308         break;
1309     case 0x04:
1310         //fprintf( stderr, "xxxxxxxxxxxxxxxXDS XdsDecode: class 'Channel (Transmission Signal Identifier)'\n" );
1311         break;
1312     default:
1313 #ifdef TY_XDS_DEBUG
1314         fprintf( stderr, "xxxxxxxxxxxxxxxXDS XdsDecode: class 'Channel (Unknown 0x%x)'\n", h->i_type );
1315 #endif
1316         break;
1317     }
1318 }
1319
1320 static void XdsDecode( xds_t *h, xds_packet_t *pk )
1321 {
1322     switch( h->i_class )
1323     {
1324     case XDS_CLASS_CURRENT:
1325     case XDS_CLASS_FUTURE:
1326         XdsDecodeCurrentFuture( h, pk );
1327         break;
1328     case XDS_CLASS_CHANNEL:
1329         XdsDecodeChannel( h, pk );
1330         break;
1331     case XDS_CLASS_MISCELLANEOUS:
1332 #ifdef TY_XDS_DEBUG
1333         fprintf( stderr, "xxxxxxxxxxxxxxxXDS XdsDecode: class 'Miscellaneous'\n" );
1334 #endif
1335         break;
1336     case XDS_CLASS_PUBLIC_SERVICE:
1337 #ifdef TY_XDS_DEBUG
1338         fprintf( stderr, "xxxxxxxxxxxxxxxXDS XdsDecode: class 'Public Service'\n" );
1339 #endif
1340         break;
1341     default:
1342         //fprintf( stderr, "xxxxxxxxxxxxxxxXDS XdsDecode: unknown class\n" );
1343         break;
1344     }
1345 }
1346
1347 static void XdsParse( xds_t *h, uint8_t d1, uint8_t d2 )
1348 {
1349     /* TODO check parity */
1350     d1 &= 0x7f;
1351     d2 &= 0x7f;
1352
1353     /* */
1354     if( d1 >= 0x01 && d1 <= 0x0e )
1355     {
1356         const xds_class_t i_class = ( d1 - 1 ) >> 1;
1357         const int i_type = d2;
1358         const bool b_start = d1 & 0x01;
1359         xds_packet_t *pk = &h->pkt[i_class][i_type];
1360
1361         if( !b_start && !pk->b_started )
1362         {
1363             //fprintf( stderr, "xxxxxxxxxxxxxxxXDS Continuying a non started packet, ignoring\n" );
1364             h->b_xds = false;
1365             return;
1366         }
1367
1368         h->b_xds = true;
1369         h->i_class = i_class;
1370         h->i_type  = i_type;
1371         h->b_future = !b_start;
1372         pk->b_started = true;
1373         if( b_start )
1374         {
1375             pk->i_data = 0;
1376             pk->i_sum = d1 + d2;
1377         }
1378     }
1379     else if( d1 == 0x0f && h->b_xds )
1380     {
1381         xds_packet_t *pk = &h->pkt[h->i_class][h->i_type];
1382
1383         /* TODO checksum and decode */
1384         pk->i_sum += d1 + d2;
1385         if( pk->i_sum & 0x7f )
1386         {
1387             //fprintf( stderr, "xxxxxxxxxxxxxxxXDS invalid checksum, ignoring ---------------------------------\n" );
1388             pk->b_started = false;
1389             return;
1390         }
1391         if( pk->i_data <= 0 )
1392         {
1393             //fprintf( stderr, "xxxxxxxxxxxxxxxXDS empty packet, ignoring ---------------------------------\n" );
1394             pk->b_started = false;
1395             return;
1396         }
1397
1398         //if( pk->p_data[pk->i_data-1] == 0x40 ) /* Padding byte */
1399         //    pk->i_data--;
1400         XdsDecode( h, pk );
1401
1402         /* Reset it */
1403         pk->b_started = false;
1404     }
1405     else if( d1 >= 0x20 && h->b_xds )
1406     {
1407         xds_packet_t *pk = &h->pkt[h->i_class][h->i_type];
1408
1409         if( pk->i_data+2 > XDS_MAX_DATA_SIZE )
1410         {
1411             /* Broken -> reinit */
1412             //fprintf( stderr, "xxxxxxxxxxxxxxxXDS broken, reset\n" );
1413             h->b_xds = false;
1414             pk->b_started = false;
1415             return;
1416         }
1417         /* TODO check parity bit */
1418         pk->p_data[pk->i_data++] = d1 & 0x7f;
1419         pk->p_data[pk->i_data++] = d2 & 0x7f;
1420         pk->i_sum += d1+d2;
1421     }
1422     else
1423     {
1424         h->b_xds = false;
1425     }
1426 }
1427
1428 static void DemuxDecodeXds( demux_t *p_demux, uint8_t d1, uint8_t d2 )
1429 {
1430     demux_sys_t *p_sys = p_demux->p_sys;
1431
1432     XdsParse( &p_demux->p_sys->xds, d1, d2 );
1433     if( p_demux->p_sys->xds.b_meta_changed )
1434     {
1435         xds_meta_t *m = &p_sys->xds.meta;
1436         vlc_meta_t *p_meta;
1437         vlc_epg_t *p_epg;
1438
1439         /* Channel meta data */
1440         p_meta = vlc_meta_New();
1441         if( m->psz_channel_name )
1442             vlc_meta_SetPublisher( p_meta, m->psz_channel_name );
1443         if( m->psz_channel_call_letter )
1444             vlc_meta_SetTitle( p_meta, m->psz_channel_call_letter );
1445         if( m->psz_channel_number )
1446             vlc_meta_AddExtra( p_meta, "Channel number", m->psz_channel_number );
1447         es_out_Control( p_demux->out, ES_OUT_SET_GROUP_META, TY_ES_GROUP, p_meta );
1448         vlc_meta_Delete( p_meta );
1449
1450         /* Event meta data (current/future) */
1451         p_epg = vlc_epg_New( NULL );
1452         if( m->current.psz_name )
1453         {
1454             vlc_epg_AddEvent( p_epg, 0, 0, m->current.psz_name, NULL, NULL );
1455             //if( m->current.psz_rating )
1456             //  TODO but VLC cannot yet handle rating per epg event
1457             vlc_epg_SetCurrent( p_epg, 0 );
1458         }
1459         if( m->future.psz_name )
1460         {
1461         }
1462         if( p_epg->i_event > 0 )
1463             es_out_Control( p_demux->out, ES_OUT_SET_GROUP_EPG, TY_ES_GROUP, p_epg );
1464         vlc_epg_Delete( p_epg );
1465     }
1466     p_demux->p_sys->xds.b_meta_changed = false;
1467 }
1468
1469 /* seek to an exact time position within the stream, if possible.
1470  * l_seek_time is in nanoseconds, the TIVO time standard.
1471  */
1472 static int ty_stream_seek_time(demux_t *p_demux, uint64_t l_seek_time)
1473 {
1474     demux_sys_t *p_sys = p_demux->p_sys;
1475     int i, i_seq_entry = 0;
1476     int i_skip_cnt;
1477     long l_cur_pos = stream_Tell(p_demux->s);
1478     int i_cur_part = l_cur_pos / TIVO_PART_LENGTH;
1479     long l_seek_secs = l_seek_time / 1000000000;
1480     uint64_t l_fwd_stamp = 1;
1481
1482     /* if we're not seekable, there's nothing to do */
1483     if (!p_sys->b_seekable || !p_sys->b_have_master)
1484         return VLC_EGENERIC;
1485
1486     msg_Dbg(p_demux, "Skipping to time %02ld:%02ld:%02ld",
1487             l_seek_secs / 3600, (l_seek_secs / 60) % 60, l_seek_secs % 60);
1488
1489     /* seek to the proper segment if necessary */
1490     /* first see if we need to go back */
1491     while (l_seek_time < p_sys->l_first_ty_pts) {
1492         msg_Dbg(p_demux, "skipping to prior segment.");
1493         /* load previous part */
1494         if (i_cur_part == 0) {
1495             stream_Seek(p_demux->s, l_cur_pos);
1496             msg_Err(p_demux, "Attempt to seek past BOF");
1497             return VLC_EGENERIC;
1498         }
1499         stream_Seek(p_demux->s, (i_cur_part - 1) * TIVO_PART_LENGTH);
1500         i_cur_part--;
1501         parse_master(p_demux);
1502     }
1503     /* maybe we need to go forward */
1504     while (l_seek_time > p_sys->l_final_ty_pts) {
1505         msg_Dbg(p_demux, "skipping to next segment.");
1506         /* load next part */
1507         if ((i_cur_part + 1) * TIVO_PART_LENGTH > p_sys->i_stream_size) {
1508             /* error; restore previous file position */
1509             stream_Seek(p_demux->s, l_cur_pos);
1510             msg_Err(p_demux, "seek error");
1511             return VLC_EGENERIC;
1512         }
1513         stream_Seek(p_demux->s, (i_cur_part + 1) * TIVO_PART_LENGTH);
1514         i_cur_part++;
1515         parse_master(p_demux);
1516     }
1517
1518     /* our target is somewhere within this part;
1519        find the proper chunk using seq_table */
1520     for (i=1; i<p_sys->i_seq_table_size; i++) {
1521         if (p_sys->seq_table[i].l_timestamp > l_seek_time) {
1522             /* i-1 is the section we want; remember the next timestamp in case
1523                we have to use it (this section may not have a proper SEQ hdr
1524                for the time we're seeking) */
1525             msg_Dbg(p_demux, "stopping at seq entry %d.", i);
1526             l_fwd_stamp = p_sys->seq_table[i].l_timestamp;
1527             i_seq_entry = i-1;
1528             break;
1529         }
1530     }
1531     
1532     /* if we went through the entire last loop and didn't find our target,
1533        then we skip to the next part.  What has happened is that the actual
1534        time we're seeking is within this part, but there isn't a SEQ hdr
1535        for it here.  So we skip to the next part */
1536     if (i == p_sys->i_seq_table_size) {
1537         if ((i_cur_part + 1) * TIVO_PART_LENGTH > p_sys->i_stream_size) {
1538             /* error; restore previous file position */
1539             stream_Seek(p_demux->s, l_cur_pos);
1540             msg_Err(p_demux, "seek error");
1541             return VLC_EGENERIC;
1542         }
1543         stream_Seek(p_demux->s, (i_cur_part + 1) * TIVO_PART_LENGTH);
1544         i_cur_part++;
1545         parse_master(p_demux);
1546         i_seq_entry = 0;
1547     }     
1548      
1549     /* determine which chunk has our seek_time */
1550     for (i=0; i<p_sys->i_bits_per_seq_entry; i++) {
1551         long l_chunk_nr = i_seq_entry * p_sys->i_bits_per_seq_entry + i;
1552         long l_chunk_offset = (l_chunk_nr + 1) * CHUNK_SIZE;
1553         msg_Dbg(p_demux, "testing part %d chunk %ld mask 0x%02X bit %d",
1554             i_cur_part, l_chunk_nr,
1555             p_sys->seq_table[i_seq_entry].chunk_bitmask[i/8], i%8);
1556         if (p_sys->seq_table[i_seq_entry].chunk_bitmask[i/8] & (1 << (i%8))) {
1557             /* check this chunk's SEQ header timestamp */
1558             msg_Dbg(p_demux, "has SEQ. seeking to chunk at 0x%lX",
1559                 (i_cur_part * TIVO_PART_LENGTH) + l_chunk_offset);
1560             stream_Seek(p_demux->s, (i_cur_part * TIVO_PART_LENGTH) +
1561                 l_chunk_offset);
1562             // TODO: we don't have to parse the full header set;
1563             // just test the seq_rec entry for its timestamp
1564             p_sys->i_stuff_cnt = 0;
1565             get_chunk_header(p_demux);
1566             // check ty PTS for the SEQ entry in this chunk
1567             if (p_sys->i_seq_rec < 0 || p_sys->i_seq_rec > p_sys->i_num_recs) {
1568                 msg_Err(p_demux, "no SEQ hdr in chunk; table had one.");
1569                 /* Seek to beginning of original chunk & reload it */
1570                 stream_Seek(p_demux->s, (l_cur_pos / CHUNK_SIZE) * CHUNK_SIZE);
1571                 p_sys->i_stuff_cnt = 0;
1572                 get_chunk_header(p_demux);
1573                 return VLC_EGENERIC;
1574             }
1575             l_seek_secs = p_sys->rec_hdrs[p_sys->i_seq_rec].l_ty_pts /
1576                 1000000000;
1577             msg_Dbg(p_demux, "found SEQ hdr for timestamp %02ld:%02ld:%02ld",
1578                 l_seek_secs / 3600,
1579                 (l_seek_secs / 60) % 60, l_seek_secs % 60);
1580             if (p_sys->rec_hdrs[p_sys->i_seq_rec].l_ty_pts >= l_seek_time) {
1581                 // keep this one?  go back?
1582                 /* for now, we take this one.  it's the first SEQ hdr AFTER
1583                    the time we were searching for. */
1584                 msg_Dbg(p_demux, "seek target found.");
1585                 break;
1586             }
1587             msg_Dbg(p_demux, "timestamp too early. still scanning.");
1588         }
1589     }
1590     /* if we made it through this entire loop without finding our target,
1591        then we skip to the next section.  What has happened is that the actual
1592        time we're seeking is within this section, but there isn't a SEQ hdr
1593        for it here.  So we skip to the next closest one (l_fwd_stamp) */
1594     if (i == p_sys->i_bits_per_seq_entry)
1595         return ty_stream_seek_time(p_demux, l_fwd_stamp);
1596
1597     /* current stream ptr is at beginning of data for this chunk,
1598        so we need to skip past any stream data prior to the seq_rec
1599        in this chunk */
1600     i_skip_cnt = 0;
1601     for (i=0; i<p_sys->i_seq_rec; i++)
1602         i_skip_cnt += p_sys->rec_hdrs[i].l_rec_size;
1603     stream_Read(p_demux->s, NULL, i_skip_cnt);
1604     p_sys->i_cur_rec = p_sys->i_seq_rec;
1605     //p_sys->l_last_ty_pts = p_sys->rec_hdrs[p_sys->i_seq_rec].l_ty_pts;
1606     //p_sys->l_last_ty_pts_sync = p_sys->lastAudioPTS;
1607
1608     return VLC_SUCCESS;
1609 }
1610
1611
1612 /* parse a master chunk, filling the SEQ table and other variables.
1613  * We assume the stream is currently pointing to it.
1614  */
1615 static void parse_master(demux_t *p_demux)
1616 {
1617     demux_sys_t *p_sys = p_demux->p_sys;
1618     uint8_t mst_buf[32];
1619     int i, i_map_size;
1620     int64_t i_save_pos = stream_Tell(p_demux->s);
1621     int64_t i_pts_secs;
1622
1623     /* Note that the entries in the SEQ table in the stream may have
1624        different sizes depending on the bits per entry.  We store them
1625        all in the same size structure, so we have to parse them out one
1626        by one.  If we had a dynamic structure, we could simply read the
1627        entire table directly from the stream into memory in place. */
1628
1629     /* clear the SEQ table */
1630     free(p_sys->seq_table);
1631     
1632     /* parse header info */
1633     stream_Read(p_demux->s, mst_buf, 32);
1634     i_map_size = U32_AT(&mst_buf[20]);  /* size of bitmask, in bytes */
1635     p_sys->i_bits_per_seq_entry = i_map_size * 8;
1636     i = U32_AT(&mst_buf[28]);   /* size of SEQ table, in bytes */
1637     p_sys->i_seq_table_size = i / (8 + i_map_size);
1638
1639     /* parse all the entries */
1640     p_sys->seq_table = malloc(p_sys->i_seq_table_size * sizeof(ty_seq_table_t));
1641     for (i=0; i<p_sys->i_seq_table_size; i++) {
1642         stream_Read(p_demux->s, mst_buf, 8);
1643         p_sys->seq_table[i].l_timestamp = U64_AT(&mst_buf[0]);
1644         if (i_map_size > 8) {
1645             msg_Err(p_demux, "Unsupported SEQ bitmap size in master chunk");
1646             stream_Read(p_demux->s, NULL, i_map_size);
1647             memset(p_sys->seq_table[i].chunk_bitmask, i_map_size, 0);
1648         } else {
1649             stream_Read(p_demux->s, mst_buf + 8, i_map_size);
1650             memcpy(p_sys->seq_table[i].chunk_bitmask, &mst_buf[8], i_map_size);
1651         }
1652     }
1653
1654     /* set up a few of our variables */
1655     p_sys->l_first_ty_pts = p_sys->seq_table[0].l_timestamp;
1656     p_sys->l_final_ty_pts =
1657         p_sys->seq_table[p_sys->i_seq_table_size - 1].l_timestamp;
1658     p_sys->b_have_master = true;
1659
1660     i_pts_secs = p_sys->l_first_ty_pts / 1000000000;
1661     msg_Dbg( p_demux,
1662              "first TY pts in master is %02"PRId64":%02"PRId64":%02"PRId64,
1663              i_pts_secs / 3600, (i_pts_secs / 60) % 60, i_pts_secs % 60 );
1664     i_pts_secs = p_sys->l_final_ty_pts / 1000000000;
1665     msg_Dbg( p_demux,
1666              "final TY pts in master is %02"PRId64":%02"PRId64":%02"PRId64,
1667              i_pts_secs / 3600, (i_pts_secs / 60) % 60, i_pts_secs % 60 );
1668
1669     /* seek past this chunk */
1670     stream_Seek(p_demux->s, i_save_pos + CHUNK_SIZE);
1671 }
1672
1673
1674 /* ======================================================================== */
1675 /* "Peek" at some chunks.  Skip over the Part header if we find it.
1676  * We parse the peeked data and determine audio type,
1677  * SA vs. DTivo, & Tivo Series.
1678  * Set global vars i_Pes_Length, i_Pts_Offset,
1679  * p_sys->tivo_series, p_sys->tivo_type, p_sys->audio_type */
1680 static int probe_stream(demux_t *p_demux)
1681 {
1682     demux_sys_t *p_sys = p_demux->p_sys;
1683     const uint8_t *p_buf;
1684     int i;
1685     bool b_probe_error = false;
1686
1687     /* we need CHUNK_PEEK_COUNT chunks of data, first one might be a Part header, so ... */
1688     if (stream_Peek( p_demux->s, &p_buf, CHUNK_PEEK_COUNT * CHUNK_SIZE ) <
1689             CHUNK_PEEK_COUNT * CHUNK_SIZE) {
1690         msg_Err(p_demux, "Can't peek %d chunks", CHUNK_PEEK_COUNT);
1691         /* TODO: if seekable, then loop reading chunks into a temp buffer */
1692         return VLC_EGENERIC;
1693     }
1694     
1695     /* the real work: analyze this chunk */
1696     for (i = 0; i < CHUNK_PEEK_COUNT; i++) {
1697         analyze_chunk(p_demux, p_buf);
1698         if (p_sys->tivo_series != TIVO_SERIES_UNKNOWN &&
1699             p_sys->audio_type  != TIVO_AUDIO_UNKNOWN &&
1700             p_sys->tivo_type   != TIVO_TYPE_UNKNOWN)
1701             break;
1702         p_buf += CHUNK_SIZE;
1703     }
1704     
1705     /* the final tally */
1706     if (p_sys->tivo_series == TIVO_SERIES_UNKNOWN) {
1707         msg_Err(p_demux, "Can't determine Tivo Series.");
1708         b_probe_error = true;
1709     }
1710     if (p_sys->audio_type == TIVO_AUDIO_UNKNOWN) {
1711         msg_Err(p_demux, "Can't determine Tivo Audio Type.");
1712         b_probe_error = true;
1713     }
1714     if (p_sys->tivo_type == TIVO_TYPE_UNKNOWN) {
1715         msg_Err(p_demux, "Can't determine Tivo Type (SA/DTivo).");
1716         b_probe_error = true;
1717     }
1718     return b_probe_error?VLC_EGENERIC:VLC_SUCCESS;
1719 }
1720
1721
1722 /* ======================================================================== */
1723 /* gather statistics for this chunk & set our tivo-type vars accordingly */
1724 static void analyze_chunk(demux_t *p_demux, const uint8_t *p_chunk)
1725 {
1726     demux_sys_t *p_sys = p_demux->p_sys;
1727     int i_num_recs, i;
1728     ty_rec_hdr_t *p_hdrs;
1729     int i_num_6e0, i_num_be0, i_num_9c0, i_num_3c0;
1730     int i_payload_size;
1731
1732     /* skip if it's a Part header */
1733     if( U32_AT( &p_chunk[ 0 ] ) == TIVO_PES_FILEID )
1734         return;
1735
1736     /* number of records in chunk (we ignore high order byte;
1737      * rarely are there > 256 chunks & we don't need that many anyway) */
1738     i_num_recs = p_chunk[0];
1739     if (i_num_recs < 5) {
1740         /* try again with the next chunk.  Sometimes there are dead ones */
1741         return;
1742     }
1743     
1744     p_chunk += 4;       /* skip past rec count & SEQ bytes */
1745     //msg_Dbg(p_demux, "probe: chunk has %d recs", i_num_recs);
1746     p_hdrs = parse_chunk_headers(p_chunk, i_num_recs, &i_payload_size);
1747     /* scan headers.
1748      * 1. check video packets.  Presence of 0x6e0 means S1.
1749      *    No 6e0 but have be0 means S2.
1750      * 2. probe for audio 0x9c0 vs 0x3c0 (AC3 vs Mpeg)
1751      *    If AC-3, then we have DTivo.
1752      *    If MPEG, search for PTS offset.  This will determine SA vs. DTivo.
1753      */
1754     i_num_6e0 = i_num_be0 = i_num_9c0 = i_num_3c0 = 0;
1755     for (i=0; i<i_num_recs; i++) {
1756         //msg_Dbg(p_demux, "probe: rec is %d/%d = 0x%04x", p_hdrs[i].subrec_type,
1757             //p_hdrs[i].rec_type,
1758             //p_hdrs[i].subrec_type << 8 | p_hdrs[i].rec_type);
1759         switch (p_hdrs[i].subrec_type << 8 | p_hdrs[i].rec_type) {
1760             case 0x6e0:
1761                 i_num_6e0++;
1762                 break;
1763             case 0xbe0:
1764                 i_num_be0++;
1765                 break;
1766             case 0x3c0:
1767                 i_num_3c0++;
1768                 break;
1769             case 0x9c0:
1770                 i_num_9c0++;
1771                 break;
1772         }
1773     }
1774     msg_Dbg(p_demux, "probe: chunk has %d 0x6e0 recs, %d 0xbe0 recs.",
1775         i_num_6e0, i_num_be0);
1776
1777     /* set up our variables */
1778     if (i_num_6e0 > 0) {
1779         msg_Dbg(p_demux, "detected Series 1 Tivo");
1780         p_sys->tivo_series = TIVO_SERIES1;
1781         p_sys->i_Pes_Length = SERIES1_PES_LENGTH;
1782     } else if (i_num_be0 > 0) {
1783         msg_Dbg(p_demux, "detected Series 2 Tivo");
1784         p_sys->tivo_series = TIVO_SERIES2;
1785         p_sys->i_Pes_Length = SERIES2_PES_LENGTH;
1786     }
1787     if (i_num_9c0 > 0) {
1788         msg_Dbg(p_demux, "detected AC-3 Audio (DTivo)" );
1789         p_sys->audio_type = TIVO_AUDIO_AC3;
1790         p_sys->tivo_type = TIVO_TYPE_DTIVO;
1791         p_sys->i_Pts_Offset = AC3_PTS_OFFSET;
1792         p_sys->i_Pes_Length = AC3_PES_LENGTH;
1793     } else if (i_num_3c0 > 0) {
1794         p_sys->audio_type = TIVO_AUDIO_MPEG;
1795         msg_Dbg(p_demux, "detected MPEG Audio" );
1796     }
1797
1798     /* if tivo_type still unknown, we can check PTS location
1799      * in MPEG packets to determine tivo_type */
1800     if (p_sys->tivo_type == TIVO_TYPE_UNKNOWN) {
1801         uint32_t i_data_offset = (16 * i_num_recs);
1802         for (i=0; i<i_num_recs; i++) {
1803             if ((p_hdrs[i].subrec_type << 0x08 | p_hdrs[i].rec_type) == 0x3c0 &&
1804                     p_hdrs[i].l_rec_size > 15) {
1805                 /* first make sure we're aligned */
1806                 int i_pes_offset = find_es_header(ty_MPEGAudioPacket,
1807                         &p_chunk[i_data_offset], 5);
1808                 if (i_pes_offset >= 0) {
1809                     /* pes found. on SA, PES has hdr data at offset 6, not PTS. */
1810                     //msg_Dbg(p_demux, "probe: mpeg es header found in rec %d at offset %d",
1811                             //i, i_pes_offset);
1812                     if ((p_chunk[i_data_offset + 6 + i_pes_offset] & 0x80) == 0x80) {
1813                         /* S1SA or S2(any) Mpeg Audio (PES hdr, not a PTS start) */
1814                         if (p_sys->tivo_series == TIVO_SERIES1)
1815                             msg_Dbg(p_demux, "detected Stand-Alone Tivo" );
1816                         p_sys->tivo_type = TIVO_TYPE_SA;
1817                         p_sys->i_Pts_Offset = SA_PTS_OFFSET;
1818                     } else {
1819                         if (p_sys->tivo_series == TIVO_SERIES1)
1820                             msg_Dbg(p_demux, "detected DirecTV Tivo" );
1821                         p_sys->tivo_type = TIVO_TYPE_DTIVO;
1822                         p_sys->i_Pts_Offset = DTIVO_PTS_OFFSET;
1823                     }
1824                     break;
1825                 }
1826             }
1827             i_data_offset += p_hdrs[i].l_rec_size;
1828         }
1829     }
1830     free(p_hdrs);
1831 }
1832
1833
1834 /* =========================================================================== */
1835 static int get_chunk_header(demux_t *p_demux)
1836 {
1837     int i_readSize, i_num_recs;
1838     uint8_t *p_hdr_buf;
1839     const uint8_t *p_peek;
1840     demux_sys_t *p_sys = p_demux->p_sys;
1841     int i_payload_size;             /* sum of all records' sizes */
1842
1843     msg_Dbg(p_demux, "parsing ty chunk #%d", p_sys->i_cur_chunk );
1844
1845     /* if we have left-over filler space from the last chunk, get that */
1846     if (p_sys->i_stuff_cnt > 0) {
1847         stream_Read( p_demux->s, NULL, p_sys->i_stuff_cnt);
1848         p_sys->i_stuff_cnt = 0;
1849     }
1850
1851     /* read the TY packet header */
1852     i_readSize = stream_Peek( p_demux->s, &p_peek, 4 );
1853     p_sys->i_cur_chunk++;
1854   
1855     if ( (i_readSize < 4) || ( U32_AT(&p_peek[ 0 ] ) == 0 ))
1856     {
1857         /* EOF */
1858         p_sys->eof = 1;
1859         return 0;
1860     }
1861   
1862     /* check if it's a PART Header */
1863     if( U32_AT( &p_peek[ 0 ] ) == TIVO_PES_FILEID )
1864     {
1865         /* parse master chunk */
1866         parse_master(p_demux);
1867         return get_chunk_header(p_demux);
1868     }
1869     
1870     /* number of records in chunk (8- or 16-bit number) */
1871     if (p_peek[3] & 0x80)
1872     {
1873         /* 16 bit rec cnt */
1874         p_sys->i_num_recs = i_num_recs = (p_peek[1] << 8) + p_peek[0];
1875         p_sys->i_seq_rec = (p_peek[3] << 8) + p_peek[2];
1876         if (p_sys->i_seq_rec != 0xffff)
1877         {
1878             p_sys->i_seq_rec &= ~0x8000;
1879         }
1880     }
1881     else
1882     {
1883         /* 8 bit reclen - tivo 1.3 format */
1884         p_sys->i_num_recs = i_num_recs = p_peek[0];
1885         p_sys->i_seq_rec = p_peek[1];
1886     }
1887     p_sys->i_cur_rec = 0;
1888     p_sys->b_first_chunk = false;
1889   
1890     /*msg_Dbg( p_demux, "chunk has %d records", i_num_recs );*/
1891
1892     free(p_sys->rec_hdrs);
1893
1894     /* skip past the 4 bytes we "peeked" earlier */
1895     stream_Read( p_demux->s, NULL, 4 );
1896
1897     /* read the record headers into a temp buffer */
1898     p_hdr_buf = malloc(i_num_recs * 16);
1899     if (stream_Read(p_demux->s, p_hdr_buf, i_num_recs * 16) < i_num_recs * 16) {
1900         free( p_hdr_buf );
1901         p_sys->eof = true;
1902         return 0;
1903     }
1904     /* parse them */
1905     p_sys->rec_hdrs = parse_chunk_headers(p_hdr_buf, i_num_recs,
1906             &i_payload_size);
1907     free(p_hdr_buf);
1908
1909     p_sys->i_stuff_cnt = CHUNK_SIZE - 4 -
1910         (p_sys->i_num_recs * 16) - i_payload_size;
1911     if (p_sys->i_stuff_cnt > 0)
1912         msg_Dbg( p_demux, "chunk has %d stuff bytes at end",
1913                  p_sys->i_stuff_cnt );
1914     return 1;
1915 }
1916
1917
1918 static ty_rec_hdr_t *parse_chunk_headers( const uint8_t *p_buf,
1919                                           int i_num_recs, int *pi_payload_size)
1920 {
1921     int i;
1922     ty_rec_hdr_t *p_hdrs, *p_rec_hdr;
1923
1924     *pi_payload_size = 0;
1925     p_hdrs = malloc(i_num_recs * sizeof(ty_rec_hdr_t));
1926
1927     for (i = 0; i < i_num_recs; i++)
1928     {
1929         const uint8_t *record_header = p_buf + (i * 16);
1930         p_rec_hdr = &p_hdrs[i];     /* for brevity */
1931         p_rec_hdr->rec_type = record_header[3];
1932         p_rec_hdr->subrec_type = record_header[2] & 0x0f;
1933         if ((record_header[ 0 ] & 0x80) == 0x80)
1934         {
1935             uint8_t b1, b2;
1936             /* marker bit 2 set, so read extended data */
1937             b1 = ( ( ( record_header[ 0 ] & 0x0f ) << 4 ) | 
1938                    ( ( record_header[ 1 ] & 0xf0 ) >> 4 ) );
1939             b1 &= 0x7f;
1940             b2 = ( ( ( record_header[ 1 ] & 0x0f ) << 4 ) | 
1941                    ( ( record_header[ 2 ] & 0xf0 ) >> 4 ) );
1942             b2 &= 0x7f;
1943
1944             p_rec_hdr->ex1 = b1;
1945             p_rec_hdr->ex2 = b2;
1946             p_rec_hdr->l_rec_size = 0;
1947             p_rec_hdr->l_ty_pts = 0;
1948             p_rec_hdr->b_ext = true;
1949         }
1950         else
1951         {
1952             p_rec_hdr->l_rec_size = ( record_header[ 0 ] << 8 |
1953                 record_header[ 1 ] ) << 4 | ( record_header[ 2 ] >> 4 );
1954             *pi_payload_size += p_rec_hdr->l_rec_size;
1955             p_rec_hdr->b_ext = false;
1956             p_rec_hdr->l_ty_pts = U64_AT( &record_header[ 8 ] );
1957         }
1958         //fprintf( stderr, "parse_chunk_headers[%d] t=0x%x s=%d\n", i, p_rec_hdr->rec_type, p_rec_hdr->subrec_type );
1959     } /* end of record-header loop */
1960     return p_hdrs;
1961 }