use new metadata API in rm (de)muxer
[ffmpeg.git] / libavformat / rmdec.c
1 /*
2  * "Real" compatible demuxer.
3  * Copyright (c) 2000, 2001 Fabrice Bellard
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with FFmpeg; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 #include "libavutil/avstring.h"
23 #include "libavutil/intreadwrite.h"
24 #include "avformat.h"
25 #include "rm.h"
26
27 struct RMStream {
28     AVPacket pkt;      ///< place to store merged video frame / reordered audio data
29     int videobufsize;  ///< current assembled frame size
30     int videobufpos;   ///< position for the next slice in the video buffer
31     int curpic_num;    ///< picture number of current frame
32     int cur_slice, slices;
33     int64_t pktpos;    ///< first slice position in file
34     /// Audio descrambling matrix parameters
35     int64_t audiotimestamp; ///< Audio packet timestamp
36     int sub_packet_cnt; // Subpacket counter, used while reading
37     int sub_packet_size, sub_packet_h, coded_framesize; ///< Descrambling parameters from container
38     int audio_framesize; /// Audio frame size from container
39     int sub_packet_lengths[16]; /// Length of each subpacket
40 };
41
42 typedef struct {
43     int nb_packets;
44     int old_format;
45     int current_stream;
46     int remaining_len;
47     int audio_stream_num; ///< Stream number for audio packets
48     int audio_pkt_cnt; ///< Output packet counter
49 } RMDemuxContext;
50
51 static inline void get_strl(ByteIOContext *pb, char *buf, int buf_size, int len)
52 {
53     int i;
54     char *q, r;
55
56     q = buf;
57     for(i=0;i<len;i++) {
58         r = get_byte(pb);
59         if (i < buf_size - 1)
60             *q++ = r;
61     }
62     if (buf_size > 0) *q = '\0';
63 }
64
65 static void get_str16(ByteIOContext *pb, char *buf, int buf_size)
66 {
67     get_strl(pb, buf, buf_size, get_be16(pb));
68 }
69
70 static void get_str8(ByteIOContext *pb, char *buf, int buf_size)
71 {
72     get_strl(pb, buf, buf_size, get_byte(pb));
73 }
74
75 static void rm_read_metadata(AVFormatContext *s, int wide)
76 {
77     char buf[1024];
78     int i;
79     for (i=0; i<FF_ARRAY_ELEMS(ff_rm_metadata); i++) {
80         int len = wide ? get_be16(s->pb) : get_byte(s->pb);
81         get_strl(s->pb, buf, sizeof(buf), len);
82         av_metadata_set(&s->metadata, ff_rm_metadata[i], buf);
83     }
84 }
85
86 RMStream *ff_rm_alloc_rmstream (void)
87 {
88     RMStream *rms = av_mallocz(sizeof(RMStream));
89     rms->curpic_num = -1;
90     return rms;
91 }
92
93 void ff_rm_free_rmstream (RMStream *rms)
94 {
95     av_free_packet(&rms->pkt);
96 }
97
98 static int rm_read_audio_stream_info(AVFormatContext *s, ByteIOContext *pb,
99                                      AVStream *st, RMStream *ast, int read_all)
100 {
101     char buf[256];
102     uint32_t version;
103
104     /* ra type header */
105     version = get_be32(pb); /* version */
106     if (((version >> 16) & 0xff) == 3) {
107         int64_t startpos = url_ftell(pb);
108         url_fskip(pb, 14);
109         rm_read_metadata(s, 0);
110         if ((startpos + (version & 0xffff)) >= url_ftell(pb) + 2) {
111             // fourcc (should always be "lpcJ")
112             get_byte(pb);
113             get_str8(pb, buf, sizeof(buf));
114         }
115         // Skip extra header crap (this should never happen)
116         if ((startpos + (version & 0xffff)) > url_ftell(pb))
117             url_fskip(pb, (version & 0xffff) + startpos - url_ftell(pb));
118         st->codec->sample_rate = 8000;
119         st->codec->channels = 1;
120         st->codec->codec_type = CODEC_TYPE_AUDIO;
121         st->codec->codec_id = CODEC_ID_RA_144;
122     } else {
123         int flavor, sub_packet_h, coded_framesize, sub_packet_size;
124         /* old version (4) */
125         get_be32(pb); /* .ra4 */
126         get_be32(pb); /* data size */
127         get_be16(pb); /* version2 */
128         get_be32(pb); /* header size */
129         flavor= get_be16(pb); /* add codec info / flavor */
130         ast->coded_framesize = coded_framesize = get_be32(pb); /* coded frame size */
131         get_be32(pb); /* ??? */
132         get_be32(pb); /* ??? */
133         get_be32(pb); /* ??? */
134         ast->sub_packet_h = sub_packet_h = get_be16(pb); /* 1 */
135         st->codec->block_align= get_be16(pb); /* frame size */
136         ast->sub_packet_size = sub_packet_size = get_be16(pb); /* sub packet size */
137         get_be16(pb); /* ??? */
138         if (((version >> 16) & 0xff) == 5) {
139             get_be16(pb); get_be16(pb); get_be16(pb);
140         }
141         st->codec->sample_rate = get_be16(pb);
142         get_be32(pb);
143         st->codec->channels = get_be16(pb);
144         if (((version >> 16) & 0xff) == 5) {
145             get_be32(pb);
146             get_buffer(pb, buf, 4);
147             buf[4] = 0;
148         } else {
149             get_str8(pb, buf, sizeof(buf)); /* desc */
150             get_str8(pb, buf, sizeof(buf)); /* desc */
151         }
152         st->codec->codec_type = CODEC_TYPE_AUDIO;
153         if (!strcmp(buf, "dnet")) {
154             st->codec->codec_id = CODEC_ID_AC3;
155             st->need_parsing = AVSTREAM_PARSE_FULL;
156         } else if (!strcmp(buf, "28_8")) {
157             st->codec->codec_id = CODEC_ID_RA_288;
158             st->codec->extradata_size= 0;
159             ast->audio_framesize = st->codec->block_align;
160             st->codec->block_align = coded_framesize;
161
162             if(ast->audio_framesize >= UINT_MAX / sub_packet_h){
163                 av_log(s, AV_LOG_ERROR, "ast->audio_framesize * sub_packet_h too large\n");
164                 return -1;
165             }
166
167             av_new_packet(&ast->pkt, ast->audio_framesize * sub_packet_h);
168         } else if ((!strcmp(buf, "cook")) || (!strcmp(buf, "atrc")) || (!strcmp(buf, "sipr"))) {
169             int codecdata_length;
170             get_be16(pb); get_byte(pb);
171             if (((version >> 16) & 0xff) == 5)
172                 get_byte(pb);
173             codecdata_length = get_be32(pb);
174             if(codecdata_length + FF_INPUT_BUFFER_PADDING_SIZE <= (unsigned)codecdata_length){
175                 av_log(s, AV_LOG_ERROR, "codecdata_length too large\n");
176                 return -1;
177             }
178
179             if(sub_packet_size <= 0){
180                 av_log(s, AV_LOG_ERROR, "sub_packet_size is invalid\n");
181                 return -1;
182             }
183
184             if (!strcmp(buf, "cook")) st->codec->codec_id = CODEC_ID_COOK;
185             else if (!strcmp(buf, "sipr")) st->codec->codec_id = CODEC_ID_SIPR;
186             else st->codec->codec_id = CODEC_ID_ATRAC3;
187             st->codec->extradata_size= codecdata_length;
188             st->codec->extradata= av_mallocz(st->codec->extradata_size + FF_INPUT_BUFFER_PADDING_SIZE);
189             get_buffer(pb, st->codec->extradata, st->codec->extradata_size);
190             ast->audio_framesize = st->codec->block_align;
191             st->codec->block_align = ast->sub_packet_size;
192
193             if(ast->audio_framesize >= UINT_MAX / sub_packet_h){
194                 av_log(s, AV_LOG_ERROR, "rm->audio_framesize * sub_packet_h too large\n");
195                 return -1;
196             }
197
198             av_new_packet(&ast->pkt, ast->audio_framesize * sub_packet_h);
199         } else if (!strcmp(buf, "raac") || !strcmp(buf, "racp")) {
200             int codecdata_length;
201             get_be16(pb); get_byte(pb);
202             if (((version >> 16) & 0xff) == 5)
203                 get_byte(pb);
204             st->codec->codec_id = CODEC_ID_AAC;
205             codecdata_length = get_be32(pb);
206             if(codecdata_length + FF_INPUT_BUFFER_PADDING_SIZE <= (unsigned)codecdata_length){
207                 av_log(s, AV_LOG_ERROR, "codecdata_length too large\n");
208                 return -1;
209             }
210             if (codecdata_length >= 1) {
211                 st->codec->extradata_size = codecdata_length - 1;
212                 st->codec->extradata = av_mallocz(st->codec->extradata_size + FF_INPUT_BUFFER_PADDING_SIZE);
213                 get_byte(pb);
214                 get_buffer(pb, st->codec->extradata, st->codec->extradata_size);
215             }
216         } else {
217             st->codec->codec_id = CODEC_ID_NONE;
218             av_strlcpy(st->codec->codec_name, buf, sizeof(st->codec->codec_name));
219         }
220         if (read_all) {
221             get_byte(pb);
222             get_byte(pb);
223             get_byte(pb);
224             rm_read_metadata(s, 0);
225         }
226     }
227     return 0;
228 }
229
230 int
231 ff_rm_read_mdpr_codecdata (AVFormatContext *s, ByteIOContext *pb,
232                            AVStream *st, RMStream *rst, int codec_data_size)
233 {
234     unsigned int v;
235     int size;
236     int64_t codec_pos;
237
238     av_set_pts_info(st, 64, 1, 1000);
239     codec_pos = url_ftell(pb);
240     v = get_be32(pb);
241     if (v == MKTAG(0xfd, 'a', 'r', '.')) {
242         /* ra type header */
243         if (rm_read_audio_stream_info(s, pb, st, rst, 0))
244             return -1;
245     } else {
246         int fps, fps2;
247         if (get_le32(pb) != MKTAG('V', 'I', 'D', 'O')) {
248         fail1:
249             av_log(st->codec, AV_LOG_ERROR, "Unsupported video codec\n");
250             goto skip;
251         }
252         st->codec->codec_tag = get_le32(pb);
253 //        av_log(s, AV_LOG_DEBUG, "%X %X\n", st->codec->codec_tag, MKTAG('R', 'V', '2', '0'));
254         if (   st->codec->codec_tag != MKTAG('R', 'V', '1', '0')
255             && st->codec->codec_tag != MKTAG('R', 'V', '2', '0')
256             && st->codec->codec_tag != MKTAG('R', 'V', '3', '0')
257             && st->codec->codec_tag != MKTAG('R', 'V', '4', '0')
258             && st->codec->codec_tag != MKTAG('R', 'V', 'T', 'R'))
259             goto fail1;
260         st->codec->width = get_be16(pb);
261         st->codec->height = get_be16(pb);
262         st->codec->time_base.num= 1;
263         fps= get_be16(pb);
264         st->codec->codec_type = CODEC_TYPE_VIDEO;
265         get_be32(pb);
266         fps2= get_be16(pb);
267         get_be16(pb);
268
269         st->codec->extradata_size= codec_data_size - (url_ftell(pb) - codec_pos);
270
271         if(st->codec->extradata_size + FF_INPUT_BUFFER_PADDING_SIZE <= (unsigned)st->codec->extradata_size){
272             //check is redundant as get_buffer() will catch this
273             av_log(s, AV_LOG_ERROR, "st->codec->extradata_size too large\n");
274             return -1;
275         }
276         st->codec->extradata= av_mallocz(st->codec->extradata_size + FF_INPUT_BUFFER_PADDING_SIZE);
277         if (!st->codec->extradata)
278             return AVERROR(ENOMEM);
279         get_buffer(pb, st->codec->extradata, st->codec->extradata_size);
280
281 //        av_log(s, AV_LOG_DEBUG, "fps= %d fps2= %d\n", fps, fps2);
282         st->codec->time_base.den = fps * st->codec->time_base.num;
283         switch(((uint8_t*)st->codec->extradata)[4]>>4){
284         case 1: st->codec->codec_id = CODEC_ID_RV10; break;
285         case 2: st->codec->codec_id = CODEC_ID_RV20; break;
286         case 3: st->codec->codec_id = CODEC_ID_RV30; break;
287         case 4: st->codec->codec_id = CODEC_ID_RV40; break;
288         default: goto fail1;
289         }
290     }
291
292 skip:
293     /* skip codec info */
294     size = url_ftell(pb) - codec_pos;
295     url_fskip(pb, codec_data_size - size);
296
297     return 0;
298 }
299
300
301 static int rm_read_header_old(AVFormatContext *s, AVFormatParameters *ap)
302 {
303     RMDemuxContext *rm = s->priv_data;
304     AVStream *st;
305
306     rm->old_format = 1;
307     st = av_new_stream(s, 0);
308     if (!st)
309         return -1;
310     st->priv_data = ff_rm_alloc_rmstream();
311     return rm_read_audio_stream_info(s, s->pb, st, st->priv_data, 1);
312 }
313
314 static int rm_read_header(AVFormatContext *s, AVFormatParameters *ap)
315 {
316     RMDemuxContext *rm = s->priv_data;
317     AVStream *st;
318     ByteIOContext *pb = s->pb;
319     unsigned int tag;
320     int tag_size;
321     unsigned int start_time, duration;
322     char buf[128];
323     int flags = 0;
324
325     tag = get_le32(pb);
326     if (tag == MKTAG('.', 'r', 'a', 0xfd)) {
327         /* very old .ra format */
328         return rm_read_header_old(s, ap);
329     } else if (tag != MKTAG('.', 'R', 'M', 'F')) {
330         return AVERROR(EIO);
331     }
332
333     get_be32(pb); /* header size */
334     get_be16(pb);
335     get_be32(pb);
336     get_be32(pb); /* number of headers */
337
338     for(;;) {
339         if (url_feof(pb))
340             return -1;
341         tag = get_le32(pb);
342         tag_size = get_be32(pb);
343         get_be16(pb);
344 #if 0
345         printf("tag=%c%c%c%c (%08x) size=%d\n",
346                (tag) & 0xff,
347                (tag >> 8) & 0xff,
348                (tag >> 16) & 0xff,
349                (tag >> 24) & 0xff,
350                tag,
351                tag_size);
352 #endif
353         if (tag_size < 10 && tag != MKTAG('D', 'A', 'T', 'A'))
354             return -1;
355         switch(tag) {
356         case MKTAG('P', 'R', 'O', 'P'):
357             /* file header */
358             get_be32(pb); /* max bit rate */
359             get_be32(pb); /* avg bit rate */
360             get_be32(pb); /* max packet size */
361             get_be32(pb); /* avg packet size */
362             get_be32(pb); /* nb packets */
363             get_be32(pb); /* duration */
364             get_be32(pb); /* preroll */
365             get_be32(pb); /* index offset */
366             get_be32(pb); /* data offset */
367             get_be16(pb); /* nb streams */
368             flags = get_be16(pb); /* flags */
369             break;
370         case MKTAG('C', 'O', 'N', 'T'):
371             rm_read_metadata(s, 1);
372             break;
373         case MKTAG('M', 'D', 'P', 'R'):
374             st = av_new_stream(s, 0);
375             if (!st)
376                 return AVERROR(ENOMEM);
377             st->id = get_be16(pb);
378             get_be32(pb); /* max bit rate */
379             st->codec->bit_rate = get_be32(pb); /* bit rate */
380             get_be32(pb); /* max packet size */
381             get_be32(pb); /* avg packet size */
382             start_time = get_be32(pb); /* start time */
383             get_be32(pb); /* preroll */
384             duration = get_be32(pb); /* duration */
385             st->start_time = start_time;
386             st->duration = duration;
387             get_str8(pb, buf, sizeof(buf)); /* desc */
388             get_str8(pb, buf, sizeof(buf)); /* mimetype */
389             st->codec->codec_type = CODEC_TYPE_DATA;
390             st->priv_data = ff_rm_alloc_rmstream();
391             if (ff_rm_read_mdpr_codecdata(s, s->pb, st, st->priv_data,
392                                           get_be32(pb)) < 0)
393                 return -1;
394             break;
395         case MKTAG('D', 'A', 'T', 'A'):
396             goto header_end;
397         default:
398             /* unknown tag: skip it */
399             url_fskip(pb, tag_size - 10);
400             break;
401         }
402     }
403  header_end:
404     rm->nb_packets = get_be32(pb); /* number of packets */
405     if (!rm->nb_packets && (flags & 4))
406         rm->nb_packets = 3600 * 25;
407     get_be32(pb); /* next data header */
408     return 0;
409 }
410
411 static int get_num(ByteIOContext *pb, int *len)
412 {
413     int n, n1;
414
415     n = get_be16(pb);
416     (*len)-=2;
417     n &= 0x7FFF;
418     if (n >= 0x4000) {
419         return n - 0x4000;
420     } else {
421         n1 = get_be16(pb);
422         (*len)-=2;
423         return (n << 16) | n1;
424     }
425 }
426
427 /* multiple of 20 bytes for ra144 (ugly) */
428 #define RAW_PACKET_SIZE 1000
429
430 static int sync(AVFormatContext *s, int64_t *timestamp, int *flags, int *stream_index, int64_t *pos){
431     RMDemuxContext *rm = s->priv_data;
432     ByteIOContext *pb = s->pb;
433     int len, num, res, i;
434     AVStream *st;
435     uint32_t state=0xFFFFFFFF;
436
437     while(!url_feof(pb)){
438         *pos= url_ftell(pb) - 3;
439         if(rm->remaining_len > 0){
440             num= rm->current_stream;
441             len= rm->remaining_len;
442             *timestamp = AV_NOPTS_VALUE;
443             *flags= 0;
444         }else{
445             state= (state<<8) + get_byte(pb);
446
447             if(state == MKBETAG('I', 'N', 'D', 'X')){
448                 len = get_be16(pb) - 6;
449                 if(len<0)
450                     continue;
451                 goto skip;
452             }
453
454             if(state > (unsigned)0xFFFF || state < 12)
455                 continue;
456             len=state;
457             state= 0xFFFFFFFF;
458
459             num = get_be16(pb);
460             *timestamp = get_be32(pb);
461             res= get_byte(pb); /* reserved */
462             *flags = get_byte(pb); /* flags */
463
464
465             len -= 12;
466         }
467         for(i=0;i<s->nb_streams;i++) {
468             st = s->streams[i];
469             if (num == st->id)
470                 break;
471         }
472         if (i == s->nb_streams) {
473 skip:
474             /* skip packet if unknown number */
475             url_fskip(pb, len);
476             rm->remaining_len -= len;
477             continue;
478         }
479         *stream_index= i;
480
481         return len;
482     }
483     return -1;
484 }
485
486 static int rm_assemble_video_frame(AVFormatContext *s, ByteIOContext *pb,
487                                    RMDemuxContext *rm, RMStream *vst,
488                                    AVPacket *pkt, int len)
489 {
490     int hdr, seq, pic_num, len2, pos;
491     int type;
492
493     hdr = get_byte(pb); len--;
494     type = hdr >> 6;
495
496     if(type != 3){  // not frame as a part of packet
497         seq = get_byte(pb); len--;
498     }
499     if(type != 1){  // not whole frame
500         len2 = get_num(pb, &len);
501         pos  = get_num(pb, &len);
502         pic_num = get_byte(pb); len--;
503     }
504     if(len<0)
505         return -1;
506     rm->remaining_len = len;
507     if(type&1){     // frame, not slice
508         if(type == 3)  // frame as a part of packet
509             len= len2;
510         if(rm->remaining_len < len)
511             return -1;
512         rm->remaining_len -= len;
513         if(av_new_packet(pkt, len + 9) < 0)
514             return AVERROR(EIO);
515         pkt->data[0] = 0;
516         AV_WL32(pkt->data + 1, 1);
517         AV_WL32(pkt->data + 5, 0);
518         get_buffer(pb, pkt->data + 9, len);
519         return 0;
520     }
521     //now we have to deal with single slice
522
523     if((seq & 0x7F) == 1 || vst->curpic_num != pic_num){
524         vst->slices = ((hdr & 0x3F) << 1) + 1;
525         vst->videobufsize = len2 + 8*vst->slices + 1;
526         av_free_packet(&vst->pkt); //FIXME this should be output.
527         if(av_new_packet(&vst->pkt, vst->videobufsize) < 0)
528             return AVERROR(ENOMEM);
529         vst->videobufpos = 8*vst->slices + 1;
530         vst->cur_slice = 0;
531         vst->curpic_num = pic_num;
532         vst->pktpos = url_ftell(pb);
533     }
534     if(type == 2)
535         len = FFMIN(len, pos);
536
537     if(++vst->cur_slice > vst->slices)
538         return 1;
539     AV_WL32(vst->pkt.data - 7 + 8*vst->cur_slice, 1);
540     AV_WL32(vst->pkt.data - 3 + 8*vst->cur_slice, vst->videobufpos - 8*vst->slices - 1);
541     if(vst->videobufpos + len > vst->videobufsize)
542         return 1;
543     if (get_buffer(pb, vst->pkt.data + vst->videobufpos, len) != len)
544         return AVERROR(EIO);
545     vst->videobufpos += len;
546     rm->remaining_len-= len;
547
548     if(type == 2 || (vst->videobufpos) == vst->videobufsize){
549         vst->pkt.data[0] = vst->cur_slice-1;
550         *pkt= vst->pkt;
551         vst->pkt.data= NULL;
552         vst->pkt.size= 0;
553         if(vst->slices != vst->cur_slice) //FIXME find out how to set slices correct from the begin
554             memmove(pkt->data + 1 + 8*vst->cur_slice, pkt->data + 1 + 8*vst->slices,
555                 vst->videobufpos - 1 - 8*vst->slices);
556         pkt->size = vst->videobufpos + 8*(vst->cur_slice - vst->slices);
557         pkt->pts = AV_NOPTS_VALUE;
558         pkt->pos = vst->pktpos;
559         return 0;
560     }
561
562     return 1;
563 }
564
565 static inline void
566 rm_ac3_swap_bytes (AVStream *st, AVPacket *pkt)
567 {
568     uint8_t *ptr;
569     int j;
570
571     if (st->codec->codec_id == CODEC_ID_AC3) {
572         ptr = pkt->data;
573         for (j=0;j<pkt->size;j+=2) {
574             FFSWAP(int, ptr[0], ptr[1]);
575             ptr += 2;
576         }
577     }
578 }
579
580 int
581 ff_rm_parse_packet (AVFormatContext *s, ByteIOContext *pb,
582                     AVStream *st, RMStream *ast, int len, AVPacket *pkt,
583                     int *seq, int *flags, int64_t *timestamp)
584 {
585     RMDemuxContext *rm = s->priv_data;
586
587     if (st->codec->codec_type == CODEC_TYPE_VIDEO) {
588         rm->current_stream= st->id;
589         if(rm_assemble_video_frame(s, pb, rm, ast, pkt, len))
590             return -1; //got partial frame
591     } else if (st->codec->codec_type == CODEC_TYPE_AUDIO) {
592         if ((st->codec->codec_id == CODEC_ID_RA_288) ||
593             (st->codec->codec_id == CODEC_ID_COOK) ||
594             (st->codec->codec_id == CODEC_ID_ATRAC3) ||
595             (st->codec->codec_id == CODEC_ID_SIPR)) {
596             int x;
597             int sps = ast->sub_packet_size;
598             int cfs = ast->coded_framesize;
599             int h = ast->sub_packet_h;
600             int y = ast->sub_packet_cnt;
601             int w = ast->audio_framesize;
602
603             if (*flags & 2)
604                 y = ast->sub_packet_cnt = 0;
605             if (!y)
606                 ast->audiotimestamp = *timestamp;
607
608             switch(st->codec->codec_id) {
609                 case CODEC_ID_RA_288:
610                     for (x = 0; x < h/2; x++)
611                         get_buffer(pb, ast->pkt.data+x*2*w+y*cfs, cfs);
612                     break;
613                 case CODEC_ID_ATRAC3:
614                 case CODEC_ID_COOK:
615                     for (x = 0; x < w/sps; x++)
616                         get_buffer(pb, ast->pkt.data+sps*(h*x+((h+1)/2)*(y&1)+(y>>1)), sps);
617                     break;
618             }
619
620             if (++(ast->sub_packet_cnt) < h)
621                 return -1;
622             else {
623                 ast->sub_packet_cnt = 0;
624                 rm->audio_stream_num = st->index;
625                 rm->audio_pkt_cnt = h * w / st->codec->block_align - 1;
626                 // Release first audio packet
627                 av_new_packet(pkt, st->codec->block_align);
628                 memcpy(pkt->data, ast->pkt.data, st->codec->block_align); //FIXME avoid this
629                 *timestamp = ast->audiotimestamp;
630                 *flags = 2; // Mark first packet as keyframe
631             }
632         } else if (st->codec->codec_id == CODEC_ID_AAC) {
633             int x;
634             rm->audio_stream_num = st->index;
635             ast->sub_packet_cnt = (get_be16(pb) & 0xf0) >> 4;
636             if (ast->sub_packet_cnt) {
637                 for (x = 0; x < ast->sub_packet_cnt; x++)
638                     ast->sub_packet_lengths[x] = get_be16(pb);
639                 // Release first audio packet
640                 rm->audio_pkt_cnt = ast->sub_packet_cnt - 1;
641                 av_get_packet(pb, pkt, ast->sub_packet_lengths[0]);
642                 *flags = 2; // Mark first packet as keyframe
643             }
644         } else {
645             av_get_packet(pb, pkt, len);
646             rm_ac3_swap_bytes(st, pkt);
647         }
648     } else
649         av_get_packet(pb, pkt, len);
650
651     if(  (st->discard >= AVDISCARD_NONKEY && !(*flags&2))
652        || st->discard >= AVDISCARD_ALL){
653         av_free_packet(pkt);
654         return -1;
655     }
656
657     pkt->stream_index = st->index;
658
659 #if 0
660     if (st->codec->codec_type == CODEC_TYPE_VIDEO) {
661         if(st->codec->codec_id == CODEC_ID_RV20){
662             int seq= 128*(pkt->data[2]&0x7F) + (pkt->data[3]>>1);
663             av_log(s, AV_LOG_DEBUG, "%d %"PRId64" %d\n", *timestamp, *timestamp*512LL/25, seq);
664
665             seq |= (*timestamp&~0x3FFF);
666             if(seq - *timestamp >  0x2000) seq -= 0x4000;
667             if(seq - *timestamp < -0x2000) seq += 0x4000;
668         }
669     }
670 #endif
671
672     pkt->pts= *timestamp;
673     if (*flags & 2)
674         pkt->flags |= PKT_FLAG_KEY;
675
676     return st->codec->codec_type == CODEC_TYPE_AUDIO ? rm->audio_pkt_cnt : 0;
677 }
678
679 int
680 ff_rm_retrieve_cache (AVFormatContext *s, ByteIOContext *pb,
681                       AVStream *st, RMStream *ast, AVPacket *pkt)
682 {
683     RMDemuxContext *rm = s->priv_data;
684
685     assert (rm->audio_pkt_cnt > 0);
686
687     if (st->codec->codec_id == CODEC_ID_AAC)
688         av_get_packet(pb, pkt, ast->sub_packet_lengths[ast->sub_packet_cnt - rm->audio_pkt_cnt]);
689     else {
690         av_new_packet(pkt, st->codec->block_align);
691         memcpy(pkt->data, ast->pkt.data + st->codec->block_align * //FIXME avoid this
692                (ast->sub_packet_h * ast->audio_framesize / st->codec->block_align - rm->audio_pkt_cnt),
693                st->codec->block_align);
694     }
695     rm->audio_pkt_cnt--;
696     pkt->flags = 0;
697     pkt->stream_index = st->index;
698
699     return rm->audio_pkt_cnt;
700 }
701
702 static int rm_read_packet(AVFormatContext *s, AVPacket *pkt)
703 {
704     RMDemuxContext *rm = s->priv_data;
705     ByteIOContext *pb = s->pb;
706     AVStream *st;
707     int i, len;
708     int64_t timestamp, pos;
709     int flags;
710
711     if (rm->audio_pkt_cnt) {
712         // If there are queued audio packet return them first
713         st = s->streams[rm->audio_stream_num];
714         ff_rm_retrieve_cache(s, s->pb, st, st->priv_data, pkt);
715     } else if (rm->old_format) {
716         RMStream *ast;
717
718         st = s->streams[0];
719         ast = st->priv_data;
720         if (st->codec->codec_id == CODEC_ID_RA_288) {
721             int x, y;
722
723             for (y = 0; y < ast->sub_packet_h; y++)
724                 for (x = 0; x < ast->sub_packet_h/2; x++)
725                     if (get_buffer(pb, ast->pkt.data+x*2*ast->audio_framesize+y*ast->coded_framesize, ast->coded_framesize) <= 0)
726                         return AVERROR(EIO);
727             rm->audio_stream_num = 0;
728             rm->audio_pkt_cnt = ast->sub_packet_h * ast->audio_framesize / st->codec->block_align - 1;
729             // Release first audio packet
730             av_new_packet(pkt, st->codec->block_align);
731             memcpy(pkt->data, ast->pkt.data, st->codec->block_align); //FIXME avoid this
732             pkt->flags |= PKT_FLAG_KEY; // Mark first packet as keyframe
733             pkt->stream_index = 0;
734         } else {
735             /* just read raw bytes */
736             len = RAW_PACKET_SIZE;
737             len= av_get_packet(pb, pkt, len);
738             pkt->stream_index = 0;
739             if (len <= 0) {
740                 return AVERROR(EIO);
741             }
742             pkt->size = len;
743         }
744         rm_ac3_swap_bytes(st, pkt);
745     } else {
746         int seq=1;
747 resync:
748         len=sync(s, &timestamp, &flags, &i, &pos);
749         if(len<0)
750             return AVERROR(EIO);
751         st = s->streams[i];
752
753         if (ff_rm_parse_packet (s, s->pb, st, st->priv_data, len, pkt,
754                                 &seq, &flags, &timestamp) < 0)
755             goto resync;
756
757         if((flags&2) && (seq&0x7F) == 1)
758             av_add_index_entry(st, pos, timestamp, 0, 0, AVINDEX_KEYFRAME);
759     }
760
761     return 0;
762 }
763
764 static int rm_read_close(AVFormatContext *s)
765 {
766     int i;
767
768     for (i=0;i<s->nb_streams;i++)
769         ff_rm_free_rmstream(s->streams[i]->priv_data);
770
771     return 0;
772 }
773
774 static int rm_probe(AVProbeData *p)
775 {
776     /* check file header */
777     if ((p->buf[0] == '.' && p->buf[1] == 'R' &&
778          p->buf[2] == 'M' && p->buf[3] == 'F' &&
779          p->buf[4] == 0 && p->buf[5] == 0) ||
780         (p->buf[0] == '.' && p->buf[1] == 'r' &&
781          p->buf[2] == 'a' && p->buf[3] == 0xfd))
782         return AVPROBE_SCORE_MAX;
783     else
784         return 0;
785 }
786
787 static int64_t rm_read_dts(AVFormatContext *s, int stream_index,
788                                int64_t *ppos, int64_t pos_limit)
789 {
790     RMDemuxContext *rm = s->priv_data;
791     int64_t pos, dts;
792     int stream_index2, flags, len, h;
793
794     pos = *ppos;
795
796     if(rm->old_format)
797         return AV_NOPTS_VALUE;
798
799     url_fseek(s->pb, pos, SEEK_SET);
800     rm->remaining_len=0;
801     for(;;){
802         int seq=1;
803         AVStream *st;
804
805         len=sync(s, &dts, &flags, &stream_index2, &pos);
806         if(len<0)
807             return AV_NOPTS_VALUE;
808
809         st = s->streams[stream_index2];
810         if (st->codec->codec_type == CODEC_TYPE_VIDEO) {
811             h= get_byte(s->pb); len--;
812             if(!(h & 0x40)){
813                 seq = get_byte(s->pb); len--;
814             }
815         }
816
817         if((flags&2) && (seq&0x7F) == 1){
818 //            av_log(s, AV_LOG_DEBUG, "%d %d-%d %"PRId64" %d\n", flags, stream_index2, stream_index, dts, seq);
819             av_add_index_entry(st, pos, dts, 0, 0, AVINDEX_KEYFRAME);
820             if(stream_index2 == stream_index)
821                 break;
822         }
823
824         url_fskip(s->pb, len);
825     }
826     *ppos = pos;
827     return dts;
828 }
829
830 AVInputFormat rm_demuxer = {
831     "rm",
832     NULL_IF_CONFIG_SMALL("RealMedia format"),
833     sizeof(RMDemuxContext),
834     rm_probe,
835     rm_read_header,
836     rm_read_packet,
837     rm_read_close,
838     NULL,
839     rm_read_dts,
840 };
841
842 AVInputFormat rdt_demuxer = {
843     "rdt",
844     NULL_IF_CONFIG_SMALL("RDT demuxer"),
845     sizeof(RMDemuxContext),
846     NULL,
847     NULL,
848     NULL,
849     rm_read_close,
850 };