mpegvideo: move mpegvideo formats-related defines to mpegutils.h
[ffmpeg.git] / libavcodec / h261dec.c
1 /*
2  * H261 decoder
3  * Copyright (c) 2002-2004 Michael Niedermayer <michaelni@gmx.at>
4  * Copyright (c) 2004 Maarten Daniels
5  *
6  * This file is part of Libav.
7  *
8  * Libav is free software; you can redistribute it and/or
9  * modify it under the terms of the GNU Lesser General Public
10  * License as published by the Free Software Foundation; either
11  * version 2.1 of the License, or (at your option) any later version.
12  *
13  * Libav is distributed in the hope that it will be useful,
14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
16  * Lesser General Public License for more details.
17  *
18  * You should have received a copy of the GNU Lesser General Public
19  * License along with Libav; if not, write to the Free Software
20  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
21  */
22
23 /**
24  * @file
25  * H.261 decoder.
26  */
27
28 #include "avcodec.h"
29 #include "mpegutils.h"
30 #include "mpegvideo.h"
31 #include "h263.h"
32 #include "h261.h"
33 #include "internal.h"
34
35 #define H261_MBA_VLC_BITS 9
36 #define H261_MTYPE_VLC_BITS 6
37 #define H261_MV_VLC_BITS 7
38 #define H261_CBP_VLC_BITS 9
39 #define TCOEFF_VLC_BITS 9
40 #define MBA_STUFFING 33
41 #define MBA_STARTCODE 34
42
43 static VLC h261_mba_vlc;
44 static VLC h261_mtype_vlc;
45 static VLC h261_mv_vlc;
46 static VLC h261_cbp_vlc;
47
48 static av_cold void h261_decode_init_vlc(H261Context *h)
49 {
50     static int done = 0;
51
52     if (!done) {
53         done = 1;
54         INIT_VLC_STATIC(&h261_mba_vlc, H261_MBA_VLC_BITS, 35,
55                         ff_h261_mba_bits, 1, 1,
56                         ff_h261_mba_code, 1, 1, 662);
57         INIT_VLC_STATIC(&h261_mtype_vlc, H261_MTYPE_VLC_BITS, 10,
58                         ff_h261_mtype_bits, 1, 1,
59                         ff_h261_mtype_code, 1, 1, 80);
60         INIT_VLC_STATIC(&h261_mv_vlc, H261_MV_VLC_BITS, 17,
61                         &ff_h261_mv_tab[0][1], 2, 1,
62                         &ff_h261_mv_tab[0][0], 2, 1, 144);
63         INIT_VLC_STATIC(&h261_cbp_vlc, H261_CBP_VLC_BITS, 63,
64                         &ff_h261_cbp_tab[0][1], 2, 1,
65                         &ff_h261_cbp_tab[0][0], 2, 1, 512);
66         INIT_VLC_RL(ff_h261_rl_tcoeff, 552);
67     }
68 }
69
70 static av_cold int h261_decode_init(AVCodecContext *avctx)
71 {
72     H261Context *h          = avctx->priv_data;
73     MpegEncContext *const s = &h->s;
74
75     // set defaults
76     ff_MPV_decode_defaults(s);
77     s->avctx       = avctx;
78     s->width       = s->avctx->coded_width;
79     s->height      = s->avctx->coded_height;
80     s->codec_id    = s->avctx->codec->id;
81     s->out_format  = FMT_H261;
82     s->low_delay   = 1;
83     avctx->pix_fmt = AV_PIX_FMT_YUV420P;
84     s->codec_id    = avctx->codec->id;
85
86     ff_h261_common_init();
87     h261_decode_init_vlc(h);
88
89     h->gob_start_code_skipped = 0;
90
91     return 0;
92 }
93
94 /**
95  * Decode the group of blocks header or slice header.
96  * @return <0 if an error occurred
97  */
98 static int h261_decode_gob_header(H261Context *h)
99 {
100     unsigned int val;
101     MpegEncContext *const s = &h->s;
102
103     if (!h->gob_start_code_skipped) {
104         /* Check for GOB Start Code */
105         val = show_bits(&s->gb, 15);
106         if (val)
107             return -1;
108
109         /* We have a GBSC */
110         skip_bits(&s->gb, 16);
111     }
112
113     h->gob_start_code_skipped = 0;
114
115     h->gob_number = get_bits(&s->gb, 4); /* GN */
116     s->qscale     = get_bits(&s->gb, 5); /* GQUANT */
117
118     /* Check if gob_number is valid */
119     if (s->mb_height == 18) { // CIF
120         if ((h->gob_number <= 0) || (h->gob_number > 12))
121             return -1;
122     } else { // QCIF
123         if ((h->gob_number != 1) && (h->gob_number != 3) &&
124             (h->gob_number != 5))
125             return -1;
126     }
127
128     /* GEI */
129     while (get_bits1(&s->gb) != 0)
130         skip_bits(&s->gb, 8);
131
132     if (s->qscale == 0) {
133         av_log(s->avctx, AV_LOG_ERROR, "qscale has forbidden 0 value\n");
134         if (s->avctx->err_recognition & AV_EF_BITSTREAM)
135             return -1;
136     }
137
138     /* For the first transmitted macroblock in a GOB, MBA is the absolute
139      * address. For subsequent macroblocks, MBA is the difference between
140      * the absolute addresses of the macroblock and the last transmitted
141      * macroblock. */
142     h->current_mba = 0;
143     h->mba_diff    = 0;
144
145     return 0;
146 }
147
148 /**
149  * Decode the group of blocks / video packet header.
150  * @return <0 if no resync found
151  */
152 static int h261_resync(H261Context *h)
153 {
154     MpegEncContext *const s = &h->s;
155     int left, ret;
156
157     if (h->gob_start_code_skipped) {
158         ret = h261_decode_gob_header(h);
159         if (ret >= 0)
160             return 0;
161     } else {
162         if (show_bits(&s->gb, 15) == 0) {
163             ret = h261_decode_gob_header(h);
164             if (ret >= 0)
165                 return 0;
166         }
167         // OK, it is not where it is supposed to be ...
168         s->gb = s->last_resync_gb;
169         align_get_bits(&s->gb);
170         left = get_bits_left(&s->gb);
171
172         for (; left > 15 + 1 + 4 + 5; left -= 8) {
173             if (show_bits(&s->gb, 15) == 0) {
174                 GetBitContext bak = s->gb;
175
176                 ret = h261_decode_gob_header(h);
177                 if (ret >= 0)
178                     return 0;
179
180                 s->gb = bak;
181             }
182             skip_bits(&s->gb, 8);
183         }
184     }
185
186     return -1;
187 }
188
189 /**
190  * Decode skipped macroblocks.
191  * @return 0
192  */
193 static int h261_decode_mb_skipped(H261Context *h, int mba1, int mba2)
194 {
195     MpegEncContext *const s = &h->s;
196     int i;
197
198     s->mb_intra = 0;
199
200     for (i = mba1; i < mba2; i++) {
201         int j, xy;
202
203         s->mb_x = ((h->gob_number - 1) % 2) * 11 + i % 11;
204         s->mb_y = ((h->gob_number - 1) / 2) * 3 + i / 11;
205         xy      = s->mb_x + s->mb_y * s->mb_stride;
206         ff_init_block_index(s);
207         ff_update_block_index(s);
208
209         for (j = 0; j < 6; j++)
210             s->block_last_index[j] = -1;
211
212         s->mv_dir                      = MV_DIR_FORWARD;
213         s->mv_type                     = MV_TYPE_16X16;
214         s->current_picture.mb_type[xy] = MB_TYPE_SKIP | MB_TYPE_16x16 | MB_TYPE_L0;
215         s->mv[0][0][0]                 = 0;
216         s->mv[0][0][1]                 = 0;
217         s->mb_skipped                  = 1;
218         h->mtype                      &= ~MB_TYPE_H261_FIL;
219
220         ff_MPV_decode_mb(s, s->block);
221     }
222
223     return 0;
224 }
225
226 static const int mvmap[17] = {
227     0, -1, -2, -3, -4, -5, -6, -7, -8, -9, -10, -11, -12, -13, -14, -15, -16
228 };
229
230 static int decode_mv_component(GetBitContext *gb, int v)
231 {
232     int mv_diff = get_vlc2(gb, h261_mv_vlc.table, H261_MV_VLC_BITS, 2);
233
234     /* check if mv_diff is valid */
235     if (mv_diff < 0)
236         return v;
237
238     mv_diff = mvmap[mv_diff];
239
240     if (mv_diff && !get_bits1(gb))
241         mv_diff = -mv_diff;
242
243     v += mv_diff;
244     if (v <= -16)
245         v += 32;
246     else if (v >= 16)
247         v -= 32;
248
249     return v;
250 }
251
252 /**
253  * Decode a macroblock.
254  * @return <0 if an error occurred
255  */
256 static int h261_decode_block(H261Context *h, int16_t *block, int n, int coded)
257 {
258     MpegEncContext *const s = &h->s;
259     int code, level, i, j, run;
260     RLTable *rl = &ff_h261_rl_tcoeff;
261     const uint8_t *scan_table;
262
263     /* For the variable length encoding there are two code tables, one being
264      * used for the first transmitted LEVEL in INTER, INTER + MC and
265      * INTER + MC + FIL blocks, the second for all other LEVELs except the
266      * first one in INTRA blocks which is fixed length coded with 8 bits.
267      * NOTE: The two code tables only differ in one VLC so we handle that
268      * manually. */
269     scan_table = s->intra_scantable.permutated;
270     if (s->mb_intra) {
271         /* DC coef */
272         level = get_bits(&s->gb, 8);
273         // 0 (00000000b) and -128 (10000000b) are FORBIDDEN
274         if ((level & 0x7F) == 0) {
275             av_log(s->avctx, AV_LOG_ERROR, "illegal dc %d at %d %d\n",
276                    level, s->mb_x, s->mb_y);
277             return -1;
278         }
279         /* The code 1000 0000 is not used, the reconstruction level of 1024
280          * being coded as 1111 1111. */
281         if (level == 255)
282             level = 128;
283         block[0] = level;
284         i        = 1;
285     } else if (coded) {
286         // Run  Level   Code
287         // EOB          Not possible for first level when cbp is available (that's why the table is different)
288         // 0    1       1s
289         // *    *       0*
290         int check = show_bits(&s->gb, 2);
291         i = 0;
292         if (check & 0x2) {
293             skip_bits(&s->gb, 2);
294             block[0] = (check & 0x1) ? -1 : 1;
295             i        = 1;
296         }
297     } else {
298         i = 0;
299     }
300     if (!coded) {
301         s->block_last_index[n] = i - 1;
302         return 0;
303     }
304     for (;;) {
305         code = get_vlc2(&s->gb, rl->vlc.table, TCOEFF_VLC_BITS, 2);
306         if (code < 0) {
307             av_log(s->avctx, AV_LOG_ERROR, "illegal ac vlc code at %dx%d\n",
308                    s->mb_x, s->mb_y);
309             return -1;
310         }
311         if (code == rl->n) {
312             /* escape */
313             /* The remaining combinations of (run, level) are encoded with a
314              * 20-bit word consisting of 6 bits escape, 6 bits run and 8 bits
315              * level. */
316             run   = get_bits(&s->gb, 6);
317             level = get_sbits(&s->gb, 8);
318         } else if (code == 0) {
319             break;
320         } else {
321             run   = rl->table_run[code];
322             level = rl->table_level[code];
323             if (get_bits1(&s->gb))
324                 level = -level;
325         }
326         i += run;
327         if (i >= 64) {
328             av_log(s->avctx, AV_LOG_ERROR, "run overflow at %dx%d\n",
329                    s->mb_x, s->mb_y);
330             return -1;
331         }
332         j        = scan_table[i];
333         block[j] = level;
334         i++;
335     }
336     s->block_last_index[n] = i - 1;
337     return 0;
338 }
339
340 static int h261_decode_mb(H261Context *h)
341 {
342     MpegEncContext *const s = &h->s;
343     int i, cbp, xy;
344
345     cbp = 63;
346     // Read mba
347     do {
348         h->mba_diff = get_vlc2(&s->gb, h261_mba_vlc.table,
349                                H261_MBA_VLC_BITS, 2);
350
351         /* Check for slice end */
352         /* NOTE: GOB can be empty (no MB data) or exist only of MBA_stuffing */
353         if (h->mba_diff == MBA_STARTCODE) { // start code
354             h->gob_start_code_skipped = 1;
355             return SLICE_END;
356         }
357     } while (h->mba_diff == MBA_STUFFING); // stuffing
358
359     if (h->mba_diff < 0) {
360         if (get_bits_left(&s->gb) <= 7)
361             return SLICE_END;
362
363         av_log(s->avctx, AV_LOG_ERROR, "illegal mba at %d %d\n", s->mb_x, s->mb_y);
364         return SLICE_ERROR;
365     }
366
367     h->mba_diff    += 1;
368     h->current_mba += h->mba_diff;
369
370     if (h->current_mba > MBA_STUFFING)
371         return SLICE_ERROR;
372
373     s->mb_x = ((h->gob_number - 1) % 2) * 11 + ((h->current_mba - 1) % 11);
374     s->mb_y = ((h->gob_number - 1) / 2) * 3 + ((h->current_mba - 1) / 11);
375     xy      = s->mb_x + s->mb_y * s->mb_stride;
376     ff_init_block_index(s);
377     ff_update_block_index(s);
378
379     // Read mtype
380     h->mtype = get_vlc2(&s->gb, h261_mtype_vlc.table, H261_MTYPE_VLC_BITS, 2);
381     if (h->mtype < 0 || h->mtype >= FF_ARRAY_ELEMS(ff_h261_mtype_map)) {
382         av_log(s->avctx, AV_LOG_ERROR, "Invalid mtype index %d\n",
383                h->mtype);
384         return SLICE_ERROR;
385     }
386     h->mtype = ff_h261_mtype_map[h->mtype];
387
388     // Read mquant
389     if (IS_QUANT(h->mtype))
390         ff_set_qscale(s, get_bits(&s->gb, 5));
391
392     s->mb_intra = IS_INTRA4x4(h->mtype);
393
394     // Read mv
395     if (IS_16X16(h->mtype)) {
396         /* Motion vector data is included for all MC macroblocks. MVD is
397          * obtained from the macroblock vector by subtracting the vector
398          * of the preceding macroblock. For this calculation the vector
399          * of the preceding macroblock is regarded as zero in the
400          * following three situations:
401          * 1) evaluating MVD for macroblocks 1, 12 and 23;
402          * 2) evaluating MVD for macroblocks in which MBA does not represent a difference of 1;
403          * 3) MTYPE of the previous macroblock was not MC. */
404         if ((h->current_mba ==  1) || (h->current_mba == 12) ||
405             (h->current_mba == 23) || (h->mba_diff != 1)) {
406             h->current_mv_x = 0;
407             h->current_mv_y = 0;
408         }
409
410         h->current_mv_x = decode_mv_component(&s->gb, h->current_mv_x);
411         h->current_mv_y = decode_mv_component(&s->gb, h->current_mv_y);
412     } else {
413         h->current_mv_x = 0;
414         h->current_mv_y = 0;
415     }
416
417     // Read cbp
418     if (HAS_CBP(h->mtype))
419         cbp = get_vlc2(&s->gb, h261_cbp_vlc.table, H261_CBP_VLC_BITS, 2) + 1;
420
421     if (s->mb_intra) {
422         s->current_picture.mb_type[xy] = MB_TYPE_INTRA;
423         goto intra;
424     }
425
426     //set motion vectors
427     s->mv_dir                      = MV_DIR_FORWARD;
428     s->mv_type                     = MV_TYPE_16X16;
429     s->current_picture.mb_type[xy] = MB_TYPE_16x16 | MB_TYPE_L0;
430     s->mv[0][0][0]                 = h->current_mv_x * 2; // gets divided by 2 in motion compensation
431     s->mv[0][0][1]                 = h->current_mv_y * 2;
432
433 intra:
434     /* decode each block */
435     if (s->mb_intra || HAS_CBP(h->mtype)) {
436         s->dsp.clear_blocks(s->block[0]);
437         for (i = 0; i < 6; i++) {
438             if (h261_decode_block(h, s->block[i], i, cbp & 32) < 0)
439                 return SLICE_ERROR;
440             cbp += cbp;
441         }
442     } else {
443         for (i = 0; i < 6; i++)
444             s->block_last_index[i] = -1;
445     }
446
447     ff_MPV_decode_mb(s, s->block);
448
449     return SLICE_OK;
450 }
451
452 /**
453  * Decode the H.261 picture header.
454  * @return <0 if no startcode found
455  */
456 static int h261_decode_picture_header(H261Context *h)
457 {
458     MpegEncContext *const s = &h->s;
459     int format, i;
460     uint32_t startcode = 0;
461
462     for (i = get_bits_left(&s->gb); i > 24; i -= 1) {
463         startcode = ((startcode << 1) | get_bits(&s->gb, 1)) & 0x000FFFFF;
464
465         if (startcode == 0x10)
466             break;
467     }
468
469     if (startcode != 0x10) {
470         av_log(s->avctx, AV_LOG_ERROR, "Bad picture start code\n");
471         return -1;
472     }
473
474     /* temporal reference */
475     i = get_bits(&s->gb, 5); /* picture timestamp */
476     if (i < (s->picture_number & 31))
477         i += 32;
478     s->picture_number = (s->picture_number & ~31) + i;
479
480     s->avctx->time_base      = (AVRational) { 1001, 30000 };
481
482     /* PTYPE starts here */
483     skip_bits1(&s->gb); /* split screen off */
484     skip_bits1(&s->gb); /* camera  off */
485     skip_bits1(&s->gb); /* freeze picture release off */
486
487     format = get_bits1(&s->gb);
488
489     // only 2 formats possible
490     if (format == 0) { // QCIF
491         s->width     = 176;
492         s->height    = 144;
493         s->mb_width  = 11;
494         s->mb_height = 9;
495     } else { // CIF
496         s->width     = 352;
497         s->height    = 288;
498         s->mb_width  = 22;
499         s->mb_height = 18;
500     }
501
502     s->mb_num = s->mb_width * s->mb_height;
503
504     skip_bits1(&s->gb); /* still image mode off */
505     skip_bits1(&s->gb); /* Reserved */
506
507     /* PEI */
508     while (get_bits1(&s->gb) != 0)
509         skip_bits(&s->gb, 8);
510
511     /* H.261 has no I-frames, but if we pass AV_PICTURE_TYPE_I for the first
512      * frame, the codec crashes if it does not contain all I-blocks
513      * (e.g. when a packet is lost). */
514     s->pict_type = AV_PICTURE_TYPE_P;
515
516     h->gob_number = 0;
517     return 0;
518 }
519
520 static int h261_decode_gob(H261Context *h)
521 {
522     MpegEncContext *const s = &h->s;
523
524     ff_set_qscale(s, s->qscale);
525
526     /* decode mb's */
527     while (h->current_mba <= MBA_STUFFING) {
528         int ret;
529         /* DCT & quantize */
530         ret = h261_decode_mb(h);
531         if (ret < 0) {
532             if (ret == SLICE_END) {
533                 h261_decode_mb_skipped(h, h->current_mba, 33);
534                 return 0;
535             }
536             av_log(s->avctx, AV_LOG_ERROR, "Error at MB: %d\n",
537                    s->mb_x + s->mb_y * s->mb_stride);
538             return -1;
539         }
540
541         h261_decode_mb_skipped(h,
542                                h->current_mba - h->mba_diff,
543                                h->current_mba - 1);
544     }
545
546     return -1;
547 }
548
549 /**
550  * returns the number of bytes consumed for building the current frame
551  */
552 static int get_consumed_bytes(MpegEncContext *s, int buf_size)
553 {
554     int pos = get_bits_count(&s->gb) >> 3;
555     if (pos == 0)
556         pos = 1;      // avoid infinite loops (i doubt that is needed but ...)
557     if (pos + 10 > buf_size)
558         pos = buf_size;               // oops ;)
559
560     return pos;
561 }
562
563 static int h261_decode_frame(AVCodecContext *avctx, void *data,
564                              int *got_frame, AVPacket *avpkt)
565 {
566     const uint8_t *buf = avpkt->data;
567     int buf_size       = avpkt->size;
568     H261Context *h     = avctx->priv_data;
569     MpegEncContext *s  = &h->s;
570     int ret;
571     AVFrame *pict = data;
572
573     av_dlog(avctx, "*****frame %d size=%d\n", avctx->frame_number, buf_size);
574     av_dlog(avctx, "bytes=%x %x %x %x\n", buf[0], buf[1], buf[2], buf[3]);
575     s->flags  = avctx->flags;
576     s->flags2 = avctx->flags2;
577
578     h->gob_start_code_skipped = 0;
579
580 retry:
581     init_get_bits(&s->gb, buf, buf_size * 8);
582
583     if (!s->context_initialized)
584         // we need the IDCT permutaton for reading a custom matrix
585         if (ff_MPV_common_init(s) < 0)
586             return -1;
587
588     ret = h261_decode_picture_header(h);
589
590     /* skip if the header was thrashed */
591     if (ret < 0) {
592         av_log(s->avctx, AV_LOG_ERROR, "header damaged\n");
593         return -1;
594     }
595
596     if (s->width != avctx->coded_width || s->height != avctx->coded_height) {
597         ParseContext pc = s->parse_context; // FIXME move this demuxing hack to libavformat
598         s->parse_context.buffer = 0;
599         ff_MPV_common_end(s);
600         s->parse_context = pc;
601     }
602     if (!s->context_initialized) {
603         ret = ff_set_dimensions(avctx, s->width, s->height);
604         if (ret < 0)
605             return ret;
606
607         goto retry;
608     }
609
610     // for skipping the frame
611     s->current_picture.f.pict_type = s->pict_type;
612     s->current_picture.f.key_frame = s->pict_type == AV_PICTURE_TYPE_I;
613
614     if ((avctx->skip_frame >= AVDISCARD_NONREF && s->pict_type == AV_PICTURE_TYPE_B) ||
615         (avctx->skip_frame >= AVDISCARD_NONKEY && s->pict_type != AV_PICTURE_TYPE_I) ||
616          avctx->skip_frame >= AVDISCARD_ALL)
617         return get_consumed_bytes(s, buf_size);
618
619     if (ff_MPV_frame_start(s, avctx) < 0)
620         return -1;
621
622     ff_mpeg_er_frame_start(s);
623
624     /* decode each macroblock */
625     s->mb_x = 0;
626     s->mb_y = 0;
627
628     while (h->gob_number < (s->mb_height == 18 ? 12 : 5)) {
629         if (h261_resync(h) < 0)
630             break;
631         h261_decode_gob(h);
632     }
633     ff_MPV_frame_end(s);
634
635     assert(s->current_picture.f.pict_type == s->current_picture_ptr->f.pict_type);
636     assert(s->current_picture.f.pict_type == s->pict_type);
637
638     if ((ret = av_frame_ref(pict, &s->current_picture_ptr->f)) < 0)
639         return ret;
640     ff_print_debug_info(s, s->current_picture_ptr);
641
642     *got_frame = 1;
643
644     return get_consumed_bytes(s, buf_size);
645 }
646
647 static av_cold int h261_decode_end(AVCodecContext *avctx)
648 {
649     H261Context *h    = avctx->priv_data;
650     MpegEncContext *s = &h->s;
651
652     ff_MPV_common_end(s);
653     return 0;
654 }
655
656 AVCodec ff_h261_decoder = {
657     .name           = "h261",
658     .long_name      = NULL_IF_CONFIG_SMALL("H.261"),
659     .type           = AVMEDIA_TYPE_VIDEO,
660     .id             = AV_CODEC_ID_H261,
661     .priv_data_size = sizeof(H261Context),
662     .init           = h261_decode_init,
663     .close          = h261_decode_end,
664     .decode         = h261_decode_frame,
665     .capabilities   = CODEC_CAP_DR1,
666 };