avcodec/wmv2dec: skip frames that have only skiped MBs
[ffmpeg.git] / libavcodec / wmv2dec.c
1 /*
2  * Copyright (c) 2002 The FFmpeg Project
3  *
4  * This file is part of FFmpeg.
5  *
6  * FFmpeg is free software; you can redistribute it and/or
7  * modify it under the terms of the GNU Lesser General Public
8  * License as published by the Free Software Foundation; either
9  * version 2.1 of the License, or (at your option) any later version.
10  *
11  * FFmpeg is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14  * Lesser General Public License for more details.
15  *
16  * You should have received a copy of the GNU Lesser General Public
17  * License along with FFmpeg; if not, write to the Free Software
18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
19  */
20
21 #include "avcodec.h"
22 #include "h263.h"
23 #include "internal.h"
24 #include "intrax8.h"
25 #include "mathops.h"
26 #include "mpegutils.h"
27 #include "mpegvideo.h"
28 #include "msmpeg4.h"
29 #include "msmpeg4data.h"
30 #include "wmv2.h"
31
32
33 static int parse_mb_skip(Wmv2Context *w)
34 {
35     int mb_x, mb_y;
36     MpegEncContext *const s = &w->s;
37     uint32_t *const mb_type = s->current_picture_ptr->mb_type;
38
39     w->skip_type = get_bits(&s->gb, 2);
40     switch (w->skip_type) {
41     case SKIP_TYPE_NONE:
42         for (mb_y = 0; mb_y < s->mb_height; mb_y++)
43             for (mb_x = 0; mb_x < s->mb_width; mb_x++)
44                 mb_type[mb_y * s->mb_stride + mb_x] =
45                     MB_TYPE_16x16 | MB_TYPE_L0;
46         break;
47     case SKIP_TYPE_MPEG:
48         if (get_bits_left(&s->gb) < s->mb_height * s->mb_width)
49             return AVERROR_INVALIDDATA;
50         for (mb_y = 0; mb_y < s->mb_height; mb_y++)
51             for (mb_x = 0; mb_x < s->mb_width; mb_x++)
52                 mb_type[mb_y * s->mb_stride + mb_x] =
53                     (get_bits1(&s->gb) ? MB_TYPE_SKIP : 0) | MB_TYPE_16x16 | MB_TYPE_L0;
54         break;
55     case SKIP_TYPE_ROW:
56         for (mb_y = 0; mb_y < s->mb_height; mb_y++) {
57             if (get_bits_left(&s->gb) < 1)
58                 return AVERROR_INVALIDDATA;
59             if (get_bits1(&s->gb)) {
60                 for (mb_x = 0; mb_x < s->mb_width; mb_x++)
61                     mb_type[mb_y * s->mb_stride + mb_x] =
62                         MB_TYPE_SKIP | MB_TYPE_16x16 | MB_TYPE_L0;
63             } else {
64                 for (mb_x = 0; mb_x < s->mb_width; mb_x++)
65                     mb_type[mb_y * s->mb_stride + mb_x] =
66                         (get_bits1(&s->gb) ? MB_TYPE_SKIP : 0) | MB_TYPE_16x16 | MB_TYPE_L0;
67             }
68         }
69         break;
70     case SKIP_TYPE_COL:
71         for (mb_x = 0; mb_x < s->mb_width; mb_x++) {
72             if (get_bits_left(&s->gb) < 1)
73                 return AVERROR_INVALIDDATA;
74             if (get_bits1(&s->gb)) {
75                 for (mb_y = 0; mb_y < s->mb_height; mb_y++)
76                     mb_type[mb_y * s->mb_stride + mb_x] =
77                         MB_TYPE_SKIP | MB_TYPE_16x16 | MB_TYPE_L0;
78             } else {
79                 for (mb_y = 0; mb_y < s->mb_height; mb_y++)
80                     mb_type[mb_y * s->mb_stride + mb_x] =
81                         (get_bits1(&s->gb) ? MB_TYPE_SKIP : 0) | MB_TYPE_16x16 | MB_TYPE_L0;
82             }
83         }
84         break;
85     }
86     return 0;
87 }
88
89 static int decode_ext_header(Wmv2Context *w)
90 {
91     MpegEncContext *const s = &w->s;
92     GetBitContext gb;
93     int fps;
94     int code;
95
96     if (s->avctx->extradata_size < 4)
97         return AVERROR_INVALIDDATA;
98
99     init_get_bits(&gb, s->avctx->extradata, 32);
100
101     fps                 = get_bits(&gb, 5);
102     s->bit_rate         = get_bits(&gb, 11) * 1024;
103     w->mspel_bit        = get_bits1(&gb);
104     s->loop_filter      = get_bits1(&gb);
105     w->abt_flag         = get_bits1(&gb);
106     w->j_type_bit       = get_bits1(&gb);
107     w->top_left_mv_flag = get_bits1(&gb);
108     w->per_mb_rl_bit    = get_bits1(&gb);
109     code                = get_bits(&gb, 3);
110
111     if (code == 0)
112         return AVERROR_INVALIDDATA;
113
114     s->slice_height = s->mb_height / code;
115
116     if (s->avctx->debug & FF_DEBUG_PICT_INFO)
117         av_log(s->avctx, AV_LOG_DEBUG,
118                "fps:%d, br:%"PRId64", qpbit:%d, abt_flag:%d, j_type_bit:%d, "
119                "tl_mv_flag:%d, mbrl_bit:%d, code:%d, loop_filter:%d, "
120                "slices:%d\n",
121                fps, s->bit_rate, w->mspel_bit, w->abt_flag, w->j_type_bit,
122                w->top_left_mv_flag, w->per_mb_rl_bit, code, s->loop_filter,
123                code);
124     return 0;
125 }
126
127 int ff_wmv2_decode_picture_header(MpegEncContext *s)
128 {
129     Wmv2Context *const w = (Wmv2Context *) s;
130     int code;
131
132     if (s->picture_number == 0)
133         decode_ext_header(w);
134
135     s->pict_type = get_bits1(&s->gb) + 1;
136     if (s->pict_type == AV_PICTURE_TYPE_I) {
137         code = get_bits(&s->gb, 7);
138         av_log(s->avctx, AV_LOG_DEBUG, "I7:%X/\n", code);
139     }
140     s->chroma_qscale = s->qscale = get_bits(&s->gb, 5);
141     if (s->qscale <= 0)
142         return AVERROR_INVALIDDATA;
143
144     if (s->pict_type != AV_PICTURE_TYPE_I && show_bits(&s->gb, 1)) {
145         GetBitContext gb = s->gb;
146         int skip_type = get_bits(&gb, 2);
147         int run = skip_type == SKIP_TYPE_COL ? s->mb_width : s->mb_height;
148
149         while (run > 0) {
150             int block = FFMIN(run, 25);
151             if (get_bits(&gb, block) + 1 != 1<<block)
152                 break;
153             run -= block;
154         }
155         if (!run)
156             return FRAME_SKIPPED;
157     }
158
159     return 0;
160 }
161
162 int ff_wmv2_decode_secondary_picture_header(MpegEncContext *s)
163 {
164     Wmv2Context *const w = (Wmv2Context *) s;
165
166     if (s->pict_type == AV_PICTURE_TYPE_I) {
167         if (w->j_type_bit)
168             w->j_type = get_bits1(&s->gb);
169         else
170             w->j_type = 0; // FIXME check
171
172         if (!w->j_type) {
173             if (w->per_mb_rl_bit)
174                 s->per_mb_rl_table = get_bits1(&s->gb);
175             else
176                 s->per_mb_rl_table = 0;
177
178             if (!s->per_mb_rl_table) {
179                 s->rl_chroma_table_index = decode012(&s->gb);
180                 s->rl_table_index        = decode012(&s->gb);
181             }
182
183             s->dc_table_index = get_bits1(&s->gb);
184         }
185         s->inter_intra_pred = 0;
186         s->no_rounding      = 1;
187         if (s->avctx->debug & FF_DEBUG_PICT_INFO) {
188             av_log(s->avctx, AV_LOG_DEBUG,
189                    "qscale:%d rlc:%d rl:%d dc:%d mbrl:%d j_type:%d \n",
190                    s->qscale, s->rl_chroma_table_index, s->rl_table_index,
191                    s->dc_table_index, s->per_mb_rl_table, w->j_type);
192         }
193     } else {
194         int cbp_index;
195         int ret;
196         w->j_type = 0;
197
198         ret = parse_mb_skip(w);
199         if (ret < 0)
200             return ret;
201         cbp_index = decode012(&s->gb);
202         w->cbp_table_index = wmv2_get_cbp_table_index(s, cbp_index);
203
204         if (w->mspel_bit)
205             s->mspel = get_bits1(&s->gb);
206         else
207             s->mspel = 0; // FIXME check
208
209         if (w->abt_flag) {
210             w->per_mb_abt = get_bits1(&s->gb) ^ 1;
211             if (!w->per_mb_abt)
212                 w->abt_type = decode012(&s->gb);
213         }
214
215         if (w->per_mb_rl_bit)
216             s->per_mb_rl_table = get_bits1(&s->gb);
217         else
218             s->per_mb_rl_table = 0;
219
220         if (!s->per_mb_rl_table) {
221             s->rl_table_index        = decode012(&s->gb);
222             s->rl_chroma_table_index = s->rl_table_index;
223         }
224
225         s->dc_table_index   = get_bits1(&s->gb);
226         s->mv_table_index   = get_bits1(&s->gb);
227
228         s->inter_intra_pred = 0; // (s->width * s->height < 320 * 240 && s->bit_rate <= II_BITRATE);
229         s->no_rounding     ^= 1;
230
231         if (s->avctx->debug & FF_DEBUG_PICT_INFO) {
232             av_log(s->avctx, AV_LOG_DEBUG,
233                    "rl:%d rlc:%d dc:%d mv:%d mbrl:%d qp:%d mspel:%d "
234                    "per_mb_abt:%d abt_type:%d cbp:%d ii:%d\n",
235                    s->rl_table_index, s->rl_chroma_table_index,
236                    s->dc_table_index, s->mv_table_index,
237                    s->per_mb_rl_table, s->qscale, s->mspel,
238                    w->per_mb_abt, w->abt_type, w->cbp_table_index,
239                    s->inter_intra_pred);
240         }
241     }
242     s->esc3_level_length = 0;
243     s->esc3_run_length   = 0;
244     s->picture_number++; // FIXME ?
245
246     if (w->j_type) {
247         ff_intrax8_decode_picture(&w->x8, &s->current_picture,
248                                   &s->gb, &s->mb_x, &s->mb_y,
249                                   2 * s->qscale, (s->qscale - 1) | 1,
250                                   s->loop_filter, s->low_delay);
251
252         ff_er_add_slice(&w->s.er, 0, 0,
253                         (w->s.mb_x >> 1) - 1, (w->s.mb_y >> 1) - 1,
254                         ER_MB_END);
255         return 1;
256     }
257
258     return 0;
259 }
260
261 static inline int wmv2_decode_motion(Wmv2Context *w, int *mx_ptr, int *my_ptr)
262 {
263     MpegEncContext *const s = &w->s;
264     int ret;
265
266     ret = ff_msmpeg4_decode_motion(s, mx_ptr, my_ptr);
267
268     if (ret < 0)
269         return ret;
270
271     if ((((*mx_ptr) | (*my_ptr)) & 1) && s->mspel)
272         w->hshift = get_bits1(&s->gb);
273     else
274         w->hshift = 0;
275
276     return 0;
277 }
278
279 static int16_t *wmv2_pred_motion(Wmv2Context *w, int *px, int *py)
280 {
281     MpegEncContext *const s = &w->s;
282     int xy, wrap, diff, type;
283     int16_t *A, *B, *C, *mot_val;
284
285     wrap    = s->b8_stride;
286     xy      = s->block_index[0];
287
288     mot_val = s->current_picture.motion_val[0][xy];
289
290     A       = s->current_picture.motion_val[0][xy     - 1];
291     B       = s->current_picture.motion_val[0][xy     - wrap];
292     C       = s->current_picture.motion_val[0][xy + 2 - wrap];
293
294     if (s->mb_x && !s->first_slice_line && !s->mspel && w->top_left_mv_flag)
295         diff = FFMAX(FFABS(A[0] - B[0]), FFABS(A[1] - B[1]));
296     else
297         diff = 0;
298
299     if (diff >= 8)
300         type = get_bits1(&s->gb);
301     else
302         type = 2;
303
304     if (type == 0) {
305         *px = A[0];
306         *py = A[1];
307     } else if (type == 1) {
308         *px = B[0];
309         *py = B[1];
310     } else {
311         /* special case for first (slice) line */
312         if (s->first_slice_line) {
313             *px = A[0];
314             *py = A[1];
315         } else {
316             *px = mid_pred(A[0], B[0], C[0]);
317             *py = mid_pred(A[1], B[1], C[1]);
318         }
319     }
320
321     return mot_val;
322 }
323
324 static inline int wmv2_decode_inter_block(Wmv2Context *w, int16_t *block,
325                                           int n, int cbp)
326 {
327     MpegEncContext *const s = &w->s;
328     static const int sub_cbp_table[3] = { 2, 3, 1 };
329     int sub_cbp, ret;
330
331     if (!cbp) {
332         s->block_last_index[n] = -1;
333         return 0;
334     }
335
336     if (w->per_block_abt)
337         w->abt_type = decode012(&s->gb);
338     w->abt_type_table[n] = w->abt_type;
339
340     if (w->abt_type) {
341 //        const uint8_t *scantable = w->abt_scantable[w->abt_type - 1].permutated;
342         const uint8_t *scantable = w->abt_scantable[w->abt_type - 1].scantable;
343 //        const uint8_t *scantable = w->abt_type - 1 ? w->abt_scantable[1].permutated : w->abt_scantable[0].scantable;
344
345         sub_cbp = sub_cbp_table[decode012(&s->gb)];
346
347         if (sub_cbp & 1)
348             if ((ret = ff_msmpeg4_decode_block(s, block, n, 1, scantable)) < 0)
349                 return ret;
350
351         if (sub_cbp & 2)
352             if ((ret = ff_msmpeg4_decode_block(s, w->abt_block2[n], n, 1, scantable)) < 0)
353                 return ret;
354
355         s->block_last_index[n] = 63;
356
357         return 0;
358     } else {
359         return ff_msmpeg4_decode_block(s, block, n, 1,
360                                        s->inter_scantable.permutated);
361     }
362 }
363
364 int ff_wmv2_decode_mb(MpegEncContext *s, int16_t block[6][64])
365 {
366     Wmv2Context *const w = (Wmv2Context *) s;
367     int cbp, code, i, ret;
368     uint8_t *coded_val;
369
370     if (w->j_type)
371         return 0;
372
373     if (s->pict_type == AV_PICTURE_TYPE_P) {
374         if (IS_SKIP(s->current_picture.mb_type[s->mb_y * s->mb_stride + s->mb_x])) {
375             /* skip mb */
376             s->mb_intra = 0;
377             for (i = 0; i < 6; i++)
378                 s->block_last_index[i] = -1;
379             s->mv_dir      = MV_DIR_FORWARD;
380             s->mv_type     = MV_TYPE_16X16;
381             s->mv[0][0][0] = 0;
382             s->mv[0][0][1] = 0;
383             s->mb_skipped  = 1;
384             w->hshift      = 0;
385             return 0;
386         }
387         if (get_bits_left(&s->gb) <= 0)
388             return AVERROR_INVALIDDATA;
389
390         code = get_vlc2(&s->gb, ff_mb_non_intra_vlc[w->cbp_table_index].table,
391                         MB_NON_INTRA_VLC_BITS, 3);
392         if (code < 0)
393             return AVERROR_INVALIDDATA;
394         s->mb_intra = (~code & 0x40) >> 6;
395
396         cbp = code & 0x3f;
397     } else {
398         s->mb_intra = 1;
399         if (get_bits_left(&s->gb) <= 0)
400             return AVERROR_INVALIDDATA;
401         code = get_vlc2(&s->gb, ff_msmp4_mb_i_vlc.table, MB_INTRA_VLC_BITS, 2);
402         if (code < 0) {
403             av_log(s->avctx, AV_LOG_ERROR,
404                    "II-cbp illegal at %d %d\n", s->mb_x, s->mb_y);
405             return AVERROR_INVALIDDATA;
406         }
407         /* predict coded block pattern */
408         cbp = 0;
409         for (i = 0; i < 6; i++) {
410             int val = ((code >> (5 - i)) & 1);
411             if (i < 4) {
412                 int pred   = ff_msmpeg4_coded_block_pred(s, i, &coded_val);
413                 val        = val ^ pred;
414                 *coded_val = val;
415             }
416             cbp |= val << (5 - i);
417         }
418     }
419
420     if (!s->mb_intra) {
421         int mx, my;
422         wmv2_pred_motion(w, &mx, &my);
423
424         if (cbp) {
425             s->bdsp.clear_blocks(s->block[0]);
426             if (s->per_mb_rl_table) {
427                 s->rl_table_index        = decode012(&s->gb);
428                 s->rl_chroma_table_index = s->rl_table_index;
429             }
430
431             if (w->abt_flag && w->per_mb_abt) {
432                 w->per_block_abt = get_bits1(&s->gb);
433                 if (!w->per_block_abt)
434                     w->abt_type = decode012(&s->gb);
435             } else
436                 w->per_block_abt = 0;
437         }
438
439         if ((ret = wmv2_decode_motion(w, &mx, &my)) < 0)
440             return ret;
441
442         s->mv_dir      = MV_DIR_FORWARD;
443         s->mv_type     = MV_TYPE_16X16;
444         s->mv[0][0][0] = mx;
445         s->mv[0][0][1] = my;
446
447         for (i = 0; i < 6; i++) {
448             if ((ret = wmv2_decode_inter_block(w, block[i], i, (cbp >> (5 - i)) & 1)) < 0) {
449                 av_log(s->avctx, AV_LOG_ERROR,
450                        "\nerror while decoding inter block: %d x %d (%d)\n",
451                        s->mb_x, s->mb_y, i);
452                 return ret;
453             }
454         }
455     } else {
456         if (s->pict_type == AV_PICTURE_TYPE_P)
457             ff_dlog(s->avctx, "%d%d ", s->inter_intra_pred, cbp);
458         ff_dlog(s->avctx, "I at %d %d %d %06X\n", s->mb_x, s->mb_y,
459                 ((cbp & 3) ? 1 : 0) + ((cbp & 0x3C) ? 2 : 0),
460                 show_bits(&s->gb, 24));
461         s->ac_pred = get_bits1(&s->gb);
462         if (s->inter_intra_pred) {
463             s->h263_aic_dir = get_vlc2(&s->gb, ff_inter_intra_vlc.table,
464                                        INTER_INTRA_VLC_BITS, 1);
465             ff_dlog(s->avctx, "%d%d %d %d/",
466                     s->ac_pred, s->h263_aic_dir, s->mb_x, s->mb_y);
467         }
468         if (s->per_mb_rl_table && cbp) {
469             s->rl_table_index        = decode012(&s->gb);
470             s->rl_chroma_table_index = s->rl_table_index;
471         }
472
473         s->bdsp.clear_blocks(s->block[0]);
474         for (i = 0; i < 6; i++) {
475             if ((ret = ff_msmpeg4_decode_block(s, block[i], i, (cbp >> (5 - i)) & 1, NULL)) < 0) {
476                 av_log(s->avctx, AV_LOG_ERROR,
477                        "\nerror while decoding intra block: %d x %d (%d)\n",
478                        s->mb_x, s->mb_y, i);
479                 return ret;
480             }
481         }
482     }
483
484     return 0;
485 }
486
487 static av_cold int wmv2_decode_init(AVCodecContext *avctx)
488 {
489     Wmv2Context *const w = avctx->priv_data;
490     int ret;
491
492     if ((ret = ff_msmpeg4_decode_init(avctx)) < 0)
493         return ret;
494
495     ff_wmv2_common_init(w);
496
497     return ff_intrax8_common_init(avctx, &w->x8, &w->s.idsp,
498                                   w->s.block, w->s.block_last_index,
499                                   w->s.mb_width, w->s.mb_height);
500 }
501
502 static av_cold int wmv2_decode_end(AVCodecContext *avctx)
503 {
504     Wmv2Context *w = avctx->priv_data;
505
506     ff_intrax8_common_end(&w->x8);
507     return ff_h263_decode_end(avctx);
508 }
509
510 AVCodec ff_wmv2_decoder = {
511     .name           = "wmv2",
512     .long_name      = NULL_IF_CONFIG_SMALL("Windows Media Video 8"),
513     .type           = AVMEDIA_TYPE_VIDEO,
514     .id             = AV_CODEC_ID_WMV2,
515     .priv_data_size = sizeof(Wmv2Context),
516     .init           = wmv2_decode_init,
517     .close          = wmv2_decode_end,
518     .decode         = ff_h263_decode_frame,
519     .capabilities   = AV_CODEC_CAP_DRAW_HORIZ_BAND | AV_CODEC_CAP_DR1,
520     .pix_fmts       = (const enum AVPixelFormat[]) { AV_PIX_FMT_YUV420P,
521                                                      AV_PIX_FMT_NONE },
522 };