avcodec/idctdsp: Transmit studio_profile to init instead of using AVCodecContext...
[ffmpeg.git] / libavcodec / h263dec.c
1 /*
2  * H.263 decoder
3  * Copyright (c) 2001 Fabrice Bellard
4  * Copyright (c) 2002-2004 Michael Niedermayer <michaelni@gmx.at>
5  *
6  * This file is part of FFmpeg.
7  *
8  * FFmpeg is free software; you can redistribute it and/or
9  * modify it under the terms of the GNU Lesser General Public
10  * License as published by the Free Software Foundation; either
11  * version 2.1 of the License, or (at your option) any later version.
12  *
13  * FFmpeg is distributed in the hope that it will be useful,
14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
16  * Lesser General Public License for more details.
17  *
18  * You should have received a copy of the GNU Lesser General Public
19  * License along with FFmpeg; if not, write to the Free Software
20  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
21  */
22
23 /**
24  * @file
25  * H.263 decoder.
26  */
27
28 #define UNCHECKED_BITSTREAM_READER 1
29
30 #include "libavutil/cpu.h"
31 #include "avcodec.h"
32 #include "error_resilience.h"
33 #include "flv.h"
34 #include "h263.h"
35 #include "h263_parser.h"
36 #include "hwaccel.h"
37 #include "internal.h"
38 #include "mpeg_er.h"
39 #include "mpeg4video.h"
40 #include "mpeg4video_parser.h"
41 #include "mpegutils.h"
42 #include "mpegvideo.h"
43 #include "msmpeg4.h"
44 #include "qpeldsp.h"
45 #include "thread.h"
46 #include "wmv2.h"
47
48 static enum AVPixelFormat h263_get_format(AVCodecContext *avctx)
49 {
50     /* MPEG-4 Studio Profile only, not supported by hardware */
51     if (avctx->bits_per_raw_sample > 8) {
52         av_assert1(avctx->profile == FF_PROFILE_MPEG4_SIMPLE_STUDIO);
53         return avctx->pix_fmt;
54     }
55
56     if (avctx->codec->id == AV_CODEC_ID_MSS2)
57         return AV_PIX_FMT_YUV420P;
58
59     if (CONFIG_GRAY && (avctx->flags & AV_CODEC_FLAG_GRAY)) {
60         if (avctx->color_range == AVCOL_RANGE_UNSPECIFIED)
61             avctx->color_range = AVCOL_RANGE_MPEG;
62         return AV_PIX_FMT_GRAY8;
63     }
64
65     return avctx->pix_fmt = ff_get_format(avctx, avctx->codec->pix_fmts);
66 }
67
68 av_cold int ff_h263_decode_init(AVCodecContext *avctx)
69 {
70     MpegEncContext *s = avctx->priv_data;
71     int ret;
72
73     s->out_format      = FMT_H263;
74
75     // set defaults
76     ff_mpv_decode_defaults(s);
77     ff_mpv_decode_init(s, avctx);
78
79     s->quant_precision = 5;
80     s->decode_mb       = ff_h263_decode_mb;
81     s->low_delay       = 1;
82     s->unrestricted_mv = 1;
83
84     /* select sub codec */
85     switch (avctx->codec->id) {
86     case AV_CODEC_ID_H263:
87     case AV_CODEC_ID_H263P:
88         s->unrestricted_mv = 0;
89         avctx->chroma_sample_location = AVCHROMA_LOC_CENTER;
90         break;
91     case AV_CODEC_ID_MPEG4:
92         break;
93     case AV_CODEC_ID_MSMPEG4V1:
94         s->h263_pred       = 1;
95         s->msmpeg4_version = 1;
96         break;
97     case AV_CODEC_ID_MSMPEG4V2:
98         s->h263_pred       = 1;
99         s->msmpeg4_version = 2;
100         break;
101     case AV_CODEC_ID_MSMPEG4V3:
102         s->h263_pred       = 1;
103         s->msmpeg4_version = 3;
104         break;
105     case AV_CODEC_ID_WMV1:
106         s->h263_pred       = 1;
107         s->msmpeg4_version = 4;
108         break;
109     case AV_CODEC_ID_WMV2:
110         s->h263_pred       = 1;
111         s->msmpeg4_version = 5;
112         break;
113     case AV_CODEC_ID_VC1:
114     case AV_CODEC_ID_WMV3:
115     case AV_CODEC_ID_VC1IMAGE:
116     case AV_CODEC_ID_WMV3IMAGE:
117     case AV_CODEC_ID_MSS2:
118         s->h263_pred       = 1;
119         s->msmpeg4_version = 6;
120         avctx->chroma_sample_location = AVCHROMA_LOC_LEFT;
121         break;
122     case AV_CODEC_ID_H263I:
123         break;
124     case AV_CODEC_ID_FLV1:
125         s->h263_flv = 1;
126         break;
127     default:
128         av_log(avctx, AV_LOG_ERROR, "Unsupported codec %d\n",
129                avctx->codec->id);
130         return AVERROR(ENOSYS);
131     }
132     s->codec_id    = avctx->codec->id;
133
134     if (avctx->codec_tag == AV_RL32("L263") || avctx->codec_tag == AV_RL32("S263"))
135         if (avctx->extradata_size == 56 && avctx->extradata[0] == 1)
136             s->ehc_mode = 1;
137
138     /* for H.263, we allocate the images after having read the header */
139     if (avctx->codec->id != AV_CODEC_ID_H263 &&
140         avctx->codec->id != AV_CODEC_ID_H263P &&
141         avctx->codec->id != AV_CODEC_ID_MPEG4) {
142         avctx->pix_fmt = h263_get_format(avctx);
143         ff_mpv_idct_init(s);
144         if ((ret = ff_mpv_common_init(s)) < 0)
145             return ret;
146     }
147
148     ff_h263dsp_init(&s->h263dsp);
149     ff_qpeldsp_init(&s->qdsp);
150     ff_h263_decode_init_vlc();
151
152     return 0;
153 }
154
155 av_cold int ff_h263_decode_end(AVCodecContext *avctx)
156 {
157     MpegEncContext *s = avctx->priv_data;
158
159     ff_mpv_common_end(s);
160     return 0;
161 }
162
163 /**
164  * Return the number of bytes consumed for building the current frame.
165  */
166 static int get_consumed_bytes(MpegEncContext *s, int buf_size)
167 {
168     int pos = (get_bits_count(&s->gb) + 7) >> 3;
169
170     if (s->divx_packed || s->avctx->hwaccel) {
171         /* We would have to scan through the whole buf to handle the weird
172          * reordering ... */
173         return buf_size;
174     } else if (s->avctx->flags & AV_CODEC_FLAG_TRUNCATED) {
175         pos -= s->parse_context.last_index;
176         // padding is not really read so this might be -1
177         if (pos < 0)
178             pos = 0;
179         return pos;
180     } else {
181         // avoid infinite loops (maybe not needed...)
182         if (pos == 0)
183             pos = 1;
184         // oops ;)
185         if (pos + 10 > buf_size)
186             pos = buf_size;
187
188         return pos;
189     }
190 }
191
192 static int decode_slice(MpegEncContext *s)
193 {
194     const int part_mask = s->partitioned_frame
195                           ? (ER_AC_END | ER_AC_ERROR) : 0x7F;
196     const int mb_size   = 16 >> s->avctx->lowres;
197     int ret;
198
199     s->last_resync_gb   = s->gb;
200     s->first_slice_line = 1;
201     s->resync_mb_x      = s->mb_x;
202     s->resync_mb_y      = s->mb_y;
203
204     ff_set_qscale(s, s->qscale);
205
206     if (s->studio_profile) {
207         if ((ret = ff_mpeg4_decode_studio_slice_header(s->avctx->priv_data)) < 0)
208             return ret;
209     }
210
211     if (s->avctx->hwaccel) {
212         const uint8_t *start = s->gb.buffer + get_bits_count(&s->gb) / 8;
213         ret = s->avctx->hwaccel->decode_slice(s->avctx, start, s->gb.buffer_end - start);
214         // ensure we exit decode loop
215         s->mb_y = s->mb_height;
216         return ret;
217     }
218
219     if (s->partitioned_frame) {
220         const int qscale = s->qscale;
221
222         if (CONFIG_MPEG4_DECODER && s->codec_id == AV_CODEC_ID_MPEG4)
223             if ((ret = ff_mpeg4_decode_partitions(s->avctx->priv_data)) < 0)
224                 return ret;
225
226         /* restore variables which were modified */
227         s->first_slice_line = 1;
228         s->mb_x             = s->resync_mb_x;
229         s->mb_y             = s->resync_mb_y;
230         ff_set_qscale(s, qscale);
231     }
232
233     for (; s->mb_y < s->mb_height; s->mb_y++) {
234         /* per-row end of slice checks */
235         if (s->msmpeg4_version) {
236             if (s->resync_mb_y + s->slice_height == s->mb_y) {
237                 ff_er_add_slice(&s->er, s->resync_mb_x, s->resync_mb_y,
238                                 s->mb_x - 1, s->mb_y, ER_MB_END);
239
240                 return 0;
241             }
242         }
243
244         if (s->msmpeg4_version == 1) {
245             s->last_dc[0] =
246             s->last_dc[1] =
247             s->last_dc[2] = 128;
248         }
249
250         ff_init_block_index(s);
251         for (; s->mb_x < s->mb_width; s->mb_x++) {
252             int ret;
253
254             ff_update_block_index(s);
255
256             if (s->resync_mb_x == s->mb_x && s->resync_mb_y + 1 == s->mb_y)
257                 s->first_slice_line = 0;
258
259             /* DCT & quantize */
260
261             s->mv_dir  = MV_DIR_FORWARD;
262             s->mv_type = MV_TYPE_16X16;
263             ff_dlog(s, "%d %06X\n",
264                     get_bits_count(&s->gb), show_bits(&s->gb, 24));
265
266             ff_tlog(NULL, "Decoding MB at %dx%d\n", s->mb_x, s->mb_y);
267             ret = s->decode_mb(s, s->block);
268
269             if (s->pict_type != AV_PICTURE_TYPE_B)
270                 ff_h263_update_motion_val(s);
271
272             if (ret < 0) {
273                 const int xy = s->mb_x + s->mb_y * s->mb_stride;
274                 if (ret == SLICE_END) {
275                     ff_mpv_reconstruct_mb(s, s->block);
276                     if (s->loop_filter)
277                         ff_h263_loop_filter(s);
278
279                     ff_er_add_slice(&s->er, s->resync_mb_x, s->resync_mb_y,
280                                     s->mb_x, s->mb_y, ER_MB_END & part_mask);
281
282                     s->padding_bug_score--;
283
284                     if (++s->mb_x >= s->mb_width) {
285                         s->mb_x = 0;
286                         ff_mpeg_draw_horiz_band(s, s->mb_y * mb_size, mb_size);
287                         ff_mpv_report_decode_progress(s);
288                         s->mb_y++;
289                     }
290                     return 0;
291                 } else if (ret == SLICE_NOEND) {
292                     av_log(s->avctx, AV_LOG_ERROR,
293                            "Slice mismatch at MB: %d\n", xy);
294                     ff_er_add_slice(&s->er, s->resync_mb_x, s->resync_mb_y,
295                                     s->mb_x + 1, s->mb_y,
296                                     ER_MB_END & part_mask);
297                     return AVERROR_INVALIDDATA;
298                 }
299                 av_log(s->avctx, AV_LOG_ERROR, "Error at MB: %d\n", xy);
300                 ff_er_add_slice(&s->er, s->resync_mb_x, s->resync_mb_y,
301                                 s->mb_x, s->mb_y, ER_MB_ERROR & part_mask);
302
303                 if (s->avctx->err_recognition & AV_EF_IGNORE_ERR)
304                     continue;
305                 return AVERROR_INVALIDDATA;
306             }
307
308             ff_mpv_reconstruct_mb(s, s->block);
309             if (s->loop_filter)
310                 ff_h263_loop_filter(s);
311         }
312
313         ff_mpeg_draw_horiz_band(s, s->mb_y * mb_size, mb_size);
314         ff_mpv_report_decode_progress(s);
315
316         s->mb_x = 0;
317     }
318
319     av_assert1(s->mb_x == 0 && s->mb_y == s->mb_height);
320
321     // Detect incorrect padding with wrong stuffing codes used by NEC N-02B
322     if (s->codec_id == AV_CODEC_ID_MPEG4         &&
323         (s->workaround_bugs & FF_BUG_AUTODETECT) &&
324         get_bits_left(&s->gb) >= 48              &&
325         show_bits(&s->gb, 24) == 0x4010          &&
326         !s->data_partitioning)
327         s->padding_bug_score += 32;
328
329     /* try to detect the padding bug */
330     if (s->codec_id == AV_CODEC_ID_MPEG4         &&
331         (s->workaround_bugs & FF_BUG_AUTODETECT) &&
332         get_bits_left(&s->gb) >= 0               &&
333         get_bits_left(&s->gb) < 137              &&
334         !s->data_partitioning) {
335         const int bits_count = get_bits_count(&s->gb);
336         const int bits_left  = s->gb.size_in_bits - bits_count;
337
338         if (bits_left == 0) {
339             s->padding_bug_score += 16;
340         } else if (bits_left != 1) {
341             int v = show_bits(&s->gb, 8);
342             v |= 0x7F >> (7 - (bits_count & 7));
343
344             if (v == 0x7F && bits_left <= 8)
345                 s->padding_bug_score--;
346             else if (v == 0x7F && ((get_bits_count(&s->gb) + 8) & 8) &&
347                      bits_left <= 16)
348                 s->padding_bug_score += 4;
349             else
350                 s->padding_bug_score++;
351         }
352     }
353
354     if (s->codec_id == AV_CODEC_ID_H263          &&
355         (s->workaround_bugs & FF_BUG_AUTODETECT) &&
356         get_bits_left(&s->gb) >= 8               &&
357         get_bits_left(&s->gb) < 300              &&
358         s->pict_type == AV_PICTURE_TYPE_I        &&
359         show_bits(&s->gb, 8) == 0                &&
360         !s->data_partitioning) {
361
362         s->padding_bug_score += 32;
363     }
364
365     if (s->codec_id == AV_CODEC_ID_H263          &&
366         (s->workaround_bugs & FF_BUG_AUTODETECT) &&
367         get_bits_left(&s->gb) >= 64              &&
368         AV_RB64(s->gb.buffer_end - 8) == 0xCDCDCDCDFC7F0000) {
369
370         s->padding_bug_score += 32;
371     }
372
373     if (s->workaround_bugs & FF_BUG_AUTODETECT) {
374         if (
375             (s->padding_bug_score > -2 && !s->data_partitioning))
376             s->workaround_bugs |= FF_BUG_NO_PADDING;
377         else
378             s->workaround_bugs &= ~FF_BUG_NO_PADDING;
379     }
380
381     // handle formats which don't have unique end markers
382     if (s->msmpeg4_version || (s->workaround_bugs & FF_BUG_NO_PADDING)) { // FIXME perhaps solve this more cleanly
383         int left      = get_bits_left(&s->gb);
384         int max_extra = 7;
385
386         /* no markers in M$ crap */
387         if (s->msmpeg4_version && s->pict_type == AV_PICTURE_TYPE_I)
388             max_extra += 17;
389
390         /* buggy padding but the frame should still end approximately at
391          * the bitstream end */
392         if ((s->workaround_bugs & FF_BUG_NO_PADDING) &&
393             (s->avctx->err_recognition & (AV_EF_BUFFER|AV_EF_AGGRESSIVE)))
394             max_extra += 48;
395         else if ((s->workaround_bugs & FF_BUG_NO_PADDING))
396             max_extra += 256 * 256 * 256 * 64;
397
398         if (left > max_extra)
399             av_log(s->avctx, AV_LOG_ERROR,
400                    "discarding %d junk bits at end, next would be %X\n",
401                    left, show_bits(&s->gb, 24));
402         else if (left < 0)
403             av_log(s->avctx, AV_LOG_ERROR, "overreading %d bits\n", -left);
404         else
405             ff_er_add_slice(&s->er, s->resync_mb_x, s->resync_mb_y,
406                             s->mb_x - 1, s->mb_y, ER_MB_END);
407
408         return 0;
409     }
410
411     av_log(s->avctx, AV_LOG_ERROR,
412            "slice end not reached but screenspace end (%d left %06X, score= %d)\n",
413            get_bits_left(&s->gb), show_bits(&s->gb, 24), s->padding_bug_score);
414
415     ff_er_add_slice(&s->er, s->resync_mb_x, s->resync_mb_y, s->mb_x, s->mb_y,
416                     ER_MB_END & part_mask);
417
418     return AVERROR_INVALIDDATA;
419 }
420
421 int ff_h263_decode_frame(AVCodecContext *avctx, void *data, int *got_frame,
422                          AVPacket *avpkt)
423 {
424     const uint8_t *buf = avpkt->data;
425     int buf_size       = avpkt->size;
426     MpegEncContext *s  = avctx->priv_data;
427     int ret;
428     int slice_ret = 0;
429     AVFrame *pict = data;
430
431     /* no supplementary picture */
432     if (buf_size == 0) {
433         /* special case for last picture */
434         if (s->low_delay == 0 && s->next_picture_ptr) {
435             if ((ret = av_frame_ref(pict, s->next_picture_ptr->f)) < 0)
436                 return ret;
437             s->next_picture_ptr = NULL;
438
439             *got_frame = 1;
440         }
441
442         return 0;
443     }
444
445     if (s->avctx->flags & AV_CODEC_FLAG_TRUNCATED) {
446         int next;
447
448         if (CONFIG_MPEG4_DECODER && s->codec_id == AV_CODEC_ID_MPEG4) {
449             next = ff_mpeg4_find_frame_end(&s->parse_context, buf, buf_size);
450         } else if (CONFIG_H263_DECODER && s->codec_id == AV_CODEC_ID_H263) {
451             next = ff_h263_find_frame_end(&s->parse_context, buf, buf_size);
452         } else if (CONFIG_H263P_DECODER && s->codec_id == AV_CODEC_ID_H263P) {
453             next = ff_h263_find_frame_end(&s->parse_context, buf, buf_size);
454         } else {
455             av_log(s->avctx, AV_LOG_ERROR,
456                    "this codec does not support truncated bitstreams\n");
457             return AVERROR(ENOSYS);
458         }
459
460         if (ff_combine_frame(&s->parse_context, next, (const uint8_t **)&buf,
461                              &buf_size) < 0)
462             return buf_size;
463     }
464
465 retry:
466     if (s->divx_packed && s->bitstream_buffer_size) {
467         int i;
468         for(i=0; i < buf_size-3; i++) {
469             if (buf[i]==0 && buf[i+1]==0 && buf[i+2]==1) {
470                 if (buf[i+3]==0xB0) {
471                     av_log(s->avctx, AV_LOG_WARNING, "Discarding excessive bitstream in packed xvid\n");
472                     s->bitstream_buffer_size = 0;
473                 }
474                 break;
475             }
476         }
477     }
478
479     if (s->bitstream_buffer_size && (s->divx_packed || buf_size <= MAX_NVOP_SIZE)) // divx 5.01+/xvid frame reorder
480         ret = init_get_bits8(&s->gb, s->bitstream_buffer,
481                              s->bitstream_buffer_size);
482     else
483         ret = init_get_bits8(&s->gb, buf, buf_size);
484
485     s->bitstream_buffer_size = 0;
486     if (ret < 0)
487         return ret;
488
489     if (!s->context_initialized)
490         // we need the idct permutation for reading a custom matrix
491         ff_mpv_idct_init(s);
492
493     /* let's go :-) */
494     if (CONFIG_WMV2_DECODER && s->msmpeg4_version == 5) {
495         ret = ff_wmv2_decode_picture_header(s);
496     } else if (CONFIG_MSMPEG4_DECODER && s->msmpeg4_version) {
497         ret = ff_msmpeg4_decode_picture_header(s);
498     } else if (CONFIG_MPEG4_DECODER && avctx->codec_id == AV_CODEC_ID_MPEG4) {
499         if (s->avctx->extradata_size && s->picture_number == 0) {
500             GetBitContext gb;
501
502             if (init_get_bits8(&gb, s->avctx->extradata, s->avctx->extradata_size) >= 0 )
503                 ff_mpeg4_decode_picture_header(avctx->priv_data, &gb);
504         }
505         ret = ff_mpeg4_decode_picture_header(avctx->priv_data, &s->gb);
506     } else if (CONFIG_H263I_DECODER && s->codec_id == AV_CODEC_ID_H263I) {
507         ret = ff_intel_h263_decode_picture_header(s);
508     } else if (CONFIG_FLV_DECODER && s->h263_flv) {
509         ret = ff_flv_decode_picture_header(s);
510     } else {
511         ret = ff_h263_decode_picture_header(s);
512     }
513
514     if (ret < 0 || ret == FRAME_SKIPPED) {
515         if (   s->width  != avctx->coded_width
516             || s->height != avctx->coded_height) {
517                 av_log(s->avctx, AV_LOG_WARNING, "Reverting picture dimensions change due to header decoding failure\n");
518                 s->width = avctx->coded_width;
519                 s->height= avctx->coded_height;
520         }
521     }
522     if (ret == FRAME_SKIPPED)
523         return get_consumed_bytes(s, buf_size);
524
525     /* skip if the header was thrashed */
526     if (ret < 0) {
527         av_log(s->avctx, AV_LOG_ERROR, "header damaged\n");
528         return ret;
529     }
530
531     if (!s->context_initialized) {
532         avctx->pix_fmt = h263_get_format(avctx);
533         if ((ret = ff_mpv_common_init(s)) < 0)
534             return ret;
535     }
536
537     if (!s->current_picture_ptr || s->current_picture_ptr->f->data[0]) {
538         int i = ff_find_unused_picture(s->avctx, s->picture, 0);
539         if (i < 0)
540             return i;
541         s->current_picture_ptr = &s->picture[i];
542     }
543
544     avctx->has_b_frames = !s->low_delay;
545
546     if (CONFIG_MPEG4_DECODER && avctx->codec_id == AV_CODEC_ID_MPEG4) {
547         if (ff_mpeg4_workaround_bugs(avctx) == 1)
548             goto retry;
549     }
550
551     /* After H.263 & MPEG-4 header decode we have the height, width,
552      * and other parameters. So then we could init the picture.
553      * FIXME: By the way H.263 decoder is evolving it should have
554      * an H263EncContext */
555     if (s->width  != avctx->coded_width  ||
556         s->height != avctx->coded_height ||
557         s->context_reinit) {
558         /* H.263 could change picture size any time */
559         s->context_reinit = 0;
560
561         ret = ff_set_dimensions(avctx, s->width, s->height);
562         if (ret < 0)
563             return ret;
564
565         ff_set_sar(avctx, avctx->sample_aspect_ratio);
566
567         if ((ret = ff_mpv_common_frame_size_change(s)))
568             return ret;
569
570         if (avctx->pix_fmt != h263_get_format(avctx)) {
571             av_log(avctx, AV_LOG_ERROR, "format change not supported\n");
572             avctx->pix_fmt = AV_PIX_FMT_NONE;
573             return AVERROR_UNKNOWN;
574         }
575     }
576
577     if (s->codec_id == AV_CODEC_ID_H263  ||
578         s->codec_id == AV_CODEC_ID_H263P ||
579         s->codec_id == AV_CODEC_ID_H263I)
580         s->gob_index = H263_GOB_HEIGHT(s->height);
581
582     // for skipping the frame
583     s->current_picture.f->pict_type = s->pict_type;
584     s->current_picture.f->key_frame = s->pict_type == AV_PICTURE_TYPE_I;
585
586     /* skip B-frames if we don't have reference frames */
587     if (!s->last_picture_ptr &&
588         (s->pict_type == AV_PICTURE_TYPE_B || s->droppable))
589         return get_consumed_bytes(s, buf_size);
590     if ((avctx->skip_frame >= AVDISCARD_NONREF &&
591          s->pict_type == AV_PICTURE_TYPE_B)    ||
592         (avctx->skip_frame >= AVDISCARD_NONKEY &&
593          s->pict_type != AV_PICTURE_TYPE_I)    ||
594         avctx->skip_frame >= AVDISCARD_ALL)
595         return get_consumed_bytes(s, buf_size);
596
597     if (s->next_p_frame_damaged) {
598         if (s->pict_type == AV_PICTURE_TYPE_B)
599             return get_consumed_bytes(s, buf_size);
600         else
601             s->next_p_frame_damaged = 0;
602     }
603
604     if ((!s->no_rounding) || s->pict_type == AV_PICTURE_TYPE_B) {
605         s->me.qpel_put = s->qdsp.put_qpel_pixels_tab;
606         s->me.qpel_avg = s->qdsp.avg_qpel_pixels_tab;
607     } else {
608         s->me.qpel_put = s->qdsp.put_no_rnd_qpel_pixels_tab;
609         s->me.qpel_avg = s->qdsp.avg_qpel_pixels_tab;
610     }
611
612     if ((ret = ff_mpv_frame_start(s, avctx)) < 0)
613         return ret;
614
615     if (!s->divx_packed)
616         ff_thread_finish_setup(avctx);
617
618     if (avctx->hwaccel) {
619         ret = avctx->hwaccel->start_frame(avctx, s->gb.buffer,
620                                           s->gb.buffer_end - s->gb.buffer);
621         if (ret < 0 )
622             return ret;
623     }
624
625     ff_mpeg_er_frame_start(s);
626
627     /* the second part of the wmv2 header contains the MB skip bits which
628      * are stored in current_picture->mb_type which is not available before
629      * ff_mpv_frame_start() */
630     if (CONFIG_WMV2_DECODER && s->msmpeg4_version == 5) {
631         ret = ff_wmv2_decode_secondary_picture_header(s);
632         if (ret < 0)
633             return ret;
634         if (ret == 1)
635             goto frame_end;
636     }
637
638     /* decode each macroblock */
639     s->mb_x = 0;
640     s->mb_y = 0;
641
642     slice_ret = decode_slice(s);
643     while (s->mb_y < s->mb_height) {
644         if (s->msmpeg4_version) {
645             if (s->slice_height == 0 || s->mb_x != 0 || slice_ret < 0 ||
646                 (s->mb_y % s->slice_height) != 0 || get_bits_left(&s->gb) < 0)
647                 break;
648         } else {
649             int prev_x = s->mb_x, prev_y = s->mb_y;
650             if (ff_h263_resync(s) < 0)
651                 break;
652             if (prev_y * s->mb_width + prev_x < s->mb_y * s->mb_width + s->mb_x)
653                 s->er.error_occurred = 1;
654         }
655
656         if (s->msmpeg4_version < 4 && s->h263_pred)
657             ff_mpeg4_clean_buffers(s);
658
659         if (decode_slice(s) < 0)
660             slice_ret = AVERROR_INVALIDDATA;
661     }
662
663     if (s->msmpeg4_version && s->msmpeg4_version < 4 &&
664         s->pict_type == AV_PICTURE_TYPE_I)
665         if (!CONFIG_MSMPEG4_DECODER ||
666             ff_msmpeg4_decode_ext_header(s, buf_size) < 0)
667             s->er.error_status_table[s->mb_num - 1] = ER_MB_ERROR;
668
669     av_assert1(s->bitstream_buffer_size == 0);
670 frame_end:
671     ff_er_frame_end(&s->er);
672
673     if (avctx->hwaccel) {
674         ret = avctx->hwaccel->end_frame(avctx);
675         if (ret < 0)
676             return ret;
677     }
678
679     ff_mpv_frame_end(s);
680
681     if (CONFIG_MPEG4_DECODER && avctx->codec_id == AV_CODEC_ID_MPEG4)
682         ff_mpeg4_frame_end(avctx, buf, buf_size);
683
684     if (!s->divx_packed && avctx->hwaccel)
685         ff_thread_finish_setup(avctx);
686
687     av_assert1(s->current_picture.f->pict_type == s->current_picture_ptr->f->pict_type);
688     av_assert1(s->current_picture.f->pict_type == s->pict_type);
689     if (s->pict_type == AV_PICTURE_TYPE_B || s->low_delay) {
690         if ((ret = av_frame_ref(pict, s->current_picture_ptr->f)) < 0)
691             return ret;
692         ff_print_debug_info(s, s->current_picture_ptr, pict);
693         ff_mpv_export_qp_table(s, pict, s->current_picture_ptr, FF_QSCALE_TYPE_MPEG1);
694     } else if (s->last_picture_ptr) {
695         if ((ret = av_frame_ref(pict, s->last_picture_ptr->f)) < 0)
696             return ret;
697         ff_print_debug_info(s, s->last_picture_ptr, pict);
698         ff_mpv_export_qp_table(s, pict, s->last_picture_ptr, FF_QSCALE_TYPE_MPEG1);
699     }
700
701     if (s->last_picture_ptr || s->low_delay) {
702         if (   pict->format == AV_PIX_FMT_YUV420P
703             && (s->codec_tag == AV_RL32("GEOV") || s->codec_tag == AV_RL32("GEOX"))) {
704             int x, y, p;
705             av_frame_make_writable(pict);
706             for (p=0; p<3; p++) {
707                 int w = AV_CEIL_RSHIFT(pict-> width, !!p);
708                 int h = AV_CEIL_RSHIFT(pict->height, !!p);
709                 int linesize = pict->linesize[p];
710                 for (y=0; y<(h>>1); y++)
711                     for (x=0; x<w; x++)
712                         FFSWAP(int,
713                                pict->data[p][x + y*linesize],
714                                pict->data[p][x + (h-1-y)*linesize]);
715             }
716         }
717         *got_frame = 1;
718     }
719
720     if (slice_ret < 0 && (avctx->err_recognition & AV_EF_EXPLODE))
721         return slice_ret;
722     else
723         return get_consumed_bytes(s, buf_size);
724 }
725
726 const enum AVPixelFormat ff_h263_hwaccel_pixfmt_list_420[] = {
727 #if CONFIG_H263_VAAPI_HWACCEL || CONFIG_MPEG4_VAAPI_HWACCEL
728     AV_PIX_FMT_VAAPI,
729 #endif
730 #if CONFIG_MPEG4_NVDEC_HWACCEL
731     AV_PIX_FMT_CUDA,
732 #endif
733 #if CONFIG_MPEG4_VDPAU_HWACCEL
734     AV_PIX_FMT_VDPAU,
735 #endif
736 #if CONFIG_H263_VIDEOTOOLBOX_HWACCEL || CONFIG_MPEG4_VIDEOTOOLBOX_HWACCEL
737     AV_PIX_FMT_VIDEOTOOLBOX,
738 #endif
739     AV_PIX_FMT_YUV420P,
740     AV_PIX_FMT_NONE
741 };
742
743 AVCodec ff_h263_decoder = {
744     .name           = "h263",
745     .long_name      = NULL_IF_CONFIG_SMALL("H.263 / H.263-1996, H.263+ / H.263-1998 / H.263 version 2"),
746     .type           = AVMEDIA_TYPE_VIDEO,
747     .id             = AV_CODEC_ID_H263,
748     .priv_data_size = sizeof(MpegEncContext),
749     .init           = ff_h263_decode_init,
750     .close          = ff_h263_decode_end,
751     .decode         = ff_h263_decode_frame,
752     .capabilities   = AV_CODEC_CAP_DRAW_HORIZ_BAND | AV_CODEC_CAP_DR1 |
753                       AV_CODEC_CAP_TRUNCATED | AV_CODEC_CAP_DELAY,
754     .caps_internal  = FF_CODEC_CAP_SKIP_FRAME_FILL_PARAM,
755     .flush          = ff_mpeg_flush,
756     .max_lowres     = 3,
757     .pix_fmts       = ff_h263_hwaccel_pixfmt_list_420,
758 };
759
760 AVCodec ff_h263p_decoder = {
761     .name           = "h263p",
762     .long_name      = NULL_IF_CONFIG_SMALL("H.263 / H.263-1996, H.263+ / H.263-1998 / H.263 version 2"),
763     .type           = AVMEDIA_TYPE_VIDEO,
764     .id             = AV_CODEC_ID_H263P,
765     .priv_data_size = sizeof(MpegEncContext),
766     .init           = ff_h263_decode_init,
767     .close          = ff_h263_decode_end,
768     .decode         = ff_h263_decode_frame,
769     .capabilities   = AV_CODEC_CAP_DRAW_HORIZ_BAND | AV_CODEC_CAP_DR1 |
770                       AV_CODEC_CAP_TRUNCATED | AV_CODEC_CAP_DELAY,
771     .caps_internal  = FF_CODEC_CAP_SKIP_FRAME_FILL_PARAM,
772     .flush          = ff_mpeg_flush,
773     .max_lowres     = 3,
774     .pix_fmts       = ff_h263_hwaccel_pixfmt_list_420,
775     .hw_configs     = (const AVCodecHWConfigInternal*[]) {
776 #if CONFIG_H263_VAAPI_HWACCEL
777                         HWACCEL_VAAPI(h263),
778 #endif
779 #if CONFIG_MPEG4_VDPAU_HWACCEL
780                         HWACCEL_VDPAU(mpeg4),
781 #endif
782 #if CONFIG_H263_VIDEOTOOLBOX_HWACCEL
783                         HWACCEL_VIDEOTOOLBOX(h263),
784 #endif
785                         NULL
786                     },
787 };