5186042ab074edb5a46719f4bbf78d0a0262680a
[ffmpeg.git] / libavcodec / h263dec.c
1 /*
2  * H.263 decoder
3  * Copyright (c) 2001 Fabrice Bellard
4  * Copyright (c) 2002-2004 Michael Niedermayer <michaelni@gmx.at>
5  *
6  * This file is part of FFmpeg.
7  *
8  * FFmpeg is free software; you can redistribute it and/or
9  * modify it under the terms of the GNU Lesser General Public
10  * License as published by the Free Software Foundation; either
11  * version 2.1 of the License, or (at your option) any later version.
12  *
13  * FFmpeg is distributed in the hope that it will be useful,
14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
16  * Lesser General Public License for more details.
17  *
18  * You should have received a copy of the GNU Lesser General Public
19  * License along with FFmpeg; if not, write to the Free Software
20  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
21  */
22
23 /**
24  * @file
25  * H.263 decoder.
26  */
27
28 #define UNCHECKED_BITSTREAM_READER 1
29
30 #include "libavutil/cpu.h"
31 #include "avcodec.h"
32 #include "error_resilience.h"
33 #include "flv.h"
34 #include "h263.h"
35 #include "h263_parser.h"
36 #include "internal.h"
37 #include "mpeg4video.h"
38 #include "mpeg4video_parser.h"
39 #include "mpegvideo.h"
40 #include "msmpeg4.h"
41 #include "qpeldsp.h"
42 #include "vdpau_internal.h"
43 #include "thread.h"
44
45 av_cold int ff_h263_decode_init(AVCodecContext *avctx)
46 {
47     MpegEncContext *s = avctx->priv_data;
48     int ret;
49
50     s->avctx           = avctx;
51     s->out_format      = FMT_H263;
52     s->width           = avctx->coded_width;
53     s->height          = avctx->coded_height;
54     s->workaround_bugs = avctx->workaround_bugs;
55
56     // set defaults
57     ff_MPV_decode_defaults(s);
58     s->quant_precision = 5;
59     s->decode_mb       = ff_h263_decode_mb;
60     s->low_delay       = 1;
61     if (avctx->codec->id == AV_CODEC_ID_MSS2)
62         avctx->pix_fmt = AV_PIX_FMT_YUV420P;
63     else
64         avctx->pix_fmt = ff_get_format(avctx, avctx->codec->pix_fmts);
65     s->unrestricted_mv = 1;
66
67     /* select sub codec */
68     switch (avctx->codec->id) {
69     case AV_CODEC_ID_H263:
70     case AV_CODEC_ID_H263P:
71         s->unrestricted_mv = 0;
72         avctx->chroma_sample_location = AVCHROMA_LOC_CENTER;
73         break;
74     case AV_CODEC_ID_MPEG4:
75         break;
76     case AV_CODEC_ID_MSMPEG4V1:
77         s->h263_pred       = 1;
78         s->msmpeg4_version = 1;
79         break;
80     case AV_CODEC_ID_MSMPEG4V2:
81         s->h263_pred       = 1;
82         s->msmpeg4_version = 2;
83         break;
84     case AV_CODEC_ID_MSMPEG4V3:
85         s->h263_pred       = 1;
86         s->msmpeg4_version = 3;
87         break;
88     case AV_CODEC_ID_WMV1:
89         s->h263_pred       = 1;
90         s->msmpeg4_version = 4;
91         break;
92     case AV_CODEC_ID_WMV2:
93         s->h263_pred       = 1;
94         s->msmpeg4_version = 5;
95         break;
96     case AV_CODEC_ID_VC1:
97     case AV_CODEC_ID_WMV3:
98     case AV_CODEC_ID_VC1IMAGE:
99     case AV_CODEC_ID_WMV3IMAGE:
100     case AV_CODEC_ID_MSS2:
101         s->h263_pred       = 1;
102         s->msmpeg4_version = 6;
103         avctx->chroma_sample_location = AVCHROMA_LOC_LEFT;
104         break;
105     case AV_CODEC_ID_H263I:
106         break;
107     case AV_CODEC_ID_FLV1:
108         s->h263_flv = 1;
109         break;
110     default:
111         av_log(avctx, AV_LOG_ERROR, "Unsupported codec %d\n",
112                avctx->codec->id);
113         return AVERROR(ENOSYS);
114     }
115     s->codec_id    = avctx->codec->id;
116
117     if (avctx->stream_codec_tag == AV_RL32("l263") && avctx->extradata_size == 56 && avctx->extradata[0] == 1)
118         s->ehc_mode = 1;
119
120     /* for h263, we allocate the images after having read the header */
121     if (avctx->codec->id != AV_CODEC_ID_H263 &&
122         avctx->codec->id != AV_CODEC_ID_H263P &&
123         avctx->codec->id != AV_CODEC_ID_MPEG4)
124         if ((ret = ff_MPV_common_init(s)) < 0)
125             return ret;
126
127     ff_h263dsp_init(&s->h263dsp);
128     ff_qpeldsp_init(&s->qdsp);
129     ff_h263_decode_init_vlc();
130
131     return 0;
132 }
133
134 av_cold int ff_h263_decode_end(AVCodecContext *avctx)
135 {
136     MpegEncContext *s = avctx->priv_data;
137
138     ff_MPV_common_end(s);
139     return 0;
140 }
141
142 /**
143  * Return the number of bytes consumed for building the current frame.
144  */
145 static int get_consumed_bytes(MpegEncContext *s, int buf_size)
146 {
147     int pos = (get_bits_count(&s->gb) + 7) >> 3;
148
149     if (s->divx_packed || s->avctx->hwaccel) {
150         /* We would have to scan through the whole buf to handle the weird
151          * reordering ... */
152         return buf_size;
153     } else if (s->flags & CODEC_FLAG_TRUNCATED) {
154         pos -= s->parse_context.last_index;
155         // padding is not really read so this might be -1
156         if (pos < 0)
157             pos = 0;
158         return pos;
159     } else {
160         // avoid infinite loops (maybe not needed...)
161         if (pos == 0)
162             pos = 1;
163         // oops ;)
164         if (pos + 10 > buf_size)
165             pos = buf_size;
166
167         return pos;
168     }
169 }
170
171 static int decode_slice(MpegEncContext *s)
172 {
173     const int part_mask = s->partitioned_frame
174                           ? (ER_AC_END | ER_AC_ERROR) : 0x7F;
175     const int mb_size   = 16 >> s->avctx->lowres;
176     int ret;
177
178     s->last_resync_gb   = s->gb;
179     s->first_slice_line = 1;
180     s->resync_mb_x      = s->mb_x;
181     s->resync_mb_y      = s->mb_y;
182
183     ff_set_qscale(s, s->qscale);
184
185     if (s->avctx->hwaccel) {
186         const uint8_t *start = s->gb.buffer + get_bits_count(&s->gb) / 8;
187         ret = s->avctx->hwaccel->decode_slice(s->avctx, start, s->gb.buffer_end - start);
188         // ensure we exit decode loop
189         s->mb_y = s->mb_height;
190         return ret;
191     }
192
193     if (s->partitioned_frame) {
194         const int qscale = s->qscale;
195
196         if (CONFIG_MPEG4_DECODER && s->codec_id == AV_CODEC_ID_MPEG4)
197             if ((ret = ff_mpeg4_decode_partitions(s->avctx->priv_data)) < 0)
198                 return ret;
199
200         /* restore variables which were modified */
201         s->first_slice_line = 1;
202         s->mb_x             = s->resync_mb_x;
203         s->mb_y             = s->resync_mb_y;
204         ff_set_qscale(s, qscale);
205     }
206
207     for (; s->mb_y < s->mb_height; s->mb_y++) {
208         /* per-row end of slice checks */
209         if (s->msmpeg4_version) {
210             if (s->resync_mb_y + s->slice_height == s->mb_y) {
211                 ff_er_add_slice(&s->er, s->resync_mb_x, s->resync_mb_y,
212                                 s->mb_x - 1, s->mb_y, ER_MB_END);
213
214                 return 0;
215             }
216         }
217
218         if (s->msmpeg4_version == 1) {
219             s->last_dc[0] =
220             s->last_dc[1] =
221             s->last_dc[2] = 128;
222         }
223
224         ff_init_block_index(s);
225         for (; s->mb_x < s->mb_width; s->mb_x++) {
226             int ret;
227
228             ff_update_block_index(s);
229
230             if (s->resync_mb_x == s->mb_x && s->resync_mb_y + 1 == s->mb_y)
231                 s->first_slice_line = 0;
232
233             /* DCT & quantize */
234
235             s->mv_dir  = MV_DIR_FORWARD;
236             s->mv_type = MV_TYPE_16X16;
237             av_dlog(s, "%d %d %06X\n",
238                     ret, get_bits_count(&s->gb), show_bits(&s->gb, 24));
239
240             tprintf(NULL, "Decoding MB at %dx%d\n", s->mb_x, s->mb_y);
241             ret = s->decode_mb(s, s->block);
242
243             if (s->pict_type != AV_PICTURE_TYPE_B)
244                 ff_h263_update_motion_val(s);
245
246             if (ret < 0) {
247                 const int xy = s->mb_x + s->mb_y * s->mb_stride;
248                 if (ret == SLICE_END) {
249                     ff_MPV_decode_mb(s, s->block);
250                     if (s->loop_filter)
251                         ff_h263_loop_filter(s);
252
253                     ff_er_add_slice(&s->er, s->resync_mb_x, s->resync_mb_y,
254                                     s->mb_x, s->mb_y, ER_MB_END & part_mask);
255
256                     s->padding_bug_score--;
257
258                     if (++s->mb_x >= s->mb_width) {
259                         s->mb_x = 0;
260                         ff_mpeg_draw_horiz_band(s, s->mb_y * mb_size, mb_size);
261                         ff_MPV_report_decode_progress(s);
262                         s->mb_y++;
263                     }
264                     return 0;
265                 } else if (ret == SLICE_NOEND) {
266                     av_log(s->avctx, AV_LOG_ERROR,
267                            "Slice mismatch at MB: %d\n", xy);
268                     ff_er_add_slice(&s->er, s->resync_mb_x, s->resync_mb_y,
269                                     s->mb_x + 1, s->mb_y,
270                                     ER_MB_END & part_mask);
271                     return AVERROR_INVALIDDATA;
272                 }
273                 av_log(s->avctx, AV_LOG_ERROR, "Error at MB: %d\n", xy);
274                 ff_er_add_slice(&s->er, s->resync_mb_x, s->resync_mb_y,
275                                 s->mb_x, s->mb_y, ER_MB_ERROR & part_mask);
276
277                 if (s->err_recognition & AV_EF_IGNORE_ERR)
278                     continue;
279                 return AVERROR_INVALIDDATA;
280             }
281
282             ff_MPV_decode_mb(s, s->block);
283             if (s->loop_filter)
284                 ff_h263_loop_filter(s);
285         }
286
287         ff_mpeg_draw_horiz_band(s, s->mb_y * mb_size, mb_size);
288         ff_MPV_report_decode_progress(s);
289
290         s->mb_x = 0;
291     }
292
293     av_assert1(s->mb_x == 0 && s->mb_y == s->mb_height);
294
295     if (s->codec_id == AV_CODEC_ID_MPEG4         &&
296         (s->workaround_bugs & FF_BUG_AUTODETECT) &&
297         get_bits_left(&s->gb) >= 48              &&
298         show_bits(&s->gb, 24) == 0x4010          &&
299         !s->data_partitioning)
300         s->padding_bug_score += 32;
301
302     /* try to detect the padding bug */
303     if (s->codec_id == AV_CODEC_ID_MPEG4         &&
304         (s->workaround_bugs & FF_BUG_AUTODETECT) &&
305         get_bits_left(&s->gb) >= 0               &&
306         get_bits_left(&s->gb) < 137              &&
307         !s->data_partitioning) {
308         const int bits_count = get_bits_count(&s->gb);
309         const int bits_left  = s->gb.size_in_bits - bits_count;
310
311         if (bits_left == 0) {
312             s->padding_bug_score += 16;
313         } else if (bits_left != 1) {
314             int v = show_bits(&s->gb, 8);
315             v |= 0x7F >> (7 - (bits_count & 7));
316
317             if (v == 0x7F && bits_left <= 8)
318                 s->padding_bug_score--;
319             else if (v == 0x7F && ((get_bits_count(&s->gb) + 8) & 8) &&
320                      bits_left <= 16)
321                 s->padding_bug_score += 4;
322             else
323                 s->padding_bug_score++;
324         }
325     }
326
327     if (s->codec_id == AV_CODEC_ID_H263          &&
328         (s->workaround_bugs & FF_BUG_AUTODETECT) &&
329         get_bits_left(&s->gb) >= 8               &&
330         get_bits_left(&s->gb) < 300              &&
331         s->pict_type == AV_PICTURE_TYPE_I        &&
332         show_bits(&s->gb, 8) == 0                &&
333         !s->data_partitioning) {
334
335         s->padding_bug_score += 32;
336     }
337
338     if (s->workaround_bugs & FF_BUG_AUTODETECT) {
339         if (s->padding_bug_score > -2 && !s->data_partitioning)
340             s->workaround_bugs |= FF_BUG_NO_PADDING;
341         else
342             s->workaround_bugs &= ~FF_BUG_NO_PADDING;
343     }
344
345     // handle formats which don't have unique end markers
346     if (s->msmpeg4_version || (s->workaround_bugs & FF_BUG_NO_PADDING)) { // FIXME perhaps solve this more cleanly
347         int left      = get_bits_left(&s->gb);
348         int max_extra = 7;
349
350         /* no markers in M$ crap */
351         if (s->msmpeg4_version && s->pict_type == AV_PICTURE_TYPE_I)
352             max_extra += 17;
353
354         /* buggy padding but the frame should still end approximately at
355          * the bitstream end */
356         if ((s->workaround_bugs & FF_BUG_NO_PADDING) &&
357             (s->err_recognition & (AV_EF_BUFFER|AV_EF_AGGRESSIVE)))
358             max_extra += 48;
359         else if ((s->workaround_bugs & FF_BUG_NO_PADDING))
360             max_extra += 256 * 256 * 256 * 64;
361
362         if (left > max_extra)
363             av_log(s->avctx, AV_LOG_ERROR,
364                    "discarding %d junk bits at end, next would be %X\n",
365                    left, show_bits(&s->gb, 24));
366         else if (left < 0)
367             av_log(s->avctx, AV_LOG_ERROR, "overreading %d bits\n", -left);
368         else
369             ff_er_add_slice(&s->er, s->resync_mb_x, s->resync_mb_y,
370                             s->mb_x - 1, s->mb_y, ER_MB_END);
371
372         return 0;
373     }
374
375     av_log(s->avctx, AV_LOG_ERROR,
376            "slice end not reached but screenspace end (%d left %06X, score= %d)\n",
377            get_bits_left(&s->gb), show_bits(&s->gb, 24), s->padding_bug_score);
378
379     ff_er_add_slice(&s->er, s->resync_mb_x, s->resync_mb_y, s->mb_x, s->mb_y,
380                     ER_MB_END & part_mask);
381
382     return AVERROR_INVALIDDATA;
383 }
384
385 int ff_h263_decode_frame(AVCodecContext *avctx, void *data, int *got_frame,
386                          AVPacket *avpkt)
387 {
388     const uint8_t *buf = avpkt->data;
389     int buf_size       = avpkt->size;
390     MpegEncContext *s  = avctx->priv_data;
391     int ret;
392     int slice_ret = 0;
393     AVFrame *pict = data;
394
395     s->flags  = avctx->flags;
396     s->flags2 = avctx->flags2;
397
398     /* no supplementary picture */
399     if (buf_size == 0) {
400         /* special case for last picture */
401         if (s->low_delay == 0 && s->next_picture_ptr) {
402             if ((ret = av_frame_ref(pict, s->next_picture_ptr->f)) < 0)
403                 return ret;
404             s->next_picture_ptr = NULL;
405
406             *got_frame = 1;
407         }
408
409         return 0;
410     }
411
412     if (s->flags & CODEC_FLAG_TRUNCATED) {
413         int next;
414
415         if (CONFIG_MPEG4_DECODER && s->codec_id == AV_CODEC_ID_MPEG4) {
416             next = ff_mpeg4_find_frame_end(&s->parse_context, buf, buf_size);
417         } else if (CONFIG_H263_DECODER && s->codec_id == AV_CODEC_ID_H263) {
418             next = ff_h263_find_frame_end(&s->parse_context, buf, buf_size);
419         } else if (CONFIG_H263P_DECODER && s->codec_id == AV_CODEC_ID_H263P) {
420             next = ff_h263_find_frame_end(&s->parse_context, buf, buf_size);
421         } else {
422             av_log(s->avctx, AV_LOG_ERROR,
423                    "this codec does not support truncated bitstreams\n");
424             return AVERROR(ENOSYS);
425         }
426
427         if (ff_combine_frame(&s->parse_context, next, (const uint8_t **)&buf,
428                              &buf_size) < 0)
429             return buf_size;
430     }
431
432 retry:
433     if (s->divx_packed && s->bitstream_buffer_size) {
434         int i;
435         for(i=0; i < buf_size-3; i++) {
436             if (buf[i]==0 && buf[i+1]==0 && buf[i+2]==1) {
437                 if (buf[i+3]==0xB0) {
438                     av_log(s->avctx, AV_LOG_WARNING, "Discarding excessive bitstream in packed xvid\n");
439                     s->bitstream_buffer_size = 0;
440                 }
441                 break;
442             }
443         }
444     }
445
446     if (s->bitstream_buffer_size && (s->divx_packed || buf_size < 20)) // divx 5.01+/xvid frame reorder
447         ret = init_get_bits8(&s->gb, s->bitstream_buffer,
448                              s->bitstream_buffer_size);
449     else
450         ret = init_get_bits8(&s->gb, buf, buf_size);
451
452     s->bitstream_buffer_size = 0;
453     if (ret < 0)
454         return ret;
455
456     if (!s->context_initialized)
457         // we need the idct permutaton for reading a custom matrix
458         if ((ret = ff_MPV_common_init(s)) < 0)
459             return ret;
460
461     /* We need to set current_picture_ptr before reading the header,
462      * otherwise we cannot store anyting in there */
463     if (s->current_picture_ptr == NULL || s->current_picture_ptr->f->data[0]) {
464         int i = ff_find_unused_picture(s, 0);
465         if (i < 0)
466             return i;
467         s->current_picture_ptr = &s->picture[i];
468     }
469
470     /* let's go :-) */
471     if (CONFIG_WMV2_DECODER && s->msmpeg4_version == 5) {
472         ret = ff_wmv2_decode_picture_header(s);
473     } else if (CONFIG_MSMPEG4_DECODER && s->msmpeg4_version) {
474         ret = ff_msmpeg4_decode_picture_header(s);
475     } else if (CONFIG_MPEG4_DECODER && avctx->codec_id == AV_CODEC_ID_MPEG4) {
476         if (s->avctx->extradata_size && s->picture_number == 0) {
477             GetBitContext gb;
478
479             if (init_get_bits8(&gb, s->avctx->extradata, s->avctx->extradata_size) >= 0 )
480                 ff_mpeg4_decode_picture_header(avctx->priv_data, &gb);
481         }
482         ret = ff_mpeg4_decode_picture_header(avctx->priv_data, &s->gb);
483     } else if (CONFIG_H263I_DECODER && s->codec_id == AV_CODEC_ID_H263I) {
484         ret = ff_intel_h263_decode_picture_header(s);
485     } else if (CONFIG_FLV_DECODER && s->h263_flv) {
486         ret = ff_flv_decode_picture_header(s);
487     } else {
488         ret = ff_h263_decode_picture_header(s);
489     }
490
491     if (ret < 0 || ret == FRAME_SKIPPED) {
492         if (   s->width  != avctx->coded_width
493             || s->height != avctx->coded_height) {
494                 av_log(s->avctx, AV_LOG_WARNING, "Reverting picture dimensions change due to header decoding failure\n");
495                 s->width = avctx->coded_width;
496                 s->height= avctx->coded_height;
497         }
498     }
499     if (ret == FRAME_SKIPPED)
500         return get_consumed_bytes(s, buf_size);
501
502     /* skip if the header was thrashed */
503     if (ret < 0) {
504         av_log(s->avctx, AV_LOG_ERROR, "header damaged\n");
505         return ret;
506     }
507
508     avctx->has_b_frames = !s->low_delay;
509
510     if (CONFIG_MPEG4_DECODER && avctx->codec_id == AV_CODEC_ID_MPEG4) {
511         if (ff_mpeg4_workaround_bugs(avctx) == 1)
512             goto retry;
513     }
514
515     /* After H263 & mpeg4 header decode we have the height, width,
516      * and other parameters. So then we could init the picture.
517      * FIXME: By the way H263 decoder is evolving it should have
518      * an H263EncContext */
519     if (s->width  != avctx->coded_width  ||
520         s->height != avctx->coded_height ||
521         s->context_reinit) {
522         /* H.263 could change picture size any time */
523         s->context_reinit = 0;
524
525         ret = ff_set_dimensions(avctx, s->width, s->height);
526         if (ret < 0)
527             return ret;
528
529         if ((ret = ff_MPV_common_frame_size_change(s)))
530             return ret;
531     }
532
533     if (s->codec_id == AV_CODEC_ID_H263  ||
534         s->codec_id == AV_CODEC_ID_H263P ||
535         s->codec_id == AV_CODEC_ID_H263I)
536         s->gob_index = ff_h263_get_gob_height(s);
537
538     // for skipping the frame
539     s->current_picture.f->pict_type = s->pict_type;
540     s->current_picture.f->key_frame = s->pict_type == AV_PICTURE_TYPE_I;
541
542     /* skip B-frames if we don't have reference frames */
543     if (s->last_picture_ptr == NULL &&
544         (s->pict_type == AV_PICTURE_TYPE_B || s->droppable))
545         return get_consumed_bytes(s, buf_size);
546     if ((avctx->skip_frame >= AVDISCARD_NONREF &&
547          s->pict_type == AV_PICTURE_TYPE_B)    ||
548         (avctx->skip_frame >= AVDISCARD_NONKEY &&
549          s->pict_type != AV_PICTURE_TYPE_I)    ||
550         avctx->skip_frame >= AVDISCARD_ALL)
551         return get_consumed_bytes(s, buf_size);
552
553     if (s->next_p_frame_damaged) {
554         if (s->pict_type == AV_PICTURE_TYPE_B)
555             return get_consumed_bytes(s, buf_size);
556         else
557             s->next_p_frame_damaged = 0;
558     }
559
560     if ((!s->no_rounding) || s->pict_type == AV_PICTURE_TYPE_B) {
561         s->me.qpel_put = s->qdsp.put_qpel_pixels_tab;
562         s->me.qpel_avg = s->qdsp.avg_qpel_pixels_tab;
563     } else {
564         s->me.qpel_put = s->qdsp.put_no_rnd_qpel_pixels_tab;
565         s->me.qpel_avg = s->qdsp.avg_qpel_pixels_tab;
566     }
567
568     if ((ret = ff_MPV_frame_start(s, avctx)) < 0)
569         return ret;
570
571     if (!s->divx_packed && !avctx->hwaccel)
572         ff_thread_finish_setup(avctx);
573
574     if (CONFIG_MPEG4_VDPAU_DECODER && (s->avctx->codec->capabilities & CODEC_CAP_HWACCEL_VDPAU)) {
575         ff_vdpau_mpeg4_decode_picture(avctx->priv_data, s->gb.buffer, s->gb.buffer_end - s->gb.buffer);
576         goto frame_end;
577     }
578
579     if (avctx->hwaccel) {
580         ret = avctx->hwaccel->start_frame(avctx, s->gb.buffer,
581                                           s->gb.buffer_end - s->gb.buffer);
582         if (ret < 0 )
583             return ret;
584     }
585
586     ff_mpeg_er_frame_start(s);
587
588     /* the second part of the wmv2 header contains the MB skip bits which
589      * are stored in current_picture->mb_type which is not available before
590      * ff_MPV_frame_start() */
591     if (CONFIG_WMV2_DECODER && s->msmpeg4_version == 5) {
592         ret = ff_wmv2_decode_secondary_picture_header(s);
593         if (ret < 0)
594             return ret;
595         if (ret == 1)
596             goto frame_end;
597     }
598
599     /* decode each macroblock */
600     s->mb_x = 0;
601     s->mb_y = 0;
602
603     slice_ret = decode_slice(s);
604     while (s->mb_y < s->mb_height) {
605         if (s->msmpeg4_version) {
606             if (s->slice_height == 0 || s->mb_x != 0 ||
607                 (s->mb_y % s->slice_height) != 0 || get_bits_left(&s->gb) < 0)
608                 break;
609         } else {
610             int prev_x = s->mb_x, prev_y = s->mb_y;
611             if (ff_h263_resync(s) < 0)
612                 break;
613             if (prev_y * s->mb_width + prev_x < s->mb_y * s->mb_width + s->mb_x)
614                 s->er.error_occurred = 1;
615         }
616
617         if (s->msmpeg4_version < 4 && s->h263_pred)
618             ff_mpeg4_clean_buffers(s);
619
620         if (decode_slice(s) < 0)
621             slice_ret = AVERROR_INVALIDDATA;
622     }
623
624     if (s->msmpeg4_version && s->msmpeg4_version < 4 &&
625         s->pict_type == AV_PICTURE_TYPE_I)
626         if (!CONFIG_MSMPEG4_DECODER ||
627             ff_msmpeg4_decode_ext_header(s, buf_size) < 0)
628             s->er.error_status_table[s->mb_num - 1] = ER_MB_ERROR;
629
630     av_assert1(s->bitstream_buffer_size == 0);
631 frame_end:
632     ff_er_frame_end(&s->er);
633
634     if (avctx->hwaccel) {
635         ret = avctx->hwaccel->end_frame(avctx);
636         if (ret < 0)
637             return ret;
638     }
639
640     ff_MPV_frame_end(s);
641
642     if (CONFIG_MPEG4_DECODER && avctx->codec_id == AV_CODEC_ID_MPEG4)
643         ff_mpeg4_frame_end(avctx, buf, buf_size);
644
645     if (!s->divx_packed && avctx->hwaccel)
646         ff_thread_finish_setup(avctx);
647
648     av_assert1(s->current_picture.f->pict_type == s->current_picture_ptr->f->pict_type);
649     av_assert1(s->current_picture.f->pict_type == s->pict_type);
650     if (s->pict_type == AV_PICTURE_TYPE_B || s->low_delay) {
651         if ((ret = av_frame_ref(pict, s->current_picture_ptr->f)) < 0)
652             return ret;
653         ff_print_debug_info(s, s->current_picture_ptr, pict);
654         ff_mpv_export_qp_table(s, pict, s->current_picture_ptr, FF_QSCALE_TYPE_MPEG1);
655     } else if (s->last_picture_ptr != NULL) {
656         if ((ret = av_frame_ref(pict, s->last_picture_ptr->f)) < 0)
657             return ret;
658         ff_print_debug_info(s, s->last_picture_ptr, pict);
659         ff_mpv_export_qp_table(s, pict, s->last_picture_ptr, FF_QSCALE_TYPE_MPEG1);
660     }
661
662     if (s->last_picture_ptr || s->low_delay) {
663         if (   pict->format == AV_PIX_FMT_YUV420P
664             && (s->codec_tag == AV_RL32("GEOV") || s->codec_tag == AV_RL32("GEOX"))) {
665             int x, y, p;
666             av_frame_make_writable(pict);
667             for (p=0; p<3; p++) {
668                 int w = FF_CEIL_RSHIFT(pict-> width, !!p);
669                 int h = FF_CEIL_RSHIFT(pict->height, !!p);
670                 int linesize = pict->linesize[p];
671                 for (y=0; y<(h>>1); y++)
672                     for (x=0; x<w; x++)
673                         FFSWAP(int,
674                                pict->data[p][x + y*linesize],
675                                pict->data[p][x + (h-1-y)*linesize]);
676             }
677         }
678         *got_frame = 1;
679     }
680
681     if (slice_ret < 0 && (avctx->err_recognition & AV_EF_EXPLODE))
682         return ret;
683     else
684         return get_consumed_bytes(s, buf_size);
685 }
686
687 const enum AVPixelFormat ff_h263_hwaccel_pixfmt_list_420[] = {
688 #if CONFIG_H263_VAAPI_HWACCEL || CONFIG_MPEG4_VAAPI_HWACCEL
689     AV_PIX_FMT_VAAPI_VLD,
690 #endif
691 #if CONFIG_H263_VDPAU_HWACCEL || CONFIG_MPEG4_VDPAU_HWACCEL
692     AV_PIX_FMT_VDPAU,
693 #endif
694     AV_PIX_FMT_YUV420P,
695     AV_PIX_FMT_NONE
696 };
697
698 AVCodec ff_h263_decoder = {
699     .name           = "h263",
700     .long_name      = NULL_IF_CONFIG_SMALL("H.263 / H.263-1996, H.263+ / H.263-1998 / H.263 version 2"),
701     .type           = AVMEDIA_TYPE_VIDEO,
702     .id             = AV_CODEC_ID_H263,
703     .priv_data_size = sizeof(MpegEncContext),
704     .init           = ff_h263_decode_init,
705     .close          = ff_h263_decode_end,
706     .decode         = ff_h263_decode_frame,
707     .capabilities   = CODEC_CAP_DRAW_HORIZ_BAND | CODEC_CAP_DR1 |
708                       CODEC_CAP_TRUNCATED | CODEC_CAP_DELAY,
709     .flush          = ff_mpeg_flush,
710     .max_lowres     = 3,
711     .pix_fmts       = ff_h263_hwaccel_pixfmt_list_420,
712 };
713
714 AVCodec ff_h263p_decoder = {
715     .name           = "h263p",
716     .long_name      = NULL_IF_CONFIG_SMALL("H.263 / H.263-1996, H.263+ / H.263-1998 / H.263 version 2"),
717     .type           = AVMEDIA_TYPE_VIDEO,
718     .id             = AV_CODEC_ID_H263P,
719     .priv_data_size = sizeof(MpegEncContext),
720     .init           = ff_h263_decode_init,
721     .close          = ff_h263_decode_end,
722     .decode         = ff_h263_decode_frame,
723     .capabilities   = CODEC_CAP_DRAW_HORIZ_BAND | CODEC_CAP_DR1 |
724                       CODEC_CAP_TRUNCATED | CODEC_CAP_DELAY,
725     .flush          = ff_mpeg_flush,
726     .max_lowres     = 3,
727     .pix_fmts       = ff_h263_hwaccel_pixfmt_list_420,
728 };