libopenh264enc: Return a more sensible error code in some init failure paths
[ffmpeg.git] / libavcodec / mjpegbdec.c
1 /*
2  * Apple MJPEG-B decoder
3  * Copyright (c) 2002 Alex Beregszaszi
4  *
5  * This file is part of Libav.
6  *
7  * Libav is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * Libav is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with Libav; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 /**
23  * @file
24  * Apple MJPEG-B decoder.
25  */
26
27 #include <inttypes.h>
28
29 #include "avcodec.h"
30 #include "internal.h"
31 #include "mjpeg.h"
32 #include "mjpegdec.h"
33
34 static uint32_t read_offs(AVCodecContext *avctx, GetBitContext *gb, uint32_t size, const char *err_msg){
35     uint32_t offs= get_bits_long(gb, 32);
36     if(offs >= size){
37         av_log(avctx, AV_LOG_WARNING, err_msg, offs, size);
38         return 0;
39     }
40     return offs;
41 }
42
43 static int mjpegb_decode_frame(AVCodecContext *avctx,
44                               void *data, int *got_frame,
45                               AVPacket *avpkt)
46 {
47     const uint8_t *buf = avpkt->data;
48     int buf_size = avpkt->size;
49     MJpegDecodeContext *s = avctx->priv_data;
50     const uint8_t *buf_end, *buf_ptr;
51     GetBitContext hgb; /* for the header */
52     uint32_t dqt_offs, dht_offs, sof_offs, sos_offs, second_field_offs;
53     uint32_t field_size, sod_offs;
54     int ret;
55
56     buf_ptr = buf;
57     buf_end = buf + buf_size;
58
59 read_header:
60     /* reset on every SOI */
61     s->restart_interval = 0;
62     s->restart_count = 0;
63     s->mjpb_skiptosod = 0;
64
65     if (buf_end - buf_ptr >= 1 << 28)
66         return AVERROR_INVALIDDATA;
67
68     init_get_bits(&hgb, buf_ptr, /*buf_size*/(buf_end - buf_ptr)*8);
69
70     skip_bits(&hgb, 32); /* reserved zeros */
71
72     if (get_bits_long(&hgb, 32) != MKBETAG('m','j','p','g'))
73     {
74         av_log(avctx, AV_LOG_WARNING, "not mjpeg-b (bad fourcc)\n");
75         return AVERROR_INVALIDDATA;
76     }
77
78     field_size = get_bits_long(&hgb, 32); /* field size */
79     av_log(avctx, AV_LOG_DEBUG, "field size: 0x%"PRIx32"\n", field_size);
80     skip_bits(&hgb, 32); /* padded field size */
81     second_field_offs = read_offs(avctx, &hgb, buf_end - buf_ptr, "second_field_offs is %d and size is %d\n");
82     av_log(avctx, AV_LOG_DEBUG, "second field offs: 0x%"PRIx32"\n",
83            second_field_offs);
84
85     dqt_offs = read_offs(avctx, &hgb, buf_end - buf_ptr, "dqt is %d and size is %d\n");
86     av_log(avctx, AV_LOG_DEBUG, "dqt offs: 0x%"PRIx32"\n", dqt_offs);
87     if (dqt_offs)
88     {
89         init_get_bits(&s->gb, buf_ptr+dqt_offs, (buf_end - (buf_ptr+dqt_offs))*8);
90         s->start_code = DQT;
91         if (ff_mjpeg_decode_dqt(s) < 0 &&
92             (avctx->err_recognition & AV_EF_EXPLODE))
93           return AVERROR_INVALIDDATA;
94     }
95
96     dht_offs = read_offs(avctx, &hgb, buf_end - buf_ptr, "dht is %d and size is %d\n");
97     av_log(avctx, AV_LOG_DEBUG, "dht offs: 0x%"PRIx32"\n", dht_offs);
98     if (dht_offs)
99     {
100         init_get_bits(&s->gb, buf_ptr+dht_offs, (buf_end - (buf_ptr+dht_offs))*8);
101         s->start_code = DHT;
102         ff_mjpeg_decode_dht(s);
103     }
104
105     sof_offs = read_offs(avctx, &hgb, buf_end - buf_ptr, "sof is %d and size is %d\n");
106     av_log(avctx, AV_LOG_DEBUG, "sof offs: 0x%"PRIx32"\n", sof_offs);
107     if (sof_offs)
108     {
109         init_get_bits(&s->gb, buf_ptr+sof_offs, (buf_end - (buf_ptr+sof_offs))*8);
110         s->start_code = SOF0;
111         if (ff_mjpeg_decode_sof(s) < 0)
112             return -1;
113     }
114
115     sos_offs = read_offs(avctx, &hgb, buf_end - buf_ptr, "sos is %d and size is %d\n");
116     av_log(avctx, AV_LOG_DEBUG, "sos offs: 0x%"PRIx32"\n", sos_offs);
117     sod_offs = read_offs(avctx, &hgb, buf_end - buf_ptr, "sof is %d and size is %d\n");
118     av_log(avctx, AV_LOG_DEBUG, "sod offs: 0x%"PRIx32"\n", sod_offs);
119     if (sos_offs)
120     {
121         init_get_bits(&s->gb, buf_ptr + sos_offs,
122                       8 * FFMIN(field_size, buf_end - buf_ptr - sos_offs));
123         s->mjpb_skiptosod = (sod_offs - sos_offs - show_bits(&s->gb, 16));
124         s->start_code = SOS;
125         if (ff_mjpeg_decode_sos(s, NULL, NULL) < 0 &&
126             (avctx->err_recognition & AV_EF_EXPLODE))
127           return AVERROR_INVALIDDATA;
128     }
129
130     if (s->interlaced) {
131         s->bottom_field ^= 1;
132         /* if not bottom field, do not output image yet */
133         if (s->bottom_field != s->interlace_polarity && second_field_offs)
134         {
135             buf_ptr = buf + second_field_offs;
136             second_field_offs = 0;
137             goto read_header;
138             }
139     }
140
141     //XXX FIXME factorize, this looks very similar to the EOI code
142
143     if ((ret = av_frame_ref(data, s->picture_ptr)) < 0)
144         return ret;
145     *got_frame = 1;
146
147     if (!s->lossless && avctx->debug & FF_DEBUG_QP) {
148         av_log(avctx, AV_LOG_DEBUG, "QP: %d\n",
149                FFMAX3(s->qscale[0], s->qscale[1], s->qscale[2]));
150     }
151
152     return buf_size;
153 }
154
155 AVCodec ff_mjpegb_decoder = {
156     .name           = "mjpegb",
157     .long_name      = NULL_IF_CONFIG_SMALL("Apple MJPEG-B"),
158     .type           = AVMEDIA_TYPE_VIDEO,
159     .id             = AV_CODEC_ID_MJPEGB,
160     .priv_data_size = sizeof(MJpegDecodeContext),
161     .init           = ff_mjpeg_decode_init,
162     .close          = ff_mjpeg_decode_end,
163     .decode         = mjpegb_decode_frame,
164     .capabilities   = AV_CODEC_CAP_DR1,
165     .caps_internal  = FF_CODEC_CAP_INIT_THREADSAFE,
166 };