jvdec: check videosize
[ffmpeg.git] / libavcodec / jvdec.c
1 /*
2  * Bitmap Brothers JV video decoder
3  * Copyright (c) 2011 Peter Ross <pross@xvid.org>
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with FFmpeg; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 /**
23  * @file
24  * Bitmap Brothers JV video decoder
25  * @author Peter Ross <pross@xvid.org>
26  */
27
28 #include "avcodec.h"
29 #include "dsputil.h"
30 #include "get_bits.h"
31 #include "libavutil/intreadwrite.h"
32
33 typedef struct JvContext {
34     DSPContext dsp;
35     AVFrame    frame;
36     uint32_t   palette[AVPALETTE_COUNT];
37     int        palette_has_changed;
38 } JvContext;
39
40 static av_cold int decode_init(AVCodecContext *avctx)
41 {
42     JvContext *s = avctx->priv_data;
43     avctx->pix_fmt = PIX_FMT_PAL8;
44     ff_dsputil_init(&s->dsp, avctx);
45     return 0;
46 }
47
48 /**
49  * Decode 2x2 block
50  */
51 static inline void decode2x2(GetBitContext *gb, uint8_t *dst, int linesize)
52 {
53     int i, j, v[2];
54
55     switch (get_bits(gb, 2)) {
56     case 1:
57         v[0] = get_bits(gb, 8);
58         for (j = 0; j < 2; j++)
59             memset(dst + j*linesize, v[0], 2);
60         break;
61     case 2:
62         v[0] = get_bits(gb, 8);
63         v[1] = get_bits(gb, 8);
64         for (j = 0; j < 2; j++)
65             for (i = 0; i < 2; i++)
66                 dst[j*linesize + i] = v[get_bits1(gb)];
67         break;
68     case 3:
69         for (j = 0; j < 2; j++)
70             for (i = 0; i < 2; i++)
71                 dst[j*linesize + i] = get_bits(gb, 8);
72     }
73 }
74
75 /**
76  * Decode 4x4 block
77  */
78 static inline void decode4x4(GetBitContext *gb, uint8_t *dst, int linesize)
79 {
80     int i, j, v[2];
81
82     switch (get_bits(gb, 2)) {
83     case 1:
84         v[0] = get_bits(gb, 8);
85         for (j = 0; j < 4; j++)
86             memset(dst + j*linesize, v[0], 4);
87         break;
88     case 2:
89         v[0] = get_bits(gb, 8);
90         v[1] = get_bits(gb, 8);
91         for (j = 2; j >= 0; j -= 2) {
92             for (i = 0; i < 4; i++)
93                 dst[j*linesize + i]     = v[get_bits1(gb)];
94             for (i = 0; i < 4; i++)
95                 dst[(j+1)*linesize + i] = v[get_bits1(gb)];
96         }
97         break;
98     case 3:
99         for (j = 0; j < 4; j += 2)
100             for (i = 0; i < 4; i += 2)
101                 decode2x2(gb, dst + j*linesize + i, linesize);
102     }
103 }
104
105 /**
106  * Decode 8x8 block
107  */
108 static inline void decode8x8(GetBitContext *gb, uint8_t *dst, int linesize, DSPContext *dsp)
109 {
110     int i, j, v[2];
111
112     switch (get_bits(gb, 2)) {
113     case 1:
114         v[0] = get_bits(gb, 8);
115         dsp->fill_block_tab[1](dst, v[0], linesize, 8);
116         break;
117     case 2:
118         v[0] = get_bits(gb, 8);
119         v[1] = get_bits(gb, 8);
120         for (j = 7; j >= 0; j--)
121             for (i = 0; i <  8; i++)
122                 dst[j*linesize + i] = v[get_bits1(gb)];
123         break;
124     case 3:
125         for (j = 0; j < 8; j += 4)
126             for (i = 0; i < 8; i += 4)
127                 decode4x4(gb, dst + j*linesize + i, linesize);
128     }
129 }
130
131 static int decode_frame(AVCodecContext *avctx,
132                         void *data, int *data_size,
133                         AVPacket *avpkt)
134 {
135     JvContext *s           = avctx->priv_data;
136     int buf_size           = avpkt->size;
137     const uint8_t *buf     = avpkt->data;
138     const uint8_t *buf_end = buf + buf_size;
139     int video_size, video_type, i, j;
140
141     video_size = AV_RL32(buf);
142     video_type = buf[4];
143     buf += 5;
144
145     if (video_size) {
146         if(video_size < 0) {
147             av_log(avctx, AV_LOG_ERROR, "video size %d invalid\n", video_size);
148             return AVERROR_INVALIDDATA;
149         }
150         if (avctx->reget_buffer(avctx, &s->frame) < 0) {
151             av_log(avctx, AV_LOG_ERROR, "get_buffer() failed\n");
152             return -1;
153         }
154
155         if (video_type == 0 || video_type == 1) {
156             GetBitContext gb;
157             init_get_bits(&gb, buf, 8 * FFMIN(video_size, buf_end - buf));
158
159             for (j = 0; j < avctx->height; j += 8)
160                 for (i = 0; i < avctx->width; i += 8)
161                     decode8x8(&gb, s->frame.data[0] + j*s->frame.linesize[0] + i,
162                               s->frame.linesize[0], &s->dsp);
163
164             buf += video_size;
165         } else if (video_type == 2) {
166             if (buf + 1 <= buf_end) {
167                 int v = *buf++;
168                 for (j = 0; j < avctx->height; j++)
169                     memset(s->frame.data[0] + j*s->frame.linesize[0], v, avctx->width);
170             }
171         } else {
172             av_log(avctx, AV_LOG_WARNING, "unsupported frame type %i\n", video_type);
173             return AVERROR_INVALIDDATA;
174         }
175     }
176
177     if (buf < buf_end) {
178         for (i = 0; i < AVPALETTE_COUNT && buf + 3 <= buf_end; i++) {
179             uint32_t pal = AV_RB24(buf);
180             s->palette[i] = 0xFF << 24 | pal << 2 | ((pal >> 4) & 0x30303);
181             buf += 3;
182         }
183         s->palette_has_changed = 1;
184     }
185
186     if (video_size) {
187         s->frame.key_frame           = 1;
188         s->frame.pict_type           = AV_PICTURE_TYPE_I;
189         s->frame.palette_has_changed = s->palette_has_changed;
190         s->palette_has_changed       = 0;
191         memcpy(s->frame.data[1], s->palette, AVPALETTE_SIZE);
192
193         *data_size      = sizeof(AVFrame);
194         *(AVFrame*)data = s->frame;
195     }
196
197     return buf_size;
198 }
199
200 static av_cold int decode_close(AVCodecContext *avctx)
201 {
202     JvContext *s = avctx->priv_data;
203
204     if(s->frame.data[0])
205         avctx->release_buffer(avctx, &s->frame);
206
207     return 0;
208 }
209
210 AVCodec ff_jv_decoder = {
211     .name           = "jv",
212     .long_name      = NULL_IF_CONFIG_SMALL("Bitmap Brothers JV video"),
213     .type           = AVMEDIA_TYPE_VIDEO,
214     .id             = CODEC_ID_JV,
215     .priv_data_size = sizeof(JvContext),
216     .init           = decode_init,
217     .close          = decode_close,
218     .decode         = decode_frame,
219     .capabilities   = CODEC_CAP_DR1,
220 };