jvdec: check frame dimensions
[ffmpeg.git] / libavcodec / jvdec.c
1 /*
2  * Bitmap Brothers JV video decoder
3  * Copyright (c) 2011 Peter Ross <pross@xvid.org>
4  *
5  * This file is part of Libav.
6  *
7  * Libav is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * Libav is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with Libav; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 /**
23  * @file
24  * Bitmap Brothers JV video decoder
25  * @author Peter Ross <pross@xvid.org>
26  */
27
28 #include "libavutil/intreadwrite.h"
29
30 #include "avcodec.h"
31 #include "blockdsp.h"
32 #include "get_bits.h"
33 #include "internal.h"
34
35 typedef struct JvContext {
36     BlockDSPContext bdsp;
37     AVFrame   *frame;
38     uint32_t   palette[AVPALETTE_COUNT];
39     int        palette_has_changed;
40 } JvContext;
41
42 static av_cold int decode_init(AVCodecContext *avctx)
43 {
44     JvContext *s = avctx->priv_data;
45
46     if (!avctx->width || !avctx->height ||
47         (avctx->width & 7) || (avctx->height & 7)) {
48         av_log(avctx, AV_LOG_ERROR, "Invalid video dimensions: %dx%d\n",
49                avctx->width, avctx->height);
50         return AVERROR(EINVAL);
51     }
52
53     s->frame = av_frame_alloc();
54     if (!s->frame)
55         return AVERROR(ENOMEM);
56
57     avctx->pix_fmt = AV_PIX_FMT_PAL8;
58     ff_blockdsp_init(&s->bdsp, avctx);
59     return 0;
60 }
61
62 /**
63  * Decode 2x2 block
64  */
65 static inline void decode2x2(GetBitContext *gb, uint8_t *dst, int linesize)
66 {
67     int i, j, v[2];
68
69     switch (get_bits(gb, 2)) {
70     case 1:
71         v[0] = get_bits(gb, 8);
72         for (j = 0; j < 2; j++)
73             memset(dst + j * linesize, v[0], 2);
74         break;
75     case 2:
76         v[0] = get_bits(gb, 8);
77         v[1] = get_bits(gb, 8);
78         for (j = 0; j < 2; j++)
79             for (i = 0; i < 2; i++)
80                 dst[j * linesize + i] = v[get_bits1(gb)];
81         break;
82     case 3:
83         for (j = 0; j < 2; j++)
84             for (i = 0; i < 2; i++)
85                 dst[j * linesize + i] = get_bits(gb, 8);
86     }
87 }
88
89 /**
90  * Decode 4x4 block
91  */
92 static inline void decode4x4(GetBitContext *gb, uint8_t *dst, int linesize)
93 {
94     int i, j, v[2];
95
96     switch (get_bits(gb, 2)) {
97     case 1:
98         v[0] = get_bits(gb, 8);
99         for (j = 0; j < 4; j++)
100             memset(dst + j * linesize, v[0], 4);
101         break;
102     case 2:
103         v[0] = get_bits(gb, 8);
104         v[1] = get_bits(gb, 8);
105         for (j = 2; j >= 0; j -= 2) {
106             for (i = 0; i < 4; i++)
107                 dst[j * linesize + i] = v[get_bits1(gb)];
108             for (i = 0; i < 4; i++)
109                 dst[(j + 1) * linesize + i] = v[get_bits1(gb)];
110         }
111         break;
112     case 3:
113         for (j = 0; j < 4; j += 2)
114             for (i = 0; i < 4; i += 2)
115                 decode2x2(gb, dst + j * linesize + i, linesize);
116     }
117 }
118
119 /**
120  * Decode 8x8 block
121  */
122 static inline void decode8x8(GetBitContext *gb, uint8_t *dst, int linesize,
123                              BlockDSPContext *bdsp)
124 {
125     int i, j, v[2];
126
127     switch (get_bits(gb, 2)) {
128     case 1:
129         v[0] = get_bits(gb, 8);
130         bdsp->fill_block_tab[1](dst, v[0], linesize, 8);
131         break;
132     case 2:
133         v[0] = get_bits(gb, 8);
134         v[1] = get_bits(gb, 8);
135         for (j = 7; j >= 0; j--)
136             for (i = 0; i < 8; i++)
137                 dst[j * linesize + i] = v[get_bits1(gb)];
138         break;
139     case 3:
140         for (j = 0; j < 8; j += 4)
141             for (i = 0; i < 8; i += 4)
142                 decode4x4(gb, dst + j * linesize + i, linesize);
143     }
144 }
145
146 static int decode_frame(AVCodecContext *avctx, void *data, int *got_frame,
147                         AVPacket *avpkt)
148 {
149     JvContext *s = avctx->priv_data;
150     int buf_size = avpkt->size;
151     const uint8_t *buf = avpkt->data;
152     const uint8_t *buf_end = buf + buf_size;
153     int video_size, video_type, i, j, ret;
154
155     video_size = AV_RL32(buf);
156     video_type = buf[4];
157     buf += 5;
158
159     if (video_size) {
160         if ((ret = ff_reget_buffer(avctx, s->frame)) < 0) {
161             av_log(avctx, AV_LOG_ERROR, "get_buffer() failed\n");
162             return ret;
163         }
164
165         if (video_type == 0 || video_type == 1) {
166             GetBitContext gb;
167             init_get_bits(&gb, buf, 8 * FFMIN(video_size, buf_end - buf));
168
169             for (j = 0; j < avctx->height; j += 8)
170                 for (i = 0; i < avctx->width; i += 8)
171                     decode8x8(&gb,
172                               s->frame->data[0] + j * s->frame->linesize[0] + i,
173                               s->frame->linesize[0], &s->bdsp);
174
175             buf += video_size;
176         } else if (video_type == 2) {
177             if (buf + 1 <= buf_end) {
178                 int v = *buf++;
179                 for (j = 0; j < avctx->height; j++)
180                     memset(s->frame->data[0] + j * s->frame->linesize[0],
181                            v, avctx->width);
182             }
183         } else {
184             av_log(avctx, AV_LOG_WARNING,
185                    "unsupported frame type %i\n", video_type);
186             return AVERROR_INVALIDDATA;
187         }
188     }
189
190     if (buf < buf_end) {
191         for (i = 0; i < AVPALETTE_COUNT && buf + 3 <= buf_end; i++) {
192             s->palette[i] = AV_RB24(buf) << 2;
193             buf += 3;
194         }
195         s->palette_has_changed = 1;
196     }
197
198     if (video_size) {
199         s->frame->key_frame           = 1;
200         s->frame->pict_type           = AV_PICTURE_TYPE_I;
201         s->frame->palette_has_changed = s->palette_has_changed;
202         s->palette_has_changed        = 0;
203         memcpy(s->frame->data[1], s->palette, AVPALETTE_SIZE);
204
205         if ((ret = av_frame_ref(data, s->frame)) < 0)
206             return ret;
207         *got_frame = 1;
208     }
209
210     return buf_size;
211 }
212
213 static av_cold int decode_close(AVCodecContext *avctx)
214 {
215     JvContext *s = avctx->priv_data;
216
217     av_frame_free(&s->frame);
218
219     return 0;
220 }
221
222 AVCodec ff_jv_decoder = {
223     .name           = "jv",
224     .long_name      = NULL_IF_CONFIG_SMALL("Bitmap Brothers JV video"),
225     .type           = AVMEDIA_TYPE_VIDEO,
226     .id             = AV_CODEC_ID_JV,
227     .priv_data_size = sizeof(JvContext),
228     .init           = decode_init,
229     .close          = decode_close,
230     .decode         = decode_frame,
231     .capabilities   = CODEC_CAP_DR1,
232 };