yopdec: check frame oddness to be within supported limits
[ffmpeg.git] / libavcodec / yop.c
1 /*
2  * Psygnosis YOP decoder
3  *
4  * Copyright (C) 2010 Mohamed Naufal Basheer <naufal11@gmail.com>
5  * derived from the code by
6  * Copyright (C) 2009 Thomas P. Higdon <thomas.p.higdon@gmail.com>
7  *
8  * This file is part of FFmpeg.
9  *
10  * FFmpeg is free software; you can redistribute it and/or
11  * modify it under the terms of the GNU Lesser General Public
12  * License as published by the Free Software Foundation; either
13  * version 2.1 of the License, or (at your option) any later version.
14  *
15  * FFmpeg is distributed in the hope that it will be useful,
16  * but WITHOUT ANY WARRANTY; without even the implied warranty of
17  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
18  * Lesser General Public License for more details.
19  *
20  * You should have received a copy of the GNU Lesser General Public
21  * License along with FFmpeg; if not, write to the Free Software
22  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
23  */
24
25 #include "libavutil/intreadwrite.h"
26 #include "libavutil/imgutils.h"
27
28 #include "avcodec.h"
29 #include "get_bits.h"
30
31 typedef struct YopDecContext {
32     AVFrame frame;
33     AVCodecContext *avctx;
34
35     int num_pal_colors;
36     int first_color[2];
37     int frame_data_length;
38     int row_pos;
39
40     uint8_t *low_nibble;
41     uint8_t *srcptr;
42     uint8_t *dstptr;
43     uint8_t *dstbuf;
44 } YopDecContext;
45
46 // These tables are taken directly from:
47 // http://wiki.multimedia.cx/index.php?title=Psygnosis_YOP
48
49 /**
50  * Lookup table for painting macroblocks. Bytes 0-2 of each entry contain
51  * the macroblock positions to be painted (taken as (0, B0, B1, B2)).
52  * Byte 3 contains the number of bytes consumed on the input,
53  * equal to max(bytes 0-2) + 1.
54  */
55 static const uint8_t paint_lut[15][4] =
56     {{1, 2, 3, 4}, {1, 2, 0, 3},
57      {1, 2, 1, 3}, {1, 2, 2, 3},
58      {1, 0, 2, 3}, {1, 0, 0, 2},
59      {1, 0, 1, 2}, {1, 1, 2, 3},
60      {0, 1, 2, 3}, {0, 1, 0, 2},
61      {1, 1, 0, 2}, {0, 1, 1, 2},
62      {0, 0, 1, 2}, {0, 0, 0, 1},
63      {1, 1, 1, 2},
64     };
65
66 /**
67  * Lookup table for copying macroblocks. Each entry contains the respective
68  * x and y pixel offset for the copy source.
69  */
70 static const int8_t motion_vector[16][2] =
71     {{-4, -4}, {-2, -4},
72      { 0, -4}, { 2, -4},
73      {-4, -2}, {-4,  0},
74      {-3, -3}, {-1, -3},
75      { 1, -3}, { 3, -3},
76      {-3, -1}, {-2, -2},
77      { 0, -2}, { 2, -2},
78      { 4, -2}, {-2,  0},
79     };
80
81 static av_cold int yop_decode_init(AVCodecContext *avctx)
82 {
83     YopDecContext *s = avctx->priv_data;
84     s->avctx = avctx;
85
86     if (avctx->width & 1 || avctx->height & 1 ||
87         av_image_check_size(avctx->width, avctx->height, 0, avctx) < 0) {
88         av_log(avctx, AV_LOG_ERROR, "YOP has invalid dimensions\n");
89         return -1;
90     }
91
92     if (!avctx->extradata) {
93         av_log(avctx, AV_LOG_ERROR, "extradata missing\n");
94         return AVERROR_INVALIDDATA;
95     }
96
97     avctx->pix_fmt = PIX_FMT_PAL8;
98
99     avcodec_get_frame_defaults(&s->frame);
100     s->num_pal_colors = avctx->extradata[0];
101     s->first_color[0] = avctx->extradata[1];
102     s->first_color[1] = avctx->extradata[2];
103
104     if (s->num_pal_colors + s->first_color[0] > 256 ||
105         s->num_pal_colors + s->first_color[1] > 256) {
106         av_log(avctx, AV_LOG_ERROR,
107                "YOP: palette parameters invalid, header probably corrupt\n");
108         return AVERROR_INVALIDDATA;
109     }
110
111     return 0;
112 }
113
114 static av_cold int yop_decode_close(AVCodecContext *avctx)
115 {
116     YopDecContext *s = avctx->priv_data;
117     if (s->frame.data[0])
118         avctx->release_buffer(avctx, &s->frame);
119     return 0;
120 }
121
122 /**
123  * Paint a macroblock using the pattern in paint_lut.
124  * @param s codec context
125  * @param tag the tag that was in the nibble
126  */
127 static void yop_paint_block(YopDecContext *s, int tag)
128 {
129     s->dstptr[0]                        = s->srcptr[0];
130     s->dstptr[1]                        = s->srcptr[paint_lut[tag][0]];
131     s->dstptr[s->frame.linesize[0]]     = s->srcptr[paint_lut[tag][1]];
132     s->dstptr[s->frame.linesize[0] + 1] = s->srcptr[paint_lut[tag][2]];
133
134     // The number of src bytes consumed is in the last part of the lut entry.
135     s->srcptr += paint_lut[tag][3];
136 }
137
138 /**
139  * Copy a previously painted macroblock to the current_block.
140  * @param copy_tag the tag that was in the nibble
141  */
142 static int yop_copy_previous_block(YopDecContext *s, int copy_tag)
143 {
144     uint8_t *bufptr;
145
146     // Calculate position for the copy source
147     bufptr = s->dstptr + motion_vector[copy_tag][0] +
148              s->frame.linesize[0] * motion_vector[copy_tag][1];
149     if (bufptr < s->dstbuf) {
150         av_log(s->avctx, AV_LOG_ERROR,
151                "YOP: cannot decode, file probably corrupt\n");
152         return AVERROR_INVALIDDATA;
153     }
154
155     s->dstptr[0]                        = bufptr[0];
156     s->dstptr[1]                        = bufptr[1];
157     s->dstptr[s->frame.linesize[0]]     = bufptr[s->frame.linesize[0]];
158     s->dstptr[s->frame.linesize[0] + 1] = bufptr[s->frame.linesize[0] + 1];
159
160     return 0;
161 }
162
163 /**
164  * Return the next nibble in sequence, consuming a new byte on the input
165  * only if necessary.
166  */
167 static uint8_t yop_get_next_nibble(YopDecContext *s)
168 {
169     int ret;
170
171     if (s->low_nibble) {
172         ret           = *s->low_nibble & 0xf;
173         s->low_nibble = NULL;
174     }else {
175         s->low_nibble = s->srcptr++;
176         ret           = *s->low_nibble >> 4;
177     }
178     return ret;
179 }
180
181 /**
182  * Take s->dstptr to the next macroblock in sequence.
183  */
184 static void yop_next_macroblock(YopDecContext *s)
185 {
186     // If we are advancing to the next row of macroblocks
187     if (s->row_pos == s->frame.linesize[0] - 2) {
188         s->dstptr  += s->frame.linesize[0];
189         s->row_pos =  0;
190     }else {
191         s->row_pos += 2;
192     }
193     s->dstptr += 2;
194 }
195
196 static int yop_decode_frame(AVCodecContext *avctx, void *data, int *data_size,
197                             AVPacket *avpkt)
198 {
199     YopDecContext *s = avctx->priv_data;
200     int tag, firstcolor, is_odd_frame;
201     int ret, i;
202     uint32_t *palette;
203
204     if (s->frame.data[0])
205         avctx->release_buffer(avctx, &s->frame);
206
207     if (avpkt->size < 4 + 3*s->num_pal_colors) {
208         av_log(avctx, AV_LOG_ERROR, "packet of size %d too small\n", avpkt->size);
209         return AVERROR_INVALIDDATA;
210     }
211
212     ret = avctx->get_buffer(avctx, &s->frame);
213     if (ret < 0) {
214         av_log(avctx, AV_LOG_ERROR, "get_buffer() failed\n");
215         return ret;
216     }
217
218     s->frame.linesize[0] = avctx->width;
219
220     s->dstbuf     = s->frame.data[0];
221     s->dstptr     = s->frame.data[0];
222     s->srcptr     = avpkt->data + 4;
223     s->row_pos    = 0;
224     s->low_nibble = NULL;
225
226     is_odd_frame = avpkt->data[0];
227     if(is_odd_frame>1){
228         av_log(avctx, AV_LOG_ERROR, "frame is too odd %d\n", is_odd_frame);
229         return AVERROR_INVALIDDATA;
230     }
231     firstcolor   = s->first_color[is_odd_frame];
232     palette      = (uint32_t *)s->frame.data[1];
233
234     for (i = 0; i < s->num_pal_colors; i++, s->srcptr += 3) {
235         palette[i + firstcolor] = (s->srcptr[0] << 18) |
236                                   (s->srcptr[1] << 10) |
237                                   (s->srcptr[2] << 2);
238         palette[i + firstcolor] |= 0xFF << 24 |
239                                    (palette[i + firstcolor] >> 6) & 0x30303;
240     }
241
242     s->frame.palette_has_changed = 1;
243
244     while (s->dstptr - s->dstbuf <
245            avctx->width * avctx->height &&
246            s->srcptr - avpkt->data < avpkt->size) {
247
248         tag = yop_get_next_nibble(s);
249
250         if (tag != 0xf) {
251             yop_paint_block(s, tag);
252         }else {
253             tag = yop_get_next_nibble(s);
254             ret = yop_copy_previous_block(s, tag);
255             if (ret < 0) {
256                 avctx->release_buffer(avctx, &s->frame);
257                 return ret;
258             }
259         }
260         yop_next_macroblock(s);
261     }
262
263     *data_size        = sizeof(AVFrame);
264     *(AVFrame *) data = s->frame;
265     return avpkt->size;
266 }
267
268 AVCodec ff_yop_decoder = {
269     .name           = "yop",
270     .type           = AVMEDIA_TYPE_VIDEO,
271     .id             = CODEC_ID_YOP,
272     .priv_data_size = sizeof(YopDecContext),
273     .init           = yop_decode_init,
274     .close          = yop_decode_close,
275     .decode         = yop_decode_frame,
276     .long_name      = NULL_IF_CONFIG_SMALL("Psygnosis YOP Video"),
277 };