yop: use a meaningful error code.
[ffmpeg.git] / libavcodec / yop.c
1 /*
2  * Psygnosis YOP decoder
3  *
4  * Copyright (C) 2010 Mohamed Naufal Basheer <naufal11@gmail.com>
5  * derived from the code by
6  * Copyright (C) 2009 Thomas P. Higdon <thomas.p.higdon@gmail.com>
7  *
8  * This file is part of Libav.
9  *
10  * Libav is free software; you can redistribute it and/or
11  * modify it under the terms of the GNU Lesser General Public
12  * License as published by the Free Software Foundation; either
13  * version 2.1 of the License, or (at your option) any later version.
14  *
15  * Libav is distributed in the hope that it will be useful,
16  * but WITHOUT ANY WARRANTY; without even the implied warranty of
17  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
18  * Lesser General Public License for more details.
19  *
20  * You should have received a copy of the GNU Lesser General Public
21  * License along with Libav; if not, write to the Free Software
22  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
23  */
24
25 #include "libavutil/intreadwrite.h"
26 #include "libavutil/imgutils.h"
27
28 #include "avcodec.h"
29 #include "get_bits.h"
30 #include "internal.h"
31
32 typedef struct YopDecContext {
33     AVFrame frame;
34     AVCodecContext *avctx;
35
36     int num_pal_colors;
37     int first_color[2];
38     int frame_data_length;
39
40     uint8_t *low_nibble;
41     uint8_t *srcptr;
42     uint8_t *dstptr;
43     uint8_t *dstbuf;
44 } YopDecContext;
45
46 // These tables are taken directly from:
47 // http://wiki.multimedia.cx/index.php?title=Psygnosis_YOP
48
49 /**
50  * Lookup table for painting macroblocks. Bytes 0-2 of each entry contain
51  * the macroblock positions to be painted (taken as (0, B0, B1, B2)).
52  * Byte 3 contains the number of bytes consumed on the input,
53  * equal to max(bytes 0-2) + 1.
54  */
55 static const uint8_t paint_lut[15][4] =
56     {{1, 2, 3, 4}, {1, 2, 0, 3},
57      {1, 2, 1, 3}, {1, 2, 2, 3},
58      {1, 0, 2, 3}, {1, 0, 0, 2},
59      {1, 0, 1, 2}, {1, 1, 2, 3},
60      {0, 1, 2, 3}, {0, 1, 0, 2},
61      {1, 1, 0, 2}, {0, 1, 1, 2},
62      {0, 0, 1, 2}, {0, 0, 0, 1},
63      {1, 1, 1, 2},
64     };
65
66 /**
67  * Lookup table for copying macroblocks. Each entry contains the respective
68  * x and y pixel offset for the copy source.
69  */
70 static const int8_t motion_vector[16][2] =
71     {{-4, -4}, {-2, -4},
72      { 0, -4}, { 2, -4},
73      {-4, -2}, {-4,  0},
74      {-3, -3}, {-1, -3},
75      { 1, -3}, { 3, -3},
76      {-3, -1}, {-2, -2},
77      { 0, -2}, { 2, -2},
78      { 4, -2}, {-2,  0},
79     };
80
81 static av_cold int yop_decode_init(AVCodecContext *avctx)
82 {
83     YopDecContext *s = avctx->priv_data;
84     s->avctx = avctx;
85
86     if (avctx->width & 1 || avctx->height & 1 ||
87         av_image_check_size(avctx->width, avctx->height, 0, avctx) < 0) {
88         av_log(avctx, AV_LOG_ERROR, "YOP has invalid dimensions\n");
89         return AVERROR_INVALIDDATA;
90     }
91
92     avctx->pix_fmt = AV_PIX_FMT_PAL8;
93
94     s->num_pal_colors = avctx->extradata[0];
95     s->first_color[0] = avctx->extradata[1];
96     s->first_color[1] = avctx->extradata[2];
97
98     if (s->num_pal_colors + s->first_color[0] > 256 ||
99         s->num_pal_colors + s->first_color[1] > 256) {
100         av_log(avctx, AV_LOG_ERROR,
101                "YOP: palette parameters invalid, header probably corrupt\n");
102         return AVERROR_INVALIDDATA;
103     }
104
105     return 0;
106 }
107
108 static av_cold int yop_decode_close(AVCodecContext *avctx)
109 {
110     YopDecContext *s = avctx->priv_data;
111     if (s->frame.data[0])
112         avctx->release_buffer(avctx, &s->frame);
113     return 0;
114 }
115
116 /**
117  * Paint a macroblock using the pattern in paint_lut.
118  * @param s codec context
119  * @param tag the tag that was in the nibble
120  */
121 static void yop_paint_block(YopDecContext *s, int tag)
122 {
123     s->dstptr[0]                        = s->srcptr[0];
124     s->dstptr[1]                        = s->srcptr[paint_lut[tag][0]];
125     s->dstptr[s->frame.linesize[0]]     = s->srcptr[paint_lut[tag][1]];
126     s->dstptr[s->frame.linesize[0] + 1] = s->srcptr[paint_lut[tag][2]];
127
128     // The number of src bytes consumed is in the last part of the lut entry.
129     s->srcptr += paint_lut[tag][3];
130 }
131
132 /**
133  * Copy a previously painted macroblock to the current_block.
134  * @param copy_tag the tag that was in the nibble
135  */
136 static int yop_copy_previous_block(YopDecContext *s, int copy_tag)
137 {
138     uint8_t *bufptr;
139
140     // Calculate position for the copy source
141     bufptr = s->dstptr + motion_vector[copy_tag][0] +
142              s->frame.linesize[0] * motion_vector[copy_tag][1];
143     if (bufptr < s->dstbuf) {
144         av_log(s->avctx, AV_LOG_ERROR,
145                "YOP: cannot decode, file probably corrupt\n");
146         return AVERROR_INVALIDDATA;
147     }
148
149     s->dstptr[0]                        = bufptr[0];
150     s->dstptr[1]                        = bufptr[1];
151     s->dstptr[s->frame.linesize[0]]     = bufptr[s->frame.linesize[0]];
152     s->dstptr[s->frame.linesize[0] + 1] = bufptr[s->frame.linesize[0] + 1];
153
154     return 0;
155 }
156
157 /**
158  * Return the next nibble in sequence, consuming a new byte on the input
159  * only if necessary.
160  */
161 static uint8_t yop_get_next_nibble(YopDecContext *s)
162 {
163     int ret;
164
165     if (s->low_nibble) {
166         ret           = *s->low_nibble & 0xf;
167         s->low_nibble = NULL;
168     }else {
169         s->low_nibble = s->srcptr++;
170         ret           = *s->low_nibble >> 4;
171     }
172     return ret;
173 }
174
175 static int yop_decode_frame(AVCodecContext *avctx, void *data, int *got_frame,
176                             AVPacket *avpkt)
177 {
178     YopDecContext *s = avctx->priv_data;
179     int tag, firstcolor, is_odd_frame;
180     int ret, i, x, y;
181     uint32_t *palette;
182
183     if (s->frame.data[0])
184         avctx->release_buffer(avctx, &s->frame);
185
186     ret = ff_get_buffer(avctx, &s->frame);
187     if (ret < 0) {
188         av_log(avctx, AV_LOG_ERROR, "get_buffer() failed\n");
189         return ret;
190     }
191
192     s->dstbuf     = s->frame.data[0];
193     s->dstptr     = s->frame.data[0];
194     s->srcptr     = avpkt->data + 4;
195     s->low_nibble = NULL;
196
197     is_odd_frame = avpkt->data[0];
198     firstcolor   = s->first_color[is_odd_frame];
199     palette      = (uint32_t *)s->frame.data[1];
200
201     for (i = 0; i < s->num_pal_colors; i++, s->srcptr += 3)
202         palette[i + firstcolor] = (s->srcptr[0] << 18) |
203                                   (s->srcptr[1] << 10) |
204                                   (s->srcptr[2] << 2);
205
206     s->frame.palette_has_changed = 1;
207
208     for (y = 0; y < avctx->height; y += 2) {
209         for (x = 0; x < avctx->width; x += 2) {
210             if (s->srcptr - avpkt->data >= avpkt->size) {
211                 av_log(avctx, AV_LOG_ERROR, "Packet too small.\n");
212                 return AVERROR_INVALIDDATA;
213             }
214
215             tag = yop_get_next_nibble(s);
216
217             if (tag != 0xf) {
218                 yop_paint_block(s, tag);
219             } else {
220                 tag = yop_get_next_nibble(s);
221                 ret = yop_copy_previous_block(s, tag);
222                 if (ret < 0) {
223                     avctx->release_buffer(avctx, &s->frame);
224                     return ret;
225                 }
226             }
227             s->dstptr += 2;
228         }
229         s->dstptr += 2*s->frame.linesize[0] - x;
230     }
231
232     *got_frame = 1;
233     *(AVFrame *) data = s->frame;
234     return avpkt->size;
235 }
236
237 AVCodec ff_yop_decoder = {
238     .name           = "yop",
239     .type           = AVMEDIA_TYPE_VIDEO,
240     .id             = AV_CODEC_ID_YOP,
241     .priv_data_size = sizeof(YopDecContext),
242     .init           = yop_decode_init,
243     .close          = yop_decode_close,
244     .decode         = yop_decode_frame,
245     .long_name      = NULL_IF_CONFIG_SMALL("Psygnosis YOP Video"),
246     .capabilities   = CODEC_CAP_DR1,
247 };