speedhq: fix decoding artifacts
[ffmpeg.git] / libavcodec / yop.c
1 /*
2  * Psygnosis YOP decoder
3  *
4  * Copyright (C) 2010 Mohamed Naufal Basheer <naufal11@gmail.com>
5  * derived from the code by
6  * Copyright (C) 2009 Thomas P. Higdon <thomas.p.higdon@gmail.com>
7  *
8  * This file is part of FFmpeg.
9  *
10  * FFmpeg is free software; you can redistribute it and/or
11  * modify it under the terms of the GNU Lesser General Public
12  * License as published by the Free Software Foundation; either
13  * version 2.1 of the License, or (at your option) any later version.
14  *
15  * FFmpeg is distributed in the hope that it will be useful,
16  * but WITHOUT ANY WARRANTY; without even the implied warranty of
17  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
18  * Lesser General Public License for more details.
19  *
20  * You should have received a copy of the GNU Lesser General Public
21  * License along with FFmpeg; if not, write to the Free Software
22  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
23  */
24
25 #include <string.h>
26
27 #include "libavutil/imgutils.h"
28 #include "libavutil/internal.h"
29 #include "libavutil/intreadwrite.h"
30
31 #include "avcodec.h"
32 #include "internal.h"
33
34 typedef struct YopDecContext {
35     AVCodecContext *avctx;
36     AVFrame *frame;
37
38     int num_pal_colors;
39     int first_color[2];
40     int frame_data_length;
41
42     uint8_t *low_nibble;
43     uint8_t *srcptr;
44     uint8_t *src_end;
45     uint8_t *dstptr;
46     uint8_t *dstbuf;
47 } YopDecContext;
48
49 // These tables are taken directly from:
50 // http://wiki.multimedia.cx/index.php?title=Psygnosis_YOP
51
52 /**
53  * Lookup table for painting macroblocks. Bytes 0-2 of each entry contain
54  * the macroblock positions to be painted (taken as (0, B0, B1, B2)).
55  * Byte 3 contains the number of bytes consumed on the input,
56  * equal to max(bytes 0-2) + 1.
57  */
58 static const uint8_t paint_lut[15][4] =
59     {{1, 2, 3, 4}, {1, 2, 0, 3},
60      {1, 2, 1, 3}, {1, 2, 2, 3},
61      {1, 0, 2, 3}, {1, 0, 0, 2},
62      {1, 0, 1, 2}, {1, 1, 2, 3},
63      {0, 1, 2, 3}, {0, 1, 0, 2},
64      {1, 1, 0, 2}, {0, 1, 1, 2},
65      {0, 0, 1, 2}, {0, 0, 0, 1},
66      {1, 1, 1, 2},
67     };
68
69 /**
70  * Lookup table for copying macroblocks. Each entry contains the respective
71  * x and y pixel offset for the copy source.
72  */
73 static const int8_t motion_vector[16][2] =
74     {{-4, -4}, {-2, -4},
75      { 0, -4}, { 2, -4},
76      {-4, -2}, {-4,  0},
77      {-3, -3}, {-1, -3},
78      { 1, -3}, { 3, -3},
79      {-3, -1}, {-2, -2},
80      { 0, -2}, { 2, -2},
81      { 4, -2}, {-2,  0},
82     };
83
84 static av_cold int yop_decode_close(AVCodecContext *avctx)
85 {
86     YopDecContext *s = avctx->priv_data;
87
88     av_frame_free(&s->frame);
89
90     return 0;
91 }
92
93 static av_cold int yop_decode_init(AVCodecContext *avctx)
94 {
95     YopDecContext *s = avctx->priv_data;
96     s->avctx = avctx;
97
98     if (avctx->width & 1 || avctx->height & 1 ||
99         av_image_check_size(avctx->width, avctx->height, 0, avctx) < 0) {
100         av_log(avctx, AV_LOG_ERROR, "YOP has invalid dimensions\n");
101         return AVERROR_INVALIDDATA;
102     }
103
104     if (avctx->extradata_size < 3) {
105         av_log(avctx, AV_LOG_ERROR, "Missing or incomplete extradata.\n");
106         return AVERROR_INVALIDDATA;
107     }
108
109     avctx->pix_fmt = AV_PIX_FMT_PAL8;
110
111     s->num_pal_colors = avctx->extradata[0];
112     s->first_color[0] = avctx->extradata[1];
113     s->first_color[1] = avctx->extradata[2];
114
115     if (s->num_pal_colors + s->first_color[0] > 256 ||
116         s->num_pal_colors + s->first_color[1] > 256) {
117         av_log(avctx, AV_LOG_ERROR,
118                "Palette parameters invalid, header probably corrupt\n");
119         return AVERROR_INVALIDDATA;
120     }
121
122     s->frame = av_frame_alloc();
123     if (!s->frame)
124         return AVERROR(ENOMEM);
125
126     return 0;
127 }
128
129 /**
130  * Paint a macroblock using the pattern in paint_lut.
131  * @param s codec context
132  * @param tag the tag that was in the nibble
133  */
134 static int yop_paint_block(YopDecContext *s, int linesize, int tag)
135 {
136     if (s->src_end - s->srcptr < paint_lut[tag][3]) {
137         av_log(s->avctx, AV_LOG_ERROR, "Packet too small.\n");
138         return AVERROR_INVALIDDATA;
139     }
140
141     s->dstptr[0]            = s->srcptr[0];
142     s->dstptr[1]            = s->srcptr[paint_lut[tag][0]];
143     s->dstptr[linesize]     = s->srcptr[paint_lut[tag][1]];
144     s->dstptr[linesize + 1] = s->srcptr[paint_lut[tag][2]];
145
146     // The number of src bytes consumed is in the last part of the lut entry.
147     s->srcptr += paint_lut[tag][3];
148     return 0;
149 }
150
151 /**
152  * Copy a previously painted macroblock to the current_block.
153  * @param copy_tag the tag that was in the nibble
154  */
155 static int yop_copy_previous_block(YopDecContext *s, int linesize, int copy_tag)
156 {
157     uint8_t *bufptr;
158
159     // Calculate position for the copy source
160     bufptr = s->dstptr + motion_vector[copy_tag][0] +
161              linesize * motion_vector[copy_tag][1];
162     if (bufptr < s->dstbuf) {
163         av_log(s->avctx, AV_LOG_ERROR, "File probably corrupt\n");
164         return AVERROR_INVALIDDATA;
165     }
166
167     s->dstptr[0]            = bufptr[0];
168     s->dstptr[1]            = bufptr[1];
169     s->dstptr[linesize]     = bufptr[linesize];
170     s->dstptr[linesize + 1] = bufptr[linesize + 1];
171
172     return 0;
173 }
174
175 /**
176  * Return the next nibble in sequence, consuming a new byte on the input
177  * only if necessary.
178  */
179 static uint8_t yop_get_next_nibble(YopDecContext *s)
180 {
181     int ret;
182
183     if (s->low_nibble) {
184         ret           = *s->low_nibble & 0xf;
185         s->low_nibble = NULL;
186     }else {
187         s->low_nibble = s->srcptr++;
188         ret           = *s->low_nibble >> 4;
189     }
190     return ret;
191 }
192
193 static int yop_decode_frame(AVCodecContext *avctx, void *data, int *got_frame,
194                             AVPacket *avpkt)
195 {
196     YopDecContext *s = avctx->priv_data;
197     AVFrame *frame = s->frame;
198     int tag, firstcolor, is_odd_frame;
199     int ret, i, x, y;
200     uint32_t *palette;
201
202     if (avpkt->size < 4 + 3 * s->num_pal_colors) {
203         av_log(avctx, AV_LOG_ERROR, "Packet too small.\n");
204         return AVERROR_INVALIDDATA;
205     }
206
207     if ((ret = ff_reget_buffer(avctx, frame)) < 0)
208         return ret;
209
210     if (!avctx->frame_number)
211         memset(frame->data[1], 0, AVPALETTE_SIZE);
212
213     s->dstbuf     = frame->data[0];
214     s->dstptr     = frame->data[0];
215     s->srcptr     = avpkt->data + 4;
216     s->src_end    = avpkt->data + avpkt->size;
217     s->low_nibble = NULL;
218
219     is_odd_frame = avpkt->data[0];
220     if(is_odd_frame>1){
221         av_log(avctx, AV_LOG_ERROR, "frame is too odd %d\n", is_odd_frame);
222         return AVERROR_INVALIDDATA;
223     }
224     firstcolor   = s->first_color[is_odd_frame];
225     palette      = (uint32_t *)frame->data[1];
226
227     for (i = 0; i < s->num_pal_colors; i++, s->srcptr += 3) {
228         palette[i + firstcolor] = (s->srcptr[0] << 18) |
229                                   (s->srcptr[1] << 10) |
230                                   (s->srcptr[2] << 2);
231         palette[i + firstcolor] |= 0xFFU << 24 |
232                                    (palette[i + firstcolor] >> 6) & 0x30303;
233     }
234
235     frame->palette_has_changed = 1;
236
237     for (y = 0; y < avctx->height; y += 2) {
238         for (x = 0; x < avctx->width; x += 2) {
239             if (s->srcptr - avpkt->data >= avpkt->size) {
240                 av_log(avctx, AV_LOG_ERROR, "Packet too small.\n");
241                 return AVERROR_INVALIDDATA;
242             }
243
244             tag = yop_get_next_nibble(s);
245
246             if (tag != 0xf) {
247                 ret = yop_paint_block(s, frame->linesize[0], tag);
248                 if (ret < 0)
249                     return ret;
250             } else {
251                 tag = yop_get_next_nibble(s);
252                 ret = yop_copy_previous_block(s, frame->linesize[0], tag);
253                 if (ret < 0)
254                     return ret;
255             }
256             s->dstptr += 2;
257         }
258         s->dstptr += 2*frame->linesize[0] - x;
259     }
260
261     if ((ret = av_frame_ref(data, s->frame)) < 0)
262         return ret;
263
264     *got_frame = 1;
265     return avpkt->size;
266 }
267
268 AVCodec ff_yop_decoder = {
269     .name           = "yop",
270     .long_name      = NULL_IF_CONFIG_SMALL("Psygnosis YOP Video"),
271     .type           = AVMEDIA_TYPE_VIDEO,
272     .id             = AV_CODEC_ID_YOP,
273     .priv_data_size = sizeof(YopDecContext),
274     .init           = yop_decode_init,
275     .close          = yop_decode_close,
276     .decode         = yop_decode_frame,
277 };