Merge commit '759001c534287a96dc96d1e274665feb7059145d'
[ffmpeg.git] / libavcodec / xxan.c
1 /*
2  * Wing Commander/Xan Video Decoder
3  * Copyright (C) 2011 Konstantin Shishkov
4  * based on work by Mike Melanson
5  *
6  * This file is part of FFmpeg.
7  *
8  * FFmpeg is free software; you can redistribute it and/or
9  * modify it under the terms of the GNU Lesser General Public
10  * License as published by the Free Software Foundation; either
11  * version 2.1 of the License, or (at your option) any later version.
12  *
13  * FFmpeg is distributed in the hope that it will be useful,
14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
16  * Lesser General Public License for more details.
17  *
18  * You should have received a copy of the GNU Lesser General Public
19  * License along with FFmpeg; if not, write to the Free Software
20  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
21  */
22
23 #include "avcodec.h"
24 #include "libavutil/intreadwrite.h"
25 #include "libavutil/mem.h"
26 #include "bytestream.h"
27 #define BITSTREAM_READER_LE
28 #include "get_bits.h"
29 #include "internal.h"
30
31 typedef struct XanContext {
32     AVCodecContext *avctx;
33     AVFrame pic;
34
35     uint8_t *y_buffer;
36     uint8_t *scratch_buffer;
37     int     buffer_size;
38     GetByteContext gb;
39 } XanContext;
40
41 static av_cold int xan_decode_init(AVCodecContext *avctx)
42 {
43     XanContext *s = avctx->priv_data;
44
45     s->avctx = avctx;
46
47     avctx->pix_fmt = AV_PIX_FMT_YUV420P;
48
49     if (avctx->height < 8) {
50         av_log(avctx, AV_LOG_ERROR, "Invalid frame height: %d.\n", avctx->height);
51         return AVERROR(EINVAL);
52     }
53
54     s->buffer_size = avctx->width * avctx->height;
55     s->y_buffer = av_malloc(s->buffer_size);
56     if (!s->y_buffer)
57         return AVERROR(ENOMEM);
58     s->scratch_buffer = av_malloc(s->buffer_size + 130);
59     if (!s->scratch_buffer) {
60         av_freep(&s->y_buffer);
61         return AVERROR(ENOMEM);
62     }
63
64     return 0;
65 }
66
67 static int xan_unpack_luma(XanContext *s,
68                            uint8_t *dst, const int dst_size)
69 {
70     int tree_size, eof;
71     int bits, mask;
72     int tree_root, node;
73     const uint8_t *dst_end = dst + dst_size;
74     GetByteContext tree = s->gb;
75     int start_off = bytestream2_tell(&tree);
76
77     tree_size = bytestream2_get_byte(&s->gb);
78     eof       = bytestream2_get_byte(&s->gb);
79     tree_root = eof + tree_size;
80     bytestream2_skip(&s->gb, tree_size * 2);
81
82     node = tree_root;
83     bits = bytestream2_get_byte(&s->gb);
84     mask = 0x80;
85     for (;;) {
86         int bit = !!(bits & mask);
87         mask >>= 1;
88         bytestream2_seek(&tree, start_off + node*2 + bit - eof * 2, SEEK_SET);
89         node = bytestream2_get_byte(&tree);
90         if (node == eof)
91             break;
92         if (node < eof) {
93             *dst++ = node;
94             if (dst > dst_end)
95                 break;
96             node = tree_root;
97         }
98         if (!mask) {
99             if (bytestream2_get_bytes_left(&s->gb) <= 0)
100                 break;
101             bits = bytestream2_get_byteu(&s->gb);
102             mask = 0x80;
103         }
104     }
105     return dst != dst_end ? AVERROR_INVALIDDATA : 0;
106 }
107
108 /* almost the same as in xan_wc3 decoder */
109 static int xan_unpack(XanContext *s,
110                       uint8_t *dest, const int dest_len)
111 {
112     uint8_t opcode;
113     int size;
114     uint8_t *orig_dest = dest;
115     const uint8_t *dest_end = dest + dest_len;
116
117     while (dest < dest_end) {
118         if (bytestream2_get_bytes_left(&s->gb) <= 0)
119             return AVERROR_INVALIDDATA;
120
121         opcode = bytestream2_get_byteu(&s->gb);
122
123         if (opcode < 0xe0) {
124             int size2, back;
125             if ((opcode & 0x80) == 0) {
126                 size  = opcode & 3;
127                 back  = ((opcode & 0x60) << 3) + bytestream2_get_byte(&s->gb) + 1;
128                 size2 = ((opcode & 0x1c) >> 2) + 3;
129             } else if ((opcode & 0x40) == 0) {
130                 size  = bytestream2_peek_byte(&s->gb) >> 6;
131                 back  = (bytestream2_get_be16(&s->gb) & 0x3fff) + 1;
132                 size2 = (opcode & 0x3f) + 4;
133             } else {
134                 size  = opcode & 3;
135                 back  = ((opcode & 0x10) << 12) + bytestream2_get_be16(&s->gb) + 1;
136                 size2 = ((opcode & 0x0c) <<  6) + bytestream2_get_byte(&s->gb) + 5;
137                 if (size + size2 > dest_end - dest)
138                     break;
139             }
140             if (dest + size + size2 > dest_end ||
141                 dest - orig_dest + size < back)
142                 return AVERROR_INVALIDDATA;
143             bytestream2_get_buffer(&s->gb, dest, size);
144             dest += size;
145             av_memcpy_backptr(dest, back, size2);
146             dest += size2;
147         } else {
148             int finish = opcode >= 0xfc;
149
150             size = finish ? opcode & 3 : ((opcode & 0x1f) << 2) + 4;
151             if (dest_end - dest < size)
152                 return AVERROR_INVALIDDATA;
153             bytestream2_get_buffer(&s->gb, dest, size);
154             dest += size;
155             if (finish)
156                 break;
157         }
158     }
159     return dest - orig_dest;
160 }
161
162 static int xan_decode_chroma(AVCodecContext *avctx, unsigned chroma_off)
163 {
164     XanContext *s = avctx->priv_data;
165     uint8_t *U, *V;
166     int val, uval, vval;
167     int i, j;
168     const uint8_t *src, *src_end;
169     const uint8_t *table;
170     int mode, offset, dec_size, table_size;
171
172     if (!chroma_off)
173         return 0;
174     if (chroma_off + 4 >= bytestream2_get_bytes_left(&s->gb)) {
175         av_log(avctx, AV_LOG_ERROR, "Invalid chroma block position\n");
176         return AVERROR_INVALIDDATA;
177     }
178     bytestream2_seek(&s->gb, chroma_off + 4, SEEK_SET);
179     mode        = bytestream2_get_le16(&s->gb);
180     table       = s->gb.buffer;
181     table_size  = bytestream2_get_le16(&s->gb);
182     offset      = table_size * 2;
183     table_size += 1;
184
185     if (offset >= bytestream2_get_bytes_left(&s->gb)) {
186         av_log(avctx, AV_LOG_ERROR, "Invalid chroma block offset\n");
187         return AVERROR_INVALIDDATA;
188     }
189
190     bytestream2_skip(&s->gb, offset);
191     memset(s->scratch_buffer, 0, s->buffer_size);
192     dec_size = xan_unpack(s, s->scratch_buffer, s->buffer_size);
193     if (dec_size < 0) {
194         av_log(avctx, AV_LOG_ERROR, "Chroma unpacking failed\n");
195         return dec_size;
196     }
197
198     U = s->pic.data[1];
199     V = s->pic.data[2];
200     src     = s->scratch_buffer;
201     src_end = src + dec_size;
202     if (mode) {
203         for (j = 0; j < avctx->height >> 1; j++) {
204             for (i = 0; i < avctx->width >> 1; i++) {
205                 if (src_end - src < 1)
206                     return 0;
207                 val = *src++;
208                 if (val) {
209                     if (val >= table_size)
210                         return AVERROR_INVALIDDATA;
211                     val  = AV_RL16(table + (val << 1));
212                     uval = (val >> 3) & 0xF8;
213                     vval = (val >> 8) & 0xF8;
214                     U[i] = uval | (uval >> 5);
215                     V[i] = vval | (vval >> 5);
216                 }
217             }
218             U += s->pic.linesize[1];
219             V += s->pic.linesize[2];
220         }
221         if (avctx->height & 1) {
222             memcpy(U, U - s->pic.linesize[1], avctx->width >> 1);
223             memcpy(V, V - s->pic.linesize[2], avctx->width >> 1);
224         }
225     } else {
226         uint8_t *U2 = U + s->pic.linesize[1];
227         uint8_t *V2 = V + s->pic.linesize[2];
228
229         for (j = 0; j < avctx->height >> 2; j++) {
230             for (i = 0; i < avctx->width >> 1; i += 2) {
231                 if (src_end - src < 1)
232                     return 0;
233                 val = *src++;
234                 if (val) {
235                     if (val >= table_size)
236                         return AVERROR_INVALIDDATA;
237                     val  = AV_RL16(table + (val << 1));
238                     uval = (val >> 3) & 0xF8;
239                     vval = (val >> 8) & 0xF8;
240                     U[i] = U[i+1] = U2[i] = U2[i+1] = uval | (uval >> 5);
241                     V[i] = V[i+1] = V2[i] = V2[i+1] = vval | (vval >> 5);
242                 }
243             }
244             U  += s->pic.linesize[1] * 2;
245             V  += s->pic.linesize[2] * 2;
246             U2 += s->pic.linesize[1] * 2;
247             V2 += s->pic.linesize[2] * 2;
248         }
249         if (avctx->height & 3) {
250             int lines = ((avctx->height + 1) >> 1) - (avctx->height >> 2) * 2;
251
252             memcpy(U, U - lines * s->pic.linesize[1], lines * s->pic.linesize[1]);
253             memcpy(V, V - lines * s->pic.linesize[2], lines * s->pic.linesize[2]);
254         }
255     }
256
257     return 0;
258 }
259
260 static int xan_decode_frame_type0(AVCodecContext *avctx)
261 {
262     XanContext *s = avctx->priv_data;
263     uint8_t *ybuf, *prev_buf, *src = s->scratch_buffer;
264     unsigned  chroma_off, corr_off;
265     int cur, last;
266     int i, j;
267     int ret;
268
269     chroma_off = bytestream2_get_le32(&s->gb);
270     corr_off   = bytestream2_get_le32(&s->gb);
271
272     if ((ret = xan_decode_chroma(avctx, chroma_off)) != 0)
273         return ret;
274
275     if (corr_off >= bytestream2_size(&s->gb)) {
276         av_log(avctx, AV_LOG_WARNING, "Ignoring invalid correction block position\n");
277         corr_off = 0;
278     }
279     bytestream2_seek(&s->gb, 12, SEEK_SET);
280     ret = xan_unpack_luma(s, src, s->buffer_size >> 1);
281     if (ret) {
282         av_log(avctx, AV_LOG_ERROR, "Luma decoding failed\n");
283         return ret;
284     }
285
286     ybuf = s->y_buffer;
287     last = *src++;
288     ybuf[0] = last << 1;
289     for (j = 1; j < avctx->width - 1; j += 2) {
290         cur = (last + *src++) & 0x1F;
291         ybuf[j]   = last + cur;
292         ybuf[j+1] = cur << 1;
293         last = cur;
294     }
295     if(j < avctx->width)
296         ybuf[j]  = last << 1;
297     prev_buf = ybuf;
298     ybuf += avctx->width;
299
300     for (i = 1; i < avctx->height; i++) {
301         last = ((prev_buf[0] >> 1) + *src++) & 0x1F;
302         ybuf[0] = last << 1;
303         for (j = 1; j < avctx->width - 1; j += 2) {
304             cur = ((prev_buf[j + 1] >> 1) + *src++) & 0x1F;
305             ybuf[j]   = last + cur;
306             ybuf[j+1] = cur << 1;
307             last = cur;
308         }
309         if(j < avctx->width)
310             ybuf[j] = last << 1;
311         prev_buf = ybuf;
312         ybuf += avctx->width;
313     }
314
315     if (corr_off) {
316         int dec_size;
317
318         bytestream2_seek(&s->gb, 8 + corr_off, SEEK_SET);
319         dec_size = xan_unpack(s, s->scratch_buffer, s->buffer_size);
320         if (dec_size < 0)
321             dec_size = 0;
322         else
323             dec_size = FFMIN(dec_size, s->buffer_size/2 - 1);
324
325         for (i = 0; i < dec_size; i++)
326             s->y_buffer[i*2+1] = (s->y_buffer[i*2+1] + (s->scratch_buffer[i] << 1)) & 0x3F;
327     }
328
329     src  = s->y_buffer;
330     ybuf = s->pic.data[0];
331     for (j = 0; j < avctx->height; j++) {
332         for (i = 0; i < avctx->width; i++)
333             ybuf[i] = (src[i] << 2) | (src[i] >> 3);
334         src  += avctx->width;
335         ybuf += s->pic.linesize[0];
336     }
337
338     return 0;
339 }
340
341 static int xan_decode_frame_type1(AVCodecContext *avctx)
342 {
343     XanContext *s = avctx->priv_data;
344     uint8_t *ybuf, *src = s->scratch_buffer;
345     int cur, last;
346     int i, j;
347     int ret;
348
349     if ((ret = xan_decode_chroma(avctx, bytestream2_get_le32(&s->gb))) != 0)
350         return ret;
351
352     bytestream2_seek(&s->gb, 16, SEEK_SET);
353     ret = xan_unpack_luma(s, src,
354                           s->buffer_size >> 1);
355     if (ret) {
356         av_log(avctx, AV_LOG_ERROR, "Luma decoding failed\n");
357         return ret;
358     }
359
360     ybuf = s->y_buffer;
361     for (i = 0; i < avctx->height; i++) {
362         last = (ybuf[0] + (*src++ << 1)) & 0x3F;
363         ybuf[0] = last;
364         for (j = 1; j < avctx->width - 1; j += 2) {
365             cur = (ybuf[j + 1] + (*src++ << 1)) & 0x3F;
366             ybuf[j]   = (last + cur) >> 1;
367             ybuf[j+1] = cur;
368             last = cur;
369         }
370         if(j < avctx->width)
371             ybuf[j] = last;
372         ybuf += avctx->width;
373     }
374
375     src = s->y_buffer;
376     ybuf = s->pic.data[0];
377     for (j = 0; j < avctx->height; j++) {
378         for (i = 0; i < avctx->width; i++)
379             ybuf[i] = (src[i] << 2) | (src[i] >> 3);
380         src  += avctx->width;
381         ybuf += s->pic.linesize[0];
382     }
383
384     return 0;
385 }
386
387 static int xan_decode_frame(AVCodecContext *avctx,
388                             void *data, int *got_frame,
389                             AVPacket *avpkt)
390 {
391     XanContext *s = avctx->priv_data;
392     int ftype;
393     int ret;
394
395     if ((ret = ff_reget_buffer(avctx, &s->pic))) {
396         av_log(s->avctx, AV_LOG_ERROR, "reget_buffer() failed\n");
397         return ret;
398     }
399
400     bytestream2_init(&s->gb, avpkt->data, avpkt->size);
401     ftype = bytestream2_get_le32(&s->gb);
402     switch (ftype) {
403     case 0:
404         ret = xan_decode_frame_type0(avctx);
405         break;
406     case 1:
407         ret = xan_decode_frame_type1(avctx);
408         break;
409     default:
410         av_log(avctx, AV_LOG_ERROR, "Unknown frame type %d\n", ftype);
411         return AVERROR_INVALIDDATA;
412     }
413     if (ret)
414         return ret;
415
416     if ((ret = av_frame_ref(data, &s->pic)) < 0)
417         return ret;
418
419     *got_frame = 1;
420
421     return avpkt->size;
422 }
423
424 static av_cold int xan_decode_end(AVCodecContext *avctx)
425 {
426     XanContext *s = avctx->priv_data;
427
428     av_frame_unref(&s->pic);
429
430     av_freep(&s->y_buffer);
431     av_freep(&s->scratch_buffer);
432
433     return 0;
434 }
435
436 AVCodec ff_xan_wc4_decoder = {
437     .name           = "xan_wc4",
438     .type           = AVMEDIA_TYPE_VIDEO,
439     .id             = AV_CODEC_ID_XAN_WC4,
440     .priv_data_size = sizeof(XanContext),
441     .init           = xan_decode_init,
442     .close          = xan_decode_end,
443     .decode         = xan_decode_frame,
444     .capabilities   = CODEC_CAP_DR1,
445     .long_name      = NULL_IF_CONFIG_SMALL("Wing Commander IV / Xxan"),
446 };