cosmetics: Align codec declarations
[ffmpeg.git] / libavcodec / xxan.c
1 /*
2  * Wing Commander/Xan Video Decoder
3  * Copyright (C) 2011 Konstantin Shishkov
4  * based on work by Mike Melanson
5  *
6  * This file is part of Libav.
7  *
8  * Libav is free software; you can redistribute it and/or
9  * modify it under the terms of the GNU Lesser General Public
10  * License as published by the Free Software Foundation; either
11  * version 2.1 of the License, or (at your option) any later version.
12  *
13  * Libav is distributed in the hope that it will be useful,
14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
16  * Lesser General Public License for more details.
17  *
18  * You should have received a copy of the GNU Lesser General Public
19  * License along with Libav; if not, write to the Free Software
20  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
21  */
22
23 #include "avcodec.h"
24 #include "libavutil/intreadwrite.h"
25 #include "bytestream.h"
26 #define BITSTREAM_READER_LE
27 #include "get_bits.h"
28 // for av_memcpy_backptr
29 #include "libavutil/lzo.h"
30
31 typedef struct XanContext {
32     AVCodecContext *avctx;
33     AVFrame pic;
34
35     uint8_t *y_buffer;
36     uint8_t *scratch_buffer;
37     int     buffer_size;
38     GetByteContext gb;
39 } XanContext;
40
41 static av_cold int xan_decode_init(AVCodecContext *avctx)
42 {
43     XanContext *s = avctx->priv_data;
44
45     s->avctx = avctx;
46
47     avctx->pix_fmt = PIX_FMT_YUV420P;
48
49     s->buffer_size = avctx->width * avctx->height;
50     s->y_buffer = av_malloc(s->buffer_size);
51     if (!s->y_buffer)
52         return AVERROR(ENOMEM);
53     s->scratch_buffer = av_malloc(s->buffer_size + 130);
54     if (!s->scratch_buffer) {
55         av_freep(&s->y_buffer);
56         return AVERROR(ENOMEM);
57     }
58
59     return 0;
60 }
61
62 static int xan_unpack_luma(XanContext *s,
63                            uint8_t *dst, const int dst_size)
64 {
65     int tree_size, eof;
66     int bits, mask;
67     int tree_root, node;
68     const uint8_t *dst_end = dst + dst_size;
69     GetByteContext tree = s->gb;
70     int start_off = bytestream2_tell(&tree);
71
72     tree_size = bytestream2_get_byte(&s->gb);
73     eof       = bytestream2_get_byte(&s->gb);
74     tree_root = eof + tree_size;
75     bytestream2_skip(&s->gb, tree_size * 2);
76
77     node = tree_root;
78     bits = bytestream2_get_byte(&s->gb);
79     mask = 0x80;
80     for (;;) {
81         int bit = !!(bits & mask);
82         mask >>= 1;
83         bytestream2_seek(&tree, start_off + node*2 + bit - eof * 2, SEEK_SET);
84         node = bytestream2_get_byte(&tree);
85         if (node == eof)
86             break;
87         if (node < eof) {
88             *dst++ = node;
89             if (dst > dst_end)
90                 break;
91             node = tree_root;
92         }
93         if (!mask) {
94             if (bytestream2_get_bytes_left(&s->gb) <= 0)
95                 break;
96             bits = bytestream2_get_byteu(&s->gb);
97             mask = 0x80;
98         }
99     }
100     return dst != dst_end ? AVERROR_INVALIDDATA : 0;
101 }
102
103 /* almost the same as in xan_wc3 decoder */
104 static int xan_unpack(XanContext *s,
105                       uint8_t *dest, const int dest_len)
106 {
107     uint8_t opcode;
108     int size;
109     uint8_t *orig_dest = dest;
110     const uint8_t *dest_end = dest + dest_len;
111
112     while (dest < dest_end) {
113         if (bytestream2_get_bytes_left(&s->gb) <= 0)
114             return AVERROR_INVALIDDATA;
115
116         opcode = bytestream2_get_byteu(&s->gb);
117
118         if (opcode < 0xe0) {
119             int size2, back;
120             if ((opcode & 0x80) == 0) {
121                 size  = opcode & 3;
122                 back  = ((opcode & 0x60) << 3) + bytestream2_get_byte(&s->gb) + 1;
123                 size2 = ((opcode & 0x1c) >> 2) + 3;
124             } else if ((opcode & 0x40) == 0) {
125                 size  = bytestream2_peek_byte(&s->gb) >> 6;
126                 back  = (bytestream2_get_be16(&s->gb) & 0x3fff) + 1;
127                 size2 = (opcode & 0x3f) + 4;
128             } else {
129                 size  = opcode & 3;
130                 back  = ((opcode & 0x10) << 12) + bytestream2_get_be16(&s->gb) + 1;
131                 size2 = ((opcode & 0x0c) <<  6) + bytestream2_get_byte(&s->gb) + 5;
132                 if (size + size2 > dest_end - dest)
133                     break;
134             }
135             if (dest + size + size2 > dest_end ||
136                 dest - orig_dest + size < back)
137                 return -1;
138             bytestream2_get_buffer(&s->gb, dest, size);
139             dest += size;
140             av_memcpy_backptr(dest, back, size2);
141             dest += size2;
142         } else {
143             int finish = opcode >= 0xfc;
144
145             size = finish ? opcode & 3 : ((opcode & 0x1f) << 2) + 4;
146             if (dest_end - dest < size)
147                 return -1;
148             bytestream2_get_buffer(&s->gb, dest, size);
149             dest += size;
150             if (finish)
151                 break;
152         }
153     }
154     return dest - orig_dest;
155 }
156
157 static int xan_decode_chroma(AVCodecContext *avctx, unsigned chroma_off)
158 {
159     XanContext *s = avctx->priv_data;
160     uint8_t *U, *V;
161     int val, uval, vval;
162     int i, j;
163     const uint8_t *src, *src_end;
164     const uint8_t *table;
165     int mode, offset, dec_size, table_size;
166
167     if (!chroma_off)
168         return 0;
169     if (chroma_off + 4 >= bytestream2_get_bytes_left(&s->gb)) {
170         av_log(avctx, AV_LOG_ERROR, "Invalid chroma block position\n");
171         return -1;
172     }
173     bytestream2_seek(&s->gb, chroma_off + 4, SEEK_SET);
174     mode        = bytestream2_get_le16(&s->gb);
175     table       = s->gb.buffer;
176     table_size  = bytestream2_get_le16(&s->gb);
177     offset      = table_size * 2;
178     table_size += 1;
179
180     if (offset >= bytestream2_get_bytes_left(&s->gb)) {
181         av_log(avctx, AV_LOG_ERROR, "Invalid chroma block offset\n");
182         return -1;
183     }
184
185     bytestream2_skip(&s->gb, offset);
186     memset(s->scratch_buffer, 0, s->buffer_size);
187     dec_size = xan_unpack(s, s->scratch_buffer, s->buffer_size);
188     if (dec_size < 0) {
189         av_log(avctx, AV_LOG_ERROR, "Chroma unpacking failed\n");
190         return -1;
191     }
192
193     U = s->pic.data[1];
194     V = s->pic.data[2];
195     src     = s->scratch_buffer;
196     src_end = src + dec_size;
197     if (mode) {
198         for (j = 0; j < avctx->height >> 1; j++) {
199             for (i = 0; i < avctx->width >> 1; i++) {
200                 val = *src++;
201                 if (val && val < table_size) {
202                     val  = AV_RL16(table + (val << 1));
203                     uval = (val >> 3) & 0xF8;
204                     vval = (val >> 8) & 0xF8;
205                     U[i] = uval | (uval >> 5);
206                     V[i] = vval | (vval >> 5);
207                 }
208                 if (src == src_end)
209                     return 0;
210             }
211             U += s->pic.linesize[1];
212             V += s->pic.linesize[2];
213         }
214     } else {
215         uint8_t *U2 = U + s->pic.linesize[1];
216         uint8_t *V2 = V + s->pic.linesize[2];
217
218         for (j = 0; j < avctx->height >> 2; j++) {
219             for (i = 0; i < avctx->width >> 1; i += 2) {
220                 val = *src++;
221                 if (val && val < table_size) {
222                     val  = AV_RL16(table + (val << 1));
223                     uval = (val >> 3) & 0xF8;
224                     vval = (val >> 8) & 0xF8;
225                     U[i] = U[i+1] = U2[i] = U2[i+1] = uval | (uval >> 5);
226                     V[i] = V[i+1] = V2[i] = V2[i+1] = vval | (vval >> 5);
227                 }
228             }
229             U  += s->pic.linesize[1] * 2;
230             V  += s->pic.linesize[2] * 2;
231             U2 += s->pic.linesize[1] * 2;
232             V2 += s->pic.linesize[2] * 2;
233         }
234     }
235
236     return 0;
237 }
238
239 static int xan_decode_frame_type0(AVCodecContext *avctx)
240 {
241     XanContext *s = avctx->priv_data;
242     uint8_t *ybuf, *prev_buf, *src = s->scratch_buffer;
243     unsigned  chroma_off, corr_off;
244     int cur, last;
245     int i, j;
246     int ret;
247
248     chroma_off = bytestream2_get_le32(&s->gb);
249     corr_off   = bytestream2_get_le32(&s->gb);
250
251     if ((ret = xan_decode_chroma(avctx, chroma_off)) != 0)
252         return ret;
253
254     if (corr_off >= (s->gb.buffer_end - s->gb.buffer_start)) {
255         av_log(avctx, AV_LOG_WARNING, "Ignoring invalid correction block position\n");
256         corr_off = 0;
257     }
258     bytestream2_seek(&s->gb, 12, SEEK_SET);
259     ret = xan_unpack_luma(s, src, s->buffer_size >> 1);
260     if (ret) {
261         av_log(avctx, AV_LOG_ERROR, "Luma decoding failed\n");
262         return ret;
263     }
264
265     ybuf = s->y_buffer;
266     last = *src++;
267     ybuf[0] = last << 1;
268     for (j = 1; j < avctx->width - 1; j += 2) {
269         cur = (last + *src++) & 0x1F;
270         ybuf[j]   = last + cur;
271         ybuf[j+1] = cur << 1;
272         last = cur;
273     }
274     ybuf[j]  = last << 1;
275     prev_buf = ybuf;
276     ybuf += avctx->width;
277
278     for (i = 1; i < avctx->height; i++) {
279         last = ((prev_buf[0] >> 1) + *src++) & 0x1F;
280         ybuf[0] = last << 1;
281         for (j = 1; j < avctx->width - 1; j += 2) {
282             cur = ((prev_buf[j + 1] >> 1) + *src++) & 0x1F;
283             ybuf[j]   = last + cur;
284             ybuf[j+1] = cur << 1;
285             last = cur;
286         }
287         ybuf[j] = last << 1;
288         prev_buf = ybuf;
289         ybuf += avctx->width;
290     }
291
292     if (corr_off) {
293         int corr_end, dec_size;
294
295         corr_end = (s->gb.buffer_end - s->gb.buffer_start);
296         if (chroma_off > corr_off)
297             corr_end = chroma_off;
298         bytestream2_seek(&s->gb, 8 + corr_off, SEEK_SET);
299         dec_size = xan_unpack(s, s->scratch_buffer, s->buffer_size);
300         if (dec_size < 0)
301             dec_size = 0;
302         for (i = 0; i < dec_size; i++)
303             s->y_buffer[i*2+1] = (s->y_buffer[i*2+1] + (s->scratch_buffer[i] << 1)) & 0x3F;
304     }
305
306     src  = s->y_buffer;
307     ybuf = s->pic.data[0];
308     for (j = 0; j < avctx->height; j++) {
309         for (i = 0; i < avctx->width; i++)
310             ybuf[i] = (src[i] << 2) | (src[i] >> 3);
311         src  += avctx->width;
312         ybuf += s->pic.linesize[0];
313     }
314
315     return 0;
316 }
317
318 static int xan_decode_frame_type1(AVCodecContext *avctx)
319 {
320     XanContext *s = avctx->priv_data;
321     uint8_t *ybuf, *src = s->scratch_buffer;
322     int cur, last;
323     int i, j;
324     int ret;
325
326     if ((ret = xan_decode_chroma(avctx, bytestream2_get_le32(&s->gb))) != 0)
327         return ret;
328
329     bytestream2_seek(&s->gb, 16, SEEK_SET);
330     ret = xan_unpack_luma(s, src,
331                           s->buffer_size >> 1);
332     if (ret) {
333         av_log(avctx, AV_LOG_ERROR, "Luma decoding failed\n");
334         return ret;
335     }
336
337     ybuf = s->y_buffer;
338     for (i = 0; i < avctx->height; i++) {
339         last = (ybuf[0] + (*src++ << 1)) & 0x3F;
340         ybuf[0] = last;
341         for (j = 1; j < avctx->width - 1; j += 2) {
342             cur = (ybuf[j + 1] + (*src++ << 1)) & 0x3F;
343             ybuf[j]   = (last + cur) >> 1;
344             ybuf[j+1] = cur;
345             last = cur;
346         }
347         ybuf[j] = last;
348         ybuf += avctx->width;
349     }
350
351     src = s->y_buffer;
352     ybuf = s->pic.data[0];
353     for (j = 0; j < avctx->height; j++) {
354         for (i = 0; i < avctx->width; i++)
355             ybuf[i] = (src[i] << 2) | (src[i] >> 3);
356         src  += avctx->width;
357         ybuf += s->pic.linesize[0];
358     }
359
360     return 0;
361 }
362
363 static int xan_decode_frame(AVCodecContext *avctx,
364                             void *data, int *data_size,
365                             AVPacket *avpkt)
366 {
367     XanContext *s = avctx->priv_data;
368     int ftype;
369     int ret;
370
371     s->pic.reference = 1;
372     s->pic.buffer_hints = FF_BUFFER_HINTS_VALID |
373                           FF_BUFFER_HINTS_PRESERVE |
374                           FF_BUFFER_HINTS_REUSABLE;
375     if ((ret = avctx->reget_buffer(avctx, &s->pic))) {
376         av_log(s->avctx, AV_LOG_ERROR, "reget_buffer() failed\n");
377         return ret;
378     }
379
380     bytestream2_init(&s->gb, avpkt->data, avpkt->size);
381     ftype = bytestream2_get_le32(&s->gb);
382     switch (ftype) {
383     case 0:
384         ret = xan_decode_frame_type0(avctx);
385         break;
386     case 1:
387         ret = xan_decode_frame_type1(avctx);
388         break;
389     default:
390         av_log(avctx, AV_LOG_ERROR, "Unknown frame type %d\n", ftype);
391         return -1;
392     }
393     if (ret)
394         return ret;
395
396     *data_size = sizeof(AVFrame);
397     *(AVFrame*)data = s->pic;
398
399     return avpkt->size;
400 }
401
402 static av_cold int xan_decode_end(AVCodecContext *avctx)
403 {
404     XanContext *s = avctx->priv_data;
405
406     if (s->pic.data[0])
407         avctx->release_buffer(avctx, &s->pic);
408
409     av_freep(&s->y_buffer);
410     av_freep(&s->scratch_buffer);
411
412     return 0;
413 }
414
415 AVCodec ff_xan_wc4_decoder = {
416     .name           = "xan_wc4",
417     .type           = AVMEDIA_TYPE_VIDEO,
418     .id             = CODEC_ID_XAN_WC4,
419     .priv_data_size = sizeof(XanContext),
420     .init           = xan_decode_init,
421     .close          = xan_decode_end,
422     .decode         = xan_decode_frame,
423     .capabilities   = CODEC_CAP_DR1,
424     .long_name      = NULL_IF_CONFIG_SMALL("Wing Commander IV / Xxan"),
425 };