b0fae2f5ef91e7bd0755668abcee6141bc806189
[ffmpeg.git] / libavcodec / dxtory.c
1 /*
2  * Dxtory decoder
3  *
4  * Copyright (c) 2011 Konstantin Shishkov
5  *
6  * This file is part of Libav.
7  *
8  * Libav is free software; you can redistribute it and/or
9  * modify it under the terms of the GNU Lesser General Public
10  * License as published by the Free Software Foundation; either
11  * version 2.1 of the License, or (at your option) any later version.
12  *
13  * Libav is distributed in the hope that it will be useful,
14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
16  * Lesser General Public License for more details.
17  *
18  * You should have received a copy of the GNU Lesser General Public
19  * License along with Libav; if not, write to the Free Software
20  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
21  */
22
23 #include <inttypes.h>
24
25 #include "libavutil/common.h"
26 #include "libavutil/intreadwrite.h"
27
28 #define BITSTREAM_READER_LE
29 #include "avcodec.h"
30 #include "bytestream.h"
31 #include "get_bits.h"
32 #include "internal.h"
33 #include "unary_legacy.h"
34
35 static int dxtory_decode_v1_rgb(AVCodecContext *avctx, AVFrame *pic,
36                                 const uint8_t *src, int src_size,
37                                 int id, int bpp)
38 {
39     int h;
40     uint8_t *dst;
41     int ret;
42
43     if (src_size < avctx->width * avctx->height * bpp) {
44         av_log(avctx, AV_LOG_ERROR, "packet too small\n");
45         return AVERROR_INVALIDDATA;
46     }
47
48     avctx->pix_fmt = id;
49     if ((ret = ff_get_buffer(avctx, pic, 0)) < 0)
50         return ret;
51
52     dst = pic->data[0];
53     for (h = 0; h < avctx->height; h++) {
54         memcpy(dst, src, avctx->width * bpp);
55         src += avctx->width * bpp;
56         dst += pic->linesize[0];
57     }
58
59     return 0;
60 }
61
62 static int dxtory_decode_v1_410(AVCodecContext *avctx, AVFrame *pic,
63                                 const uint8_t *src, int src_size)
64 {
65     int h, w;
66     uint8_t *Y1, *Y2, *Y3, *Y4, *U, *V;
67     int ret;
68
69     if (src_size < avctx->width * avctx->height * 18 / 16) {
70         av_log(avctx, AV_LOG_ERROR, "packet too small\n");
71         return AVERROR_INVALIDDATA;
72     }
73
74     avctx->pix_fmt = AV_PIX_FMT_YUV410P;
75     if ((ret = ff_get_buffer(avctx, pic, 0)) < 0)
76         return ret;
77
78     Y1 = pic->data[0];
79     Y2 = pic->data[0] + pic->linesize[0];
80     Y3 = pic->data[0] + pic->linesize[0] * 2;
81     Y4 = pic->data[0] + pic->linesize[0] * 3;
82     U  = pic->data[1];
83     V  = pic->data[2];
84     for (h = 0; h < avctx->height; h += 4) {
85         for (w = 0; w < avctx->width; w += 4) {
86             AV_COPY32(Y1 + w, src);
87             AV_COPY32(Y2 + w, src + 4);
88             AV_COPY32(Y3 + w, src + 8);
89             AV_COPY32(Y4 + w, src + 12);
90             U[w >> 2] = src[16] + 0x80;
91             V[w >> 2] = src[17] + 0x80;
92             src += 18;
93         }
94         Y1 += pic->linesize[0] << 2;
95         Y2 += pic->linesize[0] << 2;
96         Y3 += pic->linesize[0] << 2;
97         Y4 += pic->linesize[0] << 2;
98         U  += pic->linesize[1];
99         V  += pic->linesize[2];
100     }
101
102     return 0;
103 }
104
105 static int dxtory_decode_v1_420(AVCodecContext *avctx, AVFrame *pic,
106                                 const uint8_t *src, int src_size)
107 {
108     int h, w;
109     uint8_t *Y1, *Y2, *U, *V;
110     int ret;
111
112     if (src_size < avctx->width * avctx->height * 3 / 2) {
113         av_log(avctx, AV_LOG_ERROR, "packet too small\n");
114         return AVERROR_INVALIDDATA;
115     }
116
117     avctx->pix_fmt = AV_PIX_FMT_YUV420P;
118     if ((ret = ff_get_buffer(avctx, pic, 0)) < 0)
119         return ret;
120
121     Y1 = pic->data[0];
122     Y2 = pic->data[0] + pic->linesize[0];
123     U  = pic->data[1];
124     V  = pic->data[2];
125     for (h = 0; h < avctx->height; h += 2) {
126         for (w = 0; w < avctx->width; w += 2) {
127             AV_COPY16(Y1 + w, src);
128             AV_COPY16(Y2 + w, src + 2);
129             U[w >> 1] = src[4] + 0x80;
130             V[w >> 1] = src[5] + 0x80;
131             src += 6;
132         }
133         Y1 += pic->linesize[0] << 1;
134         Y2 += pic->linesize[0] << 1;
135         U  += pic->linesize[1];
136         V  += pic->linesize[2];
137     }
138
139     return 0;
140 }
141
142 static int dxtory_decode_v1_444(AVCodecContext *avctx, AVFrame *pic,
143                                 const uint8_t *src, int src_size)
144 {
145     int h, w;
146     uint8_t *Y, *U, *V;
147     int ret;
148
149     if (src_size < avctx->width * avctx->height * 3) {
150         av_log(avctx, AV_LOG_ERROR, "packet too small\n");
151         return AVERROR_INVALIDDATA;
152     }
153
154     avctx->pix_fmt = AV_PIX_FMT_YUV444P;
155     if ((ret = ff_get_buffer(avctx, pic, 0)) < 0)
156         return ret;
157
158     Y = pic->data[0];
159     U = pic->data[1];
160     V = pic->data[2];
161     for (h = 0; h < avctx->height; h++) {
162         for (w = 0; w < avctx->width; w++) {
163             Y[w] = *src++;
164             U[w] = *src++ ^ 0x80;
165             V[w] = *src++ ^ 0x80;
166         }
167         Y += pic->linesize[0];
168         U += pic->linesize[1];
169         V += pic->linesize[2];
170     }
171
172     return 0;
173 }
174
175 static const uint8_t def_lru[8] = { 0x00, 0x20, 0x40, 0x60, 0x80, 0xA0, 0xC0, 0xFF };
176 static const uint8_t def_lru_555[8] = { 0x00, 0x08, 0x10, 0x18, 0x1F };
177 static const uint8_t def_lru_565[8] = { 0x00, 0x08, 0x10, 0x20, 0x30, 0x3F };
178
179 static inline uint8_t decode_sym(GetBitContext *gb, uint8_t lru[8])
180 {
181     uint8_t c, val;
182
183     c = get_unary(gb, 0, 8);
184     if (!c) {
185         val = get_bits(gb, 8);
186         memmove(lru + 1, lru, sizeof(*lru) * (8 - 1));
187     } else {
188         val = lru[c - 1];
189         memmove(lru + 1, lru, sizeof(*lru) * (c - 1));
190     }
191     lru[0] = val;
192
193     return val;
194 }
195
196 static int check_slice_size(AVCodecContext *avctx,
197                             const uint8_t *src, int src_size,
198                             int slice_size, int off)
199 {
200     int cur_slice_size;
201
202     if (slice_size > src_size - off) {
203         av_log(avctx, AV_LOG_ERROR,
204                "invalid slice size %d (only %d bytes left)\n",
205                slice_size, src_size - off);
206         return AVERROR_INVALIDDATA;
207     }
208     if (slice_size <= 16) {
209         av_log(avctx, AV_LOG_ERROR, "invalid slice size %d\n",
210                slice_size);
211         return AVERROR_INVALIDDATA;
212     }
213
214     cur_slice_size = AV_RL32(src + off);
215     if (cur_slice_size != slice_size - 16) {
216         av_log(avctx, AV_LOG_ERROR,
217                "Slice sizes mismatch: got %d instead of %d\n",
218                cur_slice_size, slice_size - 16);
219     }
220
221     return 0;
222 }
223
224 static int load_buffer(AVCodecContext *avctx,
225                        const uint8_t *src, int src_size,
226                        GetByteContext *gb,
227                        int *nslices, int *off)
228 {
229     bytestream2_init(gb, src, src_size);
230     *nslices = bytestream2_get_le16(gb);
231     *off = FFALIGN(*nslices * 4 + 2, 16);
232     if (src_size < *off) {
233         av_log(avctx, AV_LOG_ERROR, "no slice data\n");
234         return AVERROR_INVALIDDATA;
235     }
236
237     if (!*nslices) {
238         avpriv_request_sample(avctx, "%d slices for %dx%d", *nslices,
239                               avctx->width, avctx->height);
240         return AVERROR_PATCHWELCOME;
241     }
242
243     return 0;
244 }
245
246 static inline uint8_t decode_sym_565(GetBitContext *gb, uint8_t lru[8],
247                                      int bits)
248 {
249     uint8_t c, val;
250
251     c = get_unary(gb, 0, bits);
252     if (!c) {
253         val = get_bits(gb, bits);
254         memmove(lru + 1, lru, sizeof(*lru) * (6 - 1));
255     } else {
256         val = lru[c - 1];
257         memmove(lru + 1, lru, sizeof(*lru) * (c - 1));
258     }
259     lru[0] = val;
260
261     return val;
262 }
263
264 typedef int (*decode_slice_func)(GetBitContext *gb, AVFrame *frame,
265                                  int line, int height, uint8_t lru[3][8]);
266
267 typedef void (*setup_lru_func)(uint8_t lru[3][8]);
268
269 static int dxtory_decode_v2(AVCodecContext *avctx, AVFrame *pic,
270                             const uint8_t *src, int src_size,
271                             decode_slice_func decode_slice,
272                             setup_lru_func setup_lru,
273                             enum AVPixelFormat fmt)
274 {
275     GetByteContext gb;
276     GetBitContext  gb2;
277     int nslices, slice, line = 0;
278     uint32_t off, slice_size;
279     uint8_t lru[3][8];
280     int ret;
281
282     ret = load_buffer(avctx, src, src_size, &gb, &nslices, &off);
283     if (ret < 0)
284         return ret;
285
286     avctx->pix_fmt = fmt;
287     if ((ret = ff_get_buffer(avctx, pic, 0)) < 0)
288         return ret;
289
290     for (slice = 0; slice < nslices; slice++) {
291         slice_size = bytestream2_get_le32(&gb);
292
293         setup_lru(lru);
294
295         ret = check_slice_size(avctx, src, src_size, slice_size, off);
296         if (ret < 0)
297             return ret;
298
299         init_get_bits(&gb2, src + off + 16, (slice_size - 16) * 8);
300
301         line += decode_slice(&gb2, pic, line, avctx->height - line, lru);
302
303         off += slice_size;
304     }
305
306     if (avctx->height - line) {
307         av_log(avctx, AV_LOG_VERBOSE,
308                "Not enough slice data available, "
309                "cropping the frame by %d pixels\n",
310                 avctx->height - line);
311         avctx->height = line;
312     }
313
314     return 0;
315 }
316
317 av_always_inline
318 static int dx2_decode_slice_5x5(GetBitContext *gb, AVFrame *frame,
319                                 int line, int left, uint8_t lru[3][8],
320                                 int is_565)
321 {
322     int x, y;
323     int r, g, b;
324     int width    = frame->width;
325     int stride   = frame->linesize[0];
326     uint8_t *dst = frame->data[0] + stride * line;
327
328     for (y = 0; y < left && get_bits_left(gb) > 16; y++) {
329         for (x = 0; x < width; x++) {
330             b = decode_sym_565(gb, lru[0], 5);
331             g = decode_sym_565(gb, lru[1], is_565 ? 6 : 5);
332             r = decode_sym_565(gb, lru[2], 5);
333             dst[x * 3 + 0] = (r << 3) | (r >> 2);
334             dst[x * 3 + 1] = is_565 ? (g << 2) | (g >> 4) : (g << 3) | (g >> 2);
335             dst[x * 3 + 2] = (b << 3) | (b >> 2);
336         }
337
338         dst += stride;
339     }
340
341     return y;
342 }
343
344 static void setup_lru_555(uint8_t lru[3][8])
345 {
346     memcpy(lru[0], def_lru_555, 8 * sizeof(*def_lru));
347     memcpy(lru[1], def_lru_555, 8 * sizeof(*def_lru));
348     memcpy(lru[2], def_lru_555, 8 * sizeof(*def_lru));
349 }
350
351 static void setup_lru_565(uint8_t lru[3][8])
352 {
353     memcpy(lru[0], def_lru_555, 8 * sizeof(*def_lru));
354     memcpy(lru[1], def_lru_565, 8 * sizeof(*def_lru));
355     memcpy(lru[2], def_lru_555, 8 * sizeof(*def_lru));
356 }
357
358 static int dx2_decode_slice_555(GetBitContext *gb, AVFrame *frame,
359                                 int line, int left, uint8_t lru[3][8])
360 {
361     return dx2_decode_slice_5x5(gb, frame, line, left, lru, 0);
362 }
363
364 static int dx2_decode_slice_565(GetBitContext *gb, AVFrame *frame,
365                                 int line, int left, uint8_t lru[3][8])
366 {
367     return dx2_decode_slice_5x5(gb, frame, line, left, lru, 1);
368 }
369
370 static int dxtory_decode_v2_565(AVCodecContext *avctx, AVFrame *pic,
371                                 const uint8_t *src, int src_size, int is_565)
372 {
373     enum AVPixelFormat fmt = AV_PIX_FMT_RGB24;
374     if (is_565)
375         return dxtory_decode_v2(avctx, pic, src, src_size,
376                                 dx2_decode_slice_565,
377                                 setup_lru_565,
378                                 fmt);
379     else
380         return dxtory_decode_v2(avctx, pic, src, src_size,
381                                 dx2_decode_slice_555,
382                                 setup_lru_555,
383                                 fmt);
384 }
385
386 static int dx2_decode_slice_rgb(GetBitContext *gb, AVFrame *frame,
387                                 int line, int left, uint8_t lru[3][8])
388 {
389     int x, y;
390     int width    = frame->width;
391     int stride   = frame->linesize[0];
392     uint8_t *dst = frame->data[0] + stride * line;
393
394     for (y = 0; y < left && get_bits_left(gb) > 16; y++) {
395         for (x = 0; x < width; x++) {
396             dst[x * 3 + 0] = decode_sym(gb, lru[0]);
397             dst[x * 3 + 1] = decode_sym(gb, lru[1]);
398             dst[x * 3 + 2] = decode_sym(gb, lru[2]);
399         }
400
401         dst += stride;
402     }
403
404     return y;
405 }
406
407 static void default_setup_lru(uint8_t lru[3][8])
408 {
409     int i;
410
411     for (i = 0; i < 3; i++)
412         memcpy(lru[i], def_lru, 8 * sizeof(*def_lru));
413 }
414
415 static int dxtory_decode_v2_rgb(AVCodecContext *avctx, AVFrame *pic,
416                                 const uint8_t *src, int src_size)
417 {
418     return dxtory_decode_v2(avctx, pic, src, src_size,
419                             dx2_decode_slice_rgb,
420                             default_setup_lru,
421                             AV_PIX_FMT_BGR24);
422 }
423
424 static int dx2_decode_slice_410(GetBitContext *gb, AVFrame *frame,
425                                 int line, int left,
426                                 uint8_t lru[3][8])
427 {
428     int x, y, i, j;
429     int width   = frame->width;
430
431     int ystride = frame->linesize[0];
432     int ustride = frame->linesize[1];
433     int vstride = frame->linesize[2];
434
435     uint8_t *Y  = frame->data[0] + ystride * line;
436     uint8_t *U  = frame->data[1] + (ustride >> 2) * line;
437     uint8_t *V  = frame->data[2] + (vstride >> 2) * line;
438
439     for (y = 0; y < left - 3 && get_bits_left(gb) > 16; y += 4) {
440         for (x = 0; x < width; x += 4) {
441             for (j = 0; j < 4; j++)
442                 for (i = 0; i < 4; i++)
443                     Y[x + i + j * ystride] = decode_sym(gb, lru[0]);
444             U[x >> 2] = decode_sym(gb, lru[1]) ^ 0x80;
445             V[x >> 2] = decode_sym(gb, lru[2]) ^ 0x80;
446         }
447
448         Y += ystride << 2;
449         U += ustride;
450         V += vstride;
451     }
452
453     return y;
454 }
455
456
457 static int dxtory_decode_v2_410(AVCodecContext *avctx, AVFrame *pic,
458                                 const uint8_t *src, int src_size)
459 {
460     return dxtory_decode_v2(avctx, pic, src, src_size,
461                             dx2_decode_slice_410,
462                             default_setup_lru,
463                             AV_PIX_FMT_YUV410P);
464 }
465
466 static int dx2_decode_slice_420(GetBitContext *gb, AVFrame *frame,
467                                 int line, int left,
468                                 uint8_t lru[3][8])
469 {
470     int x, y;
471
472     int width    = frame->width;
473
474     int ystride = frame->linesize[0];
475     int ustride = frame->linesize[1];
476     int vstride = frame->linesize[2];
477
478     uint8_t *Y  = frame->data[0] + ystride * line;
479     uint8_t *U  = frame->data[1] + (ustride >> 1) * line;
480     uint8_t *V  = frame->data[2] + (vstride >> 1) * line;
481
482
483     for (y = 0; y < left - 1 && get_bits_left(gb) > 16; y += 2) {
484         for (x = 0; x < width; x += 2) {
485             Y[x + 0 + 0 * ystride] = decode_sym(gb, lru[0]);
486             Y[x + 1 + 0 * ystride] = decode_sym(gb, lru[0]);
487             Y[x + 0 + 1 * ystride] = decode_sym(gb, lru[0]);
488             Y[x + 1 + 1 * ystride] = decode_sym(gb, lru[0]);
489             U[x >> 1] = decode_sym(gb, lru[1]) ^ 0x80;
490             V[x >> 1] = decode_sym(gb, lru[2]) ^ 0x80;
491         }
492
493         Y += ystride << 1;
494         U += ustride;
495         V += vstride;
496     }
497
498     return y;
499 }
500
501 static int dxtory_decode_v2_420(AVCodecContext *avctx, AVFrame *pic,
502                                 const uint8_t *src, int src_size)
503 {
504     return dxtory_decode_v2(avctx, pic, src, src_size,
505                             dx2_decode_slice_420,
506                             default_setup_lru,
507                             AV_PIX_FMT_YUV420P);
508 }
509
510 static int dx2_decode_slice_444(GetBitContext *gb, AVFrame *frame,
511                                 int line, int left,
512                                 uint8_t lru[3][8])
513 {
514     int x, y;
515
516     int width   = frame->width;
517
518     int ystride = frame->linesize[0];
519     int ustride = frame->linesize[1];
520     int vstride = frame->linesize[2];
521
522     uint8_t *Y  = frame->data[0] + ystride * line;
523     uint8_t *U  = frame->data[1] + ustride * line;
524     uint8_t *V  = frame->data[2] + vstride * line;
525
526     for (y = 0; y < left && get_bits_left(gb) > 16; y++) {
527         for (x = 0; x < width; x++) {
528             Y[x] = decode_sym(gb, lru[0]);
529             U[x] = decode_sym(gb, lru[1]) ^ 0x80;
530             V[x] = decode_sym(gb, lru[2]) ^ 0x80;
531         }
532
533         Y += ystride;
534         U += ustride;
535         V += vstride;
536     }
537
538     return y;
539 }
540
541 static int dxtory_decode_v2_444(AVCodecContext *avctx, AVFrame *pic,
542                                 const uint8_t *src, int src_size)
543 {
544     return dxtory_decode_v2(avctx, pic, src, src_size,
545                             dx2_decode_slice_444,
546                             default_setup_lru,
547                             AV_PIX_FMT_YUV444P);
548 }
549
550 static int decode_frame(AVCodecContext *avctx, void *data, int *got_frame,
551                         AVPacket *avpkt)
552 {
553     AVFrame *pic = data;
554     const uint8_t *src = avpkt->data;
555     int ret;
556
557     if (avpkt->size < 16) {
558         av_log(avctx, AV_LOG_ERROR, "packet too small\n");
559         return AVERROR_INVALIDDATA;
560     }
561
562     switch (AV_RB32(src)) {
563     case 0x01000001:
564         ret = dxtory_decode_v1_rgb(avctx, pic, src + 16, avpkt->size - 16,
565                                    AV_PIX_FMT_BGR24, 3);
566         break;
567     case 0x01000009:
568         ret = dxtory_decode_v2_rgb(avctx, pic, src + 16, avpkt->size - 16);
569         break;
570     case 0x02000001:
571         ret = dxtory_decode_v1_420(avctx, pic, src + 16, avpkt->size - 16);
572         break;
573     case 0x02000009:
574         ret = dxtory_decode_v2_420(avctx, pic, src + 16, avpkt->size - 16);
575         break;
576     case 0x03000001:
577         ret = dxtory_decode_v1_410(avctx, pic, src + 16, avpkt->size - 16);
578         break;
579     case 0x03000009:
580         ret = dxtory_decode_v2_410(avctx, pic, src + 16, avpkt->size - 16);
581         break;
582     case 0x04000001:
583         ret = dxtory_decode_v1_444(avctx, pic, src + 16, avpkt->size - 16);
584         break;
585     case 0x04000009:
586         ret = dxtory_decode_v2_444(avctx, pic, src + 16, avpkt->size - 16);
587         break;
588     case 0x17000001:
589         ret = dxtory_decode_v1_rgb(avctx, pic, src + 16, avpkt->size - 16,
590                                    AV_PIX_FMT_RGB565LE, 2);
591         break;
592     case 0x17000009:
593         ret = dxtory_decode_v2_565(avctx, pic, src + 16, avpkt->size - 16, 1);
594         break;
595     case 0x18000001:
596     case 0x19000001:
597         ret = dxtory_decode_v1_rgb(avctx, pic, src + 16, avpkt->size - 16,
598                                    AV_PIX_FMT_RGB555LE, 2);
599         break;
600     case 0x18000009:
601     case 0x19000009:
602         ret = dxtory_decode_v2_565(avctx, pic, src + 16, avpkt->size - 16, 0);
603         break;
604     default:
605         avpriv_request_sample(avctx, "Frame header %"PRIX32, AV_RB32(src));
606         return AVERROR_PATCHWELCOME;
607     }
608
609     if (ret)
610         return ret;
611
612     pic->pict_type = AV_PICTURE_TYPE_I;
613     pic->key_frame = 1;
614     *got_frame = 1;
615
616     return avpkt->size;
617 }
618
619 AVCodec ff_dxtory_decoder = {
620     .name           = "dxtory",
621     .long_name      = NULL_IF_CONFIG_SMALL("Dxtory"),
622     .type           = AVMEDIA_TYPE_VIDEO,
623     .id             = AV_CODEC_ID_DXTORY,
624     .decode         = decode_frame,
625     .capabilities   = AV_CODEC_CAP_DR1,
626 };