Merge commit '759001c534287a96dc96d1e274665feb7059145d'
[ffmpeg.git] / libavcodec / flashsv.c
1 /*
2  * Flash Screen Video decoder
3  * Copyright (C) 2004 Alex Beregszaszi
4  * Copyright (C) 2006 Benjamin Larsson
5  *
6  * This file is part of FFmpeg.
7  *
8  * FFmpeg is free software; you can redistribute it and/or
9  * modify it under the terms of the GNU Lesser General Public
10  * License as published by the Free Software Foundation; either
11  * version 2.1 of the License, or (at your option) any later version.
12  *
13  * FFmpeg is distributed in the hope that it will be useful,
14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
16  * Lesser General Public License for more details.
17  *
18  * You should have received a copy of the GNU Lesser General Public
19  * License along with FFmpeg; if not, write to the Free Software
20  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
21  */
22
23 /**
24  * @file
25  * Flash Screen Video decoder
26  * @author Alex Beregszaszi
27  * @author Benjamin Larsson
28  * @author Daniel Verkamp
29  * @author Konstantin Shishkov
30  *
31  * A description of the bitstream format for Flash Screen Video version 1/2
32  * is part of the SWF File Format Specification (version 10), which can be
33  * downloaded from http://www.adobe.com/devnet/swf.html.
34  */
35
36 #include <stdio.h>
37 #include <stdlib.h>
38 #include <zlib.h>
39
40 #include "libavutil/intreadwrite.h"
41 #include "avcodec.h"
42 #include "bytestream.h"
43 #include "get_bits.h"
44 #include "internal.h"
45
46 typedef struct BlockInfo {
47     uint8_t *pos;
48     int      size;
49 } BlockInfo;
50
51 typedef struct FlashSVContext {
52     AVCodecContext *avctx;
53     AVFrame         frame;
54     int             image_width, image_height;
55     int             block_width, block_height;
56     uint8_t        *tmpblock;
57     int             block_size;
58     z_stream        zstream;
59     int             ver;
60     const uint32_t *pal;
61     int             is_keyframe;
62     uint8_t        *keyframedata;
63     uint8_t        *keyframe;
64     BlockInfo      *blocks;
65     uint8_t        *deflate_block;
66     int             deflate_block_size;
67     int             color_depth;
68     int             zlibprime_curr, zlibprime_prev;
69     int             diff_start, diff_height;
70 } FlashSVContext;
71
72
73 static int decode_hybrid(const uint8_t *sptr, uint8_t *dptr, int dx, int dy,
74                          int h, int w, int stride, const uint32_t *pal)
75 {
76     int x, y;
77     const uint8_t *orig_src = sptr;
78
79     for (y = dx+h; y > dx; y--) {
80         uint8_t *dst = dptr + (y * stride) + dy * 3;
81         for (x = 0; x < w; x++) {
82             if (*sptr & 0x80) {
83                 /* 15-bit color */
84                 unsigned c = AV_RB16(sptr) & ~0x8000;
85                 unsigned b =  c        & 0x1F;
86                 unsigned g = (c >>  5) & 0x1F;
87                 unsigned r =  c >> 10;
88                 /* 000aaabb -> aaabbaaa  */
89                 *dst++ = (b << 3) | (b >> 2);
90                 *dst++ = (g << 3) | (g >> 2);
91                 *dst++ = (r << 3) | (r >> 2);
92                 sptr += 2;
93             } else {
94                 /* palette index */
95                 uint32_t c = pal[*sptr++];
96                 bytestream_put_le24(&dst, c);
97             }
98         }
99     }
100     return sptr - orig_src;
101 }
102
103 static av_cold int flashsv_decode_init(AVCodecContext *avctx)
104 {
105     FlashSVContext *s = avctx->priv_data;
106     int zret; // Zlib return code
107
108     s->avctx          = avctx;
109     s->zstream.zalloc = Z_NULL;
110     s->zstream.zfree  = Z_NULL;
111     s->zstream.opaque = Z_NULL;
112     zret = inflateInit(&s->zstream);
113     if (zret != Z_OK) {
114         av_log(avctx, AV_LOG_ERROR, "Inflate init error: %d\n", zret);
115         return 1;
116     }
117     avctx->pix_fmt = AV_PIX_FMT_BGR24;
118     avcodec_get_frame_defaults(&s->frame);
119     s->frame.data[0] = NULL;
120
121     return 0;
122 }
123
124
125 static int flashsv2_prime(FlashSVContext *s, uint8_t *src, int size)
126 {
127     z_stream zs;
128     int zret; // Zlib return code
129
130     if (!src)
131         return AVERROR_INVALIDDATA;
132
133     zs.zalloc = NULL;
134     zs.zfree  = NULL;
135     zs.opaque = NULL;
136
137     s->zstream.next_in   = src;
138     s->zstream.avail_in  = size;
139     s->zstream.next_out  = s->tmpblock;
140     s->zstream.avail_out = s->block_size * 3;
141     inflate(&s->zstream, Z_SYNC_FLUSH);
142
143     if (deflateInit(&zs, 0) != Z_OK)
144         return -1;
145     zs.next_in   = s->tmpblock;
146     zs.avail_in  = s->block_size * 3 - s->zstream.avail_out;
147     zs.next_out  = s->deflate_block;
148     zs.avail_out = s->deflate_block_size;
149     deflate(&zs, Z_SYNC_FLUSH);
150     deflateEnd(&zs);
151
152     if ((zret = inflateReset(&s->zstream)) != Z_OK) {
153         av_log(s->avctx, AV_LOG_ERROR, "Inflate reset error: %d\n", zret);
154         return AVERROR_UNKNOWN;
155     }
156
157     s->zstream.next_in   = s->deflate_block;
158     s->zstream.avail_in  = s->deflate_block_size - zs.avail_out;
159     s->zstream.next_out  = s->tmpblock;
160     s->zstream.avail_out = s->block_size * 3;
161     inflate(&s->zstream, Z_SYNC_FLUSH);
162
163     return 0;
164 }
165
166 static int flashsv_decode_block(AVCodecContext *avctx, AVPacket *avpkt,
167                                 GetBitContext *gb, int block_size,
168                                 int width, int height, int x_pos, int y_pos,
169                                 int blk_idx)
170 {
171     struct FlashSVContext *s = avctx->priv_data;
172     uint8_t *line = s->tmpblock;
173     int k;
174     int ret = inflateReset(&s->zstream);
175     if (ret != Z_OK) {
176         av_log(avctx, AV_LOG_ERROR, "Inflate reset error: %d\n", ret);
177         return AVERROR_UNKNOWN;
178     }
179     if (s->zlibprime_curr || s->zlibprime_prev) {
180         ret = flashsv2_prime(s,
181                              s->blocks[blk_idx].pos,
182                              s->blocks[blk_idx].size);
183         if (ret < 0)
184             return ret;
185     }
186     s->zstream.next_in   = avpkt->data + get_bits_count(gb) / 8;
187     s->zstream.avail_in  = block_size;
188     s->zstream.next_out  = s->tmpblock;
189     s->zstream.avail_out = s->block_size * 3;
190     ret = inflate(&s->zstream, Z_FINISH);
191     if (ret == Z_DATA_ERROR) {
192         av_log(avctx, AV_LOG_ERROR, "Zlib resync occurred\n");
193         inflateSync(&s->zstream);
194         ret = inflate(&s->zstream, Z_FINISH);
195     }
196
197     if (ret != Z_OK && ret != Z_STREAM_END) {
198         //return -1;
199     }
200
201     if (s->is_keyframe) {
202         s->blocks[blk_idx].pos      = s->keyframedata + (get_bits_count(gb) / 8);
203         s->blocks[blk_idx].size     = block_size;
204     }
205     if (!s->color_depth) {
206         /* Flash Screen Video stores the image upside down, so copy
207          * lines to destination in reverse order. */
208         for (k = 1; k <= s->diff_height; k++) {
209             memcpy(s->frame.data[0] + x_pos * 3 +
210                    (s->image_height - y_pos - s->diff_start - k) * s->frame.linesize[0],
211                    line, width * 3);
212             /* advance source pointer to next line */
213             line += width * 3;
214         }
215     } else {
216         /* hybrid 15-bit/palette mode */
217         decode_hybrid(s->tmpblock, s->frame.data[0],
218                       s->image_height - (y_pos + 1 + s->diff_start + s->diff_height),
219                       x_pos, s->diff_height, width,
220                       s->frame.linesize[0], s->pal);
221     }
222     skip_bits_long(gb, 8 * block_size); /* skip the consumed bits */
223     return 0;
224 }
225
226 static int calc_deflate_block_size(int tmpblock_size)
227 {
228     z_stream zstream;
229     int size;
230
231     zstream.zalloc = Z_NULL;
232     zstream.zfree  = Z_NULL;
233     zstream.opaque = Z_NULL;
234     if (deflateInit(&zstream, 0) != Z_OK)
235         return -1;
236     size = deflateBound(&zstream, tmpblock_size);
237     deflateEnd(&zstream);
238
239     return size;
240 }
241
242 static int flashsv_decode_frame(AVCodecContext *avctx, void *data,
243                                 int *got_frame, AVPacket *avpkt)
244 {
245     int buf_size       = avpkt->size;
246     FlashSVContext *s  = avctx->priv_data;
247     int h_blocks, v_blocks, h_part, v_part, i, j, ret;
248     GetBitContext gb;
249     int last_blockwidth = s->block_width;
250     int last_blockheight= s->block_height;
251
252     /* no supplementary picture */
253     if (buf_size == 0)
254         return 0;
255     if (buf_size < 4)
256         return -1;
257
258     init_get_bits(&gb, avpkt->data, buf_size * 8);
259
260     /* start to parse the bitstream */
261     s->block_width  = 16 * (get_bits(&gb,  4) + 1);
262     s->image_width  =       get_bits(&gb, 12);
263     s->block_height = 16 * (get_bits(&gb,  4) + 1);
264     s->image_height =       get_bits(&gb, 12);
265
266     if (   last_blockwidth != s->block_width
267         || last_blockheight!= s->block_height)
268         av_freep(&s->blocks);
269
270     if (s->ver == 2) {
271         skip_bits(&gb, 6);
272         if (get_bits1(&gb)) {
273             av_log_missing_feature(avctx, "iframe", 1);
274             return AVERROR_PATCHWELCOME;
275         }
276         if (get_bits1(&gb)) {
277             av_log_missing_feature(avctx, "Custom palette", 1);
278             return AVERROR_PATCHWELCOME;
279         }
280     }
281
282     /* calculate number of blocks and size of border (partial) blocks */
283     h_blocks = s->image_width  / s->block_width;
284     h_part   = s->image_width  % s->block_width;
285     v_blocks = s->image_height / s->block_height;
286     v_part   = s->image_height % s->block_height;
287
288     /* the block size could change between frames, make sure the buffer
289      * is large enough, if not, get a larger one */
290     if (s->block_size < s->block_width * s->block_height) {
291         int tmpblock_size = 3 * s->block_width * s->block_height;
292
293         s->tmpblock = av_realloc(s->tmpblock, tmpblock_size);
294         if (!s->tmpblock) {
295             av_log(avctx, AV_LOG_ERROR, "Can't allocate decompression buffer.\n");
296             return AVERROR(ENOMEM);
297         }
298         if (s->ver == 2) {
299             s->deflate_block_size = calc_deflate_block_size(tmpblock_size);
300             if (s->deflate_block_size <= 0) {
301                 av_log(avctx, AV_LOG_ERROR, "Can't determine deflate buffer size.\n");
302                 return -1;
303             }
304             s->deflate_block = av_realloc(s->deflate_block, s->deflate_block_size);
305             if (!s->deflate_block) {
306                 av_log(avctx, AV_LOG_ERROR, "Can't allocate deflate buffer.\n");
307                 return AVERROR(ENOMEM);
308             }
309         }
310     }
311     s->block_size = s->block_width * s->block_height;
312
313     /* initialize the image size once */
314     if (avctx->width == 0 && avctx->height == 0) {
315         avcodec_set_dimensions(avctx, s->image_width, s->image_height);
316     }
317
318     /* check for changes of image width and image height */
319     if (avctx->width != s->image_width || avctx->height != s->image_height) {
320         av_log(avctx, AV_LOG_ERROR,
321                "Frame width or height differs from first frame!\n");
322         av_log(avctx, AV_LOG_ERROR, "fh = %d, fv %d  vs  ch = %d, cv = %d\n",
323                avctx->height, avctx->width, s->image_height, s->image_width);
324         return AVERROR_INVALIDDATA;
325     }
326
327     /* we care for keyframes only in Screen Video v2 */
328     s->is_keyframe = (avpkt->flags & AV_PKT_FLAG_KEY) && (s->ver == 2);
329     if (s->is_keyframe) {
330         s->keyframedata = av_realloc(s->keyframedata, avpkt->size);
331         memcpy(s->keyframedata, avpkt->data, avpkt->size);
332     }
333     if(s->ver == 2 && !s->blocks)
334         s->blocks = av_mallocz((v_blocks + !!v_part) * (h_blocks + !!h_part)
335                                 * sizeof(s->blocks[0]));
336
337     av_dlog(avctx, "image: %dx%d block: %dx%d num: %dx%d part: %dx%d\n",
338             s->image_width, s->image_height, s->block_width, s->block_height,
339             h_blocks, v_blocks, h_part, v_part);
340
341     if ((ret = ff_reget_buffer(avctx, &s->frame)) < 0) {
342         av_log(avctx, AV_LOG_ERROR, "reget_buffer() failed\n");
343         return ret;
344     }
345
346     /* loop over all block columns */
347     for (j = 0; j < v_blocks + (v_part ? 1 : 0); j++) {
348
349         int y_pos  = j * s->block_height; // vertical position in frame
350         int cur_blk_height = (j < v_blocks) ? s->block_height : v_part;
351
352         /* loop over all block rows */
353         for (i = 0; i < h_blocks + (h_part ? 1 : 0); i++) {
354             int x_pos = i * s->block_width; // horizontal position in frame
355             int cur_blk_width = (i < h_blocks) ? s->block_width : h_part;
356             int has_diff = 0;
357
358             /* get the size of the compressed zlib chunk */
359             int size = get_bits(&gb, 16);
360
361             s->color_depth    = 0;
362             s->zlibprime_curr = 0;
363             s->zlibprime_prev = 0;
364             s->diff_start     = 0;
365             s->diff_height    = cur_blk_height;
366
367             if (8 * size > get_bits_left(&gb)) {
368                 av_frame_unref(&s->frame);
369                 return AVERROR_INVALIDDATA;
370             }
371
372             if (s->ver == 2 && size) {
373                 skip_bits(&gb, 3);
374                 s->color_depth    = get_bits(&gb, 2);
375                 has_diff          = get_bits1(&gb);
376                 s->zlibprime_curr = get_bits1(&gb);
377                 s->zlibprime_prev = get_bits1(&gb);
378
379                 if (s->color_depth != 0 && s->color_depth != 2) {
380                     av_log(avctx, AV_LOG_ERROR,
381                            "%dx%d invalid color depth %d\n", i, j, s->color_depth);
382                     return AVERROR_INVALIDDATA;
383                 }
384
385                 if (has_diff) {
386                     if (!s->keyframe) {
387                         av_log(avctx, AV_LOG_ERROR,
388                                "inter frame without keyframe\n");
389                         return AVERROR_INVALIDDATA;
390                     }
391                     s->diff_start  = get_bits(&gb, 8);
392                     s->diff_height = get_bits(&gb, 8);
393                     av_log(avctx, AV_LOG_DEBUG,
394                            "%dx%d diff start %d height %d\n",
395                            i, j, s->diff_start, s->diff_height);
396                     size -= 2;
397                 }
398
399                 if (s->zlibprime_prev)
400                     av_log(avctx, AV_LOG_DEBUG, "%dx%d zlibprime_prev\n", i, j);
401
402                 if (s->zlibprime_curr) {
403                     int col = get_bits(&gb, 8);
404                     int row = get_bits(&gb, 8);
405                     av_log(avctx, AV_LOG_DEBUG, "%dx%d zlibprime_curr %dx%d\n", i, j, col, row);
406                     size -= 2;
407                     av_log_missing_feature(avctx, "zlibprime_curr", 1);
408                     return AVERROR_PATCHWELCOME;
409                 }
410                 if (!s->blocks && (s->zlibprime_curr || s->zlibprime_prev)) {
411                     av_log(avctx, AV_LOG_ERROR, "no data available for zlib "
412                            "priming\n");
413                     return AVERROR_INVALIDDATA;
414                 }
415                 size--; // account for flags byte
416             }
417
418             if (has_diff) {
419                 int k;
420                 int off = (s->image_height - y_pos - 1) * s->frame.linesize[0];
421
422                 for (k = 0; k < cur_blk_height; k++)
423                     memcpy(s->frame.data[0] + off - k*s->frame.linesize[0] + x_pos*3,
424                            s->keyframe + off - k*s->frame.linesize[0] + x_pos*3,
425                            cur_blk_width * 3);
426             }
427
428             /* skip unchanged blocks, which have size 0 */
429             if (size) {
430                 if (flashsv_decode_block(avctx, avpkt, &gb, size,
431                                          cur_blk_width, cur_blk_height,
432                                          x_pos, y_pos,
433                                          i + j * (h_blocks + !!h_part)))
434                     av_log(avctx, AV_LOG_ERROR,
435                            "error in decompression of block %dx%d\n", i, j);
436             }
437         }
438     }
439     if (s->is_keyframe && s->ver == 2) {
440         if (!s->keyframe) {
441             s->keyframe = av_malloc(s->frame.linesize[0] * avctx->height);
442             if (!s->keyframe) {
443                 av_log(avctx, AV_LOG_ERROR, "Cannot allocate image data\n");
444                 return AVERROR(ENOMEM);
445             }
446         }
447         memcpy(s->keyframe, s->frame.data[0], s->frame.linesize[0] * avctx->height);
448     }
449
450     if ((ret = av_frame_ref(data, &s->frame)) < 0)
451         return ret;
452
453     *got_frame = 1;
454
455     if ((get_bits_count(&gb) / 8) != buf_size)
456         av_log(avctx, AV_LOG_ERROR, "buffer not fully consumed (%d != %d)\n",
457                buf_size, (get_bits_count(&gb) / 8));
458
459     /* report that the buffer was completely consumed */
460     return buf_size;
461 }
462
463
464 static av_cold int flashsv_decode_end(AVCodecContext *avctx)
465 {
466     FlashSVContext *s = avctx->priv_data;
467     inflateEnd(&s->zstream);
468     /* release the frame if needed */
469     av_frame_unref(&s->frame);
470
471     /* free the tmpblock */
472     av_free(s->tmpblock);
473
474     return 0;
475 }
476
477
478 #if CONFIG_FLASHSV_DECODER
479 AVCodec ff_flashsv_decoder = {
480     .name           = "flashsv",
481     .type           = AVMEDIA_TYPE_VIDEO,
482     .id             = AV_CODEC_ID_FLASHSV,
483     .priv_data_size = sizeof(FlashSVContext),
484     .init           = flashsv_decode_init,
485     .close          = flashsv_decode_end,
486     .decode         = flashsv_decode_frame,
487     .capabilities   = CODEC_CAP_DR1,
488     .pix_fmts       = (const enum AVPixelFormat[]){ AV_PIX_FMT_BGR24, AV_PIX_FMT_NONE },
489     .long_name      = NULL_IF_CONFIG_SMALL("Flash Screen Video v1"),
490 };
491 #endif /* CONFIG_FLASHSV_DECODER */
492
493 #if CONFIG_FLASHSV2_DECODER
494 static const uint32_t ff_flashsv2_default_palette[128] = {
495     0x000000, 0x333333, 0x666666, 0x999999, 0xCCCCCC, 0xFFFFFF,
496     0x330000, 0x660000, 0x990000, 0xCC0000, 0xFF0000, 0x003300,
497     0x006600, 0x009900, 0x00CC00, 0x00FF00, 0x000033, 0x000066,
498     0x000099, 0x0000CC, 0x0000FF, 0x333300, 0x666600, 0x999900,
499     0xCCCC00, 0xFFFF00, 0x003333, 0x006666, 0x009999, 0x00CCCC,
500     0x00FFFF, 0x330033, 0x660066, 0x990099, 0xCC00CC, 0xFF00FF,
501     0xFFFF33, 0xFFFF66, 0xFFFF99, 0xFFFFCC, 0xFF33FF, 0xFF66FF,
502     0xFF99FF, 0xFFCCFF, 0x33FFFF, 0x66FFFF, 0x99FFFF, 0xCCFFFF,
503     0xCCCC33, 0xCCCC66, 0xCCCC99, 0xCCCCFF, 0xCC33CC, 0xCC66CC,
504     0xCC99CC, 0xCCFFCC, 0x33CCCC, 0x66CCCC, 0x99CCCC, 0xFFCCCC,
505     0x999933, 0x999966, 0x9999CC, 0x9999FF, 0x993399, 0x996699,
506     0x99CC99, 0x99FF99, 0x339999, 0x669999, 0xCC9999, 0xFF9999,
507     0x666633, 0x666699, 0x6666CC, 0x6666FF, 0x663366, 0x669966,
508     0x66CC66, 0x66FF66, 0x336666, 0x996666, 0xCC6666, 0xFF6666,
509     0x333366, 0x333399, 0x3333CC, 0x3333FF, 0x336633, 0x339933,
510     0x33CC33, 0x33FF33, 0x663333, 0x993333, 0xCC3333, 0xFF3333,
511     0x003366, 0x336600, 0x660033, 0x006633, 0x330066, 0x663300,
512     0x336699, 0x669933, 0x993366, 0x339966, 0x663399, 0x996633,
513     0x6699CC, 0x99CC66, 0xCC6699, 0x66CC99, 0x9966CC, 0xCC9966,
514     0x99CCFF, 0xCCFF99, 0xFF99CC, 0x99FFCC, 0xCC99FF, 0xFFCC99,
515     0x111111, 0x222222, 0x444444, 0x555555, 0xAAAAAA, 0xBBBBBB,
516     0xDDDDDD, 0xEEEEEE
517 };
518
519 static av_cold int flashsv2_decode_init(AVCodecContext *avctx)
520 {
521     FlashSVContext *s = avctx->priv_data;
522     flashsv_decode_init(avctx);
523     s->pal = ff_flashsv2_default_palette;
524     s->ver = 2;
525
526     return 0;
527 }
528
529 static av_cold int flashsv2_decode_end(AVCodecContext *avctx)
530 {
531     FlashSVContext *s = avctx->priv_data;
532
533     av_freep(&s->keyframedata);
534     av_freep(&s->blocks);
535     av_freep(&s->keyframe);
536     av_freep(&s->deflate_block);
537     flashsv_decode_end(avctx);
538
539     return 0;
540 }
541
542 AVCodec ff_flashsv2_decoder = {
543     .name           = "flashsv2",
544     .type           = AVMEDIA_TYPE_VIDEO,
545     .id             = AV_CODEC_ID_FLASHSV2,
546     .priv_data_size = sizeof(FlashSVContext),
547     .init           = flashsv2_decode_init,
548     .close          = flashsv2_decode_end,
549     .decode         = flashsv_decode_frame,
550     .capabilities   = CODEC_CAP_DR1,
551     .pix_fmts       = (const enum AVPixelFormat[]){ AV_PIX_FMT_BGR24, AV_PIX_FMT_NONE },
552     .long_name      = NULL_IF_CONFIG_SMALL("Flash Screen Video v2"),
553 };
554 #endif /* CONFIG_FLASHSV2_DECODER */