df22f74feeb42b2eef9335abb51697d9583d530f
[ffmpeg.git] / libavcodec / vmdvideo.c
1 /*
2  * Sierra VMD video decoder
3  * Copyright (C) 2004 the ffmpeg project
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with FFmpeg; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 /**
23  * @file
24  * Sierra VMD video decoder
25  * by Vladimir "VAG" Gneushev (vagsoft at mail.ru)
26  * for more information on the Sierra VMD format, visit:
27  *   http://www.pcisys.net/~melanson/codecs/
28  *
29  * The video decoder outputs PAL8 colorspace data. The decoder expects
30  * a 0x330-byte VMD file header to be transmitted via extradata during
31  * codec initialization. Each encoded frame that is sent to this decoder
32  * is expected to be prepended with the appropriate 16-byte frame
33  * information record from the VMD file.
34  */
35
36 #include <string.h>
37
38 #include "libavutil/avassert.h"
39 #include "libavutil/common.h"
40 #include "libavutil/intreadwrite.h"
41
42 #include "avcodec.h"
43 #include "internal.h"
44 #include "bytestream.h"
45
46 #define VMD_HEADER_SIZE 0x330
47 #define PALETTE_COUNT 256
48
49 typedef struct VmdVideoContext {
50
51     AVCodecContext *avctx;
52     AVFrame *prev_frame;
53
54     const unsigned char *buf;
55     int size;
56
57     unsigned char palette[PALETTE_COUNT * 4];
58     unsigned char *unpack_buffer;
59     int unpack_buffer_size;
60
61     int x_off, y_off;
62 } VmdVideoContext;
63
64 #define QUEUE_SIZE 0x1000
65 #define QUEUE_MASK 0x0FFF
66
67 static int lz_unpack(const unsigned char *src, int src_len,
68                       unsigned char *dest, int dest_len)
69 {
70     unsigned char *d;
71     unsigned char *d_end;
72     unsigned char queue[QUEUE_SIZE];
73     unsigned int qpos;
74     unsigned int dataleft;
75     unsigned int chainofs;
76     unsigned int chainlen;
77     unsigned int speclen;
78     unsigned char tag;
79     unsigned int i, j;
80     GetByteContext gb;
81
82     bytestream2_init(&gb, src, src_len);
83     d = dest;
84     d_end = d + dest_len;
85     dataleft = bytestream2_get_le32(&gb);
86     memset(queue, 0x20, QUEUE_SIZE);
87     if (bytestream2_get_bytes_left(&gb) < 4)
88         return AVERROR_INVALIDDATA;
89     if (bytestream2_peek_le32(&gb) == 0x56781234) {
90         bytestream2_skipu(&gb, 4);
91         qpos = 0x111;
92         speclen = 0xF + 3;
93     } else {
94         qpos = 0xFEE;
95         speclen = 100;  /* no speclen */
96     }
97
98     while (dataleft > 0 && bytestream2_get_bytes_left(&gb) > 0) {
99         tag = bytestream2_get_byteu(&gb);
100         if ((tag == 0xFF) && (dataleft > 8)) {
101             if (d_end - d < 8 || bytestream2_get_bytes_left(&gb) < 8)
102                 return AVERROR_INVALIDDATA;
103             for (i = 0; i < 8; i++) {
104                 queue[qpos++] = *d++ = bytestream2_get_byteu(&gb);
105                 qpos &= QUEUE_MASK;
106             }
107             dataleft -= 8;
108         } else {
109             for (i = 0; i < 8; i++) {
110                 if (dataleft == 0)
111                     break;
112                 if (tag & 0x01) {
113                     if (d_end - d < 1 || bytestream2_get_bytes_left(&gb) < 1)
114                         return AVERROR_INVALIDDATA;
115                     queue[qpos++] = *d++ = bytestream2_get_byteu(&gb);
116                     qpos &= QUEUE_MASK;
117                     dataleft--;
118                 } else {
119                     chainofs = bytestream2_get_byte(&gb);
120                     chainofs |= ((bytestream2_peek_byte(&gb) & 0xF0) << 4);
121                     chainlen = (bytestream2_get_byte(&gb) & 0x0F) + 3;
122                     if (chainlen == speclen) {
123                         chainlen = bytestream2_get_byte(&gb) + 0xF + 3;
124                     }
125                     if (d_end - d < chainlen)
126                         return AVERROR_INVALIDDATA;
127                     for (j = 0; j < chainlen; j++) {
128                         *d = queue[chainofs++ & QUEUE_MASK];
129                         queue[qpos++] = *d++;
130                         qpos &= QUEUE_MASK;
131                     }
132                     dataleft -= chainlen;
133                 }
134                 tag >>= 1;
135             }
136         }
137     }
138     return d - dest;
139 }
140 static int rle_unpack(const unsigned char *src, unsigned char *dest,
141                       int src_count, int src_size, int dest_len)
142 {
143     unsigned char *pd;
144     int i, l, used = 0;
145     unsigned char *dest_end = dest + dest_len;
146     GetByteContext gb;
147     uint16_t run_val;
148
149     bytestream2_init(&gb, src, src_size);
150     pd = dest;
151     if (src_count & 1) {
152         if (bytestream2_get_bytes_left(&gb) < 1)
153             return 0;
154         *pd++ = bytestream2_get_byteu(&gb);
155         used++;
156     }
157
158     do {
159         if (bytestream2_get_bytes_left(&gb) < 1)
160             break;
161         l = bytestream2_get_byteu(&gb);
162         if (l & 0x80) {
163             l = (l & 0x7F) * 2;
164             if (dest_end - pd < l || bytestream2_get_bytes_left(&gb) < l)
165                 return bytestream2_tell(&gb);
166             bytestream2_get_bufferu(&gb, pd, l);
167             pd += l;
168         } else {
169             if (dest_end - pd < 2*l || bytestream2_get_bytes_left(&gb) < 2)
170                 return bytestream2_tell(&gb);
171             run_val = bytestream2_get_ne16(&gb);
172             for (i = 0; i < l; i++) {
173                 AV_WN16(pd, run_val);
174                 pd += 2;
175             }
176             l *= 2;
177         }
178         used += l;
179     } while (used < src_count);
180
181     return bytestream2_tell(&gb);
182 }
183
184 static int vmd_decode(VmdVideoContext *s, AVFrame *frame)
185 {
186     int i;
187     unsigned int *palette32;
188     unsigned char r, g, b;
189
190     GetByteContext gb;
191
192     unsigned char meth;
193     unsigned char *dp;   /* pointer to current frame */
194     unsigned char *pp;   /* pointer to previous frame */
195     unsigned char len;
196     int ofs;
197
198     int frame_x, frame_y;
199     int frame_width, frame_height;
200
201     frame_x = AV_RL16(&s->buf[6]);
202     frame_y = AV_RL16(&s->buf[8]);
203     frame_width = AV_RL16(&s->buf[10]) - frame_x + 1;
204     frame_height = AV_RL16(&s->buf[12]) - frame_y + 1;
205
206     if ((frame_width == s->avctx->width && frame_height == s->avctx->height) &&
207         (frame_x || frame_y)) {
208
209         s->x_off = frame_x;
210         s->y_off = frame_y;
211     }
212     frame_x -= s->x_off;
213     frame_y -= s->y_off;
214
215     if (frame_x < 0 || frame_width < 0 ||
216         frame_x >= s->avctx->width ||
217         frame_width > s->avctx->width ||
218         frame_x + frame_width > s->avctx->width) {
219         av_log(s->avctx, AV_LOG_ERROR,
220                "Invalid horizontal range %d-%d\n",
221                frame_x, frame_width);
222         return AVERROR_INVALIDDATA;
223     }
224     if (frame_y < 0 || frame_height < 0 ||
225         frame_y >= s->avctx->height ||
226         frame_height > s->avctx->height ||
227         frame_y + frame_height > s->avctx->height) {
228         av_log(s->avctx, AV_LOG_ERROR,
229                "Invalid vertical range %d-%d\n",
230                frame_x, frame_width);
231         return AVERROR_INVALIDDATA;
232     }
233
234     /* if only a certain region will be updated, copy the entire previous
235      * frame before the decode */
236     if (s->prev_frame->data[0] &&
237         (frame_x || frame_y || (frame_width != s->avctx->width) ||
238         (frame_height != s->avctx->height))) {
239
240         memcpy(frame->data[0], s->prev_frame->data[0],
241             s->avctx->height * frame->linesize[0]);
242     }
243
244     /* check if there is a new palette */
245     bytestream2_init(&gb, s->buf + 16, s->size - 16);
246     if (s->buf[15] & 0x02) {
247         bytestream2_skip(&gb, 2);
248         palette32 = (unsigned int *)s->palette;
249         if (bytestream2_get_bytes_left(&gb) >= PALETTE_COUNT * 3) {
250             for (i = 0; i < PALETTE_COUNT; i++) {
251                 r = bytestream2_get_byteu(&gb) * 4;
252                 g = bytestream2_get_byteu(&gb) * 4;
253                 b = bytestream2_get_byteu(&gb) * 4;
254                 palette32[i] = 0xFFU << 24 | (r << 16) | (g << 8) | (b);
255                 palette32[i] |= palette32[i] >> 6 & 0x30303;
256             }
257         } else {
258             av_log(s->avctx, AV_LOG_ERROR, "Incomplete palette\n");
259             return AVERROR_INVALIDDATA;
260         }
261     }
262
263     if (!s->size)
264         return 0;
265
266     /* originally UnpackFrame in VAG's code */
267     if (bytestream2_get_bytes_left(&gb) < 1)
268         return AVERROR_INVALIDDATA;
269     meth = bytestream2_get_byteu(&gb);
270     if (meth & 0x80) {
271         int size;
272         if (!s->unpack_buffer_size) {
273             av_log(s->avctx, AV_LOG_ERROR,
274                    "Trying to unpack LZ-compressed frame with no LZ buffer\n");
275             return AVERROR_INVALIDDATA;
276         }
277         size = lz_unpack(gb.buffer, bytestream2_get_bytes_left(&gb),
278                          s->unpack_buffer, s->unpack_buffer_size);
279         if (size < 0)
280             return size;
281         meth &= 0x7F;
282         bytestream2_init(&gb, s->unpack_buffer, size);
283     }
284
285     dp = &frame->data[0][frame_y * frame->linesize[0] + frame_x];
286     pp = &s->prev_frame->data[0][frame_y * s->prev_frame->linesize[0] + frame_x];
287     switch (meth) {
288     case 1:
289         for (i = 0; i < frame_height; i++) {
290             ofs = 0;
291             do {
292                 len = bytestream2_get_byte(&gb);
293                 if (len & 0x80) {
294                     len = (len & 0x7F) + 1;
295                     if (ofs + len > frame_width ||
296                         bytestream2_get_bytes_left(&gb) < len)
297                         return AVERROR_INVALIDDATA;
298                     bytestream2_get_bufferu(&gb, &dp[ofs], len);
299                     ofs += len;
300                 } else {
301                     /* interframe pixel copy */
302                     if (ofs + len + 1 > frame_width || !s->prev_frame->data[0])
303                         return AVERROR_INVALIDDATA;
304                     memcpy(&dp[ofs], &pp[ofs], len + 1);
305                     ofs += len + 1;
306                 }
307             } while (ofs < frame_width);
308             if (ofs > frame_width) {
309                 av_log(s->avctx, AV_LOG_ERROR,
310                        "offset > width (%d > %d)\n",
311                        ofs, frame_width);
312                 return AVERROR_INVALIDDATA;
313             }
314             dp += frame->linesize[0];
315             pp += s->prev_frame->linesize[0];
316         }
317         break;
318
319     case 2:
320         for (i = 0; i < frame_height; i++) {
321             bytestream2_get_buffer(&gb, dp, frame_width);
322             dp += frame->linesize[0];
323             pp += s->prev_frame->linesize[0];
324         }
325         break;
326
327     case 3:
328         for (i = 0; i < frame_height; i++) {
329             ofs = 0;
330             do {
331                 len = bytestream2_get_byte(&gb);
332                 if (len & 0x80) {
333                     len = (len & 0x7F) + 1;
334                     if (bytestream2_peek_byte(&gb) == 0xFF) {
335                         int slen = len;
336                         bytestream2_get_byte(&gb);
337                         len = rle_unpack(gb.buffer, &dp[ofs],
338                                          len, bytestream2_get_bytes_left(&gb),
339                                          frame_width - ofs);
340                         ofs += slen;
341                         bytestream2_skip(&gb, len);
342                     } else {
343                         bytestream2_get_buffer(&gb, &dp[ofs], len);
344                         ofs += len;
345                     }
346                 } else {
347                     /* interframe pixel copy */
348                     if (ofs + len + 1 > frame_width || !s->prev_frame->data[0])
349                         return AVERROR_INVALIDDATA;
350                     memcpy(&dp[ofs], &pp[ofs], len + 1);
351                     ofs += len + 1;
352                 }
353             } while (ofs < frame_width);
354             if (ofs > frame_width) {
355                 av_log(s->avctx, AV_LOG_ERROR,
356                        "offset > width (%d > %d)\n",
357                        ofs, frame_width);
358                 return AVERROR_INVALIDDATA;
359             }
360             dp += frame->linesize[0];
361             pp += s->prev_frame->linesize[0];
362         }
363         break;
364     }
365     return 0;
366 }
367
368 static av_cold int vmdvideo_decode_end(AVCodecContext *avctx)
369 {
370     VmdVideoContext *s = avctx->priv_data;
371
372     av_frame_free(&s->prev_frame);
373     av_freep(&s->unpack_buffer);
374     s->unpack_buffer_size = 0;
375
376     return 0;
377 }
378
379 static av_cold int vmdvideo_decode_init(AVCodecContext *avctx)
380 {
381     VmdVideoContext *s = avctx->priv_data;
382     int i;
383     unsigned int *palette32;
384     int palette_index = 0;
385     unsigned char r, g, b;
386     unsigned char *vmd_header;
387     unsigned char *raw_palette;
388
389     s->avctx = avctx;
390     avctx->pix_fmt = AV_PIX_FMT_PAL8;
391
392     /* make sure the VMD header made it */
393     if (s->avctx->extradata_size != VMD_HEADER_SIZE) {
394         av_log(s->avctx, AV_LOG_ERROR, "expected extradata size of %d\n",
395             VMD_HEADER_SIZE);
396         return AVERROR_INVALIDDATA;
397     }
398     vmd_header = (unsigned char *)avctx->extradata;
399
400     s->unpack_buffer_size = AV_RL32(&vmd_header[800]);
401     if (s->unpack_buffer_size) {
402         s->unpack_buffer = av_malloc(s->unpack_buffer_size);
403         if (!s->unpack_buffer)
404             return AVERROR(ENOMEM);
405     }
406
407     /* load up the initial palette */
408     raw_palette = &vmd_header[28];
409     palette32 = (unsigned int *)s->palette;
410     for (i = 0; i < PALETTE_COUNT; i++) {
411         r = raw_palette[palette_index++] * 4;
412         g = raw_palette[palette_index++] * 4;
413         b = raw_palette[palette_index++] * 4;
414         palette32[i] = 0xFFU << 24 | (r << 16) | (g << 8) | (b);
415         palette32[i] |= palette32[i] >> 6 & 0x30303;
416     }
417
418     s->prev_frame = av_frame_alloc();
419     if (!s->prev_frame) {
420         vmdvideo_decode_end(avctx);
421         return AVERROR(ENOMEM);
422     }
423
424     return 0;
425 }
426
427 static int vmdvideo_decode_frame(AVCodecContext *avctx,
428                                  void *data, int *got_frame,
429                                  AVPacket *avpkt)
430 {
431     const uint8_t *buf = avpkt->data;
432     int buf_size = avpkt->size;
433     VmdVideoContext *s = avctx->priv_data;
434     AVFrame *frame = data;
435     int ret;
436
437     s->buf = buf;
438     s->size = buf_size;
439
440     if (buf_size < 16)
441         return AVERROR_INVALIDDATA;
442
443     if ((ret = ff_get_buffer(avctx, frame, AV_GET_BUFFER_FLAG_REF)) < 0)
444         return ret;
445
446     if ((ret = vmd_decode(s, frame)) < 0)
447         return ret;
448
449     /* make the palette available on the way out */
450     memcpy(frame->data[1], s->palette, PALETTE_COUNT * 4);
451
452     /* shuffle frames */
453     av_frame_unref(s->prev_frame);
454     if ((ret = av_frame_ref(s->prev_frame, frame)) < 0)
455         return ret;
456
457     *got_frame      = 1;
458
459     /* report that the buffer was completely consumed */
460     return buf_size;
461 }
462
463 AVCodec ff_vmdvideo_decoder = {
464     .name           = "vmdvideo",
465     .long_name      = NULL_IF_CONFIG_SMALL("Sierra VMD video"),
466     .type           = AVMEDIA_TYPE_VIDEO,
467     .id             = AV_CODEC_ID_VMDVIDEO,
468     .priv_data_size = sizeof(VmdVideoContext),
469     .init           = vmdvideo_decode_init,
470     .close          = vmdvideo_decode_end,
471     .decode         = vmdvideo_decode_frame,
472     .capabilities   = CODEC_CAP_DR1,
473 };