b982f5029c6a01405690c047a7cb2d2c5a6207eb
[ffmpeg.git] / libavcodec / cscd.c
1 /*
2  * CamStudio decoder
3  * Copyright (c) 2006 Reimar Doeffinger
4  *
5  * This file is part of Libav.
6  *
7  * Libav is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * Libav is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with Libav; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21 #include <stdio.h>
22 #include <stdlib.h>
23
24 #include "avcodec.h"
25 #include "internal.h"
26 #include "libavutil/common.h"
27
28 #if CONFIG_ZLIB
29 #include <zlib.h>
30 #endif
31 #include "libavutil/lzo.h"
32
33 typedef struct {
34     AVFrame pic;
35     int linelen, height, bpp;
36     unsigned int decomp_size;
37     unsigned char* decomp_buf;
38 } CamStudioContext;
39
40 static void copy_frame_default(AVFrame *f, const uint8_t *src, int src_stride,
41                                int linelen, int height) {
42     int i;
43     uint8_t *dst = f->data[0];
44     dst += (height - 1) * f->linesize[0];
45     for (i = height; i; i--) {
46         memcpy(dst, src, linelen);
47         src += src_stride;
48         dst -= f->linesize[0];
49     }
50 }
51
52 static void add_frame_default(AVFrame *f, const uint8_t *src, int src_stride,
53                               int linelen, int height) {
54     int i, j;
55     uint8_t *dst = f->data[0];
56     dst += (height - 1) * f->linesize[0];
57     for (i = height; i; i--) {
58         for (j = linelen; j; j--)
59             *dst++ += *src++;
60         src += src_stride - linelen;
61         dst -= f->linesize[0] + linelen;
62     }
63 }
64
65 #if !HAVE_BIGENDIAN
66 #define copy_frame_16(f, s, l, h) copy_frame_default(f, s, l, l, h)
67 #define copy_frame_32(f, s, l, h) copy_frame_default(f, s, l, l, h)
68 #define add_frame_16(f, s, l, h) add_frame_default(f, s, l, l, h)
69 #define add_frame_32(f, s, l, h) add_frame_default(f, s, l, l, h)
70 #else
71 static void copy_frame_16(AVFrame *f, const uint8_t *src,
72                           int linelen, int height) {
73     int i, j;
74     uint8_t *dst = f->data[0];
75     dst += (height - 1) * f->linesize[0];
76     for (i = height; i; i--) {
77         for (j = linelen / 2; j; j--) {
78           dst[0] = src[1];
79           dst[1] = src[0];
80           src += 2;
81           dst += 2;
82         }
83         dst -= f->linesize[0] + linelen;
84     }
85 }
86
87 static void copy_frame_32(AVFrame *f, const uint8_t *src,
88                           int linelen, int height) {
89     int i, j;
90     uint8_t *dst = f->data[0];
91     dst += (height - 1) * f->linesize[0];
92     for (i = height; i; i--) {
93         for (j = linelen / 4; j; j--) {
94           dst[0] = src[3];
95           dst[1] = src[2];
96           dst[2] = src[1];
97           dst[3] = src[0];
98           src += 4;
99           dst += 4;
100         }
101         dst -= f->linesize[0] + linelen;
102     }
103 }
104
105 static void add_frame_16(AVFrame *f, const uint8_t *src,
106                          int linelen, int height) {
107     int i, j;
108     uint8_t *dst = f->data[0];
109     dst += (height - 1) * f->linesize[0];
110     for (i = height; i; i--) {
111         for (j = linelen / 2; j; j--) {
112           dst[0] += src[1];
113           dst[1] += src[0];
114           src += 2;
115           dst += 2;
116         }
117         dst -= f->linesize[0] + linelen;
118     }
119 }
120
121 static void add_frame_32(AVFrame *f, const uint8_t *src,
122                          int linelen, int height) {
123     int i, j;
124     uint8_t *dst = f->data[0];
125     dst += (height - 1) * f->linesize[0];
126     for (i = height; i; i--) {
127         for (j = linelen / 4; j; j--) {
128           dst[0] += src[3];
129           dst[1] += src[2];
130           dst[2] += src[1];
131           dst[3] += src[0];
132           src += 4;
133           dst += 4;
134         }
135         dst -= f->linesize[0] + linelen;
136     }
137 }
138 #endif
139
140 static int decode_frame(AVCodecContext *avctx, void *data, int *got_frame,
141                         AVPacket *avpkt) {
142     const uint8_t *buf = avpkt->data;
143     int buf_size = avpkt->size;
144     CamStudioContext *c = avctx->priv_data;
145     AVFrame *picture = data;
146     int ret;
147
148     if (buf_size < 2) {
149         av_log(avctx, AV_LOG_ERROR, "coded frame too small\n");
150         return AVERROR_INVALIDDATA;
151     }
152
153     if (c->pic.data[0])
154         avctx->release_buffer(avctx, &c->pic);
155     c->pic.reference = 1;
156     c->pic.buffer_hints = FF_BUFFER_HINTS_VALID | FF_BUFFER_HINTS_READABLE |
157                           FF_BUFFER_HINTS_PRESERVE | FF_BUFFER_HINTS_REUSABLE;
158     if ((ret = ff_get_buffer(avctx, &c->pic)) < 0) {
159         av_log(avctx, AV_LOG_ERROR, "get_buffer() failed\n");
160         return ret;
161     }
162
163     // decompress data
164     switch ((buf[0] >> 1) & 7) {
165         case 0: { // lzo compression
166             int outlen = c->decomp_size, inlen = buf_size - 2;
167             if (av_lzo1x_decode(c->decomp_buf, &outlen, &buf[2], &inlen))
168                 av_log(avctx, AV_LOG_ERROR, "error during lzo decompression\n");
169             break;
170         }
171         case 1: { // zlib compression
172 #if CONFIG_ZLIB
173             unsigned long dlen = c->decomp_size;
174             if (uncompress(c->decomp_buf, &dlen, &buf[2], buf_size - 2) != Z_OK)
175                 av_log(avctx, AV_LOG_ERROR, "error during zlib decompression\n");
176             break;
177 #else
178             av_log(avctx, AV_LOG_ERROR, "compiled without zlib support\n");
179             return AVERROR(ENOSYS);
180 #endif
181         }
182         default:
183             av_log(avctx, AV_LOG_ERROR, "unknown compression\n");
184             return AVERROR_INVALIDDATA;
185     }
186
187     // flip upside down, add difference frame
188     if (buf[0] & 1) { // keyframe
189         c->pic.pict_type = AV_PICTURE_TYPE_I;
190         c->pic.key_frame = 1;
191         switch (c->bpp) {
192           case 16:
193               copy_frame_16(&c->pic, c->decomp_buf, c->linelen, c->height);
194               break;
195           case 32:
196               copy_frame_32(&c->pic, c->decomp_buf, c->linelen, c->height);
197               break;
198           default:
199               copy_frame_default(&c->pic, c->decomp_buf, FFALIGN(c->linelen, 4),
200                                  c->linelen, c->height);
201         }
202     } else {
203         c->pic.pict_type = AV_PICTURE_TYPE_P;
204         c->pic.key_frame = 0;
205         switch (c->bpp) {
206           case 16:
207               add_frame_16(&c->pic, c->decomp_buf, c->linelen, c->height);
208               break;
209           case 32:
210               add_frame_32(&c->pic, c->decomp_buf, c->linelen, c->height);
211               break;
212           default:
213               add_frame_default(&c->pic, c->decomp_buf, FFALIGN(c->linelen, 4),
214                                 c->linelen, c->height);
215         }
216     }
217
218     *picture = c->pic;
219     *got_frame = 1;
220     return buf_size;
221 }
222
223 static av_cold int decode_init(AVCodecContext *avctx) {
224     CamStudioContext *c = avctx->priv_data;
225     int stride;
226     switch (avctx->bits_per_coded_sample) {
227         case 16: avctx->pix_fmt = AV_PIX_FMT_RGB555; break;
228         case 24: avctx->pix_fmt = AV_PIX_FMT_BGR24; break;
229         case 32: avctx->pix_fmt = AV_PIX_FMT_RGB32; break;
230         default:
231             av_log(avctx, AV_LOG_ERROR,
232                    "CamStudio codec error: invalid depth %i bpp\n",
233                    avctx->bits_per_coded_sample);
234             return AVERROR_INVALIDDATA;
235     }
236     c->bpp = avctx->bits_per_coded_sample;
237     c->pic.data[0] = NULL;
238     c->linelen = avctx->width * avctx->bits_per_coded_sample / 8;
239     c->height = avctx->height;
240     stride = c->linelen;
241     if (avctx->bits_per_coded_sample == 24)
242         stride = FFALIGN(stride, 4);
243     c->decomp_size = c->height * stride;
244     c->decomp_buf = av_malloc(c->decomp_size + AV_LZO_OUTPUT_PADDING);
245     if (!c->decomp_buf) {
246         av_log(avctx, AV_LOG_ERROR, "Can't allocate decompression buffer.\n");
247         return AVERROR(ENOMEM);
248     }
249     return 0;
250 }
251
252 static av_cold int decode_end(AVCodecContext *avctx) {
253     CamStudioContext *c = avctx->priv_data;
254     av_freep(&c->decomp_buf);
255     if (c->pic.data[0])
256         avctx->release_buffer(avctx, &c->pic);
257     return 0;
258 }
259
260 AVCodec ff_cscd_decoder = {
261     .name           = "camstudio",
262     .type           = AVMEDIA_TYPE_VIDEO,
263     .id             = AV_CODEC_ID_CSCD,
264     .priv_data_size = sizeof(CamStudioContext),
265     .init           = decode_init,
266     .close          = decode_end,
267     .decode         = decode_frame,
268     .capabilities   = CODEC_CAP_DR1,
269     .long_name      = NULL_IF_CONFIG_SMALL("CamStudio"),
270 };