lavc decoders: properly initialize AVFrame.
[ffmpeg.git] / libavcodec / fraps.c
1 /*
2  * Fraps FPS1 decoder
3  * Copyright (c) 2005 Roine Gustafsson
4  * Copyright (c) 2006 Konstantin Shishkov
5  *
6  * This file is part of Libav.
7  *
8  * Libav is free software; you can redistribute it and/or
9  * modify it under the terms of the GNU Lesser General Public
10  * License as published by the Free Software Foundation; either
11  * version 2.1 of the License, or (at your option) any later version.
12  *
13  * Libav is distributed in the hope that it will be useful,
14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
16  * Lesser General Public License for more details.
17  *
18  * You should have received a copy of the GNU Lesser General Public
19  * License along with Libav; if not, write to the Free Software
20  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
21  */
22
23 /**
24  * @file
25  * Lossless Fraps 'FPS1' decoder
26  * @author Roine Gustafsson (roine at users sf net)
27  * @author Konstantin Shishkov
28  *
29  * Codec algorithm for version 0 is taken from Transcode <www.transcoding.org>
30  *
31  * Version 2 files support by Konstantin Shishkov
32  */
33
34 #include "avcodec.h"
35 #include "get_bits.h"
36 #include "huffman.h"
37 #include "bytestream.h"
38 #include "dsputil.h"
39 #include "internal.h"
40
41 #define FPS_TAG MKTAG('F', 'P', 'S', 'x')
42
43 /**
44  * local variable storage
45  */
46 typedef struct FrapsContext {
47     AVCodecContext *avctx;
48     AVFrame frame;
49     uint8_t *tmpbuf;
50     int tmpbuf_size;
51     DSPContext dsp;
52 } FrapsContext;
53
54
55 /**
56  * initializes decoder
57  * @param avctx codec context
58  * @return 0 on success or negative if fails
59  */
60 static av_cold int decode_init(AVCodecContext *avctx)
61 {
62     FrapsContext * const s = avctx->priv_data;
63
64     avctx->pix_fmt     = AV_PIX_FMT_NONE; /* set in decode_frame */
65
66     s->avctx  = avctx;
67     s->tmpbuf = NULL;
68
69     avcodec_get_frame_defaults(&s->frame);
70
71     ff_dsputil_init(&s->dsp, avctx);
72
73     return 0;
74 }
75
76 /**
77  * Comparator - our nodes should ascend by count
78  * but with preserved symbol order
79  */
80 static int huff_cmp(const void *va, const void *vb)
81 {
82     const Node *a = va, *b = vb;
83     return (a->count - b->count)*256 + a->sym - b->sym;
84 }
85
86 /**
87  * decode Fraps v2 packed plane
88  */
89 static int fraps2_decode_plane(FrapsContext *s, uint8_t *dst, int stride, int w,
90                                int h, const uint8_t *src, int size, int Uoff,
91                                const int step)
92 {
93     int i, j, ret;
94     GetBitContext gb;
95     VLC vlc;
96     Node nodes[512];
97
98     for (i = 0; i < 256; i++)
99         nodes[i].count = bytestream_get_le32(&src);
100     size -= 1024;
101     if ((ret = ff_huff_build_tree(s->avctx, &vlc, 256, nodes, huff_cmp,
102                                   FF_HUFFMAN_FLAG_ZERO_COUNT)) < 0)
103         return ret;
104     /* we have built Huffman table and are ready to decode plane */
105
106     /* convert bits so they may be used by standard bitreader */
107     s->dsp.bswap_buf((uint32_t *)s->tmpbuf, (const uint32_t *)src, size >> 2);
108
109     init_get_bits(&gb, s->tmpbuf, size * 8);
110     for (j = 0; j < h; j++) {
111         for (i = 0; i < w*step; i += step) {
112             dst[i] = get_vlc2(&gb, vlc.table, 9, 3);
113             /* lines are stored as deltas between previous lines
114              * and we need to add 0x80 to the first lines of chroma planes
115              */
116             if (j)
117                 dst[i] += dst[i - stride];
118             else if (Uoff)
119                 dst[i] += 0x80;
120             if (get_bits_left(&gb) < 0) {
121                 ff_free_vlc(&vlc);
122                 return AVERROR_INVALIDDATA;
123             }
124         }
125         dst += stride;
126     }
127     ff_free_vlc(&vlc);
128     return 0;
129 }
130
131 static int decode_frame(AVCodecContext *avctx,
132                         void *data, int *got_frame,
133                         AVPacket *avpkt)
134 {
135     FrapsContext * const s = avctx->priv_data;
136     const uint8_t *buf     = avpkt->data;
137     int buf_size           = avpkt->size;
138     AVFrame *frame         = data;
139     AVFrame * const f      = &s->frame;
140     uint32_t header;
141     unsigned int version,header_size;
142     unsigned int x, y;
143     const uint32_t *buf32;
144     uint32_t *luma1,*luma2,*cb,*cr;
145     uint32_t offs[4];
146     int i, j, ret, is_chroma, planes;
147     enum AVPixelFormat pix_fmt;
148
149     header      = AV_RL32(buf);
150     version     = header & 0xff;
151     header_size = (header & (1<<30))? 8 : 4; /* bit 30 means pad to 8 bytes */
152
153     if (version > 5) {
154         av_log(avctx, AV_LOG_ERROR,
155                "This file is encoded with Fraps version %d. " \
156                "This codec can only decode versions <= 5.\n", version);
157         return AVERROR_PATCHWELCOME;
158     }
159
160     buf += 4;
161     if (header_size == 8)
162         buf += 4;
163
164     pix_fmt = version & 1 ? AV_PIX_FMT_BGR24 : AV_PIX_FMT_YUVJ420P;
165     if (avctx->pix_fmt != pix_fmt && f->data[0]) {
166         av_frame_unref(f);
167     }
168     avctx->pix_fmt = pix_fmt;
169
170     switch (version) {
171     case 0:
172     default:
173         /* Fraps v0 is a reordered YUV420 */
174         if ((buf_size != avctx->width * avctx->height * 3 / 2 + header_size) &&
175             (buf_size != header_size)) {
176             av_log(avctx, AV_LOG_ERROR,
177                    "Invalid frame length %d (should be %d)\n",
178                    buf_size,
179                    avctx->width * avctx->height * 3 / 2 + header_size);
180             return AVERROR_INVALIDDATA;
181         }
182
183         if (((avctx->width % 8) != 0) || ((avctx->height % 2) != 0)) {
184             av_log(avctx, AV_LOG_ERROR, "Invalid frame size %dx%d\n",
185                    avctx->width, avctx->height);
186             return AVERROR_INVALIDDATA;
187         }
188
189         if ((ret = ff_reget_buffer(avctx, f)) < 0) {
190             av_log(avctx, AV_LOG_ERROR, "reget_buffer() failed\n");
191             return ret;
192         }
193         /* bit 31 means same as previous pic */
194         f->pict_type = (header & (1U << 31)) ? AV_PICTURE_TYPE_P : AV_PICTURE_TYPE_I;
195         f->key_frame = f->pict_type == AV_PICTURE_TYPE_I;
196
197         if (f->pict_type == AV_PICTURE_TYPE_I) {
198             buf32 = (const uint32_t*)buf;
199             for (y = 0; y < avctx->height / 2; y++) {
200                 luma1 = (uint32_t*)&f->data[0][ y * 2      * f->linesize[0]];
201                 luma2 = (uint32_t*)&f->data[0][(y * 2 + 1) * f->linesize[0]];
202                 cr    = (uint32_t*)&f->data[1][ y          * f->linesize[1]];
203                 cb    = (uint32_t*)&f->data[2][ y          * f->linesize[2]];
204                 for (x = 0; x < avctx->width; x += 8) {
205                     *(luma1++) = *(buf32++);
206                     *(luma1++) = *(buf32++);
207                     *(luma2++) = *(buf32++);
208                     *(luma2++) = *(buf32++);
209                     *(cr++) = *(buf32++);
210                     *(cb++) = *(buf32++);
211                 }
212             }
213         }
214         break;
215
216     case 1:
217         /* Fraps v1 is an upside-down BGR24 */
218         if ((buf_size != avctx->width * avctx->height * 3 + header_size) &&
219             (buf_size != header_size) ) {
220             av_log(avctx, AV_LOG_ERROR,
221                    "Invalid frame length %d (should be %d)\n",
222                    buf_size, avctx->width * avctx->height * 3 + header_size);
223             return AVERROR_INVALIDDATA;
224         }
225
226         if ((ret = ff_reget_buffer(avctx, f)) < 0) {
227             av_log(avctx, AV_LOG_ERROR, "reget_buffer() failed\n");
228             return ret;
229         }
230         /* bit 31 means same as previous pic */
231         f->pict_type = (header & (1U<<31))? AV_PICTURE_TYPE_P : AV_PICTURE_TYPE_I;
232         f->key_frame = f->pict_type == AV_PICTURE_TYPE_I;
233
234         if (f->pict_type == AV_PICTURE_TYPE_I) {
235             for (y = 0; y<avctx->height; y++)
236                 memcpy(&f->data[0][(avctx->height - y - 1) * f->linesize[0]],
237                        &buf[y * avctx->width * 3],
238                        3 * avctx->width);
239         }
240         break;
241
242     case 2:
243     case 4:
244         /**
245          * Fraps v2 is Huffman-coded YUV420 planes
246          * Fraps v4 is virtually the same
247          */
248         planes = 3;
249         if ((ret = ff_reget_buffer(avctx, f)) < 0) {
250             av_log(avctx, AV_LOG_ERROR, "reget_buffer() failed\n");
251             return ret;
252         }
253         /* skip frame */
254         if (buf_size == 8) {
255             f->pict_type = AV_PICTURE_TYPE_P;
256             f->key_frame = 0;
257             break;
258         }
259         f->pict_type = AV_PICTURE_TYPE_I;
260         f->key_frame = 1;
261         if ((AV_RL32(buf) != FPS_TAG) || (buf_size < (planes * 1024 + 24))) {
262             av_log(avctx, AV_LOG_ERROR, "Fraps: error in data stream\n");
263             return AVERROR_INVALIDDATA;
264         }
265         for (i = 0; i < planes; i++) {
266             offs[i] = AV_RL32(buf + 4 + i * 4);
267             if (offs[i] >= buf_size || (i && offs[i] <= offs[i - 1] + 1024)) {
268                 av_log(avctx, AV_LOG_ERROR, "Fraps: plane %i offset is out of bounds\n", i);
269                 return AVERROR_INVALIDDATA;
270             }
271         }
272         offs[planes] = buf_size;
273         for (i = 0; i < planes; i++) {
274             is_chroma = !!i;
275             av_fast_padded_malloc(&s->tmpbuf, &s->tmpbuf_size,
276                                   offs[i + 1] - offs[i] - 1024);
277             if (!s->tmpbuf)
278                 return AVERROR(ENOMEM);
279             if ((ret = fraps2_decode_plane(s, f->data[i], f->linesize[i],
280                                            avctx->width  >> is_chroma,
281                                            avctx->height >> is_chroma,
282                                            buf + offs[i], offs[i + 1] - offs[i],
283                                            is_chroma, 1)) < 0) {
284                 av_log(avctx, AV_LOG_ERROR, "Error decoding plane %i\n", i);
285                 return ret;
286             }
287         }
288         break;
289     case 3:
290     case 5:
291         /* Virtually the same as version 4, but is for RGB24 */
292         planes = 3;
293         if ((ret = ff_reget_buffer(avctx, f)) < 0) {
294             av_log(avctx, AV_LOG_ERROR, "reget_buffer() failed\n");
295             return ret;
296         }
297         /* skip frame */
298         if (buf_size == 8) {
299             f->pict_type = AV_PICTURE_TYPE_P;
300             f->key_frame = 0;
301             break;
302         }
303         f->pict_type = AV_PICTURE_TYPE_I;
304         f->key_frame = 1;
305         if ((AV_RL32(buf) != FPS_TAG)||(buf_size < (planes*1024 + 24))) {
306             av_log(avctx, AV_LOG_ERROR, "Fraps: error in data stream\n");
307             return AVERROR_INVALIDDATA;
308         }
309         for (i = 0; i < planes; i++) {
310             offs[i] = AV_RL32(buf + 4 + i * 4);
311             if (offs[i] >= buf_size || (i && offs[i] <= offs[i - 1] + 1024)) {
312                 av_log(avctx, AV_LOG_ERROR, "Fraps: plane %i offset is out of bounds\n", i);
313                 return AVERROR_INVALIDDATA;
314             }
315         }
316         offs[planes] = buf_size;
317         for (i = 0; i < planes; i++) {
318             av_fast_padded_malloc(&s->tmpbuf, &s->tmpbuf_size,
319                                   offs[i + 1] - offs[i] - 1024);
320             if (!s->tmpbuf)
321                 return AVERROR(ENOMEM);
322             if ((ret = fraps2_decode_plane(s, f->data[0] + i + (f->linesize[0] * (avctx->height - 1)),
323                                            -f->linesize[0], avctx->width, avctx->height,
324                                            buf + offs[i], offs[i + 1] - offs[i], 0, 3)) < 0) {
325                 av_log(avctx, AV_LOG_ERROR, "Error decoding plane %i\n", i);
326                 return ret;
327             }
328         }
329         // convert pseudo-YUV into real RGB
330         for (j = 0; j < avctx->height; j++) {
331             for (i = 0; i < avctx->width; i++) {
332                 f->data[0][0 + i*3 + j*f->linesize[0]] += f->data[0][1 + i*3 + j*f->linesize[0]];
333                 f->data[0][2 + i*3 + j*f->linesize[0]] += f->data[0][1 + i*3 + j*f->linesize[0]];
334             }
335         }
336         break;
337     }
338
339     if ((ret = av_frame_ref(frame, f)) < 0)
340         return ret;
341     *got_frame = 1;
342
343     return buf_size;
344 }
345
346
347 /**
348  * closes decoder
349  * @param avctx codec context
350  * @return 0 on success or negative if fails
351  */
352 static av_cold int decode_end(AVCodecContext *avctx)
353 {
354     FrapsContext *s = (FrapsContext*)avctx->priv_data;
355
356     av_frame_unref(&s->frame);
357
358     av_freep(&s->tmpbuf);
359     return 0;
360 }
361
362
363 AVCodec ff_fraps_decoder = {
364     .name           = "fraps",
365     .type           = AVMEDIA_TYPE_VIDEO,
366     .id             = AV_CODEC_ID_FRAPS,
367     .priv_data_size = sizeof(FrapsContext),
368     .init           = decode_init,
369     .close          = decode_end,
370     .decode         = decode_frame,
371     .capabilities   = CODEC_CAP_DR1,
372     .long_name      = NULL_IF_CONFIG_SMALL("Fraps"),
373 };