fraps: return meaningful error codes.
[ffmpeg.git] / libavcodec / fraps.c
1 /*
2  * Fraps FPS1 decoder
3  * Copyright (c) 2005 Roine Gustafsson
4  * Copyright (c) 2006 Konstantin Shishkov
5  *
6  * This file is part of Libav.
7  *
8  * Libav is free software; you can redistribute it and/or
9  * modify it under the terms of the GNU Lesser General Public
10  * License as published by the Free Software Foundation; either
11  * version 2.1 of the License, or (at your option) any later version.
12  *
13  * Libav is distributed in the hope that it will be useful,
14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
16  * Lesser General Public License for more details.
17  *
18  * You should have received a copy of the GNU Lesser General Public
19  * License along with Libav; if not, write to the Free Software
20  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
21  */
22
23 /**
24  * @file
25  * Lossless Fraps 'FPS1' decoder
26  * @author Roine Gustafsson (roine at users sf net)
27  * @author Konstantin Shishkov
28  *
29  * Codec algorithm for version 0 is taken from Transcode <www.transcoding.org>
30  *
31  * Version 2 files support by Konstantin Shishkov
32  */
33
34 #include "avcodec.h"
35 #include "get_bits.h"
36 #include "huffman.h"
37 #include "bytestream.h"
38 #include "dsputil.h"
39
40 #define FPS_TAG MKTAG('F', 'P', 'S', 'x')
41
42 /**
43  * local variable storage
44  */
45 typedef struct FrapsContext{
46     AVCodecContext *avctx;
47     AVFrame frame;
48     uint8_t *tmpbuf;
49     int tmpbuf_size;
50     DSPContext dsp;
51 } FrapsContext;
52
53
54 /**
55  * initializes decoder
56  * @param avctx codec context
57  * @return 0 on success or negative if fails
58  */
59 static av_cold int decode_init(AVCodecContext *avctx)
60 {
61     FrapsContext * const s = avctx->priv_data;
62
63     avctx->coded_frame = &s->frame;
64     avctx->pix_fmt= AV_PIX_FMT_NONE; /* set in decode_frame */
65
66     s->avctx = avctx;
67     s->tmpbuf = NULL;
68
69     ff_dsputil_init(&s->dsp, avctx);
70
71     return 0;
72 }
73
74 /**
75  * Comparator - our nodes should ascend by count
76  * but with preserved symbol order
77  */
78 static int huff_cmp(const void *va, const void *vb){
79     const Node *a = va, *b = vb;
80     return (a->count - b->count)*256 + a->sym - b->sym;
81 }
82
83 /**
84  * decode Fraps v2 packed plane
85  */
86 static int fraps2_decode_plane(FrapsContext *s, uint8_t *dst, int stride, int w,
87                                int h, const uint8_t *src, int size, int Uoff,
88                                const int step)
89 {
90     int i, j, ret;
91     GetBitContext gb;
92     VLC vlc;
93     Node nodes[512];
94
95     for(i = 0; i < 256; i++)
96         nodes[i].count = bytestream_get_le32(&src);
97     size -= 1024;
98     if ((ret = ff_huff_build_tree(s->avctx, &vlc, 256, nodes, huff_cmp,
99                                   FF_HUFFMAN_FLAG_ZERO_COUNT)) < 0)
100         return ret;
101     /* we have built Huffman table and are ready to decode plane */
102
103     /* convert bits so they may be used by standard bitreader */
104     s->dsp.bswap_buf((uint32_t *)s->tmpbuf, (const uint32_t *)src, size >> 2);
105
106     init_get_bits(&gb, s->tmpbuf, size * 8);
107     for(j = 0; j < h; j++){
108         for(i = 0; i < w*step; i += step){
109             dst[i] = get_vlc2(&gb, vlc.table, 9, 3);
110             /* lines are stored as deltas between previous lines
111              * and we need to add 0x80 to the first lines of chroma planes
112              */
113             if(j) dst[i] += dst[i - stride];
114             else if(Uoff) dst[i] += 0x80;
115             if (get_bits_left(&gb) < 0) {
116                 ff_free_vlc(&vlc);
117                 return AVERROR_INVALIDDATA;
118             }
119         }
120         dst += stride;
121     }
122     ff_free_vlc(&vlc);
123     return 0;
124 }
125
126 static int decode_frame(AVCodecContext *avctx,
127                         void *data, int *got_frame,
128                         AVPacket *avpkt)
129 {
130     const uint8_t *buf = avpkt->data;
131     int buf_size = avpkt->size;
132     FrapsContext * const s = avctx->priv_data;
133     AVFrame *frame = data;
134     AVFrame * const f = &s->frame;
135     uint32_t header;
136     unsigned int version,header_size;
137     unsigned int x, y;
138     const uint32_t *buf32;
139     uint32_t *luma1,*luma2,*cb,*cr;
140     uint32_t offs[4];
141     int i, j, ret, is_chroma, planes;
142     enum AVPixelFormat pix_fmt;
143
144     header = AV_RL32(buf);
145     version = header & 0xff;
146     header_size = (header & (1<<30))? 8 : 4; /* bit 30 means pad to 8 bytes */
147
148     if (version > 5) {
149         av_log(avctx, AV_LOG_ERROR,
150                "This file is encoded with Fraps version %d. " \
151                "This codec can only decode versions <= 5.\n", version);
152         return AVERROR_PATCHWELCOME;
153     }
154
155     buf+=4;
156     if (header_size == 8)
157         buf+=4;
158
159     pix_fmt = version & 1 ? AV_PIX_FMT_BGR24 : AV_PIX_FMT_YUVJ420P;
160     if (avctx->pix_fmt != pix_fmt && f->data[0]) {
161         avctx->release_buffer(avctx, f);
162     }
163     avctx->pix_fmt = pix_fmt;
164
165     switch(version) {
166     case 0:
167     default:
168         /* Fraps v0 is a reordered YUV420 */
169         if ( (buf_size != avctx->width*avctx->height*3/2+header_size) &&
170              (buf_size != header_size) ) {
171             av_log(avctx, AV_LOG_ERROR,
172                    "Invalid frame length %d (should be %d)\n",
173                    buf_size, avctx->width*avctx->height*3/2+header_size);
174             return AVERROR_INVALIDDATA;
175         }
176
177         if (( (avctx->width % 8) != 0) || ( (avctx->height % 2) != 0 )) {
178             av_log(avctx, AV_LOG_ERROR, "Invalid frame size %dx%d\n",
179                    avctx->width, avctx->height);
180             return AVERROR_INVALIDDATA;
181         }
182
183         f->reference = 1;
184         f->buffer_hints = FF_BUFFER_HINTS_VALID |
185                           FF_BUFFER_HINTS_PRESERVE |
186                           FF_BUFFER_HINTS_REUSABLE;
187         if ((ret = avctx->reget_buffer(avctx, f)) < 0) {
188             av_log(avctx, AV_LOG_ERROR, "reget_buffer() failed\n");
189             return ret;
190         }
191         /* bit 31 means same as previous pic */
192         f->pict_type = (header & (1U<<31))? AV_PICTURE_TYPE_P : AV_PICTURE_TYPE_I;
193         f->key_frame = f->pict_type == AV_PICTURE_TYPE_I;
194
195         if (f->pict_type == AV_PICTURE_TYPE_I) {
196             buf32=(const uint32_t*)buf;
197             for(y=0; y<avctx->height/2; y++){
198                 luma1=(uint32_t*)&f->data[0][ y*2*f->linesize[0] ];
199                 luma2=(uint32_t*)&f->data[0][ (y*2+1)*f->linesize[0] ];
200                 cr=(uint32_t*)&f->data[1][ y*f->linesize[1] ];
201                 cb=(uint32_t*)&f->data[2][ y*f->linesize[2] ];
202                 for(x=0; x<avctx->width; x+=8){
203                     *(luma1++) = *(buf32++);
204                     *(luma1++) = *(buf32++);
205                     *(luma2++) = *(buf32++);
206                     *(luma2++) = *(buf32++);
207                     *(cr++) = *(buf32++);
208                     *(cb++) = *(buf32++);
209                 }
210             }
211         }
212         break;
213
214     case 1:
215         /* Fraps v1 is an upside-down BGR24 */
216         if ( (buf_size != avctx->width*avctx->height*3+header_size) &&
217              (buf_size != header_size) ) {
218             av_log(avctx, AV_LOG_ERROR,
219                    "Invalid frame length %d (should be %d)\n",
220                    buf_size, avctx->width*avctx->height*3+header_size);
221             return AVERROR_INVALIDDATA;
222         }
223
224         f->reference = 1;
225         f->buffer_hints = FF_BUFFER_HINTS_VALID |
226                           FF_BUFFER_HINTS_PRESERVE |
227                           FF_BUFFER_HINTS_REUSABLE;
228         if ((ret = avctx->reget_buffer(avctx, f)) < 0) {
229             av_log(avctx, AV_LOG_ERROR, "reget_buffer() failed\n");
230             return ret;
231         }
232         /* bit 31 means same as previous pic */
233         f->pict_type = (header & (1U<<31))? AV_PICTURE_TYPE_P : AV_PICTURE_TYPE_I;
234         f->key_frame = f->pict_type == AV_PICTURE_TYPE_I;
235
236         if (f->pict_type == AV_PICTURE_TYPE_I) {
237             for(y=0; y<avctx->height; y++)
238                 memcpy(&f->data[0][ (avctx->height-y)*f->linesize[0] ],
239                        &buf[y*avctx->width*3],
240                        3*avctx->width);
241         }
242         break;
243
244     case 2:
245     case 4:
246         /**
247          * Fraps v2 is Huffman-coded YUV420 planes
248          * Fraps v4 is virtually the same
249          */
250         planes = 3;
251         f->reference = 1;
252         f->buffer_hints = FF_BUFFER_HINTS_VALID |
253                           FF_BUFFER_HINTS_PRESERVE |
254                           FF_BUFFER_HINTS_REUSABLE;
255         if ((ret = avctx->reget_buffer(avctx, f)) < 0) {
256             av_log(avctx, AV_LOG_ERROR, "reget_buffer() failed\n");
257             return ret;
258         }
259         /* skip frame */
260         if(buf_size == 8) {
261             f->pict_type = AV_PICTURE_TYPE_P;
262             f->key_frame = 0;
263             break;
264         }
265         f->pict_type = AV_PICTURE_TYPE_I;
266         f->key_frame = 1;
267         if ((AV_RL32(buf) != FPS_TAG)||(buf_size < (planes*1024 + 24))) {
268             av_log(avctx, AV_LOG_ERROR, "Fraps: error in data stream\n");
269             return AVERROR_INVALIDDATA;
270         }
271         for(i = 0; i < planes; i++) {
272             offs[i] = AV_RL32(buf + 4 + i * 4);
273             if(offs[i] >= buf_size || (i && offs[i] <= offs[i - 1] + 1024)) {
274                 av_log(avctx, AV_LOG_ERROR, "Fraps: plane %i offset is out of bounds\n", i);
275                 return AVERROR_INVALIDDATA;
276             }
277         }
278         offs[planes] = buf_size;
279         for(i = 0; i < planes; i++){
280             is_chroma = !!i;
281             av_fast_padded_malloc(&s->tmpbuf, &s->tmpbuf_size,
282                                   offs[i + 1] - offs[i] - 1024);
283             if (!s->tmpbuf)
284                 return AVERROR(ENOMEM);
285             if ((ret = fraps2_decode_plane(s, f->data[i], f->linesize[i],
286                                            avctx->width  >> is_chroma,
287                                            avctx->height >> is_chroma,
288                                            buf + offs[i], offs[i + 1] - offs[i],
289                                            is_chroma, 1)) < 0) {
290                 av_log(avctx, AV_LOG_ERROR, "Error decoding plane %i\n", i);
291                 return ret;
292             }
293         }
294         break;
295     case 3:
296     case 5:
297         /* Virtually the same as version 4, but is for RGB24 */
298         planes = 3;
299         f->reference = 1;
300         f->buffer_hints = FF_BUFFER_HINTS_VALID |
301                           FF_BUFFER_HINTS_PRESERVE |
302                           FF_BUFFER_HINTS_REUSABLE;
303         if ((ret = avctx->reget_buffer(avctx, f)) < 0) {
304             av_log(avctx, AV_LOG_ERROR, "reget_buffer() failed\n");
305             return ret;
306         }
307         /* skip frame */
308         if(buf_size == 8) {
309             f->pict_type = AV_PICTURE_TYPE_P;
310             f->key_frame = 0;
311             break;
312         }
313         f->pict_type = AV_PICTURE_TYPE_I;
314         f->key_frame = 1;
315         if ((AV_RL32(buf) != FPS_TAG)||(buf_size < (planes*1024 + 24))) {
316             av_log(avctx, AV_LOG_ERROR, "Fraps: error in data stream\n");
317             return AVERROR_INVALIDDATA;
318         }
319         for(i = 0; i < planes; i++) {
320             offs[i] = AV_RL32(buf + 4 + i * 4);
321             if(offs[i] >= buf_size || (i && offs[i] <= offs[i - 1] + 1024)) {
322                 av_log(avctx, AV_LOG_ERROR, "Fraps: plane %i offset is out of bounds\n", i);
323                 return AVERROR_INVALIDDATA;
324             }
325         }
326         offs[planes] = buf_size;
327         for(i = 0; i < planes; i++){
328             av_fast_padded_malloc(&s->tmpbuf, &s->tmpbuf_size,
329                                   offs[i + 1] - offs[i] - 1024);
330             if (!s->tmpbuf)
331                 return AVERROR(ENOMEM);
332             if ((ret = fraps2_decode_plane(s, f->data[0] + i + (f->linesize[0] * (avctx->height - 1)),
333                                            -f->linesize[0], avctx->width, avctx->height,
334                                            buf + offs[i], offs[i + 1] - offs[i], 0, 3)) < 0) {
335                 av_log(avctx, AV_LOG_ERROR, "Error decoding plane %i\n", i);
336                 return ret;
337             }
338         }
339         // convert pseudo-YUV into real RGB
340         for(j = 0; j < avctx->height; j++){
341             for(i = 0; i < avctx->width; i++){
342                 f->data[0][0 + i*3 + j*f->linesize[0]] += f->data[0][1 + i*3 + j*f->linesize[0]];
343                 f->data[0][2 + i*3 + j*f->linesize[0]] += f->data[0][1 + i*3 + j*f->linesize[0]];
344             }
345         }
346         break;
347     }
348
349     *frame = *f;
350     *got_frame = 1;
351
352     return buf_size;
353 }
354
355
356 /**
357  * closes decoder
358  * @param avctx codec context
359  * @return 0 on success or negative if fails
360  */
361 static av_cold int decode_end(AVCodecContext *avctx)
362 {
363     FrapsContext *s = (FrapsContext*)avctx->priv_data;
364
365     if (s->frame.data[0])
366         avctx->release_buffer(avctx, &s->frame);
367
368     av_freep(&s->tmpbuf);
369     return 0;
370 }
371
372
373 AVCodec ff_fraps_decoder = {
374     .name           = "fraps",
375     .type           = AVMEDIA_TYPE_VIDEO,
376     .id             = AV_CODEC_ID_FRAPS,
377     .priv_data_size = sizeof(FrapsContext),
378     .init           = decode_init,
379     .close          = decode_end,
380     .decode         = decode_frame,
381     .capabilities   = CODEC_CAP_DR1,
382     .long_name      = NULL_IF_CONFIG_SMALL("Fraps"),
383 };