rawdec: only allocate a full-frame size buffer if it actually will
[ffmpeg.git] / libavcodec / rawdec.c
1 /*
2  * Raw Video Decoder
3  * Copyright (c) 2001 Fabrice Bellard
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with FFmpeg; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 /**
23  * @file
24  * Raw Video Decoder
25  */
26
27 #include "avcodec.h"
28 #include "raw.h"
29 #include "libavutil/intreadwrite.h"
30
31 typedef struct RawVideoContext {
32     uint32_t palette[AVPALETTE_COUNT];
33     unsigned char * buffer;  /* block of memory for holding one frame */
34     int             length;  /* number of bytes in buffer */
35     int flip;
36     AVFrame pic;             ///< AVCodecContext.coded_frame
37 } RawVideoContext;
38
39 static const PixelFormatTag pix_fmt_bps_avi[] = {
40     { PIX_FMT_PAL8,    4 },
41     { PIX_FMT_PAL8,    8 },
42     { PIX_FMT_RGB444, 12 },
43     { PIX_FMT_RGB555, 15 },
44     { PIX_FMT_RGB555, 16 },
45     { PIX_FMT_BGR24,  24 },
46     { PIX_FMT_RGB32,  32 },
47     { PIX_FMT_NONE, 0 },
48 };
49
50 static const PixelFormatTag pix_fmt_bps_mov[] = {
51     { PIX_FMT_MONOWHITE, 1 },
52     { PIX_FMT_PAL8,      2 },
53     { PIX_FMT_PAL8,      4 },
54     { PIX_FMT_PAL8,      8 },
55     // FIXME swscale does not support 16 bit in .mov, sample 16bit.mov
56     // http://developer.apple.com/documentation/QuickTime/QTFF/QTFFChap3/qtff3.html
57     { PIX_FMT_RGB555BE, 16 },
58     { PIX_FMT_RGB24,    24 },
59     { PIX_FMT_ARGB,     32 },
60     { PIX_FMT_NONE, 0 },
61 };
62
63 static enum PixelFormat find_pix_fmt(const PixelFormatTag *tags, unsigned int fourcc)
64 {
65     while (tags->pix_fmt >= 0) {
66         if (tags->fourcc == fourcc)
67             return tags->pix_fmt;
68         tags++;
69     }
70     return PIX_FMT_YUV420P;
71 }
72
73 static av_cold int raw_init_decoder(AVCodecContext *avctx)
74 {
75     RawVideoContext *context = avctx->priv_data;
76
77     if (avctx->codec_tag == MKTAG('r','a','w',' '))
78         avctx->pix_fmt = find_pix_fmt(pix_fmt_bps_mov, avctx->bits_per_coded_sample);
79     else if (avctx->codec_tag)
80         avctx->pix_fmt = find_pix_fmt(ff_raw_pix_fmt_tags, avctx->codec_tag);
81     else if (avctx->pix_fmt == PIX_FMT_NONE && avctx->bits_per_coded_sample)
82         avctx->pix_fmt = find_pix_fmt(pix_fmt_bps_avi, avctx->bits_per_coded_sample);
83
84     context->length = avpicture_get_size(avctx->pix_fmt, avctx->width, avctx->height);
85     if((avctx->bits_per_coded_sample == 4 || avctx->bits_per_coded_sample == 2) &&
86        avctx->pix_fmt==PIX_FMT_PAL8 &&
87        (!avctx->codec_tag || avctx->codec_tag == MKTAG('r','a','w',' '))){
88         context->buffer = av_malloc(context->length);
89         if (!context->buffer)
90             return -1;
91     }
92     context->pic.pict_type = FF_I_TYPE;
93     context->pic.key_frame = 1;
94
95     avctx->coded_frame= &context->pic;
96
97     if((avctx->extradata_size >= 9 && !memcmp(avctx->extradata + avctx->extradata_size - 9, "BottomUp", 9)) ||
98        avctx->codec_tag == MKTAG( 3 ,  0 ,  0 ,  0 ))
99         context->flip=1;
100
101     return 0;
102 }
103
104 static void flip(AVCodecContext *avctx, AVPicture * picture){
105     picture->data[0] += picture->linesize[0] * (avctx->height-1);
106     picture->linesize[0] *= -1;
107 }
108
109 static int raw_decode(AVCodecContext *avctx,
110                             void *data, int *data_size,
111                             AVPacket *avpkt)
112 {
113     const uint8_t *buf = avpkt->data;
114     int buf_size = avpkt->size;
115     RawVideoContext *context = avctx->priv_data;
116
117     AVFrame * frame = (AVFrame *) data;
118     AVPicture * picture = (AVPicture *) data;
119
120     frame->interlaced_frame = avctx->coded_frame->interlaced_frame;
121     frame->top_field_first = avctx->coded_frame->top_field_first;
122
123     //2bpp and 4bpp raw in avi and mov (yes this is ugly ...)
124     if (context->buffer) {
125         int i;
126         uint8_t *dst = context->buffer;
127         buf_size = context->length - 256*4;
128         if (avctx->bits_per_coded_sample == 4){
129             for(i=0; 2*i+1 < buf_size; i++){
130                 dst[2*i+0]= buf[i]>>4;
131                 dst[2*i+1]= buf[i]&15;
132             }
133         } else
134             for(i=0; 4*i+3 < buf_size; i++){
135                 dst[4*i+0]= buf[i]>>6;
136                 dst[4*i+1]= buf[i]>>4&3;
137                 dst[4*i+2]= buf[i]>>2&3;
138                 dst[4*i+3]= buf[i]   &3;
139             }
140         buf= dst;
141     }
142
143     if(avctx->codec_tag == MKTAG('A', 'V', '1', 'x') ||
144        avctx->codec_tag == MKTAG('A', 'V', 'u', 'p'))
145         buf += buf_size - context->length;
146
147     if(buf_size < context->length - (avctx->pix_fmt==PIX_FMT_PAL8 ? 256*4 : 0))
148         return -1;
149
150     avpicture_fill(picture, buf, avctx->pix_fmt, avctx->width, avctx->height);
151     if(avctx->pix_fmt==PIX_FMT_PAL8 && buf_size < context->length){
152         frame->data[1]= context->palette;
153     }
154     if (avctx->palctrl && avctx->palctrl->palette_changed) {
155         memcpy(frame->data[1], avctx->palctrl->palette, AVPALETTE_SIZE);
156         avctx->palctrl->palette_changed = 0;
157     }
158     if(avctx->pix_fmt==PIX_FMT_BGR24 && ((frame->linesize[0]+3)&~3)*avctx->height <= buf_size)
159         frame->linesize[0] = (frame->linesize[0]+3)&~3;
160
161     if(context->flip)
162         flip(avctx, picture);
163
164     if (   avctx->codec_tag == MKTAG('Y', 'V', '1', '2')
165         || avctx->codec_tag == MKTAG('Y', 'V', 'U', '9'))
166         FFSWAP(uint8_t *, picture->data[1], picture->data[2]);
167
168     if(avctx->codec_tag == AV_RL32("yuv2") &&
169        avctx->pix_fmt   == PIX_FMT_YUYV422) {
170         int x, y;
171         uint8_t *line = picture->data[0];
172         for(y = 0; y < avctx->height; y++) {
173             for(x = 0; x < avctx->width; x++)
174                 line[2*x + 1] ^= 0x80;
175             line += picture->linesize[0];
176         }
177     }
178
179     *data_size = sizeof(AVPicture);
180     return buf_size;
181 }
182
183 static av_cold int raw_close_decoder(AVCodecContext *avctx)
184 {
185     RawVideoContext *context = avctx->priv_data;
186
187     av_freep(&context->buffer);
188     return 0;
189 }
190
191 AVCodec rawvideo_decoder = {
192     "rawvideo",
193     AVMEDIA_TYPE_VIDEO,
194     CODEC_ID_RAWVIDEO,
195     sizeof(RawVideoContext),
196     raw_init_decoder,
197     NULL,
198     raw_close_decoder,
199     raw_decode,
200     .long_name = NULL_IF_CONFIG_SMALL("raw video"),
201 };