vda: Check the correct pointer for buffer allocation
[ffmpeg.git] / libavcodec / sgienc.c
1 /*
2  * SGI image encoder
3  * Todd Kirby <doubleshot@pacbell.net>
4  *
5  * This file is part of Libav.
6  *
7  * Libav is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * Libav is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with Libav; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 #include "avcodec.h"
23 #include "bytestream.h"
24 #include "internal.h"
25 #include "sgi.h"
26 #include "rle.h"
27
28 #define SGI_SINGLE_CHAN 2
29 #define SGI_MULTI_CHAN 3
30
31 static av_cold int encode_init(AVCodecContext *avctx)
32 {
33     if (avctx->width > 65535 || avctx->height > 65535) {
34         av_log(avctx, AV_LOG_ERROR,
35                "Unsupported resolution %dx%d.\n", avctx->width, avctx->height);
36         return AVERROR_INVALIDDATA;
37     }
38
39     avctx->coded_frame = av_frame_alloc();
40     if (!avctx->coded_frame)
41         return AVERROR(ENOMEM);
42
43     return 0;
44 }
45
46 static int encode_frame(AVCodecContext *avctx, AVPacket *pkt,
47                         const AVFrame *frame, int *got_packet)
48 {
49     const AVFrame * const p = frame;
50     uint8_t *offsettab, *lengthtab, *in_buf, *encode_buf, *buf;
51     int x, y, z, length, tablesize, ret;
52     unsigned int width, height, depth, dimension;
53     unsigned int bytes_per_channel, pixmax, put_be;
54     unsigned char *end_buf;
55
56     avctx->coded_frame->pict_type = AV_PICTURE_TYPE_I;
57     avctx->coded_frame->key_frame = 1;
58
59     width  = avctx->width;
60     height = avctx->height;
61     bytes_per_channel = 1;
62     pixmax = 0xFF;
63     put_be = HAVE_BIGENDIAN;
64
65     switch (avctx->pix_fmt) {
66     case AV_PIX_FMT_GRAY8:
67         dimension = SGI_SINGLE_CHAN;
68         depth     = SGI_GRAYSCALE;
69         break;
70     case AV_PIX_FMT_RGB24:
71         dimension = SGI_MULTI_CHAN;
72         depth     = SGI_RGB;
73         break;
74     case AV_PIX_FMT_RGBA:
75         dimension = SGI_MULTI_CHAN;
76         depth     = SGI_RGBA;
77         break;
78     case AV_PIX_FMT_GRAY16LE:
79         put_be = !HAVE_BIGENDIAN;
80     case AV_PIX_FMT_GRAY16BE:
81         avctx->coder_type = FF_CODER_TYPE_RAW;
82         bytes_per_channel = 2;
83         pixmax = 0xFFFF;
84         dimension = SGI_SINGLE_CHAN;
85         depth     = SGI_GRAYSCALE;
86         break;
87     case AV_PIX_FMT_RGB48LE:
88         put_be = !HAVE_BIGENDIAN;
89     case AV_PIX_FMT_RGB48BE:
90         avctx->coder_type = FF_CODER_TYPE_RAW;
91         bytes_per_channel = 2;
92         pixmax = 0xFFFF;
93         dimension = SGI_MULTI_CHAN;
94         depth     = SGI_RGB;
95         break;
96     case AV_PIX_FMT_RGBA64LE:
97         put_be = !HAVE_BIGENDIAN;
98     case AV_PIX_FMT_RGBA64BE:
99         avctx->coder_type = FF_CODER_TYPE_RAW;
100         bytes_per_channel = 2;
101         pixmax = 0xFFFF;
102         dimension = SGI_MULTI_CHAN;
103         depth     = SGI_RGBA;
104         break;
105     default:
106         return AVERROR_INVALIDDATA;
107     }
108
109     tablesize = depth * height * 4;
110     length = SGI_HEADER_SIZE;
111     if (avctx->coder_type == FF_CODER_TYPE_RAW)
112         length += depth * height * width;
113     else // assume ff_rl_encode() produces at most 2x size of input
114         length += tablesize * 2 + depth * height * (2 * width + 1);
115
116     if ((ret = ff_alloc_packet(pkt, bytes_per_channel * length)) < 0) {
117         av_log(avctx, AV_LOG_ERROR, "Error getting output packet of size %d.\n", length);
118         return ret;
119     }
120     buf     = pkt->data;
121     end_buf = pkt->data + pkt->size;
122
123     /* Encode header. */
124     bytestream_put_be16(&buf, SGI_MAGIC);
125     bytestream_put_byte(&buf, avctx->coder_type != FF_CODER_TYPE_RAW); /* RLE 1 - VERBATIM 0*/
126     bytestream_put_byte(&buf, bytes_per_channel);
127     bytestream_put_be16(&buf, dimension);
128     bytestream_put_be16(&buf, width);
129     bytestream_put_be16(&buf, height);
130     bytestream_put_be16(&buf, depth);
131
132     bytestream_put_be32(&buf, 0L); /* pixmin */
133     bytestream_put_be32(&buf, pixmax);
134     bytestream_put_be32(&buf, 0L); /* dummy */
135
136     /* name */
137     memset(buf, 0, SGI_HEADER_SIZE);
138     buf += 80;
139
140     /* colormap */
141     bytestream_put_be32(&buf, 0L);
142
143     /* The rest of the 512 byte header is unused. */
144     buf += 404;
145     offsettab = buf;
146
147     if (avctx->coder_type != FF_CODER_TYPE_RAW) {
148         /* Skip RLE offset table. */
149         buf += tablesize;
150         lengthtab = buf;
151
152         /* Skip RLE length table. */
153         buf += tablesize;
154
155         /* Make an intermediate consecutive buffer. */
156         if (!(encode_buf = av_malloc(width)))
157             return -1;
158
159         for (z = 0; z < depth; z++) {
160             in_buf = p->data[0] + p->linesize[0] * (height - 1) + z;
161
162             for (y = 0; y < height; y++) {
163                 bytestream_put_be32(&offsettab, buf - pkt->data);
164
165                 for (x = 0; x < width; x++)
166                     encode_buf[x] = in_buf[depth * x];
167
168                 if ((length = ff_rle_encode(buf, end_buf - buf - 1, encode_buf, 1, width, 0, 0, 0x80, 0)) < 1) {
169                     av_free(encode_buf);
170                     return -1;
171                 }
172
173                 buf += length;
174                 bytestream_put_byte(&buf, 0);
175                 bytestream_put_be32(&lengthtab, length + 1);
176                 in_buf -= p->linesize[0];
177             }
178         }
179
180         av_free(encode_buf);
181     } else {
182         for (z = 0; z < depth; z++) {
183             in_buf = p->data[0] + p->linesize[0] * (height - 1) + z * bytes_per_channel;
184
185             for (y = 0; y < height; y++) {
186                 for (x = 0; x < width * depth; x += depth)
187                     if (bytes_per_channel == 1)
188                         bytestream_put_byte(&buf, in_buf[x]);
189                     else
190                         if (put_be)
191                             bytestream_put_be16(&buf, ((uint16_t *)in_buf)[x]);
192                         else
193                             bytestream_put_le16(&buf, ((uint16_t *)in_buf)[x]);
194
195                 in_buf -= p->linesize[0];
196             }
197         }
198     }
199
200     /* total length */
201     pkt->size   = buf - pkt->data;
202     pkt->flags |= AV_PKT_FLAG_KEY;
203     *got_packet = 1;
204
205     return 0;
206 }
207
208 static av_cold int encode_close(AVCodecContext *avctx)
209 {
210     av_frame_free(&avctx->coded_frame);
211     return 0;
212 }
213
214 AVCodec ff_sgi_encoder = {
215     .name      = "sgi",
216     .long_name = NULL_IF_CONFIG_SMALL("SGI image"),
217     .type      = AVMEDIA_TYPE_VIDEO,
218     .id        = AV_CODEC_ID_SGI,
219     .init      = encode_init,
220     .encode2   = encode_frame,
221     .close     = encode_close,
222     .pix_fmts  = (const enum AVPixelFormat[]) {
223         AV_PIX_FMT_RGB24, AV_PIX_FMT_RGBA,
224         AV_PIX_FMT_RGB48LE, AV_PIX_FMT_RGB48BE,
225         AV_PIX_FMT_RGBA64LE, AV_PIX_FMT_RGBA64BE,
226         AV_PIX_FMT_GRAY16LE, AV_PIX_FMT_GRAY16BE, AV_PIX_FMT_GRAY8,
227         AV_PIX_FMT_NONE
228     },
229 };