Gather all coded_frame allocations and free functions to a single place
[ffmpeg.git] / libavcodec / pcxenc.c
1 /*
2  * PC Paintbrush PCX (.pcx) image encoder
3  * Copyright (c) 2009 Daniel Verkamp <daniel at drv.nu>
4  *
5  * This file is part of Libav.
6  *
7  * Libav is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * Libav is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with Libav; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 /**
23  * @file
24  * PCX image encoder
25  * @author Daniel Verkamp
26  * @see http://www.qzx.com/pc-gpe/pcx.txt
27  */
28
29 #include "avcodec.h"
30 #include "bytestream.h"
31 #include "internal.h"
32
33 static const uint32_t monoblack_pal[16] = { 0x000000, 0xFFFFFF };
34
35 static av_cold int pcx_encode_init(AVCodecContext *avctx)
36 {
37     avctx->coded_frame->pict_type = AV_PICTURE_TYPE_I;
38     avctx->coded_frame->key_frame = 1;
39
40     return 0;
41 }
42
43 /**
44  * PCX run-length encoder
45  * @param dst output buffer
46  * @param dst_size size of output buffer
47  * @param src input buffer
48  * @param src_plane_size size of one plane of input buffer in bytes
49  * @param nplanes number of planes in input buffer
50  * @return number of bytes written to dst or -1 on error
51  * @bug will not work for nplanes != 1 && bpp != 8
52  */
53 static int pcx_rle_encode(      uint8_t *dst, int dst_size,
54                           const uint8_t *src, int src_plane_size, int nplanes)
55 {
56     int p;
57     const uint8_t *dst_start = dst;
58
59     // check worst-case upper bound on dst_size
60     if (dst_size < 2LL * src_plane_size * nplanes || src_plane_size <= 0)
61         return AVERROR(EINVAL);
62
63     for (p = 0; p < nplanes; p++) {
64         int count = 1;
65         const uint8_t *src_plane = src + p;
66         const uint8_t *src_plane_end = src_plane + src_plane_size * nplanes;
67         uint8_t prev = *src_plane;
68         src_plane += nplanes;
69
70         for (; ; src_plane += nplanes) {
71             if (src_plane < src_plane_end && *src_plane == prev && count < 0x3F) {
72                 // current byte is same as prev
73                 ++count;
74             } else {
75                 // output prev * count
76                 if (count != 1 || prev >= 0xC0)
77                     *dst++ = 0xC0 | count;
78                 *dst++ = prev;
79
80                 if (src_plane == src_plane_end)
81                     break;
82
83                 // start new run
84                 count = 1;
85                 prev = *src_plane;
86             }
87         }
88     }
89
90     return dst - dst_start;
91 }
92
93 static int pcx_encode_frame(AVCodecContext *avctx, AVPacket *pkt,
94                             const AVFrame *frame, int *got_packet)
95 {
96     const uint8_t *buf_end;
97     uint8_t *buf;
98
99     int bpp, nplanes, i, y, line_bytes, written, ret, max_pkt_size;
100     const uint32_t *pal = NULL;
101     const uint8_t *src;
102
103     if (avctx->width > 65535 || avctx->height > 65535) {
104         av_log(avctx, AV_LOG_ERROR, "image dimensions do not fit in 16 bits\n");
105         return AVERROR(EINVAL);
106     }
107
108     switch (avctx->pix_fmt) {
109     case AV_PIX_FMT_RGB24:
110         bpp = 8;
111         nplanes = 3;
112         break;
113     case AV_PIX_FMT_RGB8:
114     case AV_PIX_FMT_BGR8:
115     case AV_PIX_FMT_RGB4_BYTE:
116     case AV_PIX_FMT_BGR4_BYTE:
117     case AV_PIX_FMT_GRAY8:
118     case AV_PIX_FMT_PAL8:
119         bpp = 8;
120         nplanes = 1;
121         pal = (uint32_t *)frame->data[1];
122         break;
123     case AV_PIX_FMT_MONOBLACK:
124         bpp = 1;
125         nplanes = 1;
126         pal = monoblack_pal;
127         break;
128     default:
129         av_log(avctx, AV_LOG_ERROR, "unsupported pixfmt\n");
130         return AVERROR(EINVAL);
131     }
132
133     line_bytes = (avctx->width * bpp + 7) >> 3;
134     line_bytes = (line_bytes + 1) & ~1;
135
136     max_pkt_size = 128 + avctx->height * 2 * line_bytes * nplanes + (pal ? 256*3 + 1 : 0);
137     if ((ret = ff_alloc_packet(pkt, max_pkt_size)) < 0) {
138         av_log(avctx, AV_LOG_ERROR, "Error getting output packet of size %d.\n", max_pkt_size);
139         return ret;
140     }
141     buf     = pkt->data;
142     buf_end = pkt->data + pkt->size;
143
144     bytestream_put_byte(&buf, 10);                  // manufacturer
145     bytestream_put_byte(&buf, 5);                   // version
146     bytestream_put_byte(&buf, 1);                   // encoding
147     bytestream_put_byte(&buf, bpp);                 // bits per pixel per plane
148     bytestream_put_le16(&buf, 0);                   // x min
149     bytestream_put_le16(&buf, 0);                   // y min
150     bytestream_put_le16(&buf, avctx->width - 1);    // x max
151     bytestream_put_le16(&buf, avctx->height - 1);   // y max
152     bytestream_put_le16(&buf, 0);                   // horizontal DPI
153     bytestream_put_le16(&buf, 0);                   // vertical DPI
154     for (i = 0; i < 16; i++)
155         bytestream_put_be24(&buf, pal ? pal[i] : 0);// palette (<= 16 color only)
156     bytestream_put_byte(&buf, 0);                   // reserved
157     bytestream_put_byte(&buf, nplanes);             // number of planes
158     bytestream_put_le16(&buf, line_bytes);          // scanline plane size in bytes
159
160     while (buf - pkt->data < 128)
161         *buf++= 0;
162
163     src = frame->data[0];
164
165     for (y = 0; y < avctx->height; y++) {
166         if ((written = pcx_rle_encode(buf, buf_end - buf,
167                                       src, line_bytes, nplanes)) < 0) {
168             av_log(avctx, AV_LOG_ERROR, "buffer too small\n");
169             return AVERROR_BUG;
170         }
171         buf += written;
172         src += frame->linesize[0];
173     }
174
175     if (nplanes == 1 && bpp == 8) {
176         if (buf_end - buf < 257) {
177             av_log(avctx, AV_LOG_ERROR, "buffer too small\n");
178             return AVERROR_BUG;
179         }
180         bytestream_put_byte(&buf, 12);
181         for (i = 0; i < 256; i++) {
182             bytestream_put_be24(&buf, pal[i]);
183         }
184     }
185
186     pkt->size   = buf - pkt->data;
187     pkt->flags |= AV_PKT_FLAG_KEY;
188     *got_packet = 1;
189
190     return 0;
191 }
192
193 AVCodec ff_pcx_encoder = {
194     .name           = "pcx",
195     .long_name      = NULL_IF_CONFIG_SMALL("PC Paintbrush PCX image"),
196     .type           = AVMEDIA_TYPE_VIDEO,
197     .id             = AV_CODEC_ID_PCX,
198     .init           = pcx_encode_init,
199     .encode2        = pcx_encode_frame,
200     .pix_fmts       = (const enum AVPixelFormat[]){
201         AV_PIX_FMT_RGB24,
202         AV_PIX_FMT_RGB8, AV_PIX_FMT_BGR8, AV_PIX_FMT_RGB4_BYTE, AV_PIX_FMT_BGR4_BYTE,
203         AV_PIX_FMT_GRAY8, AV_PIX_FMT_PAL8,
204         AV_PIX_FMT_MONOBLACK,
205         AV_PIX_FMT_NONE
206     },
207 };