Support decoding of uncompressed PCX scanlines
[ffmpeg.git] / libavcodec / pcx.c
1 /*
2  * PC Paintbrush PCX (.pcx) image decoder
3  * Copyright (c) 2007, 2008 Ivo van Poorten
4  *
5  * This decoder does not support CGA palettes. I am unable to find samples
6  * and Netpbm cannot generate them.
7  *
8  * This file is part of FFmpeg.
9  *
10  * FFmpeg is free software; you can redistribute it and/or
11  * modify it under the terms of the GNU Lesser General Public
12  * License as published by the Free Software Foundation; either
13  * version 2.1 of the License, or (at your option) any later version.
14  *
15  * FFmpeg is distributed in the hope that it will be useful,
16  * but WITHOUT ANY WARRANTY; without even the implied warranty of
17  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
18  * Lesser General Public License for more details.
19  *
20  * You should have received a copy of the GNU Lesser General Public
21  * License along with FFmpeg; if not, write to the Free Software
22  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
23  */
24
25 #include "avcodec.h"
26 #include "bytestream.h"
27 #include "get_bits.h"
28
29 typedef struct PCXContext {
30     AVFrame picture;
31 } PCXContext;
32
33 static av_cold int pcx_init(AVCodecContext *avctx) {
34     PCXContext *s = avctx->priv_data;
35
36     avcodec_get_frame_defaults(&s->picture);
37     avctx->coded_frame= &s->picture;
38
39     return 0;
40 }
41
42 /**
43  * @return advanced src pointer
44  */
45 static const uint8_t *pcx_rle_decode(const uint8_t *src, uint8_t *dst,
46                             unsigned int bytes_per_scanline, int compressed) {
47     unsigned int i = 0;
48     unsigned char run, value;
49
50     if (compressed) {
51         while (i<bytes_per_scanline) {
52             run = 1;
53             value = *src++;
54             if (value >= 0xc0) {
55                 run = value & 0x3f;
56                 value = *src++;
57             }
58             while (i<bytes_per_scanline && run--)
59                 dst[i++] = value;
60         }
61     } else {
62         memcpy(dst, src, bytes_per_scanline);
63         src += bytes_per_scanline;
64     }
65
66     return src;
67 }
68
69 static void pcx_palette(const uint8_t **src, uint32_t *dst, unsigned int pallen) {
70     unsigned int i;
71
72     for (i=0; i<pallen; i++)
73         *dst++ = bytestream_get_be24(src);
74     memset(dst, 0, (256 - pallen) * sizeof(*dst));
75 }
76
77 static int pcx_decode_frame(AVCodecContext *avctx, void *data, int *data_size,
78                             AVPacket *avpkt) {
79     const uint8_t *buf = avpkt->data;
80     int buf_size = avpkt->size;
81     PCXContext * const s = avctx->priv_data;
82     AVFrame *picture = data;
83     AVFrame * const p = &s->picture;
84     int compressed, xmin, ymin, xmax, ymax;
85     unsigned int w, h, bits_per_pixel, bytes_per_line, nplanes, stride, y, x,
86                  bytes_per_scanline;
87     uint8_t *ptr;
88     uint8_t const *bufstart = buf;
89
90     if (buf[0] != 0x0a || buf[1] > 5) {
91         av_log(avctx, AV_LOG_ERROR, "this is not PCX encoded data\n");
92         return -1;
93     }
94
95     compressed = buf[2];
96     xmin = AV_RL16(buf+ 4);
97     ymin = AV_RL16(buf+ 6);
98     xmax = AV_RL16(buf+ 8);
99     ymax = AV_RL16(buf+10);
100
101     if (xmax < xmin || ymax < ymin) {
102         av_log(avctx, AV_LOG_ERROR, "invalid image dimensions\n");
103         return -1;
104     }
105
106     w = xmax - xmin + 1;
107     h = ymax - ymin + 1;
108
109     bits_per_pixel     = buf[3];
110     bytes_per_line     = AV_RL16(buf+66);
111     nplanes            = buf[65];
112     bytes_per_scanline = nplanes * bytes_per_line;
113
114     if (bytes_per_scanline < w * bits_per_pixel * nplanes / 8) {
115         av_log(avctx, AV_LOG_ERROR, "PCX data is corrupted\n");
116         return -1;
117     }
118
119     switch ((nplanes<<8) + bits_per_pixel) {
120         case 0x0308:
121             avctx->pix_fmt = PIX_FMT_RGB24;
122             break;
123         case 0x0108:
124         case 0x0104:
125         case 0x0102:
126         case 0x0101:
127         case 0x0401:
128         case 0x0301:
129         case 0x0201:
130             avctx->pix_fmt = PIX_FMT_PAL8;
131             break;
132         default:
133             av_log(avctx, AV_LOG_ERROR, "invalid PCX file\n");
134             return -1;
135     }
136
137     buf += 128;
138
139     if (p->data[0])
140         avctx->release_buffer(avctx, p);
141
142     if (avcodec_check_dimensions(avctx, w, h))
143         return -1;
144     if (w != avctx->width || h != avctx->height)
145         avcodec_set_dimensions(avctx, w, h);
146     if (avctx->get_buffer(avctx, p) < 0) {
147         av_log(avctx, AV_LOG_ERROR, "get_buffer() failed\n");
148         return -1;
149     }
150
151     p->pict_type = FF_I_TYPE;
152
153     ptr    = p->data[0];
154     stride = p->linesize[0];
155
156     if (nplanes == 3 && bits_per_pixel == 8) {
157         uint8_t scanline[bytes_per_scanline];
158
159         for (y=0; y<h; y++) {
160             buf = pcx_rle_decode(buf, scanline, bytes_per_scanline, compressed);
161
162             for (x=0; x<w; x++) {
163                 ptr[3*x  ] = scanline[x                    ];
164                 ptr[3*x+1] = scanline[x+ bytes_per_line    ];
165                 ptr[3*x+2] = scanline[x+(bytes_per_line<<1)];
166             }
167
168             ptr += stride;
169         }
170
171     } else if (nplanes == 1 && bits_per_pixel == 8) {
172         uint8_t scanline[bytes_per_scanline];
173         const uint8_t *palstart = bufstart + buf_size - 769;
174
175         for (y=0; y<h; y++, ptr+=stride) {
176             buf = pcx_rle_decode(buf, scanline, bytes_per_scanline, compressed);
177             memcpy(ptr, scanline, w);
178         }
179
180         if (buf != palstart) {
181             av_log(avctx, AV_LOG_WARNING, "image data possibly corrupted\n");
182             buf = palstart;
183         }
184         if (*buf++ != 12) {
185             av_log(avctx, AV_LOG_ERROR, "expected palette after image data\n");
186             return -1;
187         }
188
189     } else if (nplanes == 1) {   /* all packed formats, max. 16 colors */
190         uint8_t scanline[bytes_per_scanline];
191         GetBitContext s;
192
193         for (y=0; y<h; y++) {
194             init_get_bits(&s, scanline, bytes_per_scanline<<3);
195
196             buf = pcx_rle_decode(buf, scanline, bytes_per_scanline, compressed);
197
198             for (x=0; x<w; x++)
199                 ptr[x] = get_bits(&s, bits_per_pixel);
200             ptr += stride;
201         }
202
203     } else {    /* planar, 4, 8 or 16 colors */
204         uint8_t scanline[bytes_per_scanline];
205         int i;
206
207         for (y=0; y<h; y++) {
208             buf = pcx_rle_decode(buf, scanline, bytes_per_scanline, compressed);
209
210             for (x=0; x<w; x++) {
211                 int m = 0x80 >> (x&7), v = 0;
212                 for (i=nplanes - 1; i>=0; i--) {
213                     v <<= 1;
214                     v  += !!(scanline[i*bytes_per_line + (x>>3)] & m);
215                 }
216                 ptr[x] = v;
217             }
218             ptr += stride;
219         }
220     }
221
222     if (nplanes == 1 && bits_per_pixel == 8) {
223         pcx_palette(&buf, (uint32_t *) p->data[1], 256);
224     } else if (bits_per_pixel < 8) {
225         const uint8_t *palette = bufstart+16;
226         pcx_palette(&palette, (uint32_t *) p->data[1], 16);
227     }
228
229     *picture = s->picture;
230     *data_size = sizeof(AVFrame);
231
232     return buf - bufstart;
233 }
234
235 static av_cold int pcx_end(AVCodecContext *avctx) {
236     PCXContext *s = avctx->priv_data;
237
238     if(s->picture.data[0])
239         avctx->release_buffer(avctx, &s->picture);
240
241     return 0;
242 }
243
244 AVCodec pcx_decoder = {
245     "pcx",
246     CODEC_TYPE_VIDEO,
247     CODEC_ID_PCX,
248     sizeof(PCXContext),
249     pcx_init,
250     NULL,
251     pcx_end,
252     pcx_decode_frame,
253     CODEC_CAP_DR1,
254     NULL,
255     .long_name = NULL_IF_CONFIG_SMALL("PC Paintbrush PCX image"),
256 };