Return proper error code after av_log_ask_for_sample()
[ffmpeg.git] / libavcodec / pictordec.c
1 /*
2  * Pictor/PC Paint decoder
3  * Copyright (c) 2010 Peter Ross <pross@xvid.org>
4  *
5  * This file is part of Libav.
6  *
7  * Libav is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * Libav is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with Libav; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 /**
23  * @file
24  * Pictor/PC Paint decoder
25  */
26
27 #include "libavutil/imgutils.h"
28 #include "avcodec.h"
29 #include "bytestream.h"
30 #include "cga_data.h"
31 #include "internal.h"
32
33 typedef struct PicContext {
34     AVFrame frame;
35     int width, height;
36     int nb_planes;
37     GetByteContext g;
38 } PicContext;
39
40 static void picmemset_8bpp(PicContext *s, int value, int run, int *x, int *y)
41 {
42     while (run > 0) {
43         uint8_t *d = s->frame.data[0] + *y * s->frame.linesize[0];
44         if (*x + run >= s->width) {
45             int n = s->width - *x;
46             memset(d + *x, value, n);
47             run -= n;
48             *x = 0;
49             *y -= 1;
50             if (*y < 0)
51                 break;
52         } else {
53             memset(d + *x, value, run);
54             *x += run;
55             break;
56         }
57     }
58 }
59
60 static void picmemset(PicContext *s, int value, int run,
61                       int *x, int *y, int *plane, int bits_per_plane)
62 {
63     uint8_t *d;
64     int shift = *plane * bits_per_plane;
65     int mask  = ((1 << bits_per_plane) - 1) << shift;
66     value   <<= shift;
67
68     while (run > 0) {
69         int j;
70         for (j = 8-bits_per_plane; j >= 0; j -= bits_per_plane) {
71             d = s->frame.data[0] + *y * s->frame.linesize[0];
72             d[*x] |= (value >> j) & mask;
73             *x += 1;
74             if (*x == s->width) {
75                 *y -= 1;
76                 *x = 0;
77                 if (*y < 0) {
78                    *y = s->height - 1;
79                    *plane += 1;
80                    value <<= bits_per_plane;
81                    mask  <<= bits_per_plane;
82                    if (*plane >= s->nb_planes)
83                        break;
84                 }
85             }
86         }
87         run--;
88     }
89 }
90
91 static const uint8_t cga_mode45_index[6][4] = {
92     [0] = { 0, 3,  5,   7 }, // mode4, palette#1, low intensity
93     [1] = { 0, 2,  4,   6 }, // mode4, palette#2, low intensity
94     [2] = { 0, 3,  4,   7 }, // mode5, low intensity
95     [3] = { 0, 11, 13, 15 }, // mode4, palette#1, high intensity
96     [4] = { 0, 10, 12, 14 }, // mode4, palette#2, high intensity
97     [5] = { 0, 11, 12, 15 }, // mode5, high intensity
98 };
99
100 static int decode_frame(AVCodecContext *avctx,
101                         void *data, int *got_frame,
102                         AVPacket *avpkt)
103 {
104     PicContext *s = avctx->priv_data;
105     uint32_t *palette;
106     int bits_per_plane, bpp, etype, esize, npal, pos_after_pal;
107     int i, x, y, plane, tmp;
108
109     bytestream2_init(&s->g, avpkt->data, avpkt->size);
110
111     if (bytestream2_get_bytes_left(&s->g) < 11)
112         return AVERROR_INVALIDDATA;
113
114     if (bytestream2_get_le16u(&s->g) != 0x1234)
115         return AVERROR_INVALIDDATA;
116
117     s->width       = bytestream2_get_le16u(&s->g);
118     s->height      = bytestream2_get_le16u(&s->g);
119     bytestream2_skip(&s->g, 4);
120     tmp            = bytestream2_get_byteu(&s->g);
121     bits_per_plane = tmp & 0xF;
122     s->nb_planes   = (tmp >> 4) + 1;
123     bpp            = bits_per_plane * s->nb_planes;
124     if (bits_per_plane > 8 || bpp < 1 || bpp > 32) {
125         av_log_ask_for_sample(s, "unsupported bit depth\n");
126         return AVERROR_PATCHWELCOME;
127     }
128
129     if (bytestream2_peek_byte(&s->g) == 0xFF) {
130         bytestream2_skip(&s->g, 2);
131         etype = bytestream2_get_le16(&s->g);
132         esize = bytestream2_get_le16(&s->g);
133         if (bytestream2_get_bytes_left(&s->g) < esize)
134             return AVERROR_INVALIDDATA;
135     } else {
136         etype = -1;
137         esize = 0;
138     }
139
140     avctx->pix_fmt = AV_PIX_FMT_PAL8;
141
142     if (s->width != avctx->width && s->height != avctx->height) {
143         if (av_image_check_size(s->width, s->height, 0, avctx) < 0)
144             return -1;
145         avcodec_set_dimensions(avctx, s->width, s->height);
146         if (s->frame.data[0])
147             avctx->release_buffer(avctx, &s->frame);
148     }
149
150     if (ff_get_buffer(avctx, &s->frame) < 0){
151         av_log(avctx, AV_LOG_ERROR, "get_buffer() failed\n");
152         return -1;
153     }
154     memset(s->frame.data[0], 0, s->height * s->frame.linesize[0]);
155     s->frame.pict_type           = AV_PICTURE_TYPE_I;
156     s->frame.palette_has_changed = 1;
157
158     pos_after_pal = bytestream2_tell(&s->g) + esize;
159     palette = (uint32_t*)s->frame.data[1];
160     if (etype == 1 && esize > 1 && bytestream2_peek_byte(&s->g) < 6) {
161         int idx = bytestream2_get_byte(&s->g);
162         npal = 4;
163         for (i = 0; i < npal; i++)
164             palette[i] = ff_cga_palette[ cga_mode45_index[idx][i] ];
165     } else if (etype == 2) {
166         npal = FFMIN(esize, 16);
167         for (i = 0; i < npal; i++) {
168             int pal_idx = bytestream2_get_byte(&s->g);
169             palette[i]  = ff_cga_palette[FFMIN(pal_idx, 16)];
170         }
171     } else if (etype == 3) {
172         npal = FFMIN(esize, 16);
173         for (i = 0; i < npal; i++) {
174             int pal_idx = bytestream2_get_byte(&s->g);
175             palette[i]  = ff_ega_palette[FFMIN(pal_idx, 63)];
176         }
177     } else if (etype == 4 || etype == 5) {
178         npal = FFMIN(esize / 3, 256);
179         for (i = 0; i < npal; i++)
180             palette[i] = bytestream2_get_be24(&s->g) << 2;
181     } else {
182         if (bpp == 1) {
183             npal = 2;
184             palette[0] = 0x000000;
185             palette[1] = 0xFFFFFF;
186         } else if (bpp == 2) {
187             npal = 4;
188             for (i = 0; i < npal; i++)
189                 palette[i] = ff_cga_palette[ cga_mode45_index[0][i] ];
190         } else {
191             npal = 16;
192             memcpy(palette, ff_cga_palette, npal * 4);
193         }
194     }
195     // fill remaining palette entries
196     memset(palette + npal, 0, AVPALETTE_SIZE - npal * 4);
197     // skip remaining palette bytes
198     bytestream2_seek(&s->g, pos_after_pal, SEEK_SET);
199
200     x = 0;
201     y = s->height - 1;
202     plane = 0;
203     if (bytestream2_get_le16(&s->g)) {
204         while (bytestream2_get_bytes_left(&s->g) >= 6) {
205             int stop_size, marker, t1, t2;
206
207             t1        = bytestream2_get_bytes_left(&s->g);
208             t2        = bytestream2_get_le16(&s->g);
209             stop_size = t1 - FFMIN(t1, t2);
210             // ignore uncompressed block size
211             bytestream2_skip(&s->g, 2);
212             marker    = bytestream2_get_byte(&s->g);
213
214             while (plane < s->nb_planes &&
215                    bytestream2_get_bytes_left(&s->g) > stop_size) {
216                 int run = 1;
217                 int val = bytestream2_get_byte(&s->g);
218                 if (val == marker) {
219                     run = bytestream2_get_byte(&s->g);
220                     if (run == 0)
221                         run = bytestream2_get_le16(&s->g);
222                     val = bytestream2_get_byte(&s->g);
223                 }
224                 if (!bytestream2_get_bytes_left(&s->g))
225                     break;
226
227                 if (bits_per_plane == 8) {
228                     picmemset_8bpp(s, val, run, &x, &y);
229                     if (y < 0)
230                         break;
231                 } else {
232                     picmemset(s, val, run, &x, &y, &plane, bits_per_plane);
233                 }
234             }
235         }
236     } else {
237         av_log_ask_for_sample(s, "uncompressed image\n");
238         return avpkt->size;
239     }
240
241     *got_frame      = 1;
242     *(AVFrame*)data = s->frame;
243     return avpkt->size;
244 }
245
246 static av_cold int decode_end(AVCodecContext *avctx)
247 {
248     PicContext *s = avctx->priv_data;
249     if (s->frame.data[0])
250         avctx->release_buffer(avctx, &s->frame);
251     return 0;
252 }
253
254 AVCodec ff_pictor_decoder = {
255     .name           = "pictor",
256     .type           = AVMEDIA_TYPE_VIDEO,
257     .id             = AV_CODEC_ID_PICTOR,
258     .priv_data_size = sizeof(PicContext),
259     .close          = decode_end,
260     .decode         = decode_frame,
261     .capabilities   = CODEC_CAP_DR1,
262     .long_name      = NULL_IF_CONFIG_SMALL("Pictor/PC Paint"),
263 };