avcodec/qdrw: consume bytes when end is reached for 8bpp case
[ffmpeg.git] / libavcodec / qdrw.c
1 /*
2  * QuickDraw (qdrw) codec
3  * Copyright (c) 2004 Konstantin Shishkov
4  * Copyright (c) 2015 Vittorio Giovara
5  *
6  * This file is part of FFmpeg.
7  *
8  * FFmpeg is free software; you can redistribute it and/or
9  * modify it under the terms of the GNU Lesser General Public
10  * License as published by the Free Software Foundation; either
11  * version 2.1 of the License, or (at your option) any later version.
12  *
13  * FFmpeg is distributed in the hope that it will be useful,
14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
16  * Lesser General Public License for more details.
17  *
18  * You should have received a copy of the GNU Lesser General Public
19  * License along with FFmpeg; if not, write to the Free Software
20  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
21  */
22
23 /**
24  * @file
25  * Apple QuickDraw codec.
26  * https://developer.apple.com/legacy/library/documentation/mac/QuickDraw/QuickDraw-461.html
27  */
28
29 #include "libavutil/common.h"
30 #include "libavutil/intreadwrite.h"
31 #include "avcodec.h"
32 #include "bytestream.h"
33 #include "internal.h"
34
35 enum QuickdrawOpcodes {
36     CLIP = 0x0001,
37     PACKBITSRECT = 0x0098,
38     PACKBITSRGN,
39     DIRECTBITSRECT,
40     DIRECTBITSRGN,
41     SHORTCOMMENT = 0x00A0,
42     LONGCOMMENT,
43
44     EOP = 0x00FF,
45 };
46
47 static int parse_palette(AVCodecContext *avctx, GetByteContext *gbc,
48                          uint32_t *pal, int colors)
49 {
50     int i;
51
52     for (i = 0; i <= colors; i++) {
53         uint8_t r, g, b;
54         unsigned int idx = bytestream2_get_be16(gbc); /* color index */
55         if (idx > 255) {
56             av_log(avctx, AV_LOG_WARNING,
57                    "Palette index out of range: %u\n", idx);
58             bytestream2_skip(gbc, 6);
59             continue;
60         }
61         r = bytestream2_get_byte(gbc);
62         bytestream2_skip(gbc, 1);
63         g = bytestream2_get_byte(gbc);
64         bytestream2_skip(gbc, 1);
65         b = bytestream2_get_byte(gbc);
66         bytestream2_skip(gbc, 1);
67         pal[idx] = (0xFFU << 24) | (r << 16) | (g << 8) | b;
68     }
69     return 0;
70 }
71
72 static int decode_rle_bpp2(AVCodecContext *avctx, AVFrame *p, GetByteContext *gbc)
73 {
74     int offset = avctx->width;
75     uint8_t *outdata = p->data[0];
76     int i, j;
77
78     for (i = 0; i < avctx->height; i++) {
79         int size, left, code, pix;
80         uint8_t *out = outdata;
81         int pos = 0;
82
83         /* size of packed line */
84         size = left = bytestream2_get_be16(gbc);
85         if (bytestream2_get_bytes_left(gbc) < size)
86             return AVERROR_INVALIDDATA;
87
88         /* decode line */
89         while (left > 0) {
90             code = bytestream2_get_byte(gbc);
91             if (code & 0x80 ) { /* run */
92                 pix = bytestream2_get_byte(gbc);
93                 for (j = 0; j < 257 - code; j++) {
94                     if (pos < offset)
95                         out[pos++] = (pix & 0xC0) >> 6;
96                     if (pos < offset)
97                         out[pos++] = (pix & 0x30) >> 4;
98                     if (pos < offset)
99                         out[pos++] = (pix & 0x0C) >> 2;
100                     if (pos < offset)
101                         out[pos++] = (pix & 0x03);
102                 }
103                 left  -= 2;
104             } else { /* copy */
105                 for (j = 0; j < code + 1; j++) {
106                     pix = bytestream2_get_byte(gbc);
107                     if (pos < offset)
108                         out[pos++] = (pix & 0xC0) >> 6;
109                     if (pos < offset)
110                         out[pos++] = (pix & 0x30) >> 4;
111                     if (pos < offset)
112                         out[pos++] = (pix & 0x0C) >> 2;
113                     if (pos < offset)
114                         out[pos++] = (pix & 0x03);
115                 }
116                 left  -= 1 + (code + 1);
117             }
118         }
119         outdata += p->linesize[0];
120     }
121     return 0;
122 }
123
124 static int decode_rle_bpp4(AVCodecContext *avctx, AVFrame *p, GetByteContext *gbc)
125 {
126     int offset = avctx->width;
127     uint8_t *outdata = p->data[0];
128     int i, j;
129
130     for (i = 0; i < avctx->height; i++) {
131         int size, left, code, pix;
132         uint8_t *out = outdata;
133         int pos = 0;
134
135         /* size of packed line */
136         size = left = bytestream2_get_be16(gbc);
137         if (bytestream2_get_bytes_left(gbc) < size)
138             return AVERROR_INVALIDDATA;
139
140         /* decode line */
141         while (left > 0) {
142             code = bytestream2_get_byte(gbc);
143             if (code & 0x80 ) { /* run */
144                 pix = bytestream2_get_byte(gbc);
145                 for (j = 0; j < 257 - code; j++) {
146                     if (pos < offset)
147                         out[pos++] = (pix & 0xF0) >> 4;
148                     if (pos < offset)
149                         out[pos++] = pix & 0xF;
150                 }
151                 left  -= 2;
152             } else { /* copy */
153                 for (j = 0; j < code + 1; j++) {
154                     pix = bytestream2_get_byte(gbc);
155                     if (pos < offset)
156                         out[pos++] = (pix & 0xF0) >> 4;
157                     if (pos < offset)
158                         out[pos++] = pix & 0xF;
159                 }
160                 left  -= 1 + (code + 1);
161             }
162         }
163         outdata += p->linesize[0];
164     }
165     return 0;
166 }
167
168 static int decode_rle16(AVCodecContext *avctx, AVFrame *p, GetByteContext *gbc)
169 {
170     int offset = avctx->width;
171     uint8_t *outdata = p->data[0];
172     int i, j;
173
174     for (i = 0; i < avctx->height; i++) {
175         int size, left, code, pix;
176         uint16_t *out = (uint16_t *)outdata;
177         int pos = 0;
178
179         /* size of packed line */
180         size = left = bytestream2_get_be16(gbc);
181         if (bytestream2_get_bytes_left(gbc) < size)
182             return AVERROR_INVALIDDATA;
183
184         /* decode line */
185         while (left > 0) {
186             code = bytestream2_get_byte(gbc);
187             if (code & 0x80 ) { /* run */
188                 pix = bytestream2_get_be16(gbc);
189                 for (j = 0; j < 257 - code; j++) {
190                     if (pos < offset) {
191                         out[pos++] = pix;
192                     }
193                 }
194                 left  -= 3;
195             } else { /* copy */
196                 for (j = 0; j < code + 1; j++) {
197                     if (pos < offset) {
198                         out[pos++] = bytestream2_get_be16(gbc);
199                     } else {
200                         bytestream2_skip(gbc, 2);
201                     }
202                 }
203                 left  -= 1 + (code + 1) * 2;
204             }
205         }
206         outdata += p->linesize[0];
207     }
208     return 0;
209 }
210
211 static int decode_rle(AVCodecContext *avctx, AVFrame *p, GetByteContext *gbc,
212                       int step)
213 {
214     int i, j;
215     int offset = avctx->width * step;
216     uint8_t *outdata = p->data[0];
217
218     for (i = 0; i < avctx->height; i++) {
219         int size, left, code, pix;
220         uint8_t *out = outdata;
221         int pos = 0;
222
223         /* size of packed line */
224         size = left = bytestream2_get_be16(gbc);
225         if (bytestream2_get_bytes_left(gbc) < size)
226             return AVERROR_INVALIDDATA;
227
228         /* decode line */
229         while (left > 0) {
230             code = bytestream2_get_byte(gbc);
231             if (code & 0x80 ) { /* run */
232                 pix = bytestream2_get_byte(gbc);
233                 for (j = 0; j < 257 - code; j++) {
234                     if (pos < offset)
235                         out[pos] = pix;
236                     pos += step;
237                     if (pos >= offset && step > 1) {
238                         pos -= offset;
239                         pos++;
240                     }
241                 }
242                 left  -= 2;
243             } else { /* copy */
244                 for (j = 0; j < code + 1; j++) {
245                     pix = bytestream2_get_byte(gbc);
246                     if (pos < offset)
247                         out[pos] = pix;
248                     pos += step;
249                     if (pos >= offset && step > 1) {
250                         pos -= offset;
251                         pos++;
252                     }
253                 }
254                 left  -= 2 + code;
255             }
256         }
257         outdata += p->linesize[0];
258     }
259     return 0;
260 }
261
262 static int check_header(const char *buf, int buf_size)
263 {
264     unsigned w, h, v0, v1;
265
266     if (buf_size < 40)
267         return 0;
268
269     w = AV_RB16(buf+6);
270     h = AV_RB16(buf+8);
271     v0 = AV_RB16(buf+10);
272     v1 = AV_RB16(buf+12);
273
274     if (!w || !h)
275         return 0;
276
277     if (v0 == 0x1101)
278         return 1;
279     if (v0 == 0x0011 && v1 == 0x02FF)
280         return 2;
281     return 0;
282 }
283
284
285 static int decode_frame(AVCodecContext *avctx,
286                         void *data, int *got_frame,
287                         AVPacket *avpkt)
288 {
289     AVFrame * const p      = data;
290     GetByteContext gbc;
291     int colors;
292     int w, h, ret;
293     int ver;
294
295     bytestream2_init(&gbc, avpkt->data, avpkt->size);
296     if (   bytestream2_get_bytes_left(&gbc) >= 552
297            &&  check_header(gbc.buffer + 512, bytestream2_get_bytes_left(&gbc) - 512)
298        )
299         bytestream2_skip(&gbc, 512);
300
301     ver = check_header(gbc.buffer, bytestream2_get_bytes_left(&gbc));
302
303     /* smallest PICT header */
304     if (bytestream2_get_bytes_left(&gbc) < 40) {
305         av_log(avctx, AV_LOG_ERROR, "Frame is too small %d\n",
306                bytestream2_get_bytes_left(&gbc));
307         return AVERROR_INVALIDDATA;
308     }
309
310     bytestream2_skip(&gbc, 6);
311     h = bytestream2_get_be16(&gbc);
312     w = bytestream2_get_be16(&gbc);
313
314     ret = ff_set_dimensions(avctx, w, h);
315     if (ret < 0)
316         return ret;
317
318     /* version 1 is identified by 0x1101
319      * it uses byte-aligned opcodes rather than word-aligned */
320     if (ver == 1) {
321         avpriv_request_sample(avctx, "QuickDraw version 1");
322         return AVERROR_PATCHWELCOME;
323     } else if (ver != 2) {
324         avpriv_request_sample(avctx, "QuickDraw version unknown (%X)", bytestream2_get_be32(&gbc));
325         return AVERROR_PATCHWELCOME;
326     }
327
328     bytestream2_skip(&gbc, 4+26);
329
330     while (bytestream2_get_bytes_left(&gbc) >= 4) {
331         int bppcnt, bpp;
332         int rowbytes, pack_type;
333         int opcode = bytestream2_get_be16(&gbc);
334
335         switch(opcode) {
336         case CLIP:
337             bytestream2_skip(&gbc, 10);
338             break;
339         case PACKBITSRECT:
340         case PACKBITSRGN:
341             av_log(avctx, AV_LOG_DEBUG, "Parsing Packbit opcode\n");
342
343             bytestream2_skip(&gbc, 30);
344             bppcnt = bytestream2_get_be16(&gbc); /* cmpCount */
345             bpp    = bytestream2_get_be16(&gbc); /* cmpSize */
346
347             av_log(avctx, AV_LOG_DEBUG, "bppcount %d bpp %d\n", bppcnt, bpp);
348             if (bppcnt == 1 && bpp == 8) {
349                 avctx->pix_fmt = AV_PIX_FMT_PAL8;
350             } else if (bppcnt == 1 && (bpp == 4 || bpp == 2)) {
351                 avctx->pix_fmt = AV_PIX_FMT_PAL8;
352             } else if (bppcnt == 3 && bpp == 5) {
353                 avctx->pix_fmt = AV_PIX_FMT_RGB555;
354             } else {
355                 av_log(avctx, AV_LOG_ERROR,
356                        "Invalid pixel format (bppcnt %d bpp %d) in Packbit\n",
357                        bppcnt, bpp);
358                 return AVERROR_INVALIDDATA;
359             }
360
361             /* jump to palette */
362             bytestream2_skip(&gbc, 18);
363             colors = bytestream2_get_be16(&gbc);
364
365             if (colors < 0 || colors > 256) {
366                 av_log(avctx, AV_LOG_ERROR,
367                        "Error color count - %i(0x%X)\n", colors, colors);
368                 return AVERROR_INVALIDDATA;
369             }
370             if (bytestream2_get_bytes_left(&gbc) < (colors + 1) * 8) {
371                 av_log(avctx, AV_LOG_ERROR, "Palette is too small %d\n",
372                        bytestream2_get_bytes_left(&gbc));
373                 return AVERROR_INVALIDDATA;
374             }
375             if ((ret = ff_get_buffer(avctx, p, 0)) < 0)
376                 return ret;
377
378             parse_palette(avctx, &gbc, (uint32_t *)p->data[1], colors);
379             p->palette_has_changed = 1;
380
381             /* jump to image data */
382             bytestream2_skip(&gbc, 18);
383
384             if (opcode == PACKBITSRGN) {
385                 bytestream2_skip(&gbc, 2 + 8); /* size + rect */
386                 avpriv_report_missing_feature(avctx, "Packbit mask region");
387             }
388
389             if (avctx->pix_fmt == AV_PIX_FMT_RGB555)
390                 ret = decode_rle16(avctx, p, &gbc);
391             else if (bpp == 2)
392                 ret = decode_rle_bpp2(avctx, p, &gbc);
393             else if (bpp == 4)
394                 ret = decode_rle_bpp4(avctx, p, &gbc);
395             else
396                 ret = decode_rle(avctx, p, &gbc, bppcnt);
397             if (ret < 0)
398                 return ret;
399             *got_frame = 1;
400             break;
401         case DIRECTBITSRECT:
402         case DIRECTBITSRGN:
403             av_log(avctx, AV_LOG_DEBUG, "Parsing Directbit opcode\n");
404
405             bytestream2_skip(&gbc, 4);
406             rowbytes = bytestream2_get_be16(&gbc) & 0x3FFF;
407             if (rowbytes <= 250) {
408                 avpriv_report_missing_feature(avctx, "Short rowbytes");
409                 return AVERROR_PATCHWELCOME;
410             }
411
412             bytestream2_skip(&gbc, 4);
413             h = bytestream2_get_be16(&gbc);
414             w = bytestream2_get_be16(&gbc);
415             bytestream2_skip(&gbc, 2);
416
417             ret = ff_set_dimensions(avctx, w, h);
418             if (ret < 0)
419                 return ret;
420
421             pack_type = bytestream2_get_be16(&gbc);
422
423             bytestream2_skip(&gbc, 16);
424             bppcnt = bytestream2_get_be16(&gbc); /* cmpCount */
425             bpp    = bytestream2_get_be16(&gbc); /* cmpSize */
426
427             av_log(avctx, AV_LOG_DEBUG, "bppcount %d bpp %d\n", bppcnt, bpp);
428             if (bppcnt == 3 && bpp == 8) {
429                 avctx->pix_fmt = AV_PIX_FMT_RGB24;
430             } else if (bppcnt == 3 && bpp == 5) {
431                 avctx->pix_fmt = AV_PIX_FMT_RGB555;
432             } else if (bppcnt == 4 && bpp == 8) {
433                 avctx->pix_fmt = AV_PIX_FMT_ARGB;
434             } else {
435                 av_log(avctx, AV_LOG_ERROR,
436                        "Invalid pixel format (bppcnt %d bpp %d) in Directbit\n",
437                        bppcnt, bpp);
438                 return AVERROR_INVALIDDATA;
439             }
440
441             /* set packing when default is selected */
442             if (pack_type == 0)
443                 pack_type = bppcnt;
444
445             if (pack_type != 3 && pack_type != 4) {
446                 avpriv_request_sample(avctx, "Pack type %d", pack_type);
447                 return AVERROR_PATCHWELCOME;
448             }
449             if ((ret = ff_get_buffer(avctx, p, 0)) < 0)
450                 return ret;
451
452             /* jump to data */
453             bytestream2_skip(&gbc, 30);
454
455             if (opcode == DIRECTBITSRGN) {
456                 bytestream2_skip(&gbc, 2 + 8); /* size + rect */
457                 avpriv_report_missing_feature(avctx, "DirectBit mask region");
458             }
459
460             if (avctx->pix_fmt == AV_PIX_FMT_RGB555)
461                 ret = decode_rle16(avctx, p, &gbc);
462             else
463                 ret = decode_rle(avctx, p, &gbc, bppcnt);
464             if (ret < 0)
465                 return ret;
466             *got_frame = 1;
467             break;
468         case LONGCOMMENT:
469             bytestream2_get_be16(&gbc);
470             bytestream2_skip(&gbc, bytestream2_get_be16(&gbc));
471             break;
472         default:
473             av_log(avctx, AV_LOG_TRACE, "Unknown 0x%04X opcode\n", opcode);
474             break;
475         }
476         /* exit the loop when a known pixel block has been found */
477         if (*got_frame) {
478             int eop, trail;
479
480             /* re-align to a word */
481             bytestream2_skip(&gbc, bytestream2_get_bytes_left(&gbc) % 2);
482
483             eop = bytestream2_get_be16(&gbc);
484             trail = bytestream2_get_bytes_left(&gbc);
485             if (eop != EOP)
486                 av_log(avctx, AV_LOG_WARNING,
487                        "Missing end of picture opcode (found 0x%04X)\n", eop);
488             if (trail)
489                 av_log(avctx, AV_LOG_WARNING, "Got %d trailing bytes\n", trail);
490             break;
491         }
492     }
493
494     if (*got_frame) {
495         p->pict_type = AV_PICTURE_TYPE_I;
496         p->key_frame = 1;
497
498         return avpkt->size;
499     } else {
500         av_log(avctx, AV_LOG_ERROR, "Frame contained no usable data\n");
501
502         return AVERROR_INVALIDDATA;
503     }
504 }
505
506 AVCodec ff_qdraw_decoder = {
507     .name           = "qdraw",
508     .long_name      = NULL_IF_CONFIG_SMALL("Apple QuickDraw"),
509     .type           = AVMEDIA_TYPE_VIDEO,
510     .id             = AV_CODEC_ID_QDRAW,
511     .decode         = decode_frame,
512     .capabilities   = AV_CODEC_CAP_DR1,
513 };