Merge commit '89f11f498b9c15bc71494a11a7ec560f4adf630d'
[ffmpeg.git] / libavcodec / qtrle.c
1 /*
2  * Quicktime Animation (RLE) Video Decoder
3  * Copyright (C) 2004 the ffmpeg project
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with FFmpeg; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 /**
23  * @file
24  * QT RLE Video Decoder by Mike Melanson (melanson@pcisys.net)
25  * For more information about the QT RLE format, visit:
26  *   http://www.pcisys.net/~melanson/codecs/
27  *
28  * The QT RLE decoder has seven modes of operation:
29  * 1, 2, 4, 8, 16, 24, and 32 bits per pixel. For modes 1, 2, 4, and 8
30  * the decoder outputs PAL8 colorspace data. 16-bit data yields RGB555
31  * data. 24-bit data is RGB24 and 32-bit data is RGB32.
32  */
33
34 #include <stdio.h>
35 #include <stdlib.h>
36 #include <string.h>
37
38 #include "avcodec.h"
39 #include "bytestream.h"
40
41 typedef struct QtrleContext {
42     AVCodecContext *avctx;
43     AVFrame frame;
44
45     GetByteContext g;
46     uint32_t pal[256];
47 } QtrleContext;
48
49 #define CHECK_PIXEL_PTR(n) \
50   if ((pixel_ptr + n > pixel_limit) || (pixel_ptr + n < 0)) { \
51     av_log (s->avctx, AV_LOG_INFO, "Problem: pixel_ptr = %d, pixel_limit = %d\n", \
52       pixel_ptr + n, pixel_limit); \
53     return; \
54   } \
55
56 static void qtrle_decode_1bpp(QtrleContext *s, int row_ptr, int lines_to_change)
57 {
58     int rle_code;
59     int pixel_ptr;
60     int row_inc = s->frame.linesize[0];
61     unsigned char pi0, pi1;  /* 2 8-pixel values */
62     unsigned char *rgb = s->frame.data[0];
63     int pixel_limit = s->frame.linesize[0] * s->avctx->height;
64     int skip;
65     /* skip & 0x80 appears to mean 'start a new line', which can be interpreted
66      * as 'go to next line' during the decoding of a frame but is 'go to first
67      * line' at the beginning. Since we always interpret it as 'go to next line'
68      * in the decoding loop (which makes code simpler/faster), the first line
69      * would not be counted, so we count one more.
70      * See: https://ffmpeg.org/trac/ffmpeg/ticket/226
71      * In the following decoding loop, row_ptr will be the position of the
72      * _next_ row. */
73
74     row_ptr  -= row_inc;
75     pixel_ptr = row_ptr;
76     lines_to_change++;
77     while (lines_to_change) {
78         skip     =              bytestream2_get_byte(&s->g);
79         rle_code = (signed char)bytestream2_get_byte(&s->g);
80         if (rle_code == 0)
81             break;
82         if(skip & 0x80) {
83             lines_to_change--;
84             row_ptr += row_inc;
85             pixel_ptr = row_ptr + 2 * (skip & 0x7f);
86         } else
87             pixel_ptr += 2 * skip;
88         CHECK_PIXEL_PTR(0);  /* make sure pixel_ptr is positive */
89
90         if(rle_code == -1)
91             continue;
92
93         if (rle_code < 0) {
94             /* decode the run length code */
95             rle_code = -rle_code;
96             /* get the next 2 bytes from the stream, treat them as groups
97              * of 8 pixels, and output them rle_code times */
98
99             pi0 = bytestream2_get_byte(&s->g);
100             pi1 = bytestream2_get_byte(&s->g);
101             CHECK_PIXEL_PTR(rle_code * 2);
102
103             while (rle_code--) {
104                 rgb[pixel_ptr++] = pi0;
105                 rgb[pixel_ptr++] = pi1;
106             }
107         } else {
108             /* copy the same pixel directly to output 2 times */
109             rle_code *= 2;
110             CHECK_PIXEL_PTR(rle_code);
111
112             while (rle_code--)
113                 rgb[pixel_ptr++] = bytestream2_get_byte(&s->g);
114         }
115     }
116 }
117
118 static inline void qtrle_decode_2n4bpp(QtrleContext *s, int row_ptr,
119                                        int lines_to_change, int bpp)
120 {
121     int rle_code, i;
122     int pixel_ptr;
123     int row_inc = s->frame.linesize[0];
124     unsigned char pi[16];  /* 16 palette indices */
125     unsigned char *rgb = s->frame.data[0];
126     int pixel_limit = s->frame.linesize[0] * s->avctx->height;
127     int num_pixels = (bpp == 4) ? 8 : 16;
128
129     while (lines_to_change--) {
130         pixel_ptr = row_ptr + (num_pixels * (bytestream2_get_byte(&s->g) - 1));
131         CHECK_PIXEL_PTR(0);  /* make sure pixel_ptr is positive */
132
133         while ((rle_code = (signed char)bytestream2_get_byte(&s->g)) != -1) {
134             if (rle_code == 0) {
135                 /* there's another skip code in the stream */
136                 pixel_ptr += (num_pixels * (bytestream2_get_byte(&s->g) - 1));
137                 CHECK_PIXEL_PTR(0);  /* make sure pixel_ptr is positive */
138             } else if (rle_code < 0) {
139                 /* decode the run length code */
140                 rle_code = -rle_code;
141                 /* get the next 4 bytes from the stream, treat them as palette
142                  * indexes, and output them rle_code times */
143                 for (i = num_pixels-1; i >= 0; i--) {
144                     pi[num_pixels-1-i] = (bytestream2_peek_byte(&s->g) >> ((i*bpp) & 0x07)) & ((1<<bpp)-1);
145                     bytestream2_skip(&s->g, ((i & ((num_pixels>>2)-1)) == 0));
146                 }
147                 CHECK_PIXEL_PTR(rle_code * num_pixels);
148                 while (rle_code--) {
149                     for (i = 0; i < num_pixels; i++)
150                         rgb[pixel_ptr++] = pi[i];
151                 }
152             } else {
153                 /* copy the same pixel directly to output 4 times */
154                 rle_code *= 4;
155                 CHECK_PIXEL_PTR(rle_code*(num_pixels>>2));
156                 while (rle_code--) {
157                     if(bpp == 4) {
158                         int x = bytestream2_get_byte(&s->g);
159                         rgb[pixel_ptr++] = (x >> 4) & 0x0f;
160                         rgb[pixel_ptr++] =  x       & 0x0f;
161                     } else {
162                         int x = bytestream2_get_byte(&s->g);
163                         rgb[pixel_ptr++] = (x >> 6) & 0x03;
164                         rgb[pixel_ptr++] = (x >> 4) & 0x03;
165                         rgb[pixel_ptr++] = (x >> 2) & 0x03;
166                         rgb[pixel_ptr++] =  x       & 0x03;
167                     }
168                 }
169             }
170         }
171         row_ptr += row_inc;
172     }
173 }
174
175 static void qtrle_decode_8bpp(QtrleContext *s, int row_ptr, int lines_to_change)
176 {
177     int rle_code;
178     int pixel_ptr;
179     int row_inc = s->frame.linesize[0];
180     unsigned char pi1, pi2, pi3, pi4;  /* 4 palette indexes */
181     unsigned char *rgb = s->frame.data[0];
182     int pixel_limit = s->frame.linesize[0] * s->avctx->height;
183
184     while (lines_to_change--) {
185         pixel_ptr = row_ptr + (4 * (bytestream2_get_byte(&s->g) - 1));
186         CHECK_PIXEL_PTR(0);  /* make sure pixel_ptr is positive */
187
188         while ((rle_code = (signed char)bytestream2_get_byte(&s->g)) != -1) {
189             if (rle_code == 0) {
190                 /* there's another skip code in the stream */
191                 pixel_ptr += (4 * (bytestream2_get_byte(&s->g) - 1));
192                 CHECK_PIXEL_PTR(0);  /* make sure pixel_ptr is positive */
193             } else if (rle_code < 0) {
194                 /* decode the run length code */
195                 rle_code = -rle_code;
196                 /* get the next 4 bytes from the stream, treat them as palette
197                  * indexes, and output them rle_code times */
198                 pi1 = bytestream2_get_byte(&s->g);
199                 pi2 = bytestream2_get_byte(&s->g);
200                 pi3 = bytestream2_get_byte(&s->g);
201                 pi4 = bytestream2_get_byte(&s->g);
202
203                 CHECK_PIXEL_PTR(rle_code * 4);
204
205                 while (rle_code--) {
206                     rgb[pixel_ptr++] = pi1;
207                     rgb[pixel_ptr++] = pi2;
208                     rgb[pixel_ptr++] = pi3;
209                     rgb[pixel_ptr++] = pi4;
210                 }
211             } else {
212                 /* copy the same pixel directly to output 4 times */
213                 rle_code *= 4;
214                 CHECK_PIXEL_PTR(rle_code);
215
216                 while (rle_code--) {
217                     rgb[pixel_ptr++] = bytestream2_get_byte(&s->g);
218                 }
219             }
220         }
221         row_ptr += row_inc;
222     }
223 }
224
225 static void qtrle_decode_16bpp(QtrleContext *s, int row_ptr, int lines_to_change)
226 {
227     int rle_code;
228     int pixel_ptr;
229     int row_inc = s->frame.linesize[0];
230     unsigned short rgb16;
231     unsigned char *rgb = s->frame.data[0];
232     int pixel_limit = s->frame.linesize[0] * s->avctx->height;
233
234     while (lines_to_change--) {
235         pixel_ptr = row_ptr + (bytestream2_get_byte(&s->g) - 1) * 2;
236         CHECK_PIXEL_PTR(0);  /* make sure pixel_ptr is positive */
237
238         while ((rle_code = (signed char)bytestream2_get_byte(&s->g)) != -1) {
239             if (rle_code == 0) {
240                 /* there's another skip code in the stream */
241                 pixel_ptr += (bytestream2_get_byte(&s->g) - 1) * 2;
242                 CHECK_PIXEL_PTR(0);  /* make sure pixel_ptr is positive */
243             } else if (rle_code < 0) {
244                 /* decode the run length code */
245                 rle_code = -rle_code;
246                 rgb16 = bytestream2_get_be16(&s->g);
247
248                 CHECK_PIXEL_PTR(rle_code * 2);
249
250                 while (rle_code--) {
251                     *(unsigned short *)(&rgb[pixel_ptr]) = rgb16;
252                     pixel_ptr += 2;
253                 }
254             } else {
255                 CHECK_PIXEL_PTR(rle_code * 2);
256
257                 /* copy pixels directly to output */
258                 while (rle_code--) {
259                     rgb16 = bytestream2_get_be16(&s->g);
260                     *(unsigned short *)(&rgb[pixel_ptr]) = rgb16;
261                     pixel_ptr += 2;
262                 }
263             }
264         }
265         row_ptr += row_inc;
266     }
267 }
268
269 static void qtrle_decode_24bpp(QtrleContext *s, int row_ptr, int lines_to_change)
270 {
271     int rle_code;
272     int pixel_ptr;
273     int row_inc = s->frame.linesize[0];
274     unsigned char r, g, b;
275     unsigned char *rgb = s->frame.data[0];
276     int pixel_limit = s->frame.linesize[0] * s->avctx->height;
277
278     while (lines_to_change--) {
279         pixel_ptr = row_ptr + (bytestream2_get_byte(&s->g) - 1) * 3;
280         CHECK_PIXEL_PTR(0);  /* make sure pixel_ptr is positive */
281
282         while ((rle_code = (signed char)bytestream2_get_byte(&s->g)) != -1) {
283             if (rle_code == 0) {
284                 /* there's another skip code in the stream */
285                 pixel_ptr += (bytestream2_get_byte(&s->g) - 1) * 3;
286                 CHECK_PIXEL_PTR(0);  /* make sure pixel_ptr is positive */
287             } else if (rle_code < 0) {
288                 /* decode the run length code */
289                 rle_code = -rle_code;
290                 r = bytestream2_get_byte(&s->g);
291                 g = bytestream2_get_byte(&s->g);
292                 b = bytestream2_get_byte(&s->g);
293
294                 CHECK_PIXEL_PTR(rle_code * 3);
295
296                 while (rle_code--) {
297                     rgb[pixel_ptr++] = r;
298                     rgb[pixel_ptr++] = g;
299                     rgb[pixel_ptr++] = b;
300                 }
301             } else {
302                 CHECK_PIXEL_PTR(rle_code * 3);
303
304                 /* copy pixels directly to output */
305                 while (rle_code--) {
306                     rgb[pixel_ptr++] = bytestream2_get_byte(&s->g);
307                     rgb[pixel_ptr++] = bytestream2_get_byte(&s->g);
308                     rgb[pixel_ptr++] = bytestream2_get_byte(&s->g);
309                 }
310             }
311         }
312         row_ptr += row_inc;
313     }
314 }
315
316 static void qtrle_decode_32bpp(QtrleContext *s, int row_ptr, int lines_to_change)
317 {
318     int rle_code;
319     int pixel_ptr;
320     int row_inc = s->frame.linesize[0];
321     unsigned int argb;
322     unsigned char *rgb = s->frame.data[0];
323     int pixel_limit = s->frame.linesize[0] * s->avctx->height;
324
325     while (lines_to_change--) {
326         pixel_ptr = row_ptr + (bytestream2_get_byte(&s->g) - 1) * 4;
327         CHECK_PIXEL_PTR(0);  /* make sure pixel_ptr is positive */
328
329         while ((rle_code = (signed char)bytestream2_get_byte(&s->g)) != -1) {
330             if (rle_code == 0) {
331                 /* there's another skip code in the stream */
332                 pixel_ptr += (bytestream2_get_byte(&s->g) - 1) * 4;
333                 CHECK_PIXEL_PTR(0);  /* make sure pixel_ptr is positive */
334             } else if (rle_code < 0) {
335                 /* decode the run length code */
336                 rle_code = -rle_code;
337                 argb = bytestream2_get_be32(&s->g);
338
339                 CHECK_PIXEL_PTR(rle_code * 4);
340
341                 while (rle_code--) {
342                     AV_WN32A(rgb + pixel_ptr, argb);
343                     pixel_ptr += 4;
344                 }
345             } else {
346                 CHECK_PIXEL_PTR(rle_code * 4);
347
348                 /* copy pixels directly to output */
349                 while (rle_code--) {
350                     argb = bytestream2_get_be32(&s->g);
351                     AV_WN32A(rgb + pixel_ptr, argb);
352                     pixel_ptr  += 4;
353                 }
354             }
355         }
356         row_ptr += row_inc;
357     }
358 }
359
360 static av_cold int qtrle_decode_init(AVCodecContext *avctx)
361 {
362     QtrleContext *s = avctx->priv_data;
363
364     s->avctx = avctx;
365     switch (avctx->bits_per_coded_sample) {
366     case 1:
367     case 33:
368         avctx->pix_fmt = AV_PIX_FMT_MONOWHITE;
369         break;
370
371     case 2:
372     case 4:
373     case 8:
374     case 34:
375     case 36:
376     case 40:
377         avctx->pix_fmt = AV_PIX_FMT_PAL8;
378         break;
379
380     case 16:
381         avctx->pix_fmt = AV_PIX_FMT_RGB555;
382         break;
383
384     case 24:
385         avctx->pix_fmt = AV_PIX_FMT_RGB24;
386         break;
387
388     case 32:
389         avctx->pix_fmt = AV_PIX_FMT_RGB32;
390         break;
391
392     default:
393         av_log (avctx, AV_LOG_ERROR, "Unsupported colorspace: %d bits/sample?\n",
394             avctx->bits_per_coded_sample);
395         return AVERROR_INVALIDDATA;
396     }
397
398     avcodec_get_frame_defaults(&s->frame);
399     s->frame.data[0] = NULL;
400
401     return 0;
402 }
403
404 static int qtrle_decode_frame(AVCodecContext *avctx,
405                               void *data, int *got_frame,
406                               AVPacket *avpkt)
407 {
408     QtrleContext *s = avctx->priv_data;
409     int header, start_line;
410     int height, row_ptr;
411     int has_palette = 0;
412     int ret;
413
414     bytestream2_init(&s->g, avpkt->data, avpkt->size);
415     s->frame.reference = 3;
416     s->frame.buffer_hints = FF_BUFFER_HINTS_VALID | FF_BUFFER_HINTS_PRESERVE |
417                             FF_BUFFER_HINTS_REUSABLE | FF_BUFFER_HINTS_READABLE;
418     if ((ret = avctx->reget_buffer(avctx, &s->frame)) < 0) {
419         av_log (s->avctx, AV_LOG_ERROR, "reget_buffer() failed\n");
420         return ret;
421     }
422
423     /* check if this frame is even supposed to change */
424     if (avpkt->size < 8)
425         goto done;
426
427     /* start after the chunk size */
428     bytestream2_seek(&s->g, 4, SEEK_SET);
429
430     /* fetch the header */
431     header = bytestream2_get_be16(&s->g);
432
433     /* if a header is present, fetch additional decoding parameters */
434     if (header & 0x0008) {
435         if (avpkt->size < 14)
436             goto done;
437         start_line = bytestream2_get_be16(&s->g);
438         bytestream2_skip(&s->g, 2);
439         height     = bytestream2_get_be16(&s->g);
440         bytestream2_skip(&s->g, 2);
441         if (height > s->avctx->height - start_line)
442             goto done;
443     } else {
444         start_line = 0;
445         height     = s->avctx->height;
446     }
447     row_ptr = s->frame.linesize[0] * start_line;
448
449     switch (avctx->bits_per_coded_sample) {
450     case 1:
451     case 33:
452         qtrle_decode_1bpp(s, row_ptr, height);
453         break;
454
455     case 2:
456     case 34:
457         qtrle_decode_2n4bpp(s, row_ptr, height, 2);
458         has_palette = 1;
459         break;
460
461     case 4:
462     case 36:
463         qtrle_decode_2n4bpp(s, row_ptr, height, 4);
464         has_palette = 1;
465         break;
466
467     case 8:
468     case 40:
469         qtrle_decode_8bpp(s, row_ptr, height);
470         has_palette = 1;
471         break;
472
473     case 16:
474         qtrle_decode_16bpp(s, row_ptr, height);
475         break;
476
477     case 24:
478         qtrle_decode_24bpp(s, row_ptr, height);
479         break;
480
481     case 32:
482         qtrle_decode_32bpp(s, row_ptr, height);
483         break;
484
485     default:
486         av_log (s->avctx, AV_LOG_ERROR, "Unsupported colorspace: %d bits/sample?\n",
487             avctx->bits_per_coded_sample);
488         break;
489     }
490
491     if(has_palette) {
492         const uint8_t *pal = av_packet_get_side_data(avpkt, AV_PKT_DATA_PALETTE, NULL);
493
494         if (pal) {
495             s->frame.palette_has_changed = 1;
496             memcpy(s->pal, pal, AVPALETTE_SIZE);
497         }
498
499         /* make the palette available on the way out */
500         memcpy(s->frame.data[1], s->pal, AVPALETTE_SIZE);
501     }
502
503 done:
504     *got_frame      = 1;
505     *(AVFrame*)data = s->frame;
506
507     /* always report that the buffer was completely consumed */
508     return avpkt->size;
509 }
510
511 static av_cold int qtrle_decode_end(AVCodecContext *avctx)
512 {
513     QtrleContext *s = avctx->priv_data;
514
515     if (s->frame.data[0])
516         avctx->release_buffer(avctx, &s->frame);
517
518     return 0;
519 }
520
521 AVCodec ff_qtrle_decoder = {
522     .name           = "qtrle",
523     .type           = AVMEDIA_TYPE_VIDEO,
524     .id             = AV_CODEC_ID_QTRLE,
525     .priv_data_size = sizeof(QtrleContext),
526     .init           = qtrle_decode_init,
527     .close          = qtrle_decode_end,
528     .decode         = qtrle_decode_frame,
529     .capabilities   = CODEC_CAP_DR1,
530     .long_name      = NULL_IF_CONFIG_SMALL("QuickTime Animation (RLE) video"),
531 };