Try to set AVFrame.reference to correct values.
[ffmpeg.git] / libavcodec / qtrle.c
1 /*
2  * Quicktime Animation (RLE) Video Decoder
3  * Copyright (C) 2004 the ffmpeg project
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with FFmpeg; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 /**
23  * @file
24  * QT RLE Video Decoder by Mike Melanson (melanson@pcisys.net)
25  * For more information about the QT RLE format, visit:
26  *   http://www.pcisys.net/~melanson/codecs/
27  *
28  * The QT RLE decoder has seven modes of operation:
29  * 1, 2, 4, 8, 16, 24, and 32 bits per pixel. For modes 1, 2, 4, and 8
30  * the decoder outputs PAL8 colorspace data. 16-bit data yields RGB555
31  * data. 24-bit data is RGB24 and 32-bit data is RGB32.
32  */
33
34 #include <stdio.h>
35 #include <stdlib.h>
36 #include <string.h>
37
38 #include "libavutil/intreadwrite.h"
39 #include "avcodec.h"
40
41 typedef struct QtrleContext {
42
43     AVCodecContext *avctx;
44     AVFrame frame;
45
46     const unsigned char *buf;
47     int size;
48
49     uint32_t pal[256];
50 } QtrleContext;
51
52 #define CHECK_STREAM_PTR(n) \
53   if ((stream_ptr + n) > s->size) { \
54     av_log (s->avctx, AV_LOG_INFO, "Problem: stream_ptr out of bounds (%d >= %d)\n", \
55       stream_ptr + n, s->size); \
56     return; \
57   }
58
59 #define CHECK_PIXEL_PTR(n) \
60   if ((pixel_ptr + n > pixel_limit) || (pixel_ptr + n < 0)) { \
61     av_log (s->avctx, AV_LOG_INFO, "Problem: pixel_ptr = %d, pixel_limit = %d\n", \
62       pixel_ptr + n, pixel_limit); \
63     return; \
64   } \
65
66 static void qtrle_decode_1bpp(QtrleContext *s, int stream_ptr, int row_ptr, int lines_to_change)
67 {
68     int rle_code;
69     int pixel_ptr = 0;
70     int row_inc = s->frame.linesize[0];
71     unsigned char pi0, pi1;  /* 2 8-pixel values */
72     unsigned char *rgb = s->frame.data[0];
73     int pixel_limit = s->frame.linesize[0] * s->avctx->height;
74     int skip;
75
76     while (lines_to_change) {
77         CHECK_STREAM_PTR(2);
78         skip = s->buf[stream_ptr++];
79         rle_code = (signed char)s->buf[stream_ptr++];
80         if (rle_code == 0)
81             break;
82         if(skip & 0x80) {
83             lines_to_change--;
84             row_ptr += row_inc;
85             pixel_ptr = row_ptr + 2 * (skip & 0x7f);
86         } else
87             pixel_ptr += 2 * skip;
88         CHECK_PIXEL_PTR(0);  /* make sure pixel_ptr is positive */
89
90         if (rle_code < 0) {
91             /* decode the run length code */
92             rle_code = -rle_code;
93             /* get the next 2 bytes from the stream, treat them as groups
94              * of 8 pixels, and output them rle_code times */
95             CHECK_STREAM_PTR(2);
96             pi0 = s->buf[stream_ptr++];
97             pi1 = s->buf[stream_ptr++];
98             CHECK_PIXEL_PTR(rle_code * 2);
99
100             while (rle_code--) {
101                 rgb[pixel_ptr++] = pi0;
102                 rgb[pixel_ptr++] = pi1;
103             }
104         } else {
105             /* copy the same pixel directly to output 2 times */
106             rle_code *= 2;
107             CHECK_STREAM_PTR(rle_code);
108             CHECK_PIXEL_PTR(rle_code);
109
110             while (rle_code--)
111                 rgb[pixel_ptr++] = s->buf[stream_ptr++];
112         }
113     }
114 }
115
116 static inline void qtrle_decode_2n4bpp(QtrleContext *s, int stream_ptr,
117                              int row_ptr, int lines_to_change, int bpp)
118 {
119     int rle_code, i;
120     int pixel_ptr;
121     int row_inc = s->frame.linesize[0];
122     unsigned char pi[16];  /* 16 palette indices */
123     unsigned char *rgb = s->frame.data[0];
124     int pixel_limit = s->frame.linesize[0] * s->avctx->height;
125     int num_pixels = (bpp == 4) ? 8 : 16;
126
127     while (lines_to_change--) {
128         CHECK_STREAM_PTR(2);
129         pixel_ptr = row_ptr + (num_pixels * (s->buf[stream_ptr++] - 1));
130         CHECK_PIXEL_PTR(0);  /* make sure pixel_ptr is positive */
131
132         while ((rle_code = (signed char)s->buf[stream_ptr++]) != -1) {
133             if (rle_code == 0) {
134                 /* there's another skip code in the stream */
135                 CHECK_STREAM_PTR(1);
136                 pixel_ptr += (num_pixels * (s->buf[stream_ptr++] - 1));
137                 CHECK_PIXEL_PTR(0);  /* make sure pixel_ptr is positive */
138             } else if (rle_code < 0) {
139                 /* decode the run length code */
140                 rle_code = -rle_code;
141                 /* get the next 4 bytes from the stream, treat them as palette
142                  * indexes, and output them rle_code times */
143                 CHECK_STREAM_PTR(4);
144                 for (i = num_pixels-1; i >= 0; i--) {
145                     pi[num_pixels-1-i] = (s->buf[stream_ptr] >> ((i*bpp) & 0x07)) & ((1<<bpp)-1);
146                     stream_ptr+= ((i & ((num_pixels>>2)-1)) == 0);
147                 }
148                 CHECK_PIXEL_PTR(rle_code * num_pixels);
149                 while (rle_code--) {
150                     for (i = 0; i < num_pixels; i++)
151                         rgb[pixel_ptr++] = pi[i];
152                 }
153             } else {
154                 /* copy the same pixel directly to output 4 times */
155                 rle_code *= 4;
156                 CHECK_STREAM_PTR(rle_code);
157                 CHECK_PIXEL_PTR(rle_code*(num_pixels>>2));
158                 while (rle_code--) {
159                     if(bpp == 4) {
160                         rgb[pixel_ptr++] = ((s->buf[stream_ptr]) >> 4) & 0x0f;
161                         rgb[pixel_ptr++] = (s->buf[stream_ptr++]) & 0x0f;
162                     } else {
163                         rgb[pixel_ptr++] = ((s->buf[stream_ptr]) >> 6) & 0x03;
164                         rgb[pixel_ptr++] = ((s->buf[stream_ptr]) >> 4) & 0x03;
165                         rgb[pixel_ptr++] = ((s->buf[stream_ptr]) >> 2) & 0x03;
166                         rgb[pixel_ptr++] = (s->buf[stream_ptr++]) & 0x03;
167                     }
168                 }
169             }
170         }
171         row_ptr += row_inc;
172     }
173 }
174
175 static void qtrle_decode_8bpp(QtrleContext *s, int stream_ptr, int row_ptr, int lines_to_change)
176 {
177     int rle_code;
178     int pixel_ptr;
179     int row_inc = s->frame.linesize[0];
180     unsigned char pi1, pi2, pi3, pi4;  /* 4 palette indexes */
181     unsigned char *rgb = s->frame.data[0];
182     int pixel_limit = s->frame.linesize[0] * s->avctx->height;
183
184     while (lines_to_change--) {
185         CHECK_STREAM_PTR(2);
186         pixel_ptr = row_ptr + (4 * (s->buf[stream_ptr++] - 1));
187         CHECK_PIXEL_PTR(0);  /* make sure pixel_ptr is positive */
188
189         while ((rle_code = (signed char)s->buf[stream_ptr++]) != -1) {
190             if (rle_code == 0) {
191                 /* there's another skip code in the stream */
192                 CHECK_STREAM_PTR(1);
193                 pixel_ptr += (4 * (s->buf[stream_ptr++] - 1));
194                 CHECK_PIXEL_PTR(0);  /* make sure pixel_ptr is positive */
195             } else if (rle_code < 0) {
196                 /* decode the run length code */
197                 rle_code = -rle_code;
198                 /* get the next 4 bytes from the stream, treat them as palette
199                  * indexes, and output them rle_code times */
200                 CHECK_STREAM_PTR(4);
201                 pi1 = s->buf[stream_ptr++];
202                 pi2 = s->buf[stream_ptr++];
203                 pi3 = s->buf[stream_ptr++];
204                 pi4 = s->buf[stream_ptr++];
205
206                 CHECK_PIXEL_PTR(rle_code * 4);
207
208                 while (rle_code--) {
209                     rgb[pixel_ptr++] = pi1;
210                     rgb[pixel_ptr++] = pi2;
211                     rgb[pixel_ptr++] = pi3;
212                     rgb[pixel_ptr++] = pi4;
213                 }
214             } else {
215                 /* copy the same pixel directly to output 4 times */
216                 rle_code *= 4;
217                 CHECK_STREAM_PTR(rle_code);
218                 CHECK_PIXEL_PTR(rle_code);
219
220                 while (rle_code--) {
221                     rgb[pixel_ptr++] = s->buf[stream_ptr++];
222                 }
223             }
224         }
225         row_ptr += row_inc;
226     }
227 }
228
229 static void qtrle_decode_16bpp(QtrleContext *s, int stream_ptr, int row_ptr, int lines_to_change)
230 {
231     int rle_code;
232     int pixel_ptr;
233     int row_inc = s->frame.linesize[0];
234     unsigned short rgb16;
235     unsigned char *rgb = s->frame.data[0];
236     int pixel_limit = s->frame.linesize[0] * s->avctx->height;
237
238     while (lines_to_change--) {
239         CHECK_STREAM_PTR(2);
240         pixel_ptr = row_ptr + (s->buf[stream_ptr++] - 1) * 2;
241         CHECK_PIXEL_PTR(0);  /* make sure pixel_ptr is positive */
242
243         while ((rle_code = (signed char)s->buf[stream_ptr++]) != -1) {
244             if (rle_code == 0) {
245                 /* there's another skip code in the stream */
246                 CHECK_STREAM_PTR(1);
247                 pixel_ptr += (s->buf[stream_ptr++] - 1) * 2;
248                 CHECK_PIXEL_PTR(0);  /* make sure pixel_ptr is positive */
249             } else if (rle_code < 0) {
250                 /* decode the run length code */
251                 rle_code = -rle_code;
252                 CHECK_STREAM_PTR(2);
253                 rgb16 = AV_RB16(&s->buf[stream_ptr]);
254                 stream_ptr += 2;
255
256                 CHECK_PIXEL_PTR(rle_code * 2);
257
258                 while (rle_code--) {
259                     *(unsigned short *)(&rgb[pixel_ptr]) = rgb16;
260                     pixel_ptr += 2;
261                 }
262             } else {
263                 CHECK_STREAM_PTR(rle_code * 2);
264                 CHECK_PIXEL_PTR(rle_code * 2);
265
266                 /* copy pixels directly to output */
267                 while (rle_code--) {
268                     rgb16 = AV_RB16(&s->buf[stream_ptr]);
269                     stream_ptr += 2;
270                     *(unsigned short *)(&rgb[pixel_ptr]) = rgb16;
271                     pixel_ptr += 2;
272                 }
273             }
274         }
275         row_ptr += row_inc;
276     }
277 }
278
279 static void qtrle_decode_24bpp(QtrleContext *s, int stream_ptr, int row_ptr, int lines_to_change)
280 {
281     int rle_code;
282     int pixel_ptr;
283     int row_inc = s->frame.linesize[0];
284     unsigned char r, g, b;
285     unsigned char *rgb = s->frame.data[0];
286     int pixel_limit = s->frame.linesize[0] * s->avctx->height;
287
288     while (lines_to_change--) {
289         CHECK_STREAM_PTR(2);
290         pixel_ptr = row_ptr + (s->buf[stream_ptr++] - 1) * 3;
291         CHECK_PIXEL_PTR(0);  /* make sure pixel_ptr is positive */
292
293         while ((rle_code = (signed char)s->buf[stream_ptr++]) != -1) {
294             if (rle_code == 0) {
295                 /* there's another skip code in the stream */
296                 CHECK_STREAM_PTR(1);
297                 pixel_ptr += (s->buf[stream_ptr++] - 1) * 3;
298                 CHECK_PIXEL_PTR(0);  /* make sure pixel_ptr is positive */
299             } else if (rle_code < 0) {
300                 /* decode the run length code */
301                 rle_code = -rle_code;
302                 CHECK_STREAM_PTR(3);
303                 r = s->buf[stream_ptr++];
304                 g = s->buf[stream_ptr++];
305                 b = s->buf[stream_ptr++];
306
307                 CHECK_PIXEL_PTR(rle_code * 3);
308
309                 while (rle_code--) {
310                     rgb[pixel_ptr++] = r;
311                     rgb[pixel_ptr++] = g;
312                     rgb[pixel_ptr++] = b;
313                 }
314             } else {
315                 CHECK_STREAM_PTR(rle_code * 3);
316                 CHECK_PIXEL_PTR(rle_code * 3);
317
318                 /* copy pixels directly to output */
319                 while (rle_code--) {
320                     rgb[pixel_ptr++] = s->buf[stream_ptr++];
321                     rgb[pixel_ptr++] = s->buf[stream_ptr++];
322                     rgb[pixel_ptr++] = s->buf[stream_ptr++];
323                 }
324             }
325         }
326         row_ptr += row_inc;
327     }
328 }
329
330 static void qtrle_decode_32bpp(QtrleContext *s, int stream_ptr, int row_ptr, int lines_to_change)
331 {
332     int rle_code;
333     int pixel_ptr;
334     int row_inc = s->frame.linesize[0];
335     unsigned char a, r, g, b;
336     unsigned int argb;
337     unsigned char *rgb = s->frame.data[0];
338     int pixel_limit = s->frame.linesize[0] * s->avctx->height;
339
340     while (lines_to_change--) {
341         CHECK_STREAM_PTR(2);
342         pixel_ptr = row_ptr + (s->buf[stream_ptr++] - 1) * 4;
343         CHECK_PIXEL_PTR(0);  /* make sure pixel_ptr is positive */
344
345         while ((rle_code = (signed char)s->buf[stream_ptr++]) != -1) {
346             if (rle_code == 0) {
347                 /* there's another skip code in the stream */
348                 CHECK_STREAM_PTR(1);
349                 pixel_ptr += (s->buf[stream_ptr++] - 1) * 4;
350                 CHECK_PIXEL_PTR(0);  /* make sure pixel_ptr is positive */
351             } else if (rle_code < 0) {
352                 /* decode the run length code */
353                 rle_code = -rle_code;
354                 CHECK_STREAM_PTR(4);
355                 a = s->buf[stream_ptr++];
356                 r = s->buf[stream_ptr++];
357                 g = s->buf[stream_ptr++];
358                 b = s->buf[stream_ptr++];
359                 argb = (a << 24) | (r << 16) | (g << 8) | (b << 0);
360
361                 CHECK_PIXEL_PTR(rle_code * 4);
362
363                 while (rle_code--) {
364                     *(unsigned int *)(&rgb[pixel_ptr]) = argb;
365                     pixel_ptr += 4;
366                 }
367             } else {
368                 CHECK_STREAM_PTR(rle_code * 4);
369                 CHECK_PIXEL_PTR(rle_code * 4);
370
371                 /* copy pixels directly to output */
372                 while (rle_code--) {
373                     a = s->buf[stream_ptr++];
374                     r = s->buf[stream_ptr++];
375                     g = s->buf[stream_ptr++];
376                     b = s->buf[stream_ptr++];
377                     argb = (a << 24) | (r << 16) | (g << 8) | (b << 0);
378                     *(unsigned int *)(&rgb[pixel_ptr]) = argb;
379                     pixel_ptr += 4;
380                 }
381             }
382         }
383         row_ptr += row_inc;
384     }
385 }
386
387 static av_cold int qtrle_decode_init(AVCodecContext *avctx)
388 {
389     QtrleContext *s = avctx->priv_data;
390
391     s->avctx = avctx;
392     switch (avctx->bits_per_coded_sample) {
393     case 1:
394     case 33:
395         avctx->pix_fmt = PIX_FMT_MONOWHITE;
396         break;
397
398     case 2:
399     case 4:
400     case 8:
401     case 34:
402     case 36:
403     case 40:
404         avctx->pix_fmt = PIX_FMT_PAL8;
405         break;
406
407     case 16:
408         avctx->pix_fmt = PIX_FMT_RGB555;
409         break;
410
411     case 24:
412         avctx->pix_fmt = PIX_FMT_RGB24;
413         break;
414
415     case 32:
416         avctx->pix_fmt = PIX_FMT_RGB32;
417         break;
418
419     default:
420         av_log (avctx, AV_LOG_ERROR, "Unsupported colorspace: %d bits/sample?\n",
421             avctx->bits_per_coded_sample);
422         break;
423     }
424
425     avcodec_get_frame_defaults(&s->frame);
426     s->frame.data[0] = NULL;
427
428     return 0;
429 }
430
431 static int qtrle_decode_frame(AVCodecContext *avctx,
432                               void *data, int *data_size,
433                               AVPacket *avpkt)
434 {
435     const uint8_t *buf = avpkt->data;
436     int buf_size = avpkt->size;
437     QtrleContext *s = avctx->priv_data;
438     int header, start_line;
439     int stream_ptr, height, row_ptr;
440     int has_palette = 0;
441
442     s->buf = buf;
443     s->size = buf_size;
444
445     s->frame.reference = 3;
446     s->frame.buffer_hints = FF_BUFFER_HINTS_VALID | FF_BUFFER_HINTS_PRESERVE |
447                             FF_BUFFER_HINTS_REUSABLE | FF_BUFFER_HINTS_READABLE;
448     if (avctx->reget_buffer(avctx, &s->frame)) {
449         av_log (s->avctx, AV_LOG_ERROR, "reget_buffer() failed\n");
450         return -1;
451     }
452
453     /* check if this frame is even supposed to change */
454     if (s->size < 8)
455         goto done;
456
457     /* start after the chunk size */
458     stream_ptr = 4;
459
460     /* fetch the header */
461     header = AV_RB16(&s->buf[stream_ptr]);
462     stream_ptr += 2;
463
464     /* if a header is present, fetch additional decoding parameters */
465     if (header & 0x0008) {
466         if(s->size < 14)
467             goto done;
468         start_line = AV_RB16(&s->buf[stream_ptr]);
469         stream_ptr += 4;
470         height = AV_RB16(&s->buf[stream_ptr]);
471         stream_ptr += 4;
472         if (height > s->avctx->height - start_line)
473             goto done;
474     } else {
475         start_line = 0;
476         height = s->avctx->height;
477     }
478     row_ptr = s->frame.linesize[0] * start_line;
479
480     switch (avctx->bits_per_coded_sample) {
481     case 1:
482     case 33:
483         qtrle_decode_1bpp(s, stream_ptr, row_ptr, height);
484         break;
485
486     case 2:
487     case 34:
488         qtrle_decode_2n4bpp(s, stream_ptr, row_ptr, height, 2);
489         has_palette = 1;
490         break;
491
492     case 4:
493     case 36:
494         qtrle_decode_2n4bpp(s, stream_ptr, row_ptr, height, 4);
495         has_palette = 1;
496         break;
497
498     case 8:
499     case 40:
500         qtrle_decode_8bpp(s, stream_ptr, row_ptr, height);
501         has_palette = 1;
502         break;
503
504     case 16:
505         qtrle_decode_16bpp(s, stream_ptr, row_ptr, height);
506         break;
507
508     case 24:
509         qtrle_decode_24bpp(s, stream_ptr, row_ptr, height);
510         break;
511
512     case 32:
513         qtrle_decode_32bpp(s, stream_ptr, row_ptr, height);
514         break;
515
516     default:
517         av_log (s->avctx, AV_LOG_ERROR, "Unsupported colorspace: %d bits/sample?\n",
518             avctx->bits_per_coded_sample);
519         break;
520     }
521
522     if(has_palette) {
523         const uint8_t *pal = av_packet_get_side_data(avpkt, AV_PKT_DATA_PALETTE, NULL);
524
525         if (pal) {
526             s->frame.palette_has_changed = 1;
527             memcpy(s->pal, pal, AVPALETTE_SIZE);
528         }
529
530         /* make the palette available on the way out */
531         memcpy(s->frame.data[1], s->pal, AVPALETTE_SIZE);
532     }
533
534 done:
535     *data_size = sizeof(AVFrame);
536     *(AVFrame*)data = s->frame;
537
538     /* always report that the buffer was completely consumed */
539     return buf_size;
540 }
541
542 static av_cold int qtrle_decode_end(AVCodecContext *avctx)
543 {
544     QtrleContext *s = avctx->priv_data;
545
546     if (s->frame.data[0])
547         avctx->release_buffer(avctx, &s->frame);
548
549     return 0;
550 }
551
552 AVCodec ff_qtrle_decoder = {
553     .name           = "qtrle",
554     .type           = AVMEDIA_TYPE_VIDEO,
555     .id             = CODEC_ID_QTRLE,
556     .priv_data_size = sizeof(QtrleContext),
557     .init           = qtrle_decode_init,
558     .close          = qtrle_decode_end,
559     .decode         = qtrle_decode_frame,
560     .capabilities   = CODEC_CAP_DR1,
561     .long_name = NULL_IF_CONFIG_SMALL("QuickTime Animation (RLE) video"),
562 };
563