flicvideo: fix overread.
[ffmpeg.git] / libavcodec / flicvideo.c
1 /*
2  * FLI/FLC Animation Video Decoder
3  * Copyright (C) 2003, 2004 the ffmpeg project
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with FFmpeg; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 /**
23  * @file
24  * Autodesk Animator FLI/FLC Video Decoder
25  * by Mike Melanson (melanson@pcisys.net)
26  * for more information on the .fli/.flc file format and all of its many
27  * variations, visit:
28  *   http://www.compuphase.com/flic.htm
29  *
30  * This decoder outputs PAL8/RGB555/RGB565 and maybe one day RGB24
31  * colorspace data, depending on the FLC. To use this decoder, be
32  * sure that your demuxer sends the FLI file header to the decoder via
33  * the extradata chunk in AVCodecContext. The chunk should be 128 bytes
34  * large. The only exception is for FLI files from the game "Magic Carpet",
35  * in which the header is only 12 bytes.
36  */
37
38 #include <stdio.h>
39 #include <stdlib.h>
40 #include <string.h>
41
42 #include "libavutil/intreadwrite.h"
43 #include "avcodec.h"
44
45 #define FLI_256_COLOR 4
46 #define FLI_DELTA     7
47 #define FLI_COLOR     11
48 #define FLI_LC        12
49 #define FLI_BLACK     13
50 #define FLI_BRUN      15
51 #define FLI_COPY      16
52 #define FLI_MINI      18
53 #define FLI_DTA_BRUN  25
54 #define FLI_DTA_COPY  26
55 #define FLI_DTA_LC    27
56
57 #define FLI_TYPE_CODE     (0xAF11)
58 #define FLC_FLX_TYPE_CODE (0xAF12)
59 #define FLC_DTA_TYPE_CODE (0xAF44) /* Marks an "Extended FLC" comes from Dave's Targa Animator (DTA) */
60 #define FLC_MAGIC_CARPET_SYNTHETIC_TYPE_CODE (0xAF13)
61
62 #define CHECK_PIXEL_PTR(n) \
63     if (pixel_ptr + n > pixel_limit) { \
64         av_log (s->avctx, AV_LOG_ERROR, "Invalid pixel_ptr = %d > pixel_limit = %d\n", \
65         pixel_ptr + n, pixel_limit); \
66         return AVERROR_INVALIDDATA; \
67     } \
68
69 typedef struct FlicDecodeContext {
70     AVCodecContext *avctx;
71     AVFrame frame;
72
73     unsigned int palette[256];
74     int new_palette;
75     int fli_type;  /* either 0xAF11 or 0xAF12, affects palette resolution */
76 } FlicDecodeContext;
77
78 static av_cold int flic_decode_init(AVCodecContext *avctx)
79 {
80     FlicDecodeContext *s = avctx->priv_data;
81     unsigned char *fli_header = (unsigned char *)avctx->extradata;
82     int depth;
83
84     if (avctx->extradata_size != 12 &&
85         avctx->extradata_size != 128) {
86         av_log(avctx, AV_LOG_ERROR, "Expected extradata of 12 or 128 bytes\n");
87         return AVERROR_INVALIDDATA;
88     }
89
90     s->avctx = avctx;
91
92     s->fli_type = AV_RL16(&fli_header[4]); /* Might be overridden if a Magic Carpet FLC */
93
94     depth = 0;
95     if (s->avctx->extradata_size == 12) {
96         /* special case for magic carpet FLIs */
97         s->fli_type = FLC_MAGIC_CARPET_SYNTHETIC_TYPE_CODE;
98         depth = 8;
99     } else {
100         depth = AV_RL16(&fli_header[12]);
101     }
102
103     if (depth == 0) {
104         depth = 8; /* Some FLC generators set depth to zero, when they mean 8Bpp. Fix up here */
105     }
106
107     if ((s->fli_type == FLC_FLX_TYPE_CODE) && (depth == 16)) {
108         depth = 15; /* Original Autodesk FLX's say the depth is 16Bpp when it is really 15Bpp */
109     }
110
111     switch (depth) {
112         case 8  : avctx->pix_fmt = PIX_FMT_PAL8; break;
113         case 15 : avctx->pix_fmt = PIX_FMT_RGB555; break;
114         case 16 : avctx->pix_fmt = PIX_FMT_RGB565; break;
115         case 24 : avctx->pix_fmt = PIX_FMT_BGR24; /* Supposedly BGR, but havent any files to test with */
116                   av_log(avctx, AV_LOG_ERROR, "24Bpp FLC/FLX is unsupported due to no test files.\n");
117                   return -1;
118         default :
119                   av_log(avctx, AV_LOG_ERROR, "Unknown FLC/FLX depth of %d Bpp is unsupported.\n",depth);
120                   return -1;
121     }
122
123     avcodec_get_frame_defaults(&s->frame);
124     s->frame.data[0] = NULL;
125     s->new_palette = 0;
126
127     return 0;
128 }
129
130 static int flic_decode_frame_8BPP(AVCodecContext *avctx,
131                                   void *data, int *data_size,
132                                   const uint8_t *buf, int buf_size)
133 {
134     FlicDecodeContext *s = avctx->priv_data;
135
136     int stream_ptr = 0;
137     int pixel_ptr;
138     int palette_ptr;
139     unsigned char palette_idx1;
140     unsigned char palette_idx2;
141
142     unsigned int frame_size;
143     int num_chunks;
144
145     unsigned int chunk_size;
146     int chunk_type;
147
148     int i, j;
149
150     int color_packets;
151     int color_changes;
152     int color_shift;
153     unsigned char r, g, b;
154
155     int lines;
156     int compressed_lines;
157     int starting_line;
158     signed short line_packets;
159     int y_ptr;
160     int byte_run;
161     int pixel_skip;
162     int pixel_countdown;
163     unsigned char *pixels;
164     unsigned int pixel_limit;
165
166     s->frame.reference = 3;
167     s->frame.buffer_hints = FF_BUFFER_HINTS_VALID | FF_BUFFER_HINTS_PRESERVE | FF_BUFFER_HINTS_REUSABLE;
168     if (avctx->reget_buffer(avctx, &s->frame) < 0) {
169         av_log(avctx, AV_LOG_ERROR, "reget_buffer() failed\n");
170         return -1;
171     }
172
173     pixels = s->frame.data[0];
174     pixel_limit = s->avctx->height * s->frame.linesize[0];
175
176     if (buf_size < 16 || buf_size > INT_MAX - (3 * 256 + FF_INPUT_BUFFER_PADDING_SIZE))
177         return AVERROR_INVALIDDATA;
178     frame_size = AV_RL32(&buf[stream_ptr]);
179     if (frame_size > buf_size)
180         frame_size = buf_size;
181     stream_ptr += 6;  /* skip the magic number */
182     num_chunks = AV_RL16(&buf[stream_ptr]);
183     stream_ptr += 10;  /* skip padding */
184
185     frame_size -= 16;
186
187     /* iterate through the chunks */
188     while ((frame_size >= 6) && (num_chunks > 0)) {
189         int stream_ptr_after_chunk;
190         chunk_size = AV_RL32(&buf[stream_ptr]);
191         if (chunk_size > frame_size) {
192             av_log(avctx, AV_LOG_WARNING,
193                    "Invalid chunk_size = %u > frame_size = %u\n", chunk_size, frame_size);
194             chunk_size = frame_size;
195         }
196         stream_ptr_after_chunk = stream_ptr + chunk_size;
197
198         stream_ptr += 4;
199         chunk_type = AV_RL16(&buf[stream_ptr]);
200         stream_ptr += 2;
201
202         switch (chunk_type) {
203         case FLI_256_COLOR:
204         case FLI_COLOR:
205             /* check special case: If this file is from the Magic Carpet
206              * game and uses 6-bit colors even though it reports 256-color
207              * chunks in a 0xAF12-type file (fli_type is set to 0xAF13 during
208              * initialization) */
209             if ((chunk_type == FLI_256_COLOR) && (s->fli_type != FLC_MAGIC_CARPET_SYNTHETIC_TYPE_CODE))
210                 color_shift = 0;
211             else
212                 color_shift = 2;
213             /* set up the palette */
214             color_packets = AV_RL16(&buf[stream_ptr]);
215             stream_ptr += 2;
216             palette_ptr = 0;
217             for (i = 0; i < color_packets; i++) {
218                 /* first byte is how many colors to skip */
219                 palette_ptr += buf[stream_ptr++];
220
221                 /* next byte indicates how many entries to change */
222                 color_changes = buf[stream_ptr++];
223
224                 /* if there are 0 color changes, there are actually 256 */
225                 if (color_changes == 0)
226                     color_changes = 256;
227
228                 if (stream_ptr + color_changes * 3 > stream_ptr_after_chunk)
229                     break;
230
231                 for (j = 0; j < color_changes; j++) {
232                     unsigned int entry;
233
234                     /* wrap around, for good measure */
235                     if ((unsigned)palette_ptr >= 256)
236                         palette_ptr = 0;
237
238                     r = buf[stream_ptr++] << color_shift;
239                     g = buf[stream_ptr++] << color_shift;
240                     b = buf[stream_ptr++] << color_shift;
241                     entry = 0xFF << 24 | r << 16 | g << 8 | b;
242                     if (color_shift == 2)
243                         entry |= entry >> 6 & 0x30303;
244                     if (s->palette[palette_ptr] != entry)
245                         s->new_palette = 1;
246                     s->palette[palette_ptr++] = entry;
247                 }
248             }
249             break;
250
251         case FLI_DELTA:
252             y_ptr = 0;
253             compressed_lines = AV_RL16(&buf[stream_ptr]);
254             stream_ptr += 2;
255             while (compressed_lines > 0) {
256                 if (stream_ptr + 2 > stream_ptr_after_chunk)
257                     break;
258                 line_packets = AV_RL16(&buf[stream_ptr]);
259                 stream_ptr += 2;
260                 if ((line_packets & 0xC000) == 0xC000) {
261                     // line skip opcode
262                     line_packets = -line_packets;
263                     y_ptr += line_packets * s->frame.linesize[0];
264                 } else if ((line_packets & 0xC000) == 0x4000) {
265                     av_log(avctx, AV_LOG_ERROR, "Undefined opcode (%x) in DELTA_FLI\n", line_packets);
266                 } else if ((line_packets & 0xC000) == 0x8000) {
267                     // "last byte" opcode
268                     pixel_ptr= y_ptr + s->frame.linesize[0] - 1;
269                     CHECK_PIXEL_PTR(0);
270                     pixels[pixel_ptr] = line_packets & 0xff;
271                 } else {
272                     compressed_lines--;
273                     pixel_ptr = y_ptr;
274                     CHECK_PIXEL_PTR(0);
275                     pixel_countdown = s->avctx->width;
276                     for (i = 0; i < line_packets; i++) {
277                         if (stream_ptr + 2 > stream_ptr_after_chunk)
278                             break;
279                         /* account for the skip bytes */
280                         pixel_skip = buf[stream_ptr++];
281                         pixel_ptr += pixel_skip;
282                         pixel_countdown -= pixel_skip;
283                         byte_run = (signed char)(buf[stream_ptr++]);
284                         if (byte_run < 0) {
285                             byte_run = -byte_run;
286                             palette_idx1 = buf[stream_ptr++];
287                             palette_idx2 = buf[stream_ptr++];
288                             CHECK_PIXEL_PTR(byte_run * 2);
289                             for (j = 0; j < byte_run; j++, pixel_countdown -= 2) {
290                                 pixels[pixel_ptr++] = palette_idx1;
291                                 pixels[pixel_ptr++] = palette_idx2;
292                             }
293                         } else {
294                             CHECK_PIXEL_PTR(byte_run * 2);
295                             if (stream_ptr + byte_run * 2 > stream_ptr_after_chunk)
296                                 break;
297                             for (j = 0; j < byte_run * 2; j++, pixel_countdown--) {
298                                 palette_idx1 = buf[stream_ptr++];
299                                 pixels[pixel_ptr++] = palette_idx1;
300                             }
301                         }
302                     }
303
304                     y_ptr += s->frame.linesize[0];
305                 }
306             }
307             break;
308
309         case FLI_LC:
310             /* line compressed */
311             starting_line = AV_RL16(&buf[stream_ptr]);
312             stream_ptr += 2;
313             y_ptr = 0;
314             y_ptr += starting_line * s->frame.linesize[0];
315
316             compressed_lines = AV_RL16(&buf[stream_ptr]);
317             stream_ptr += 2;
318             while (compressed_lines > 0) {
319                 pixel_ptr = y_ptr;
320                 CHECK_PIXEL_PTR(0);
321                 pixel_countdown = s->avctx->width;
322                 if (stream_ptr + 1 > stream_ptr_after_chunk)
323                     break;
324                 line_packets = buf[stream_ptr++];
325                 if (line_packets > 0) {
326                     for (i = 0; i < line_packets; i++) {
327                         /* account for the skip bytes */
328                         if (stream_ptr + 2 > stream_ptr_after_chunk)
329                             break;
330                         pixel_skip = buf[stream_ptr++];
331                         pixel_ptr += pixel_skip;
332                         pixel_countdown -= pixel_skip;
333                         byte_run = (signed char)(buf[stream_ptr++]);
334                         if (byte_run > 0) {
335                             CHECK_PIXEL_PTR(byte_run);
336                             if (stream_ptr + byte_run > stream_ptr_after_chunk)
337                                 break;
338                             for (j = 0; j < byte_run; j++, pixel_countdown--) {
339                                 palette_idx1 = buf[stream_ptr++];
340                                 pixels[pixel_ptr++] = palette_idx1;
341                             }
342                         } else if (byte_run < 0) {
343                             byte_run = -byte_run;
344                             palette_idx1 = buf[stream_ptr++];
345                             CHECK_PIXEL_PTR(byte_run);
346                             for (j = 0; j < byte_run; j++, pixel_countdown--) {
347                                 pixels[pixel_ptr++] = palette_idx1;
348                             }
349                         }
350                     }
351                 }
352
353                 y_ptr += s->frame.linesize[0];
354                 compressed_lines--;
355             }
356             break;
357
358         case FLI_BLACK:
359             /* set the whole frame to color 0 (which is usually black) */
360             memset(pixels, 0,
361                 s->frame.linesize[0] * s->avctx->height);
362             break;
363
364         case FLI_BRUN:
365             /* Byte run compression: This chunk type only occurs in the first
366              * FLI frame and it will update the entire frame. */
367             y_ptr = 0;
368             for (lines = 0; lines < s->avctx->height; lines++) {
369                 pixel_ptr = y_ptr;
370                 /* disregard the line packets; instead, iterate through all
371                  * pixels on a row */
372                 stream_ptr++;
373                 pixel_countdown = s->avctx->width;
374                 while (pixel_countdown > 0) {
375                     if (stream_ptr + 1 > stream_ptr_after_chunk)
376                         break;
377                     byte_run = (signed char)(buf[stream_ptr++]);
378                     if (byte_run > 0) {
379                         palette_idx1 = buf[stream_ptr++];
380                         CHECK_PIXEL_PTR(byte_run);
381                         for (j = 0; j < byte_run; j++) {
382                             pixels[pixel_ptr++] = palette_idx1;
383                             pixel_countdown--;
384                             if (pixel_countdown < 0)
385                                 av_log(avctx, AV_LOG_ERROR, "pixel_countdown < 0 (%d) at line %d\n",
386                                        pixel_countdown, lines);
387                         }
388                     } else {  /* copy bytes if byte_run < 0 */
389                         byte_run = -byte_run;
390                         CHECK_PIXEL_PTR(byte_run);
391                         if (stream_ptr + byte_run > stream_ptr_after_chunk)
392                             break;
393                         for (j = 0; j < byte_run; j++) {
394                             palette_idx1 = buf[stream_ptr++];
395                             pixels[pixel_ptr++] = palette_idx1;
396                             pixel_countdown--;
397                             if (pixel_countdown < 0)
398                                 av_log(avctx, AV_LOG_ERROR, "pixel_countdown < 0 (%d) at line %d\n",
399                                        pixel_countdown, lines);
400                         }
401                     }
402                 }
403
404                 y_ptr += s->frame.linesize[0];
405             }
406             break;
407
408         case FLI_COPY:
409             /* copy the chunk (uncompressed frame) */
410             if (chunk_size - 6 != s->avctx->width * s->avctx->height) {
411                 av_log(avctx, AV_LOG_ERROR, "In chunk FLI_COPY : source data (%d bytes) " \
412                        "has incorrect size, skipping chunk\n", chunk_size - 6);
413             } else {
414                 for (y_ptr = 0; y_ptr < s->frame.linesize[0] * s->avctx->height;
415                      y_ptr += s->frame.linesize[0]) {
416                     memcpy(&pixels[y_ptr], &buf[stream_ptr],
417                         s->avctx->width);
418                     stream_ptr += s->avctx->width;
419                 }
420             }
421             break;
422
423         case FLI_MINI:
424             /* some sort of a thumbnail? disregard this chunk... */
425             break;
426
427         default:
428             av_log(avctx, AV_LOG_ERROR, "Unrecognized chunk type: %d\n", chunk_type);
429             break;
430         }
431
432         stream_ptr = stream_ptr_after_chunk;
433
434         frame_size -= chunk_size;
435         num_chunks--;
436     }
437
438     /* by the end of the chunk, the stream ptr should equal the frame
439      * size (minus 1, possibly); if it doesn't, issue a warning */
440     if ((stream_ptr != buf_size) && (stream_ptr != buf_size - 1))
441         av_log(avctx, AV_LOG_ERROR, "Processed FLI chunk where chunk size = %d " \
442                "and final chunk ptr = %d\n", buf_size, stream_ptr);
443
444     /* make the palette available on the way out */
445     memcpy(s->frame.data[1], s->palette, AVPALETTE_SIZE);
446     if (s->new_palette) {
447         s->frame.palette_has_changed = 1;
448         s->new_palette = 0;
449     }
450
451     *data_size=sizeof(AVFrame);
452     *(AVFrame*)data = s->frame;
453
454     return buf_size;
455 }
456
457 static int flic_decode_frame_15_16BPP(AVCodecContext *avctx,
458                                       void *data, int *data_size,
459                                       const uint8_t *buf, int buf_size)
460 {
461     /* Note, the only difference between the 15Bpp and 16Bpp */
462     /* Format is the pixel format, the packets are processed the same. */
463     FlicDecodeContext *s = avctx->priv_data;
464
465     int stream_ptr = 0;
466     int pixel_ptr;
467     unsigned char palette_idx1;
468
469     unsigned int frame_size;
470     int num_chunks;
471
472     unsigned int chunk_size;
473     int chunk_type;
474
475     int i, j;
476
477     int lines;
478     int compressed_lines;
479     signed short line_packets;
480     int y_ptr;
481     int byte_run;
482     int pixel_skip;
483     int pixel_countdown;
484     unsigned char *pixels;
485     int pixel;
486     unsigned int pixel_limit;
487
488     s->frame.reference = 3;
489     s->frame.buffer_hints = FF_BUFFER_HINTS_VALID | FF_BUFFER_HINTS_PRESERVE | FF_BUFFER_HINTS_REUSABLE;
490     if (avctx->reget_buffer(avctx, &s->frame) < 0) {
491         av_log(avctx, AV_LOG_ERROR, "reget_buffer() failed\n");
492         return -1;
493     }
494
495     pixels = s->frame.data[0];
496     pixel_limit = s->avctx->height * s->frame.linesize[0];
497
498     frame_size = AV_RL32(&buf[stream_ptr]);
499     stream_ptr += 6;  /* skip the magic number */
500     num_chunks = AV_RL16(&buf[stream_ptr]);
501     stream_ptr += 10;  /* skip padding */
502
503     frame_size -= 16;
504
505     /* iterate through the chunks */
506     while ((frame_size > 0) && (num_chunks > 0)) {
507         chunk_size = AV_RL32(&buf[stream_ptr]);
508         stream_ptr += 4;
509         chunk_type = AV_RL16(&buf[stream_ptr]);
510         stream_ptr += 2;
511
512         switch (chunk_type) {
513         case FLI_256_COLOR:
514         case FLI_COLOR:
515             /* For some reason, it seems that non-palettized flics do
516              * include one of these chunks in their first frame.
517              * Why I do not know, it seems rather extraneous. */
518 /*            av_log(avctx, AV_LOG_ERROR, "Unexpected Palette chunk %d in non-paletised FLC\n",chunk_type);*/
519             stream_ptr = stream_ptr + chunk_size - 6;
520             break;
521
522         case FLI_DELTA:
523         case FLI_DTA_LC:
524             y_ptr = 0;
525             compressed_lines = AV_RL16(&buf[stream_ptr]);
526             stream_ptr += 2;
527             while (compressed_lines > 0) {
528                 line_packets = AV_RL16(&buf[stream_ptr]);
529                 stream_ptr += 2;
530                 if (line_packets < 0) {
531                     line_packets = -line_packets;
532                     y_ptr += line_packets * s->frame.linesize[0];
533                 } else {
534                     compressed_lines--;
535                     pixel_ptr = y_ptr;
536                     CHECK_PIXEL_PTR(0);
537                     pixel_countdown = s->avctx->width;
538                     for (i = 0; i < line_packets; i++) {
539                         /* account for the skip bytes */
540                         pixel_skip = buf[stream_ptr++];
541                         pixel_ptr += (pixel_skip*2); /* Pixel is 2 bytes wide */
542                         pixel_countdown -= pixel_skip;
543                         byte_run = (signed char)(buf[stream_ptr++]);
544                         if (byte_run < 0) {
545                             byte_run = -byte_run;
546                             pixel    = AV_RL16(&buf[stream_ptr]);
547                             stream_ptr += 2;
548                             CHECK_PIXEL_PTR(2 * byte_run);
549                             for (j = 0; j < byte_run; j++, pixel_countdown -= 2) {
550                                 *((signed short*)(&pixels[pixel_ptr])) = pixel;
551                                 pixel_ptr += 2;
552                             }
553                         } else {
554                             CHECK_PIXEL_PTR(2 * byte_run);
555                             for (j = 0; j < byte_run; j++, pixel_countdown--) {
556                                 *((signed short*)(&pixels[pixel_ptr])) = AV_RL16(&buf[stream_ptr]);
557                                 stream_ptr += 2;
558                                 pixel_ptr += 2;
559                             }
560                         }
561                     }
562
563                     y_ptr += s->frame.linesize[0];
564                 }
565             }
566             break;
567
568         case FLI_LC:
569             av_log(avctx, AV_LOG_ERROR, "Unexpected FLI_LC chunk in non-paletised FLC\n");
570             stream_ptr = stream_ptr + chunk_size - 6;
571             break;
572
573         case FLI_BLACK:
574             /* set the whole frame to 0x0000 which is black in both 15Bpp and 16Bpp modes. */
575             memset(pixels, 0x0000,
576                    s->frame.linesize[0] * s->avctx->height);
577             break;
578
579         case FLI_BRUN:
580             y_ptr = 0;
581             for (lines = 0; lines < s->avctx->height; lines++) {
582                 pixel_ptr = y_ptr;
583                 /* disregard the line packets; instead, iterate through all
584                  * pixels on a row */
585                 stream_ptr++;
586                 pixel_countdown = (s->avctx->width * 2);
587
588                 while (pixel_countdown > 0) {
589                     byte_run = (signed char)(buf[stream_ptr++]);
590                     if (byte_run > 0) {
591                         palette_idx1 = buf[stream_ptr++];
592                         CHECK_PIXEL_PTR(byte_run);
593                         for (j = 0; j < byte_run; j++) {
594                             pixels[pixel_ptr++] = palette_idx1;
595                             pixel_countdown--;
596                             if (pixel_countdown < 0)
597                                 av_log(avctx, AV_LOG_ERROR, "pixel_countdown < 0 (%d) (linea%d)\n",
598                                        pixel_countdown, lines);
599                         }
600                     } else {  /* copy bytes if byte_run < 0 */
601                         byte_run = -byte_run;
602                         CHECK_PIXEL_PTR(byte_run);
603                         for (j = 0; j < byte_run; j++) {
604                             palette_idx1 = buf[stream_ptr++];
605                             pixels[pixel_ptr++] = palette_idx1;
606                             pixel_countdown--;
607                             if (pixel_countdown < 0)
608                                 av_log(avctx, AV_LOG_ERROR, "pixel_countdown < 0 (%d) at line %d\n",
609                                        pixel_countdown, lines);
610                         }
611                     }
612                 }
613
614                 /* Now FLX is strange, in that it is "byte" as opposed to "pixel" run length compressed.
615                  * This does not give us any good oportunity to perform word endian conversion
616                  * during decompression. So if it is required (i.e., this is not a LE target, we do
617                  * a second pass over the line here, swapping the bytes.
618                  */
619 #if HAVE_BIGENDIAN
620                 pixel_ptr = y_ptr;
621                 pixel_countdown = s->avctx->width;
622                 while (pixel_countdown > 0) {
623                     *((signed short*)(&pixels[pixel_ptr])) = AV_RL16(&buf[pixel_ptr]);
624                     pixel_ptr += 2;
625                 }
626 #endif
627                 y_ptr += s->frame.linesize[0];
628             }
629             break;
630
631         case FLI_DTA_BRUN:
632             y_ptr = 0;
633             for (lines = 0; lines < s->avctx->height; lines++) {
634                 pixel_ptr = y_ptr;
635                 /* disregard the line packets; instead, iterate through all
636                  * pixels on a row */
637                 stream_ptr++;
638                 pixel_countdown = s->avctx->width; /* Width is in pixels, not bytes */
639
640                 while (pixel_countdown > 0) {
641                     byte_run = (signed char)(buf[stream_ptr++]);
642                     if (byte_run > 0) {
643                         pixel    = AV_RL16(&buf[stream_ptr]);
644                         stream_ptr += 2;
645                         CHECK_PIXEL_PTR(2 * byte_run);
646                         for (j = 0; j < byte_run; j++) {
647                             *((signed short*)(&pixels[pixel_ptr])) = pixel;
648                             pixel_ptr += 2;
649                             pixel_countdown--;
650                             if (pixel_countdown < 0)
651                                 av_log(avctx, AV_LOG_ERROR, "pixel_countdown < 0 (%d)\n",
652                                        pixel_countdown);
653                         }
654                     } else {  /* copy pixels if byte_run < 0 */
655                         byte_run = -byte_run;
656                         CHECK_PIXEL_PTR(2 * byte_run);
657                         for (j = 0; j < byte_run; j++) {
658                             *((signed short*)(&pixels[pixel_ptr])) = AV_RL16(&buf[stream_ptr]);
659                             stream_ptr += 2;
660                             pixel_ptr  += 2;
661                             pixel_countdown--;
662                             if (pixel_countdown < 0)
663                                 av_log(avctx, AV_LOG_ERROR, "pixel_countdown < 0 (%d)\n",
664                                        pixel_countdown);
665                         }
666                     }
667                 }
668
669                 y_ptr += s->frame.linesize[0];
670             }
671             break;
672
673         case FLI_COPY:
674         case FLI_DTA_COPY:
675             /* copy the chunk (uncompressed frame) */
676             if (chunk_size - 6 > (unsigned int)(s->avctx->width * s->avctx->height)*2) {
677                 av_log(avctx, AV_LOG_ERROR, "In chunk FLI_COPY : source data (%d bytes) " \
678                        "bigger than image, skipping chunk\n", chunk_size - 6);
679                 stream_ptr += chunk_size - 6;
680             } else {
681
682                 for (y_ptr = 0; y_ptr < s->frame.linesize[0] * s->avctx->height;
683                      y_ptr += s->frame.linesize[0]) {
684
685                     pixel_countdown = s->avctx->width;
686                     pixel_ptr = 0;
687                     while (pixel_countdown > 0) {
688                       *((signed short*)(&pixels[y_ptr + pixel_ptr])) = AV_RL16(&buf[stream_ptr+pixel_ptr]);
689                       pixel_ptr += 2;
690                       pixel_countdown--;
691                     }
692                     stream_ptr += s->avctx->width*2;
693                 }
694             }
695             break;
696
697         case FLI_MINI:
698             /* some sort of a thumbnail? disregard this chunk... */
699             stream_ptr += chunk_size - 6;
700             break;
701
702         default:
703             av_log(avctx, AV_LOG_ERROR, "Unrecognized chunk type: %d\n", chunk_type);
704             break;
705         }
706
707         frame_size -= chunk_size;
708         num_chunks--;
709     }
710
711     /* by the end of the chunk, the stream ptr should equal the frame
712      * size (minus 1, possibly); if it doesn't, issue a warning */
713     if ((stream_ptr != buf_size) && (stream_ptr != buf_size - 1))
714         av_log(avctx, AV_LOG_ERROR, "Processed FLI chunk where chunk size = %d " \
715                "and final chunk ptr = %d\n", buf_size, stream_ptr);
716
717
718     *data_size=sizeof(AVFrame);
719     *(AVFrame*)data = s->frame;
720
721     return buf_size;
722 }
723
724 static int flic_decode_frame_24BPP(AVCodecContext *avctx,
725                                    void *data, int *data_size,
726                                    const uint8_t *buf, int buf_size)
727 {
728   av_log(avctx, AV_LOG_ERROR, "24Bpp FLC Unsupported due to lack of test files.\n");
729   return -1;
730 }
731
732 static int flic_decode_frame(AVCodecContext *avctx,
733                              void *data, int *data_size,
734                              AVPacket *avpkt)
735 {
736     const uint8_t *buf = avpkt->data;
737     int buf_size = avpkt->size;
738     if (avctx->pix_fmt == PIX_FMT_PAL8) {
739       return flic_decode_frame_8BPP(avctx, data, data_size,
740                                     buf, buf_size);
741     }
742     else if ((avctx->pix_fmt == PIX_FMT_RGB555) ||
743              (avctx->pix_fmt == PIX_FMT_RGB565)) {
744       return flic_decode_frame_15_16BPP(avctx, data, data_size,
745                                         buf, buf_size);
746     }
747     else if (avctx->pix_fmt == PIX_FMT_BGR24) {
748       return flic_decode_frame_24BPP(avctx, data, data_size,
749                                      buf, buf_size);
750     }
751
752     /* Should not get  here, ever as the pix_fmt is processed */
753     /* in flic_decode_init and the above if should deal with */
754     /* the finite set of possibilites allowable by here. */
755     /* But in case we do, just error out. */
756     av_log(avctx, AV_LOG_ERROR, "Unknown FLC format, my science cannot explain how this happened.\n");
757     return -1;
758 }
759
760
761 static av_cold int flic_decode_end(AVCodecContext *avctx)
762 {
763     FlicDecodeContext *s = avctx->priv_data;
764
765     if (s->frame.data[0])
766         avctx->release_buffer(avctx, &s->frame);
767
768     return 0;
769 }
770
771 AVCodec ff_flic_decoder = {
772     .name           = "flic",
773     .type           = AVMEDIA_TYPE_VIDEO,
774     .id             = CODEC_ID_FLIC,
775     .priv_data_size = sizeof(FlicDecodeContext),
776     .init           = flic_decode_init,
777     .close          = flic_decode_end,
778     .decode         = flic_decode_frame,
779     .capabilities   = CODEC_CAP_DR1,
780     .long_name = NULL_IF_CONFIG_SMALL("Autodesk Animator Flic video"),
781 };