Make the targa encoder return sane error values rather than -1.
[ffmpeg.git] / libavcodec / iff.c
index b77d3dc..19f4172 100644 (file)
@@ -25,6 +25,7 @@
  * IFF PBM/ILBM bitmap decoder
  */
 
+#include "libavcore/imgutils.h"
 #include "bytestream.h"
 #include "avcodec.h"
 #include "get_bits.h"
@@ -34,25 +35,26 @@ typedef struct {
     AVFrame frame;
     int planesize;
     uint8_t * planebuf;
+    int init; // 1 if buffer and palette data already initialized, 0 otherwise
 } IffContext;
 
 #define LUT8_PART(plane, v)                             \
-    AV_LE2ME64C(UINT64_C(0x0000000)<<32 | v) << plane,  \
-    AV_LE2ME64C(UINT64_C(0x1000000)<<32 | v) << plane,  \
-    AV_LE2ME64C(UINT64_C(0x0010000)<<32 | v) << plane,  \
-    AV_LE2ME64C(UINT64_C(0x1010000)<<32 | v) << plane,  \
-    AV_LE2ME64C(UINT64_C(0x0000100)<<32 | v) << plane,  \
-    AV_LE2ME64C(UINT64_C(0x1000100)<<32 | v) << plane,  \
-    AV_LE2ME64C(UINT64_C(0x0010100)<<32 | v) << plane,  \
-    AV_LE2ME64C(UINT64_C(0x1010100)<<32 | v) << plane,  \
-    AV_LE2ME64C(UINT64_C(0x0000001)<<32 | v) << plane,  \
-    AV_LE2ME64C(UINT64_C(0x1000001)<<32 | v) << plane,  \
-    AV_LE2ME64C(UINT64_C(0x0010001)<<32 | v) << plane,  \
-    AV_LE2ME64C(UINT64_C(0x1010001)<<32 | v) << plane,  \
-    AV_LE2ME64C(UINT64_C(0x0000101)<<32 | v) << plane,  \
-    AV_LE2ME64C(UINT64_C(0x1000101)<<32 | v) << plane,  \
-    AV_LE2ME64C(UINT64_C(0x0010101)<<32 | v) << plane,  \
-    AV_LE2ME64C(UINT64_C(0x1010101)<<32 | v) << plane
+    AV_LE2NE64C(UINT64_C(0x0000000)<<32 | v) << plane,  \
+    AV_LE2NE64C(UINT64_C(0x1000000)<<32 | v) << plane,  \
+    AV_LE2NE64C(UINT64_C(0x0010000)<<32 | v) << plane,  \
+    AV_LE2NE64C(UINT64_C(0x1010000)<<32 | v) << plane,  \
+    AV_LE2NE64C(UINT64_C(0x0000100)<<32 | v) << plane,  \
+    AV_LE2NE64C(UINT64_C(0x1000100)<<32 | v) << plane,  \
+    AV_LE2NE64C(UINT64_C(0x0010100)<<32 | v) << plane,  \
+    AV_LE2NE64C(UINT64_C(0x1010100)<<32 | v) << plane,  \
+    AV_LE2NE64C(UINT64_C(0x0000001)<<32 | v) << plane,  \
+    AV_LE2NE64C(UINT64_C(0x1000001)<<32 | v) << plane,  \
+    AV_LE2NE64C(UINT64_C(0x0010001)<<32 | v) << plane,  \
+    AV_LE2NE64C(UINT64_C(0x1010001)<<32 | v) << plane,  \
+    AV_LE2NE64C(UINT64_C(0x0000101)<<32 | v) << plane,  \
+    AV_LE2NE64C(UINT64_C(0x1000101)<<32 | v) << plane,  \
+    AV_LE2NE64C(UINT64_C(0x0010101)<<32 | v) << plane,  \
+    AV_LE2NE64C(UINT64_C(0x1010101)<<32 | v) << plane
 
 #define LUT8(plane) {                           \
     LUT8_PART(plane, 0x0000000),                \
@@ -110,6 +112,11 @@ static const uint32_t plane32_lut[32][16*4] = {
     LUT32(28), LUT32(29), LUT32(30), LUT32(31),
 };
 
+// Gray to RGB, required for palette table of grayscale images with bpp < 8
+static av_always_inline uint32_t gray2rgb(const uint32_t x) {
+    return x << 16 | x << 8 | x;
+}
+
 /**
  * Convert CMAP buffer (stored in extradata) to lavc palette format
  */
@@ -123,12 +130,18 @@ int ff_cmap_read_palette(AVCodecContext *avctx, uint32_t *pal)
     }
 
     count = 1 << avctx->bits_per_coded_sample;
-    if (avctx->extradata_size < count * 3) {
-        av_log(avctx, AV_LOG_ERROR, "palette data underflow\n");
-        return AVERROR_INVALIDDATA;
-    }
-    for (i=0; i < count; i++) {
-        pal[i] = 0xFF000000 | AV_RB24( avctx->extradata + i*3 );
+    // If extradata is smaller than actually needed, fill the remaining with black.
+    count = FFMIN(avctx->extradata_size / 3, count);
+    if (count) {
+        for (i=0; i < count; i++) {
+            pal[i] = 0xFF000000 | AV_RB24( avctx->extradata + i*3 );
+        }
+    } else { // Create gray-scale color palette for bps < 8
+        count = 1 << avctx->bits_per_coded_sample;
+
+        for (i=0; i < count; i++) {
+            pal[i] = 0xFF000000 | gray2rgb((i * 255) >> avctx->bits_per_coded_sample);
+        }
     }
     return 0;
 }
@@ -139,14 +152,16 @@ static av_cold int decode_init(AVCodecContext *avctx)
     int err;
 
     if (avctx->bits_per_coded_sample <= 8) {
-        avctx->pix_fmt = PIX_FMT_PAL8;
+        avctx->pix_fmt = (avctx->bits_per_coded_sample < 8 ||
+                          avctx->extradata_size) ? PIX_FMT_PAL8
+                                                 : PIX_FMT_GRAY8;
     } else if (avctx->bits_per_coded_sample <= 32) {
         avctx->pix_fmt = PIX_FMT_BGR32;
     } else {
         return AVERROR_INVALIDDATA;
     }
 
-    if ((err = avcodec_check_dimensions(avctx, avctx->width, avctx->height)))
+    if ((err = av_image_check_size(avctx->width, avctx->height, 0, avctx)))
         return err;
     s->planesize = FFALIGN(avctx->width, 16) >> 3; // Align plane size in bits to word-boundary
     s->planebuf = av_malloc(s->planesize + FF_INPUT_BUFFER_PADDING_SIZE);
@@ -154,13 +169,8 @@ static av_cold int decode_init(AVCodecContext *avctx)
         return AVERROR(ENOMEM);
 
     s->frame.reference = 1;
-    if ((err = avctx->get_buffer(avctx, &s->frame) < 0)) {
-        av_log(avctx, AV_LOG_ERROR, "get_buffer() failed\n");
-        return err;
-    }
 
-    return avctx->bits_per_coded_sample <= 8 ?
-       ff_cmap_read_palette(avctx, (uint32_t*)s->frame.data[1]) : 0;
+    return 0;
 }
 
 /**
@@ -173,11 +183,11 @@ static av_cold int decode_init(AVCodecContext *avctx)
 static void decodeplane8(uint8_t *dst, const uint8_t *buf, int buf_size, int plane)
 {
     const uint64_t *lut = plane8_lut[plane];
-    while (buf_size--) {
+    do {
         uint64_t v = AV_RN64A(dst) | lut[*buf++];
         AV_WN64A(dst, v);
         dst += 8;
-    }
+    } while (--buf_size);
 }
 
 /**
@@ -205,6 +215,37 @@ static void decodeplane32(uint32_t *dst, const uint8_t *buf, int buf_size, int p
     } while (--buf_size);
 }
 
+/**
+ * Decode one complete byterun1 encoded line.
+ *
+ * @param dst the destination buffer where to store decompressed bitstream
+ * @param dst_size the destination plane size in bytes
+ * @param buf the source byterun1 compressed bitstream
+ * @param buf_end the EOF of source byterun1 compressed bitstream
+ * @return number of consumed bytes in byterun1 compressed bitstream
+*/
+static int decode_byterun(uint8_t *dst, int dst_size,
+                          const uint8_t *buf, const uint8_t *const buf_end) {
+    const uint8_t *const buf_start = buf;
+    unsigned x;
+    for (x = 0; x < dst_size && buf < buf_end;) {
+        unsigned length;
+        const int8_t value = *buf++;
+        if (value >= 0) {
+            length = value + 1;
+            memcpy(dst + x, buf, FFMIN3(length, dst_size - x, buf_end - buf));
+            buf += length;
+        } else if (value > -128) {
+            length = -value + 1;
+            memset(dst + x, *buf++, FFMIN(length, dst_size - x));
+        } else { // noop
+            continue;
+        }
+        x += length;
+    }
+    return buf - buf_start;
+}
+
 static int decode_frame_ilbm(AVCodecContext *avctx,
                             void *data, int *data_size,
                             AVPacket *avpkt)
@@ -213,30 +254,47 @@ static int decode_frame_ilbm(AVCodecContext *avctx,
     const uint8_t *buf = avpkt->data;
     int buf_size = avpkt->size;
     const uint8_t *buf_end = buf+buf_size;
-    int y, plane;
+    int y, plane, res;
 
-    if (avctx->reget_buffer(avctx, &s->frame) < 0){
+    if (s->init) {
+        if ((res = avctx->reget_buffer(avctx, &s->frame)) < 0) {
+            av_log(avctx, AV_LOG_ERROR, "reget_buffer() failed\n");
+            return res;
+        }
+    } else if ((res = avctx->get_buffer(avctx, &s->frame)) < 0) {
         av_log(avctx, AV_LOG_ERROR, "get_buffer() failed\n");
-        return -1;
+        return res;
+    } else if (avctx->bits_per_coded_sample <= 8 && avctx->pix_fmt != PIX_FMT_GRAY8) {
+        if ((res = ff_cmap_read_palette(avctx, (uint32_t*)s->frame.data[1])) < 0)
+            return res;
     }
+    s->init = 1;
 
-    if (avctx->pix_fmt == PIX_FMT_PAL8) {
-        for(y = 0; y < avctx->height; y++ ) {
-            uint8_t *row = &s->frame.data[0][ y*s->frame.linesize[0] ];
-            memset(row, 0, avctx->width);
-            for (plane = 0; plane < avctx->bits_per_coded_sample && buf < buf_end; plane++) {
-                decodeplane8(row, buf, FFMIN(s->planesize, buf_end - buf), plane);
-                buf += s->planesize;
+    if (avctx->codec_tag == MKTAG('I','L','B','M')) { // interleaved
+        if (avctx->pix_fmt == PIX_FMT_PAL8 || avctx->pix_fmt == PIX_FMT_GRAY8) {
+            for(y = 0; y < avctx->height; y++ ) {
+                uint8_t *row = &s->frame.data[0][ y*s->frame.linesize[0] ];
+                memset(row, 0, avctx->width);
+                for (plane = 0; plane < avctx->bits_per_coded_sample && buf < buf_end; plane++) {
+                    decodeplane8(row, buf, FFMIN(s->planesize, buf_end - buf), plane);
+                    buf += s->planesize;
+                }
+            }
+        } else { // PIX_FMT_BGR32
+            for(y = 0; y < avctx->height; y++ ) {
+                uint8_t *row = &s->frame.data[0][y*s->frame.linesize[0]];
+                memset(row, 0, avctx->width << 2);
+                for (plane = 0; plane < avctx->bits_per_coded_sample && buf < buf_end; plane++) {
+                    decodeplane32((uint32_t *) row, buf, FFMIN(s->planesize, buf_end - buf), plane);
+                    buf += s->planesize;
+                }
             }
         }
-    } else { // PIX_FMT_BGR32
+    } else if (avctx->pix_fmt == PIX_FMT_PAL8 || avctx->pix_fmt == PIX_FMT_GRAY8) { // IFF-PBM
         for(y = 0; y < avctx->height; y++ ) {
-            uint8_t *row = &s->frame.data[0][y*s->frame.linesize[0]];
-            memset(row, 0, avctx->width << 2);
-            for (plane = 0; plane < avctx->bits_per_coded_sample && buf < buf_end; plane++) {
-                decodeplane32((uint32_t *) row, buf, FFMIN(s->planesize, buf_end - buf), plane);
-                buf += s->planesize;
-            }
+            uint8_t *row = &s->frame.data[0][y * s->frame.linesize[0]];
+            memcpy(row, buf, FFMIN(avctx->width, buf_end - buf));
+            buf += avctx->width + (avctx->width % 2); // padding if odd
         }
     }
 
@@ -253,34 +311,29 @@ static int decode_frame_byterun1(AVCodecContext *avctx,
     const uint8_t *buf = avpkt->data;
     int buf_size = avpkt->size;
     const uint8_t *buf_end = buf+buf_size;
-    int y, plane, x;
+    int y, plane, res;
 
-    if (avctx->reget_buffer(avctx, &s->frame) < 0){
+    if (s->init) {
+        if ((res = avctx->reget_buffer(avctx, &s->frame)) < 0) {
+            av_log(avctx, AV_LOG_ERROR, "reget_buffer() failed\n");
+            return res;
+        }
+    } else if ((res = avctx->get_buffer(avctx, &s->frame)) < 0) {
         av_log(avctx, AV_LOG_ERROR, "get_buffer() failed\n");
-        return -1;
+        return res;
+    } else if (avctx->bits_per_coded_sample <= 8 && avctx->pix_fmt != PIX_FMT_GRAY8) {
+        if ((res = ff_cmap_read_palette(avctx, (uint32_t*)s->frame.data[1])) < 0)
+            return res;
     }
+    s->init = 1;
 
     if (avctx->codec_tag == MKTAG('I','L','B','M')) { //interleaved
-        if (avctx->pix_fmt == PIX_FMT_PAL8) {
+        if (avctx->pix_fmt == PIX_FMT_PAL8 || avctx->pix_fmt == PIX_FMT_GRAY8) {
             for(y = 0; y < avctx->height ; y++ ) {
                 uint8_t *row = &s->frame.data[0][ y*s->frame.linesize[0] ];
                 memset(row, 0, avctx->width);
                 for (plane = 0; plane < avctx->bits_per_coded_sample; plane++) {
-                    for(x = 0; x < s->planesize && buf < buf_end; ) {
-                        int8_t value = *buf++;
-                        unsigned length;
-                        if (value >= 0) {
-                            length = value + 1;
-                            memcpy(s->planebuf + x, buf, FFMIN3(length, s->planesize - x, buf_end - buf));
-                            buf += length;
-                        } else if (value > -128) {
-                            length = -value + 1;
-                            memset(s->planebuf + x, *buf++, FFMIN(length, s->planesize - x));
-                        } else { //noop
-                            continue;
-                        }
-                        x += length;
-                    }
+                    buf += decode_byterun(s->planebuf, s->planesize, buf, buf_end);
                     decodeplane8(row, s->planebuf, s->planesize, plane);
                 }
             }
@@ -289,21 +342,7 @@ static int decode_frame_byterun1(AVCodecContext *avctx,
                 uint8_t *row = &s->frame.data[0][y*s->frame.linesize[0]];
                 memset(row, 0, avctx->width << 2);
                 for (plane = 0; plane < avctx->bits_per_coded_sample; plane++) {
-                    for(x = 0; x < s->planesize && buf < buf_end; ) {
-                        int8_t value = *buf++;
-                        unsigned length;
-                        if (value >= 0) {
-                            length = value + 1;
-                            memcpy(s->planebuf + x, buf, FFMIN3(length, s->planesize - x, buf_end - buf));
-                            buf += length;
-                        } else if (value > -128) {
-                            length = -value + 1;
-                            memset(s->planebuf + x, *buf++, FFMIN(length, s->planesize - x));
-                        } else { // noop
-                            continue;
-                        }
-                        x += length;
-                    }
+                    buf += decode_byterun(s->planebuf, s->planesize, buf, buf_end);
                     decodeplane32((uint32_t *) row, s->planebuf, s->planesize, plane);
                 }
             }
@@ -311,21 +350,7 @@ static int decode_frame_byterun1(AVCodecContext *avctx,
     } else {
         for(y = 0; y < avctx->height ; y++ ) {
             uint8_t *row = &s->frame.data[0][y*s->frame.linesize[0]];
-            for(x = 0; x < avctx->width && buf < buf_end; ) {
-                int8_t value = *buf++;
-                unsigned length;
-                if (value >= 0) {
-                    length = value + 1;
-                    memcpy(row + x, buf, FFMIN3(length, buf_end - buf, avctx->width - x));
-                    buf += length;
-                } else if (value > -128) {
-                    length = -value + 1;
-                    memset(row + x, *buf++, FFMIN(length, avctx->width - x));
-                } else { //noop
-                    continue;
-                }
-                x += length;
-            }
+            buf += decode_byterun(row, avctx->width, buf, buf_end);
         }
     }