libavcodec/libvpx: Add VPx alpha decode support
[ffmpeg.git] / libavcodec / xxan.c
index 180dcd4..8bb7087 100644 (file)
  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  */
 
-#include "avcodec.h"
 #include "libavutil/intreadwrite.h"
+#include "libavutil/mem.h"
+
+#include "avcodec.h"
 #include "bytestream.h"
-#define ALT_BITSTREAM_READER_LE
-#include "get_bits.h"
-// for av_memcpy_backptr
-#include "libavutil/lzo.h"
+#include "internal.h"
 
 typedef struct XanContext {
     AVCodecContext *avctx;
-    AVFrame pic;
+    AVFrame *pic;
 
     uint8_t *y_buffer;
     uint8_t *scratch_buffer;
     int     buffer_size;
+    GetByteContext gb;
 } XanContext;
 
+static av_cold int xan_decode_end(AVCodecContext *avctx)
+{
+    XanContext *s = avctx->priv_data;
+
+    av_frame_free(&s->pic);
+
+    av_freep(&s->y_buffer);
+    av_freep(&s->scratch_buffer);
+
+    return 0;
+}
+
 static av_cold int xan_decode_init(AVCodecContext *avctx)
 {
     XanContext *s = avctx->priv_data;
 
     s->avctx = avctx;
 
-    avctx->pix_fmt = PIX_FMT_YUV420P;
+    avctx->pix_fmt = AV_PIX_FMT_YUV420P;
+
+    if (avctx->height < 8) {
+        av_log(avctx, AV_LOG_ERROR, "Invalid frame height: %d.\n", avctx->height);
+        return AVERROR(EINVAL);
+    }
+    if (avctx->width & 1) {
+        av_log(avctx, AV_LOG_ERROR, "Invalid frame width: %d.\n", avctx->width);
+        return AVERROR(EINVAL);
+    }
 
     s->buffer_size = avctx->width * avctx->height;
     s->y_buffer = av_malloc(s->buffer_size);
@@ -51,89 +72,96 @@ static av_cold int xan_decode_init(AVCodecContext *avctx)
         return AVERROR(ENOMEM);
     s->scratch_buffer = av_malloc(s->buffer_size + 130);
     if (!s->scratch_buffer) {
-        av_freep(&s->y_buffer);
+        xan_decode_end(avctx);
+        return AVERROR(ENOMEM);
+    }
+
+    s->pic = av_frame_alloc();
+    if (!s->pic) {
+        xan_decode_end(avctx);
         return AVERROR(ENOMEM);
     }
 
     return 0;
 }
 
-static int xan_unpack_luma(const uint8_t *src, const int src_size,
+static int xan_unpack_luma(XanContext *s,
                            uint8_t *dst, const int dst_size)
 {
-   int tree_size, eof;
-   const uint8_t *tree;
-   int bits, mask;
-   int tree_root, node;
-   const uint8_t *dst_end = dst + dst_size;
-   const uint8_t *src_end = src + src_size;
-
-   tree_size = *src++;
-   eof       = *src++;
-   tree      = src - eof * 2 - 2;
-   tree_root = eof + tree_size;
-   src += tree_size * 2;
-
-   node = tree_root;
-   bits = *src++;
-   mask = 0x80;
-   for (;;) {
-       int bit = !!(bits & mask);
-       mask >>= 1;
-       node = tree[node*2 + bit];
-       if (node == eof)
-           break;
-       if (node < eof) {
-           *dst++ = node;
-           if (dst > dst_end)
-               break;
-           node = tree_root;
-       }
-       if (!mask) {
-           bits = *src++;
-           if (src > src_end)
-               break;
-           mask = 0x80;
-       }
-   }
-   return dst != dst_end;
+    int tree_size, eof;
+    int bits, mask;
+    int tree_root, node;
+    const uint8_t *dst_end = dst + dst_size;
+    GetByteContext tree = s->gb;
+    int start_off = bytestream2_tell(&tree);
+
+    tree_size = bytestream2_get_byte(&s->gb);
+    eof       = bytestream2_get_byte(&s->gb);
+    tree_root = eof + tree_size;
+    bytestream2_skip(&s->gb, tree_size * 2);
+
+    node = tree_root;
+    bits = bytestream2_get_byte(&s->gb);
+    mask = 0x80;
+    for (;;) {
+        int bit = !!(bits & mask);
+        mask >>= 1;
+        bytestream2_seek(&tree, start_off + node*2 + bit - eof * 2, SEEK_SET);
+        node = bytestream2_get_byte(&tree);
+        if (node == eof)
+            break;
+        if (node < eof) {
+            *dst++ = node;
+            if (dst > dst_end)
+                break;
+            node = tree_root;
+        }
+        if (!mask) {
+            if (bytestream2_get_bytes_left(&s->gb) <= 0)
+                break;
+            bits = bytestream2_get_byteu(&s->gb);
+            mask = 0x80;
+        }
+    }
+    return dst != dst_end ? AVERROR_INVALIDDATA : 0;
 }
 
 /* almost the same as in xan_wc3 decoder */
-static int xan_unpack(uint8_t *dest, const int dest_len,
-                      const uint8_t *src, const int src_len)
+static int xan_unpack(XanContext *s,
+                      uint8_t *dest, const int dest_len)
 {
     uint8_t opcode;
     int size;
     uint8_t *orig_dest = dest;
-    const uint8_t *src_end = src + src_len;
     const uint8_t *dest_end = dest + dest_len;
 
     while (dest < dest_end) {
-        opcode = *src++;
+        if (bytestream2_get_bytes_left(&s->gb) <= 0)
+            return AVERROR_INVALIDDATA;
+
+        opcode = bytestream2_get_byteu(&s->gb);
 
         if (opcode < 0xe0) {
             int size2, back;
             if ((opcode & 0x80) == 0) {
                 size  = opcode & 3;
-                back  = ((opcode & 0x60) << 3) + *src++ + 1;
+                back  = ((opcode & 0x60) << 3) + bytestream2_get_byte(&s->gb) + 1;
                 size2 = ((opcode & 0x1c) >> 2) + 3;
             } else if ((opcode & 0x40) == 0) {
-                size  = *src >> 6;
-                back  = (bytestream_get_be16(&src) & 0x3fff) + 1;
+                size  = bytestream2_peek_byte(&s->gb) >> 6;
+                back  = (bytestream2_get_be16(&s->gb) & 0x3fff) + 1;
                 size2 = (opcode & 0x3f) + 4;
             } else {
                 size  = opcode & 3;
-                back  = ((opcode & 0x10) << 12) + bytestream_get_be16(&src) + 1;
-                size2 = ((opcode & 0x0c) <<  6) + *src++ + 5;
+                back  = ((opcode & 0x10) << 12) + bytestream2_get_be16(&s->gb) + 1;
+                size2 = ((opcode & 0x0c) <<  6) + bytestream2_get_byte(&s->gb) + 5;
                 if (size + size2 > dest_end - dest)
                     break;
             }
-            if (src + size > src_end ||
-                dest + size + size2 > dest_end ||
-                dest + size - orig_dest < back )
-                return -1;
-            bytestream_get_buffer(&src, dest, size);
+            if (dest + size + size2 > dest_end ||
+                dest - orig_dest + size < back)
+                return AVERROR_INVALIDDATA;
+            bytestream2_get_buffer(&s->gb, dest, size);
             dest += size;
             av_memcpy_backptr(dest, back, size2);
             dest += size2;
@@ -141,9 +169,9 @@ static int xan_unpack(uint8_t *dest, const int dest_len,
             int finish = opcode >= 0xfc;
 
             size = finish ? opcode & 3 : ((opcode & 0x1f) << 2) + 4;
-            if (src + size > src_end || dest + size > dest_end)
-                return -1;
-            bytestream_get_buffer(&src, dest, size);
+            if (dest_end - dest < size)
+                return AVERROR_INVALIDDATA;
+            bytestream2_get_buffer(&s->gb, dest, size);
             dest += size;
             if (finish)
                 break;
@@ -152,45 +180,44 @@ static int xan_unpack(uint8_t *dest, const int dest_len,
     return dest - orig_dest;
 }
 
-static int xan_decode_chroma(AVCodecContext *avctx, AVPacket *avpkt)
+static int xan_decode_chroma(AVCodecContext *avctx, unsigned chroma_off)
 {
-    const uint8_t *buf = avpkt->data;
     XanContext *s = avctx->priv_data;
     uint8_t *U, *V;
-    unsigned chroma_off;
     int val, uval, vval;
     int i, j;
     const uint8_t *src, *src_end;
     const uint8_t *table;
-    int mode, offset, dec_size;
+    int mode, offset, dec_size, table_size;
 
-    chroma_off = AV_RL32(buf + 4);
     if (!chroma_off)
         return 0;
-    if (chroma_off + 10 >= avpkt->size) {
+    if (chroma_off + 4 >= bytestream2_get_bytes_left(&s->gb)) {
         av_log(avctx, AV_LOG_ERROR, "Invalid chroma block position\n");
-        return -1;
+        return AVERROR_INVALIDDATA;
     }
-    src    = avpkt->data + 4 + chroma_off;
-    table  = src + 2;
-    mode   = bytestream_get_le16(&src);
-    offset = bytestream_get_le16(&src) * 2;
-
-    if (src - avpkt->data >= avpkt->size - offset) {
+    bytestream2_seek(&s->gb, chroma_off + 4, SEEK_SET);
+    mode        = bytestream2_get_le16(&s->gb);
+    table       = s->gb.buffer;
+    table_size  = bytestream2_get_le16(&s->gb);
+    offset      = table_size * 2;
+    table_size += 1;
+
+    if (offset >= bytestream2_get_bytes_left(&s->gb)) {
         av_log(avctx, AV_LOG_ERROR, "Invalid chroma block offset\n");
-        return -1;
+        return AVERROR_INVALIDDATA;
     }
 
+    bytestream2_skip(&s->gb, offset);
     memset(s->scratch_buffer, 0, s->buffer_size);
-    dec_size = xan_unpack(s->scratch_buffer, s->buffer_size, src + offset,
-                          avpkt->size - offset - (src - avpkt->data));
+    dec_size = xan_unpack(s, s->scratch_buffer, s->buffer_size);
     if (dec_size < 0) {
         av_log(avctx, AV_LOG_ERROR, "Chroma unpacking failed\n");
-        return -1;
+        return dec_size;
     }
 
-    U = s->pic.data[1];
-    V = s->pic.data[2];
+    U = s->pic->data[1];
+    V = s->pic->data[2];
     src     = s->scratch_buffer;
     src_end = src + dec_size;
     if (mode) {
@@ -200,6 +227,8 @@ static int xan_decode_chroma(AVCodecContext *avctx, AVPacket *avpkt)
                     return 0;
                 val = *src++;
                 if (val) {
+                    if (val >= table_size)
+                        return AVERROR_INVALIDDATA;
                     val  = AV_RL16(table + (val << 1));
                     uval = (val >> 3) & 0xF8;
                     vval = (val >> 8) & 0xF8;
@@ -207,12 +236,16 @@ static int xan_decode_chroma(AVCodecContext *avctx, AVPacket *avpkt)
                     V[i] = vval | (vval >> 5);
                 }
             }
-            U += s->pic.linesize[1];
-            V += s->pic.linesize[2];
+            U += s->pic->linesize[1];
+            V += s->pic->linesize[2];
+        }
+        if (avctx->height & 1) {
+            memcpy(U, U - s->pic->linesize[1], avctx->width >> 1);
+            memcpy(V, V - s->pic->linesize[2], avctx->width >> 1);
         }
     } else {
-        uint8_t *U2 = U + s->pic.linesize[1];
-        uint8_t *V2 = V + s->pic.linesize[2];
+        uint8_t *U2 = U + s->pic->linesize[1];
+        uint8_t *V2 = V + s->pic->linesize[2];
 
         for (j = 0; j < avctx->height >> 2; j++) {
             for (i = 0; i < avctx->width >> 1; i += 2) {
@@ -220,6 +253,8 @@ static int xan_decode_chroma(AVCodecContext *avctx, AVPacket *avpkt)
                     return 0;
                 val = *src++;
                 if (val) {
+                    if (val >= table_size)
+                        return AVERROR_INVALIDDATA;
                     val  = AV_RL16(table + (val << 1));
                     uval = (val >> 3) & 0xF8;
                     vval = (val >> 8) & 0xF8;
@@ -227,42 +262,43 @@ static int xan_decode_chroma(AVCodecContext *avctx, AVPacket *avpkt)
                     V[i] = V[i+1] = V2[i] = V2[i+1] = vval | (vval >> 5);
                 }
             }
-            U  += s->pic.linesize[1] * 2;
-            V  += s->pic.linesize[2] * 2;
-            U2 += s->pic.linesize[1] * 2;
-            V2 += s->pic.linesize[2] * 2;
+            U  += s->pic->linesize[1] * 2;
+            V  += s->pic->linesize[2] * 2;
+            U2 += s->pic->linesize[1] * 2;
+            V2 += s->pic->linesize[2] * 2;
+        }
+        if (avctx->height & 3) {
+            int lines = ((avctx->height + 1) >> 1) - (avctx->height >> 2) * 2;
+
+            memcpy(U, U - lines * s->pic->linesize[1], lines * s->pic->linesize[1]);
+            memcpy(V, V - lines * s->pic->linesize[2], lines * s->pic->linesize[2]);
         }
     }
 
     return 0;
 }
 
-static int xan_decode_frame_type0(AVCodecContext *avctx, AVPacket *avpkt)
+static int xan_decode_frame_type0(AVCodecContext *avctx)
 {
-    const uint8_t *buf = avpkt->data;
     XanContext *s = avctx->priv_data;
     uint8_t *ybuf, *prev_buf, *src = s->scratch_buffer;
     unsigned  chroma_off, corr_off;
-    int cur, last, size;
+    int cur, last;
     int i, j;
     int ret;
 
-    corr_off   = AV_RL32(buf + 8);
-    chroma_off = AV_RL32(buf + 4);
+    chroma_off = bytestream2_get_le32(&s->gb);
+    corr_off   = bytestream2_get_le32(&s->gb);
 
-    if ((ret = xan_decode_chroma(avctx, avpkt)) != 0)
+    if ((ret = xan_decode_chroma(avctx, chroma_off)) != 0)
         return ret;
 
-    size = avpkt->size - 4;
-    if (corr_off >= avpkt->size) {
+    if (corr_off >= bytestream2_size(&s->gb)) {
         av_log(avctx, AV_LOG_WARNING, "Ignoring invalid correction block position\n");
         corr_off = 0;
     }
-    if (corr_off)
-        size = corr_off;
-    if (chroma_off)
-        size = FFMIN(size, chroma_off);
-    ret = xan_unpack_luma(buf + 12, size, src, s->buffer_size >> 1);
+    bytestream2_seek(&s->gb, 12, SEEK_SET);
+    ret = xan_unpack_luma(s, src, s->buffer_size >> 1);
     if (ret) {
         av_log(avctx, AV_LOG_ERROR, "Luma decoding failed\n");
         return ret;
@@ -296,14 +332,10 @@ static int xan_decode_frame_type0(AVCodecContext *avctx, AVPacket *avpkt)
     }
 
     if (corr_off) {
-        int corr_end, dec_size;
-
-        corr_end = avpkt->size;
-        if (chroma_off > corr_off)
-            corr_end = chroma_off;
-        dec_size = xan_unpack(s->scratch_buffer, s->buffer_size,
-                              avpkt->data + 8 + corr_off,
-                              corr_end - corr_off);
+        int dec_size;
+
+        bytestream2_seek(&s->gb, 8 + corr_off, SEEK_SET);
+        dec_size = xan_unpack(s, s->scratch_buffer, s->buffer_size / 2);
         if (dec_size < 0)
             dec_size = 0;
         else
@@ -314,30 +346,30 @@ static int xan_decode_frame_type0(AVCodecContext *avctx, AVPacket *avpkt)
     }
 
     src  = s->y_buffer;
-    ybuf = s->pic.data[0];
+    ybuf = s->pic->data[0];
     for (j = 0; j < avctx->height; j++) {
         for (i = 0; i < avctx->width; i++)
             ybuf[i] = (src[i] << 2) | (src[i] >> 3);
         src  += avctx->width;
-        ybuf += s->pic.linesize[0];
+        ybuf += s->pic->linesize[0];
     }
 
     return 0;
 }
 
-static int xan_decode_frame_type1(AVCodecContext *avctx, AVPacket *avpkt)
+static int xan_decode_frame_type1(AVCodecContext *avctx)
 {
-    const uint8_t *buf = avpkt->data;
     XanContext *s = avctx->priv_data;
     uint8_t *ybuf, *src = s->scratch_buffer;
     int cur, last;
     int i, j;
     int ret;
 
-    if ((ret = xan_decode_chroma(avctx, avpkt)) != 0)
+    if ((ret = xan_decode_chroma(avctx, bytestream2_get_le32(&s->gb))) != 0)
         return ret;
 
-    ret = xan_unpack_luma(buf + 16, avpkt->size - 16, src,
+    bytestream2_seek(&s->gb, 16, SEEK_SET);
+    ret = xan_unpack_luma(s, src,
                           s->buffer_size >> 1);
     if (ret) {
         av_log(avctx, AV_LOG_ERROR, "Luma decoding failed\n");
@@ -359,77 +391,60 @@ static int xan_decode_frame_type1(AVCodecContext *avctx, AVPacket *avpkt)
     }
 
     src = s->y_buffer;
-    ybuf = s->pic.data[0];
+    ybuf = s->pic->data[0];
     for (j = 0; j < avctx->height; j++) {
         for (i = 0; i < avctx->width; i++)
             ybuf[i] = (src[i] << 2) | (src[i] >> 3);
         src  += avctx->width;
-        ybuf += s->pic.linesize[0];
+        ybuf += s->pic->linesize[0];
     }
 
     return 0;
 }
 
 static int xan_decode_frame(AVCodecContext *avctx,
-                            void *data, int *data_size,
+                            void *data, int *got_frame,
                             AVPacket *avpkt)
 {
     XanContext *s = avctx->priv_data;
     int ftype;
     int ret;
 
-    s->pic.reference = 3;
-    s->pic.buffer_hints = FF_BUFFER_HINTS_VALID |
-                          FF_BUFFER_HINTS_PRESERVE |
-                          FF_BUFFER_HINTS_REUSABLE;
-    if ((ret = avctx->reget_buffer(avctx, &s->pic))) {
-        av_log(s->avctx, AV_LOG_ERROR, "reget_buffer() failed\n");
+    if ((ret = ff_reget_buffer(avctx, s->pic)) < 0)
         return ret;
-    }
 
-    ftype = AV_RL32(avpkt->data);
+    bytestream2_init(&s->gb, avpkt->data, avpkt->size);
+    ftype = bytestream2_get_le32(&s->gb);
     switch (ftype) {
     case 0:
-        ret = xan_decode_frame_type0(avctx, avpkt);
+        ret = xan_decode_frame_type0(avctx);
         break;
     case 1:
-        ret = xan_decode_frame_type1(avctx, avpkt);
+        ret = xan_decode_frame_type1(avctx);
         break;
     default:
         av_log(avctx, AV_LOG_ERROR, "Unknown frame type %d\n", ftype);
-        return -1;
+        return AVERROR_INVALIDDATA;
     }
     if (ret)
         return ret;
 
-    *data_size = sizeof(AVFrame);
-    *(AVFrame*)data = s->pic;
-
-    return avpkt->size;
-}
-
-static av_cold int xan_decode_end(AVCodecContext *avctx)
-{
-    XanContext *s = avctx->priv_data;
+    if ((ret = av_frame_ref(data, s->pic)) < 0)
+        return ret;
 
-    if (s->pic.data[0])
-        avctx->release_buffer(avctx, &s->pic);
+    *got_frame = 1;
 
-    av_freep(&s->y_buffer);
-    av_freep(&s->scratch_buffer);
-
-    return 0;
+    return avpkt->size;
 }
 
 AVCodec ff_xan_wc4_decoder = {
     .name           = "xan_wc4",
+    .long_name      = NULL_IF_CONFIG_SMALL("Wing Commander IV / Xxan"),
     .type           = AVMEDIA_TYPE_VIDEO,
-    .id             = CODEC_ID_XAN_WC4,
+    .id             = AV_CODEC_ID_XAN_WC4,
     .priv_data_size = sizeof(XanContext),
     .init           = xan_decode_init,
     .close          = xan_decode_end,
     .decode         = xan_decode_frame,
-    .capabilities   = CODEC_CAP_DR1,
-    .long_name = NULL_IF_CONFIG_SMALL("Wing Commander IV / Xxan"),
+    .capabilities   = AV_CODEC_CAP_DR1,
 };
-