tiff: Check that there is no aliasing in pixel format selection
[ffmpeg.git] / libavcodec / sgienc.c
index 07c942e..bfc0995 100644 (file)
 #define SGI_SINGLE_CHAN 2
 #define SGI_MULTI_CHAN 3
 
-typedef struct SgiContext {
-    AVFrame picture;
-} SgiContext;
-
 static av_cold int encode_init(AVCodecContext *avctx)
 {
-    SgiContext *s = avctx->priv_data;
+    if (avctx->width > 65535 || avctx->height > 65535) {
+        av_log(avctx, AV_LOG_ERROR,
+               "Unsupported resolution %dx%d.\n", avctx->width, avctx->height);
+        return AVERROR_INVALIDDATA;
+    }
 
-    avcodec_get_frame_defaults(&s->picture);
-    avctx->coded_frame = &s->picture;
+    avctx->coded_frame = av_frame_alloc();
+    if (!avctx->coded_frame)
+        return AVERROR(ENOMEM);
 
     return 0;
 }
@@ -45,30 +46,59 @@ static av_cold int encode_init(AVCodecContext *avctx)
 static int encode_frame(AVCodecContext *avctx, AVPacket *pkt,
                         const AVFrame *frame, int *got_packet)
 {
-    SgiContext *s = avctx->priv_data;
-    AVFrame * const p = &s->picture;
+    const AVFrame * const p = frame;
     uint8_t *offsettab, *lengthtab, *in_buf, *encode_buf, *buf;
     int x, y, z, length, tablesize, ret;
     unsigned int width, height, depth, dimension;
+    unsigned int bytes_per_channel, pixmax, put_be;
     unsigned char *end_buf;
 
-    *p = *frame;
-    p->pict_type = AV_PICTURE_TYPE_I;
-    p->key_frame = 1;
+    avctx->coded_frame->pict_type = AV_PICTURE_TYPE_I;
+    avctx->coded_frame->key_frame = 1;
 
     width  = avctx->width;
     height = avctx->height;
+    bytes_per_channel = 1;
+    pixmax = 0xFF;
+    put_be = HAVE_BIGENDIAN;
 
     switch (avctx->pix_fmt) {
-    case PIX_FMT_GRAY8:
+    case AV_PIX_FMT_GRAY8:
         dimension = SGI_SINGLE_CHAN;
         depth     = SGI_GRAYSCALE;
         break;
-    case PIX_FMT_RGB24:
+    case AV_PIX_FMT_RGB24:
         dimension = SGI_MULTI_CHAN;
         depth     = SGI_RGB;
         break;
-    case PIX_FMT_RGBA:
+    case AV_PIX_FMT_RGBA:
+        dimension = SGI_MULTI_CHAN;
+        depth     = SGI_RGBA;
+        break;
+    case AV_PIX_FMT_GRAY16LE:
+        put_be = !HAVE_BIGENDIAN;
+    case AV_PIX_FMT_GRAY16BE:
+        avctx->coder_type = FF_CODER_TYPE_RAW;
+        bytes_per_channel = 2;
+        pixmax = 0xFFFF;
+        dimension = SGI_SINGLE_CHAN;
+        depth     = SGI_GRAYSCALE;
+        break;
+    case AV_PIX_FMT_RGB48LE:
+        put_be = !HAVE_BIGENDIAN;
+    case AV_PIX_FMT_RGB48BE:
+        avctx->coder_type = FF_CODER_TYPE_RAW;
+        bytes_per_channel = 2;
+        pixmax = 0xFFFF;
+        dimension = SGI_MULTI_CHAN;
+        depth     = SGI_RGB;
+        break;
+    case AV_PIX_FMT_RGBA64LE:
+        put_be = !HAVE_BIGENDIAN;
+    case AV_PIX_FMT_RGBA64BE:
+        avctx->coder_type = FF_CODER_TYPE_RAW;
+        bytes_per_channel = 2;
+        pixmax = 0xFFFF;
         dimension = SGI_MULTI_CHAN;
         depth     = SGI_RGBA;
         break;
@@ -83,7 +113,7 @@ static int encode_frame(AVCodecContext *avctx, AVPacket *pkt,
     else // assume ff_rl_encode() produces at most 2x size of input
         length += tablesize * 2 + depth * height * (2 * width + 1);
 
-    if ((ret = ff_alloc_packet(pkt, length)) < 0) {
+    if ((ret = ff_alloc_packet(pkt, bytes_per_channel * length)) < 0) {
         av_log(avctx, AV_LOG_ERROR, "Error getting output packet of size %d.\n", length);
         return ret;
     }
@@ -93,29 +123,28 @@ static int encode_frame(AVCodecContext *avctx, AVPacket *pkt,
     /* Encode header. */
     bytestream_put_be16(&buf, SGI_MAGIC);
     bytestream_put_byte(&buf, avctx->coder_type != FF_CODER_TYPE_RAW); /* RLE 1 - VERBATIM 0*/
-    bytestream_put_byte(&buf, 1); /* bytes_per_channel */
+    bytestream_put_byte(&buf, bytes_per_channel);
     bytestream_put_be16(&buf, dimension);
     bytestream_put_be16(&buf, width);
     bytestream_put_be16(&buf, height);
     bytestream_put_be16(&buf, depth);
 
-    /* The rest are constant in this implementation. */
     bytestream_put_be32(&buf, 0L); /* pixmin */
-    bytestream_put_be32(&buf, 255L); /* pixmax */
+    bytestream_put_be32(&buf, pixmax);
     bytestream_put_be32(&buf, 0L); /* dummy */
 
     /* name */
     memset(buf, 0, SGI_HEADER_SIZE);
     buf += 80;
 
-     /* colormap */
+    /* colormap */
     bytestream_put_be32(&buf, 0L);
 
     /* The rest of the 512 byte header is unused. */
     buf += 404;
     offsettab = buf;
 
-    if (avctx->coder_type  != FF_CODER_TYPE_RAW) {
+    if (avctx->coder_type != FF_CODER_TYPE_RAW) {
         /* Skip RLE offset table. */
         buf += tablesize;
         lengthtab = buf;
@@ -151,11 +180,17 @@ static int encode_frame(AVCodecContext *avctx, AVPacket *pkt,
         av_free(encode_buf);
     } else {
         for (z = 0; z < depth; z++) {
-            in_buf = p->data[0] + p->linesize[0] * (height - 1) + z;
+            in_buf = p->data[0] + p->linesize[0] * (height - 1) + z * bytes_per_channel;
 
             for (y = 0; y < height; y++) {
                 for (x = 0; x < width * depth; x += depth)
-                    bytestream_put_byte(&buf, in_buf[x]);
+                    if (bytes_per_channel == 1)
+                        bytestream_put_byte(&buf, in_buf[x]);
+                    else
+                        if (put_be)
+                            bytestream_put_be16(&buf, ((uint16_t *)in_buf)[x]);
+                        else
+                            bytestream_put_le16(&buf, ((uint16_t *)in_buf)[x]);
 
                 in_buf -= p->linesize[0];
             }
@@ -163,22 +198,32 @@ static int encode_frame(AVCodecContext *avctx, AVPacket *pkt,
     }
 
     /* total length */
-    pkt->size = buf - pkt->data;
+    pkt->size   = buf - pkt->data;
     pkt->flags |= AV_PKT_FLAG_KEY;
     *got_packet = 1;
 
     return 0;
 }
 
+static av_cold int encode_close(AVCodecContext *avctx)
+{
+    av_frame_free(&avctx->coded_frame);
+    return 0;
+}
+
 AVCodec ff_sgi_encoder = {
-    .name           = "sgi",
-    .type           = AVMEDIA_TYPE_VIDEO,
-    .id             = CODEC_ID_SGI,
-    .priv_data_size = sizeof(SgiContext),
-    .init           = encode_init,
-    .encode2        = encode_frame,
-    .pix_fmts       = (const enum PixelFormat[]){
-        PIX_FMT_RGB24, PIX_FMT_RGBA, PIX_FMT_GRAY8, PIX_FMT_NONE
+    .name      = "sgi",
+    .long_name = NULL_IF_CONFIG_SMALL("SGI image"),
+    .type      = AVMEDIA_TYPE_VIDEO,
+    .id        = AV_CODEC_ID_SGI,
+    .init      = encode_init,
+    .encode2   = encode_frame,
+    .close     = encode_close,
+    .pix_fmts  = (const enum AVPixelFormat[]) {
+        AV_PIX_FMT_RGB24, AV_PIX_FMT_RGBA,
+        AV_PIX_FMT_RGB48LE, AV_PIX_FMT_RGB48BE,
+        AV_PIX_FMT_RGBA64LE, AV_PIX_FMT_RGBA64BE,
+        AV_PIX_FMT_GRAY16LE, AV_PIX_FMT_GRAY16BE, AV_PIX_FMT_GRAY8,
+        AV_PIX_FMT_NONE
     },
-    .long_name      = NULL_IF_CONFIG_SMALL("SGI image"),
 };