tscc2: Fix an out of array access
[ffmpeg.git] / libavcodec / zerocodec.c
1 /*
2  * ZeroCodec Decoder
3  *
4  * Copyright (c) 2012, Derek Buitenhuis
5  *
6  * Permission to use, copy, modify, and/or distribute this software for any
7  * purpose with or without fee is hereby granted, provided that the above
8  * copyright notice and this permission notice appear in all copies.
9  *
10  * THE SOFTWARE IS PROVIDED "AS IS" AND THE AUTHOR DISCLAIMS ALL WARRANTIES
11  * WITH REGARD TO THIS SOFTWARE INCLUDING ALL IMPLIED WARRANTIES OF
12  * MERCHANTABILITY AND FITNESS. IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR
13  * ANY SPECIAL, DIRECT, INDIRECT, OR CONSEQUENTIAL DAMAGES OR ANY DAMAGES
14  * WHATSOEVER RESULTING FROM LOSS OF USE, DATA OR PROFITS, WHETHER IN AN
15  * ACTION OF CONTRACT, NEGLIGENCE OR OTHER TORTIOUS ACTION, ARISING OUT OF
16  * OR IN CONNECTION WITH THE USE OR PERFORMANCE OF THIS SOFTWARE.
17  */
18
19 #include <zlib.h>
20
21 #include "avcodec.h"
22 #include "libavutil/common.h"
23
24 typedef struct {
25     AVFrame  previous_frame;
26     z_stream zstream;
27     int      size;
28 } ZeroCodecContext;
29
30 static int zerocodec_decode_frame(AVCodecContext *avctx, void *data,
31                                   int *data_size, AVPacket *avpkt)
32 {
33     ZeroCodecContext *zc = avctx->priv_data;
34     AVFrame *pic         = avctx->coded_frame;
35     AVFrame *prev_pic    = &zc->previous_frame;
36     z_stream *zstream    = &zc->zstream;
37     uint8_t *prev        = prev_pic->data[0];
38     uint8_t *dst;
39     int i, j, zret;
40
41     pic->reference = 3;
42
43     if (avpkt->flags & AV_PKT_FLAG_KEY) {
44         pic->key_frame = 1;
45         pic->pict_type = AV_PICTURE_TYPE_I;
46     } else {
47         if (!prev) {
48             av_log(avctx, AV_LOG_ERROR, "Missing reference frame.\n");
49             return AVERROR_INVALIDDATA;
50         }
51         pic->key_frame = 0;
52         pic->pict_type = AV_PICTURE_TYPE_P;
53     }
54
55     zret = inflateReset(zstream);
56     if (zret != Z_OK) {
57         av_log(avctx, AV_LOG_ERROR, "Could not reset inflate: %d.\n", zret);
58         return AVERROR_INVALIDDATA;
59     }
60
61     if (avctx->get_buffer(avctx, pic) < 0) {
62         av_log(avctx, AV_LOG_ERROR, "Could not allocate buffer.\n");
63         return AVERROR(ENOMEM);
64     }
65
66     zstream->next_in  = avpkt->data;
67     zstream->avail_in = avpkt->size;
68
69     dst = pic->data[0];
70
71     /**
72      * ZeroCodec has very simple interframe compression. If a value
73      * is the same as the previous frame, set it to 0.
74      */
75
76     for (i = 0; i < avctx->height; i++) {
77         zstream->next_out  = dst;
78         zstream->avail_out = avctx->width << 1;
79
80         zret = inflate(zstream, Z_SYNC_FLUSH);
81         if (zret != Z_OK && zret != Z_STREAM_END) {
82             avctx->release_buffer(avctx, pic);
83             av_log(avctx, AV_LOG_ERROR,
84                    "Inflate failed with return code: %d.\n", zret);
85             return AVERROR_INVALIDDATA;
86         }
87
88         if (!(avpkt->flags & AV_PKT_FLAG_KEY))
89             for (j = 0; j < avctx->width << 1; j++)
90                 dst[j] += prev[j] & -!dst[j];
91
92         prev += prev_pic->linesize[0];
93         dst  += pic->linesize[0];
94     }
95
96     /* Release the previous buffer if need be */
97     if (prev_pic->data[0])
98         avctx->release_buffer(avctx, prev_pic);
99
100     *data_size       = sizeof(AVFrame);
101     *(AVFrame *)data = *pic;
102
103     /* Store the previous frame for use later.
104      * FFSWAP ensures that e.g. pic->data is NULLed. */
105     FFSWAP(AVFrame, *pic, *prev_pic);
106
107     return avpkt->size;
108 }
109
110 static av_cold int zerocodec_decode_close(AVCodecContext *avctx)
111 {
112     ZeroCodecContext *zc = avctx->priv_data;
113     AVFrame *prev_pic    = &zc->previous_frame;
114
115     inflateEnd(&zc->zstream);
116
117     /* Release last frame */
118     if (prev_pic->data[0])
119         avctx->release_buffer(avctx, prev_pic);
120
121     av_freep(&avctx->coded_frame);
122
123     return 0;
124 }
125
126 static av_cold int zerocodec_decode_init(AVCodecContext *avctx)
127 {
128     ZeroCodecContext *zc = avctx->priv_data;
129     z_stream *zstream    = &zc->zstream;
130     int zret;
131
132     avctx->pix_fmt             = AV_PIX_FMT_UYVY422;
133     avctx->bits_per_raw_sample = 8;
134
135     zc->size = avpicture_get_size(avctx->pix_fmt,
136                                   avctx->width, avctx->height);
137
138     zstream->zalloc = Z_NULL;
139     zstream->zfree  = Z_NULL;
140     zstream->opaque = Z_NULL;
141
142     zret = inflateInit(zstream);
143     if (zret != Z_OK) {
144         av_log(avctx, AV_LOG_ERROR, "Could not initialize inflate: %d.\n", zret);
145         return AVERROR(ENOMEM);
146     }
147
148     avctx->coded_frame = avcodec_alloc_frame();
149     if (!avctx->coded_frame) {
150         av_log(avctx, AV_LOG_ERROR, "Could not allocate frame buffer.\n");
151         zerocodec_decode_close(avctx);
152         return AVERROR(ENOMEM);
153     }
154
155     return 0;
156 }
157
158 AVCodec ff_zerocodec_decoder = {
159     .type           = AVMEDIA_TYPE_VIDEO,
160     .name           = "zerocodec",
161     .id             = AV_CODEC_ID_ZEROCODEC,
162     .priv_data_size = sizeof(ZeroCodecContext),
163     .init           = zerocodec_decode_init,
164     .decode         = zerocodec_decode_frame,
165     .close          = zerocodec_decode_close,
166     .capabilities   = CODEC_CAP_DR1,
167     .long_name      = NULL_IF_CONFIG_SMALL("ZeroCodec Lossless Video"),
168 };