tscc2: Fix an out of array access
[ffmpeg.git] / libavcodec / eacmv.c
1 /*
2  * Electronic Arts CMV Video Decoder
3  * Copyright (c) 2007-2008 Peter Ross
4  *
5  * This file is part of Libav.
6  *
7  * Libav is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * Libav is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with Libav; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA  02110-1301  USA
20  */
21
22 /**
23  * @file
24  * Electronic Arts CMV Video Decoder
25  * by Peter Ross (pross@xvid.org)
26  *
27  * Technical details here:
28  * http://wiki.multimedia.cx/index.php?title=Electronic_Arts_CMV
29  */
30
31 #include "libavutil/common.h"
32 #include "libavutil/intreadwrite.h"
33 #include "libavutil/imgutils.h"
34 #include "avcodec.h"
35
36 typedef struct CmvContext {
37     AVCodecContext *avctx;
38     AVFrame frame;        ///< current
39     AVFrame last_frame;   ///< last
40     AVFrame last2_frame;  ///< second-last
41     int width, height;
42     unsigned int palette[AVPALETTE_COUNT];
43 } CmvContext;
44
45 static av_cold int cmv_decode_init(AVCodecContext *avctx){
46     CmvContext *s = avctx->priv_data;
47     s->avctx = avctx;
48     avctx->pix_fmt = AV_PIX_FMT_PAL8;
49     return 0;
50 }
51
52 static void cmv_decode_intra(CmvContext * s, const uint8_t *buf, const uint8_t *buf_end){
53     unsigned char *dst = s->frame.data[0];
54     int i;
55
56     for (i=0; i < s->avctx->height && buf_end - buf >= s->avctx->width; i++) {
57         memcpy(dst, buf, s->avctx->width);
58         dst += s->frame.linesize[0];
59         buf += s->avctx->width;
60     }
61 }
62
63 static void cmv_motcomp(unsigned char *dst, int dst_stride,
64                         const unsigned char *src, int src_stride,
65                         int x, int y,
66                         int xoffset, int yoffset,
67                         int width, int height){
68     int i,j;
69
70     for(j=y;j<y+4;j++)
71     for(i=x;i<x+4;i++)
72     {
73         if (i+xoffset>=0 && i+xoffset<width &&
74             j+yoffset>=0 && j+yoffset<height) {
75             dst[j*dst_stride + i] = src[(j+yoffset)*src_stride + i+xoffset];
76         }else{
77             dst[j*dst_stride + i] = 0;
78         }
79     }
80 }
81
82 static void cmv_decode_inter(CmvContext * s, const uint8_t *buf, const uint8_t *buf_end){
83     const uint8_t *raw = buf + (s->avctx->width*s->avctx->height/16);
84     int x,y,i;
85
86     i = 0;
87     for(y=0; y<s->avctx->height/4; y++)
88     for(x=0; x<s->avctx->width/4 && buf_end - buf > i; x++) {
89         if (buf[i]==0xFF) {
90             unsigned char *dst = s->frame.data[0] + (y*4)*s->frame.linesize[0] + x*4;
91             if (raw+16<buf_end && *raw==0xFF) { /* intra */
92                 raw++;
93                 memcpy(dst, raw, 4);
94                 memcpy(dst+s->frame.linesize[0], raw+4, 4);
95                 memcpy(dst+2*s->frame.linesize[0], raw+8, 4);
96                 memcpy(dst+3*s->frame.linesize[0], raw+12, 4);
97                 raw+=16;
98             }else if(raw<buf_end) {  /* inter using second-last frame as reference */
99                 int xoffset = (*raw & 0xF) - 7;
100                 int yoffset = ((*raw >> 4)) - 7;
101                 if (s->last2_frame.data[0])
102                     cmv_motcomp(s->frame.data[0], s->frame.linesize[0],
103                                 s->last2_frame.data[0], s->last2_frame.linesize[0],
104                                 x*4, y*4, xoffset, yoffset, s->avctx->width, s->avctx->height);
105                 raw++;
106             }
107         }else{  /* inter using last frame as reference */
108             int xoffset = (buf[i] & 0xF) - 7;
109             int yoffset = ((buf[i] >> 4)) - 7;
110             cmv_motcomp(s->frame.data[0], s->frame.linesize[0],
111                       s->last_frame.data[0], s->last_frame.linesize[0],
112                       x*4, y*4, xoffset, yoffset, s->avctx->width, s->avctx->height);
113         }
114         i++;
115     }
116 }
117
118 static void cmv_process_header(CmvContext *s, const uint8_t *buf, const uint8_t *buf_end)
119 {
120     int pal_start, pal_count, i;
121
122     if(buf_end - buf < 16) {
123         av_log(s->avctx, AV_LOG_WARNING, "truncated header\n");
124         return;
125     }
126
127     s->width  = AV_RL16(&buf[4]);
128     s->height = AV_RL16(&buf[6]);
129     if (s->avctx->width!=s->width || s->avctx->height!=s->height)
130         avcodec_set_dimensions(s->avctx, s->width, s->height);
131
132     s->avctx->time_base.num = 1;
133     s->avctx->time_base.den = AV_RL16(&buf[10]);
134
135     pal_start = AV_RL16(&buf[12]);
136     pal_count = AV_RL16(&buf[14]);
137
138     buf += 16;
139     for (i=pal_start; i<pal_start+pal_count && i<AVPALETTE_COUNT && buf_end - buf >= 3; i++) {
140         s->palette[i] = AV_RB24(buf);
141         buf += 3;
142     }
143 }
144
145 #define EA_PREAMBLE_SIZE 8
146 #define MVIh_TAG MKTAG('M', 'V', 'I', 'h')
147
148 static int cmv_decode_frame(AVCodecContext *avctx,
149                             void *data, int *data_size,
150                             AVPacket *avpkt)
151 {
152     const uint8_t *buf = avpkt->data;
153     int buf_size = avpkt->size;
154     CmvContext *s = avctx->priv_data;
155     const uint8_t *buf_end = buf + buf_size;
156
157     if (buf_end - buf < EA_PREAMBLE_SIZE)
158         return AVERROR_INVALIDDATA;
159
160     if (AV_RL32(buf)==MVIh_TAG||AV_RB32(buf)==MVIh_TAG) {
161         cmv_process_header(s, buf+EA_PREAMBLE_SIZE, buf_end);
162         return buf_size;
163     }
164
165     if (av_image_check_size(s->width, s->height, 0, s->avctx))
166         return -1;
167
168     /* shuffle */
169     if (s->last2_frame.data[0])
170         avctx->release_buffer(avctx, &s->last2_frame);
171     FFSWAP(AVFrame, s->last_frame, s->last2_frame);
172     FFSWAP(AVFrame, s->frame, s->last_frame);
173
174     s->frame.reference = 1;
175     s->frame.buffer_hints = FF_BUFFER_HINTS_VALID;
176     if (avctx->get_buffer(avctx, &s->frame)<0) {
177         av_log(avctx, AV_LOG_ERROR, "get_buffer() failed\n");
178         return -1;
179     }
180
181     memcpy(s->frame.data[1], s->palette, AVPALETTE_SIZE);
182
183     buf += EA_PREAMBLE_SIZE;
184     if ((buf[0]&1)) {  // subtype
185         cmv_decode_inter(s, buf+2, buf_end);
186         s->frame.key_frame = 0;
187         s->frame.pict_type = AV_PICTURE_TYPE_P;
188     }else{
189         s->frame.key_frame = 1;
190         s->frame.pict_type = AV_PICTURE_TYPE_I;
191         cmv_decode_intra(s, buf+2, buf_end);
192     }
193
194     *data_size = sizeof(AVFrame);
195     *(AVFrame*)data = s->frame;
196
197     return buf_size;
198 }
199
200 static av_cold int cmv_decode_end(AVCodecContext *avctx){
201     CmvContext *s = avctx->priv_data;
202     if (s->frame.data[0])
203         s->avctx->release_buffer(avctx, &s->frame);
204     if (s->last_frame.data[0])
205         s->avctx->release_buffer(avctx, &s->last_frame);
206     if (s->last2_frame.data[0])
207         s->avctx->release_buffer(avctx, &s->last2_frame);
208
209     return 0;
210 }
211
212 AVCodec ff_eacmv_decoder = {
213     .name           = "eacmv",
214     .type           = AVMEDIA_TYPE_VIDEO,
215     .id             = AV_CODEC_ID_CMV,
216     .priv_data_size = sizeof(CmvContext),
217     .init           = cmv_decode_init,
218     .close          = cmv_decode_end,
219     .decode         = cmv_decode_frame,
220     .capabilities   = CODEC_CAP_DR1,
221     .long_name      = NULL_IF_CONFIG_SMALL("Electronic Arts CMV video"),
222 };