mdec.c: fix overread.
[ffmpeg.git] / libavcodec / mdec.c
1 /*
2  * Sony PlayStation MDEC (Motion DECoder)
3  * Copyright (c) 2003 Michael Niedermayer
4  *
5  * based upon code from Sebastian Jedruszkiewicz <elf@frogger.rules.pl>
6  *
7  * This file is part of Libav.
8  *
9  * Libav is free software; you can redistribute it and/or
10  * modify it under the terms of the GNU Lesser General Public
11  * License as published by the Free Software Foundation; either
12  * version 2.1 of the License, or (at your option) any later version.
13  *
14  * Libav is distributed in the hope that it will be useful,
15  * but WITHOUT ANY WARRANTY; without even the implied warranty of
16  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
17  * Lesser General Public License for more details.
18  *
19  * You should have received a copy of the GNU Lesser General Public
20  * License along with Libav; if not, write to the Free Software
21  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
22  */
23
24 /**
25  * @file
26  * Sony PlayStation MDEC (Motion DECoder)
27  * This is very similar to intra-only MPEG-1.
28  */
29
30 #include "avcodec.h"
31 #include "dsputil.h"
32 #include "mpegvideo.h"
33 #include "mpeg12.h"
34
35 typedef struct MDECContext{
36     AVCodecContext *avctx;
37     DSPContext dsp;
38     AVFrame picture;
39     GetBitContext gb;
40     ScanTable scantable;
41     int version;
42     int qscale;
43     int last_dc[3];
44     int mb_width;
45     int mb_height;
46     int mb_x, mb_y;
47     DECLARE_ALIGNED(16, DCTELEM, block)[6][64];
48     uint8_t *bitstream_buffer;
49     unsigned int bitstream_buffer_size;
50     int block_last_index[6];
51 } MDECContext;
52
53 //very similar to MPEG-1
54 static inline int mdec_decode_block_intra(MDECContext *a, DCTELEM *block, int n)
55 {
56     int level, diff, i, j, run;
57     int component;
58     RLTable *rl = &ff_rl_mpeg1;
59     uint8_t * const scantable= a->scantable.permutated;
60     const uint16_t *quant_matrix= ff_mpeg1_default_intra_matrix;
61     const int qscale= a->qscale;
62
63     /* DC coefficient */
64     if(a->version==2){
65         block[0]= 2*get_sbits(&a->gb, 10) + 1024;
66     }else{
67         component = (n <= 3 ? 0 : n - 4 + 1);
68         diff = decode_dc(&a->gb, component);
69         if (diff >= 0xffff)
70             return -1;
71         a->last_dc[component]+= diff;
72         block[0] = a->last_dc[component]<<3;
73     }
74
75     i = 0;
76     {
77         OPEN_READER(re, &a->gb);
78         /* now quantify & encode AC coefficients */
79         for(;;) {
80             UPDATE_CACHE(re, &a->gb);
81             GET_RL_VLC(level, run, re, &a->gb, rl->rl_vlc[0], TEX_VLC_BITS, 2, 0);
82
83             if(level == 127){
84                 break;
85             } else if(level != 0) {
86                 i += run;
87                 j = scantable[i];
88                 level= (level*qscale*quant_matrix[j])>>3;
89                 level = (level ^ SHOW_SBITS(re, &a->gb, 1)) - SHOW_SBITS(re, &a->gb, 1);
90                 LAST_SKIP_BITS(re, &a->gb, 1);
91             } else {
92                 /* escape */
93                 run = SHOW_UBITS(re, &a->gb, 6)+1; LAST_SKIP_BITS(re, &a->gb, 6);
94                 UPDATE_CACHE(re, &a->gb);
95                 level = SHOW_SBITS(re, &a->gb, 10); SKIP_BITS(re, &a->gb, 10);
96                 i += run;
97                 j = scantable[i];
98                 if(level<0){
99                     level= -level;
100                     level= (level*qscale*quant_matrix[j])>>3;
101                     level= (level-1)|1;
102                     level= -level;
103                 }else{
104                     level= (level*qscale*quant_matrix[j])>>3;
105                     level= (level-1)|1;
106                 }
107             }
108             if (i > 63){
109                 av_log(a->avctx, AV_LOG_ERROR, "ac-tex damaged at %d %d\n", a->mb_x, a->mb_y);
110                 return -1;
111             }
112
113             block[j] = level;
114         }
115         CLOSE_READER(re, &a->gb);
116     }
117     a->block_last_index[n] = i;
118     return 0;
119 }
120
121 static inline int decode_mb(MDECContext *a, DCTELEM block[6][64]){
122     int i;
123     const int block_index[6]= {5,4,0,1,2,3};
124
125     a->dsp.clear_blocks(block[0]);
126
127     for(i=0; i<6; i++){
128         if( mdec_decode_block_intra(a, block[ block_index[i] ], block_index[i]) < 0 ||
129             get_bits_left(&a->gb) < 0)
130             return -1;
131     }
132     return 0;
133 }
134
135 static inline void idct_put(MDECContext *a, int mb_x, int mb_y){
136     DCTELEM (*block)[64]= a->block;
137     int linesize= a->picture.linesize[0];
138
139     uint8_t *dest_y  = a->picture.data[0] + (mb_y * 16* linesize              ) + mb_x * 16;
140     uint8_t *dest_cb = a->picture.data[1] + (mb_y * 8 * a->picture.linesize[1]) + mb_x * 8;
141     uint8_t *dest_cr = a->picture.data[2] + (mb_y * 8 * a->picture.linesize[2]) + mb_x * 8;
142
143     a->dsp.idct_put(dest_y                 , linesize, block[0]);
144     a->dsp.idct_put(dest_y              + 8, linesize, block[1]);
145     a->dsp.idct_put(dest_y + 8*linesize    , linesize, block[2]);
146     a->dsp.idct_put(dest_y + 8*linesize + 8, linesize, block[3]);
147
148     if(!(a->avctx->flags&CODEC_FLAG_GRAY)){
149         a->dsp.idct_put(dest_cb, a->picture.linesize[1], block[4]);
150         a->dsp.idct_put(dest_cr, a->picture.linesize[2], block[5]);
151     }
152 }
153
154 static int decode_frame(AVCodecContext *avctx,
155                         void *data, int *data_size,
156                         AVPacket *avpkt)
157 {
158     const uint8_t *buf = avpkt->data;
159     int buf_size = avpkt->size;
160     MDECContext * const a = avctx->priv_data;
161     AVFrame *picture = data;
162     AVFrame * const p= &a->picture;
163     int i;
164
165     if(p->data[0])
166         avctx->release_buffer(avctx, p);
167
168     p->reference= 0;
169     if(avctx->get_buffer(avctx, p) < 0){
170         av_log(avctx, AV_LOG_ERROR, "get_buffer() failed\n");
171         return -1;
172     }
173     p->pict_type= AV_PICTURE_TYPE_I;
174     p->key_frame= 1;
175
176     av_fast_malloc(&a->bitstream_buffer, &a->bitstream_buffer_size, buf_size + FF_INPUT_BUFFER_PADDING_SIZE);
177     if (!a->bitstream_buffer)
178         return AVERROR(ENOMEM);
179     for(i=0; i<buf_size; i+=2){
180         a->bitstream_buffer[i]  = buf[i+1];
181         a->bitstream_buffer[i+1]= buf[i  ];
182     }
183     init_get_bits(&a->gb, a->bitstream_buffer, buf_size*8);
184
185     /* skip over 4 preamble bytes in stream (typically 0xXX 0xXX 0x00 0x38) */
186     skip_bits(&a->gb, 32);
187
188     a->qscale=  get_bits(&a->gb, 16);
189     a->version= get_bits(&a->gb, 16);
190
191     a->last_dc[0]=
192     a->last_dc[1]=
193     a->last_dc[2]= 128;
194
195     for(a->mb_x=0; a->mb_x<a->mb_width; a->mb_x++){
196         for(a->mb_y=0; a->mb_y<a->mb_height; a->mb_y++){
197             if( decode_mb(a, a->block) <0)
198                 return -1;
199
200             idct_put(a, a->mb_x, a->mb_y);
201         }
202     }
203
204     p->quality= a->qscale * FF_QP2LAMBDA;
205     memset(p->qscale_table, a->qscale, a->mb_width);
206
207     *picture   = a->picture;
208     *data_size = sizeof(AVPicture);
209
210     return (get_bits_count(&a->gb)+31)/32*4;
211 }
212
213 static av_cold void mdec_common_init(AVCodecContext *avctx){
214     MDECContext * const a = avctx->priv_data;
215
216     dsputil_init(&a->dsp, avctx);
217
218     a->mb_width   = (avctx->coded_width  + 15) / 16;
219     a->mb_height  = (avctx->coded_height + 15) / 16;
220
221     avctx->coded_frame= &a->picture;
222     a->avctx= avctx;
223 }
224
225 static av_cold int decode_init(AVCodecContext *avctx){
226     MDECContext * const a = avctx->priv_data;
227     AVFrame *p= &a->picture;
228
229     mdec_common_init(avctx);
230     ff_mpeg12_init_vlcs();
231     ff_init_scantable(a->dsp.idct_permutation, &a->scantable, ff_zigzag_direct);
232
233     if( avctx->idct_algo == FF_IDCT_AUTO )
234         avctx->idct_algo = FF_IDCT_SIMPLE;
235     p->qstride= 0;
236     p->qscale_table= av_mallocz(a->mb_width);
237     avctx->pix_fmt= PIX_FMT_YUVJ420P;
238
239     return 0;
240 }
241
242 static av_cold int decode_end(AVCodecContext *avctx){
243     MDECContext * const a = avctx->priv_data;
244
245     if(a->picture.data[0])
246         avctx->release_buffer(avctx, &a->picture);
247     av_freep(&a->bitstream_buffer);
248     av_freep(&a->picture.qscale_table);
249     a->bitstream_buffer_size=0;
250
251     return 0;
252 }
253
254 AVCodec ff_mdec_decoder = {
255     "mdec",
256     AVMEDIA_TYPE_VIDEO,
257     CODEC_ID_MDEC,
258     sizeof(MDECContext),
259     decode_init,
260     NULL,
261     decode_end,
262     decode_frame,
263     CODEC_CAP_DR1,
264     .long_name= NULL_IF_CONFIG_SMALL("Sony PlayStation MDEC (Motion DECoder)"),
265 };
266