pictor: Correctly check frame dimensions
[ffmpeg.git] / libavcodec / mdec.c
1 /*
2  * Sony PlayStation MDEC (Motion DECoder)
3  * Copyright (c) 2003 Michael Niedermayer
4  *
5  * based upon code from Sebastian Jedruszkiewicz <elf@frogger.rules.pl>
6  *
7  * This file is part of Libav.
8  *
9  * Libav is free software; you can redistribute it and/or
10  * modify it under the terms of the GNU Lesser General Public
11  * License as published by the Free Software Foundation; either
12  * version 2.1 of the License, or (at your option) any later version.
13  *
14  * Libav is distributed in the hope that it will be useful,
15  * but WITHOUT ANY WARRANTY; without even the implied warranty of
16  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
17  * Lesser General Public License for more details.
18  *
19  * You should have received a copy of the GNU Lesser General Public
20  * License along with Libav; if not, write to the Free Software
21  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
22  */
23
24 /**
25  * @file
26  * Sony PlayStation MDEC (Motion DECoder)
27  * This is very similar to intra-only MPEG-1.
28  */
29
30 #include "avcodec.h"
31 #include "blockdsp.h"
32 #include "idctdsp.h"
33 #include "mpeg12.h"
34 #include "thread.h"
35
36 typedef struct MDECContext {
37     AVCodecContext *avctx;
38     BlockDSPContext bdsp;
39     IDCTDSPContext idsp;
40     ThreadFrame frame;
41     GetBitContext gb;
42     ScanTable scantable;
43     int version;
44     int qscale;
45     int last_dc[3];
46     int mb_width;
47     int mb_height;
48     int mb_x, mb_y;
49     DECLARE_ALIGNED(16, int16_t, block)[6][64];
50     uint8_t *bitstream_buffer;
51     unsigned int bitstream_buffer_size;
52     int block_last_index[6];
53 } MDECContext;
54
55 //very similar to MPEG-1
56 static inline int mdec_decode_block_intra(MDECContext *a, int16_t *block, int n)
57 {
58     int level, diff, i, j, run;
59     int component;
60     RLTable *rl = &ff_rl_mpeg1;
61     uint8_t * const scantable = a->scantable.permutated;
62     const uint16_t *quant_matrix = ff_mpeg1_default_intra_matrix;
63     const int qscale = a->qscale;
64
65     /* DC coefficient */
66     if (a->version == 2) {
67         block[0] = 2 * get_sbits(&a->gb, 10) + 1024;
68     } else {
69         component = (n <= 3 ? 0 : n - 4 + 1);
70         diff = decode_dc(&a->gb, component);
71         if (diff >= 0xffff)
72             return AVERROR_INVALIDDATA;
73         a->last_dc[component] += diff;
74         block[0] = a->last_dc[component] << 3;
75     }
76
77     i = 0;
78     {
79         OPEN_READER(re, &a->gb);
80         /* now quantify & encode AC coefficients */
81         for (;;) {
82             UPDATE_CACHE(re, &a->gb);
83             GET_RL_VLC(level, run, re, &a->gb, rl->rl_vlc[0], TEX_VLC_BITS, 2, 0);
84
85             if (level == 127) {
86                 break;
87             } else if (level != 0) {
88                 i += run;
89                 if (i > 63) {
90                     av_log(a->avctx, AV_LOG_ERROR,
91                            "ac-tex damaged at %d %d\n", a->mb_x, a->mb_y);
92                     return AVERROR_INVALIDDATA;
93                 }
94                 j     = scantable[i];
95                 level = (level * qscale * quant_matrix[j]) >> 3;
96                 level = (level ^ SHOW_SBITS(re, &a->gb, 1)) - SHOW_SBITS(re, &a->gb, 1);
97                 LAST_SKIP_BITS(re, &a->gb, 1);
98             } else {
99                 /* escape */
100                 run = SHOW_UBITS(re, &a->gb, 6)+1; LAST_SKIP_BITS(re, &a->gb, 6);
101                 UPDATE_CACHE(re, &a->gb);
102                 level = SHOW_SBITS(re, &a->gb, 10); SKIP_BITS(re, &a->gb, 10);
103                 i += run;
104                 if (i > 63) {
105                     av_log(a->avctx, AV_LOG_ERROR,
106                            "ac-tex damaged at %d %d\n", a->mb_x, a->mb_y);
107                     return AVERROR_INVALIDDATA;
108                 }
109                 j = scantable[i];
110                 if (level < 0) {
111                     level = -level;
112                     level = (level * qscale * quant_matrix[j]) >> 3;
113                     level = (level - 1) | 1;
114                     level = -level;
115                 } else {
116                     level = (level * qscale * quant_matrix[j]) >> 3;
117                     level = (level - 1) | 1;
118                 }
119             }
120
121             block[j] = level;
122         }
123         CLOSE_READER(re, &a->gb);
124     }
125     a->block_last_index[n] = i;
126     return 0;
127 }
128
129 static inline int decode_mb(MDECContext *a, int16_t block[6][64])
130 {
131     int i, ret;
132     static const int block_index[6] = { 5, 4, 0, 1, 2, 3 };
133
134     a->bdsp.clear_blocks(block[0]);
135
136     for (i = 0; i < 6; i++) {
137         if ((ret = mdec_decode_block_intra(a, block[block_index[i]],
138                                            block_index[i])) < 0)
139             return ret;
140         if (get_bits_left(&a->gb) < 0)
141             return AVERROR_INVALIDDATA;
142     }
143     return 0;
144 }
145
146 static inline void idct_put(MDECContext *a, AVFrame *frame, int mb_x, int mb_y)
147 {
148     int16_t (*block)[64] = a->block;
149     int linesize = frame->linesize[0];
150
151     uint8_t *dest_y  = frame->data[0] + (mb_y * 16* linesize              ) + mb_x * 16;
152     uint8_t *dest_cb = frame->data[1] + (mb_y * 8 * frame->linesize[1]) + mb_x * 8;
153     uint8_t *dest_cr = frame->data[2] + (mb_y * 8 * frame->linesize[2]) + mb_x * 8;
154
155     a->idsp.idct_put(dest_y,                    linesize, block[0]);
156     a->idsp.idct_put(dest_y + 8,                linesize, block[1]);
157     a->idsp.idct_put(dest_y + 8 * linesize,     linesize, block[2]);
158     a->idsp.idct_put(dest_y + 8 * linesize + 8, linesize, block[3]);
159
160     if (!(a->avctx->flags & AV_CODEC_FLAG_GRAY)) {
161         a->idsp.idct_put(dest_cb, frame->linesize[1], block[4]);
162         a->idsp.idct_put(dest_cr, frame->linesize[2], block[5]);
163     }
164 }
165
166 static int decode_frame(AVCodecContext *avctx,
167                         void *data, int *got_frame,
168                         AVPacket *avpkt)
169 {
170     MDECContext * const a = avctx->priv_data;
171     const uint8_t *buf    = avpkt->data;
172     int buf_size          = avpkt->size;
173     ThreadFrame frame     = { .f = data };
174     int i, ret;
175
176     if ((ret = ff_thread_get_buffer(avctx, &frame, 0)) < 0) {
177         av_log(avctx, AV_LOG_ERROR, "get_buffer() failed\n");
178         return ret;
179     }
180     frame.f->pict_type = AV_PICTURE_TYPE_I;
181     frame.f->key_frame = 1;
182
183     av_fast_malloc(&a->bitstream_buffer, &a->bitstream_buffer_size, buf_size + AV_INPUT_BUFFER_PADDING_SIZE);
184     if (!a->bitstream_buffer)
185         return AVERROR(ENOMEM);
186     for (i = 0; i < buf_size; i += 2) {
187         a->bitstream_buffer[i]     = buf[i + 1];
188         a->bitstream_buffer[i + 1] = buf[i];
189     }
190     init_get_bits(&a->gb, a->bitstream_buffer, buf_size * 8);
191
192     /* skip over 4 preamble bytes in stream (typically 0xXX 0xXX 0x00 0x38) */
193     skip_bits(&a->gb, 32);
194
195     a->qscale  = get_bits(&a->gb, 16);
196     a->version = get_bits(&a->gb, 16);
197
198     a->last_dc[0] = a->last_dc[1] = a->last_dc[2] = 128;
199
200     for (a->mb_x = 0; a->mb_x < a->mb_width; a->mb_x++) {
201         for (a->mb_y = 0; a->mb_y < a->mb_height; a->mb_y++) {
202             if ((ret = decode_mb(a, a->block)) < 0)
203                 return ret;
204
205             idct_put(a, frame.f, a->mb_x, a->mb_y);
206         }
207     }
208
209     *got_frame = 1;
210
211     return (get_bits_count(&a->gb) + 31) / 32 * 4;
212 }
213
214 static av_cold int decode_init(AVCodecContext *avctx)
215 {
216     MDECContext * const a = avctx->priv_data;
217
218     a->mb_width  = (avctx->coded_width  + 15) / 16;
219     a->mb_height = (avctx->coded_height + 15) / 16;
220
221     a->avctx           = avctx;
222
223     ff_blockdsp_init(&a->bdsp);
224     ff_idctdsp_init(&a->idsp, avctx);
225     ff_mpeg12_init_vlcs();
226     ff_init_scantable(a->idsp.idct_permutation, &a->scantable,
227                       ff_zigzag_direct);
228
229     if (avctx->idct_algo == FF_IDCT_AUTO)
230         avctx->idct_algo = FF_IDCT_SIMPLE;
231     avctx->pix_fmt  = AV_PIX_FMT_YUVJ420P;
232     avctx->color_range = AVCOL_RANGE_JPEG;
233
234     return 0;
235 }
236
237 static av_cold int decode_init_thread_copy(AVCodecContext *avctx)
238 {
239     MDECContext * const a = avctx->priv_data;
240
241     a->avctx           = avctx;
242
243     return 0;
244 }
245
246 static av_cold int decode_end(AVCodecContext *avctx)
247 {
248     MDECContext * const a = avctx->priv_data;
249
250     av_freep(&a->bitstream_buffer);
251     a->bitstream_buffer_size = 0;
252
253     return 0;
254 }
255
256 AVCodec ff_mdec_decoder = {
257     .name             = "mdec",
258     .long_name        = NULL_IF_CONFIG_SMALL("Sony PlayStation MDEC (Motion DECoder)"),
259     .type             = AVMEDIA_TYPE_VIDEO,
260     .id               = AV_CODEC_ID_MDEC,
261     .priv_data_size   = sizeof(MDECContext),
262     .init             = decode_init,
263     .close            = decode_end,
264     .decode           = decode_frame,
265     .capabilities     = AV_CODEC_CAP_DR1 | AV_CODEC_CAP_FRAME_THREADS,
266     .init_thread_copy = ONLY_IF_THREADS_ENABLED(decode_init_thread_copy)
267 };