indeo3: ensure that decoded cell data is in 7-bit range as presumed by decoder
[ffmpeg.git] / libavcodec / eatgq.c
1 /*
2  * Electronic Arts TGQ Video Decoder
3  * Copyright (c) 2007-2008 Peter Ross <pross@xvid.org>
4  *
5  * This file is part of Libav.
6  *
7  * Libav is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * Libav is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with Libav; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA  02110-1301  USA
20  */
21
22 /**
23  * @file
24  * Electronic Arts TGQ Video Decoder
25  * @author Peter Ross <pross@xvid.org>
26  *
27  * Technical details here:
28  * http://wiki.multimedia.cx/index.php?title=Electronic_Arts_TGQ
29  */
30
31 #include "avcodec.h"
32 #define BITSTREAM_READER_LE
33 #include "get_bits.h"
34 #include "bytestream.h"
35 #include "dsputil.h"
36 #include "aandcttab.h"
37
38 typedef struct TgqContext {
39     AVCodecContext *avctx;
40     DSPContext dsp;
41     AVFrame frame;
42     int width,height;
43     ScanTable scantable;
44     int qtable[64];
45     DECLARE_ALIGNED(16, DCTELEM, block)[6][64];
46     GetByteContext gb;
47 } TgqContext;
48
49 static av_cold int tgq_decode_init(AVCodecContext *avctx){
50     TgqContext *s = avctx->priv_data;
51     s->avctx = avctx;
52     if(avctx->idct_algo==FF_IDCT_AUTO)
53         avctx->idct_algo=FF_IDCT_EA;
54     ff_dsputil_init(&s->dsp, avctx);
55     ff_init_scantable(s->dsp.idct_permutation, &s->scantable, ff_zigzag_direct);
56     avctx->time_base = (AVRational){1, 15};
57     avctx->pix_fmt = PIX_FMT_YUV420P;
58     return 0;
59 }
60
61 static void tgq_decode_block(TgqContext *s, DCTELEM block[64], GetBitContext *gb){
62     uint8_t *perm = s->scantable.permutated;
63     int i,j,value;
64     block[0] = get_sbits(gb,8) * s->qtable[0];
65     for(i=1; i<64; ) {
66         switch(show_bits(gb,3)) {
67         case 4:
68             block[perm[i++]] = 0;
69         case 0:
70             block[perm[i++]] = 0;
71             skip_bits(gb,3);
72             break;
73         case 5:
74         case 1:
75             skip_bits(gb,2);
76             value = get_bits(gb,6);
77             for(j=0; j<value; j++)
78                 block[perm[i++]] = 0;
79             break;
80         case 6:
81             skip_bits(gb,3);
82             block[perm[i]] = -s->qtable[perm[i]];
83             i++;
84             break;
85         case 2:
86             skip_bits(gb,3);
87             block[perm[i]] = s->qtable[perm[i]];
88             i++;
89             break;
90         case 7: // 111b
91         case 3: // 011b
92             skip_bits(gb,2);
93             if (show_bits(gb,6)==0x3F) {
94                 skip_bits(gb, 6);
95                 block[perm[i]] = get_sbits(gb,8)*s->qtable[perm[i]];
96             }else{
97                 block[perm[i]] = get_sbits(gb,6)*s->qtable[perm[i]];
98             }
99             i++;
100             break;
101         }
102     }
103     block[0] += 128<<4;
104 }
105
106 static void tgq_idct_put_mb(TgqContext *s, DCTELEM (*block)[64], int mb_x, int mb_y){
107     int linesize= s->frame.linesize[0];
108     uint8_t *dest_y  = s->frame.data[0] + (mb_y * 16* linesize            ) + mb_x * 16;
109     uint8_t *dest_cb = s->frame.data[1] + (mb_y * 8 * s->frame.linesize[1]) + mb_x * 8;
110     uint8_t *dest_cr = s->frame.data[2] + (mb_y * 8 * s->frame.linesize[2]) + mb_x * 8;
111
112     s->dsp.idct_put(dest_y                 , linesize, block[0]);
113     s->dsp.idct_put(dest_y              + 8, linesize, block[1]);
114     s->dsp.idct_put(dest_y + 8*linesize    , linesize, block[2]);
115     s->dsp.idct_put(dest_y + 8*linesize + 8, linesize, block[3]);
116     if(!(s->avctx->flags&CODEC_FLAG_GRAY)){
117          s->dsp.idct_put(dest_cb, s->frame.linesize[1], block[4]);
118          s->dsp.idct_put(dest_cr, s->frame.linesize[2], block[5]);
119     }
120 }
121
122 static inline void tgq_dconly(TgqContext *s, unsigned char *dst, int dst_stride, int dc){
123     int level = av_clip_uint8((dc*s->qtable[0] + 2056)>>4);
124     int j;
125     for(j=0;j<8;j++)
126         memset(dst+j*dst_stride, level, 8);
127 }
128
129 static void tgq_idct_put_mb_dconly(TgqContext *s, int mb_x, int mb_y, const int8_t *dc)
130 {
131     int linesize= s->frame.linesize[0];
132     uint8_t *dest_y  = s->frame.data[0] + (mb_y * 16* linesize            ) + mb_x * 16;
133     uint8_t *dest_cb = s->frame.data[1] + (mb_y * 8 * s->frame.linesize[1]) + mb_x * 8;
134     uint8_t *dest_cr = s->frame.data[2] + (mb_y * 8 * s->frame.linesize[2]) + mb_x * 8;
135     tgq_dconly(s,dest_y                 , linesize, dc[0]);
136     tgq_dconly(s,dest_y              + 8, linesize, dc[1]);
137     tgq_dconly(s,dest_y + 8*linesize    , linesize, dc[2]);
138     tgq_dconly(s,dest_y + 8*linesize + 8, linesize, dc[3]);
139     if(!(s->avctx->flags&CODEC_FLAG_GRAY)) {
140         tgq_dconly(s,dest_cb, s->frame.linesize[1], dc[4]);
141         tgq_dconly(s,dest_cr, s->frame.linesize[2], dc[5]);
142     }
143 }
144
145 static void tgq_decode_mb(TgqContext *s, int mb_y, int mb_x){
146     int mode;
147     int i;
148     int8_t dc[6];
149
150     mode = bytestream2_get_byte(&s->gb);
151     if (mode>12) {
152         GetBitContext gb;
153         init_get_bits(&gb, s->gb.buffer, FFMIN(s->gb.buffer_end - s->gb.buffer, mode) * 8);
154         for(i=0; i<6; i++)
155             tgq_decode_block(s, s->block[i], &gb);
156         tgq_idct_put_mb(s, s->block, mb_x, mb_y);
157         bytestream2_skip(&s->gb, mode);
158     }else{
159         if (mode==3) {
160             memset(dc, bytestream2_get_byte(&s->gb), 4);
161             dc[4] = bytestream2_get_byte(&s->gb);
162             dc[5] = bytestream2_get_byte(&s->gb);
163         }else if (mode==6) {
164             bytestream2_get_buffer(&s->gb, dc, 6);
165         }else if (mode==12) {
166             for (i = 0; i < 6; i++) {
167                 dc[i] = bytestream2_get_byte(&s->gb);
168                 bytestream2_skip(&s->gb, 1);
169             }
170         }else{
171             av_log(s->avctx, AV_LOG_ERROR, "unsupported mb mode %i\n", mode);
172         }
173         tgq_idct_put_mb_dconly(s, mb_x, mb_y, dc);
174     }
175 }
176
177 static void tgq_calculate_qtable(TgqContext *s, int quant){
178     int i,j;
179     const int a = (14*(100-quant))/100 + 1;
180     const int b = (11*(100-quant))/100 + 4;
181     for(j=0;j<8;j++)
182     for(i=0;i<8;i++)
183         if (s->avctx->idct_algo==FF_IDCT_EA)
184             s->qtable[j*8+i] = ((a*(j+i)/(7+7) + b)*ff_inv_aanscales[j*8+i])>>(14-4);
185         else
186             s->qtable[j*8+i] = (a*(j+i)/(7+7) + b)<<3;
187 }
188
189 static int tgq_decode_frame(AVCodecContext *avctx,
190                             void *data, int *data_size,
191                             AVPacket *avpkt){
192     const uint8_t *buf = avpkt->data;
193     int buf_size = avpkt->size;
194     TgqContext *s = avctx->priv_data;
195     int x,y;
196     int big_endian = AV_RL32(&buf[4]) > 0x000FFFFF;
197
198     if (buf_size < 16) {
199         av_log(avctx, AV_LOG_WARNING, "truncated header\n");
200         return -1;
201     }
202     bytestream2_init(&s->gb, buf + 8, buf_size - 8);
203     if (big_endian) {
204         s->width  = bytestream2_get_be16u(&s->gb);
205         s->height = bytestream2_get_be16u(&s->gb);
206     } else {
207         s->width  = bytestream2_get_le16u(&s->gb);
208         s->height = bytestream2_get_le16u(&s->gb);
209     }
210
211     if (s->avctx->width!=s->width || s->avctx->height!=s->height) {
212         avcodec_set_dimensions(s->avctx, s->width, s->height);
213         if (s->frame.data[0])
214             avctx->release_buffer(avctx, &s->frame);
215     }
216     tgq_calculate_qtable(s, bytestream2_get_byteu(&s->gb));
217     bytestream2_skip(&s->gb, 3);
218
219     if (!s->frame.data[0]) {
220         s->frame.key_frame = 1;
221         s->frame.pict_type = AV_PICTURE_TYPE_I;
222         s->frame.buffer_hints = FF_BUFFER_HINTS_VALID;
223         if (avctx->get_buffer(avctx, &s->frame)) {
224             av_log(avctx, AV_LOG_ERROR, "get_buffer() failed\n");
225             return -1;
226         }
227     }
228
229     for (y = 0; y < FFALIGN(avctx->height, 16) >> 4; y++)
230         for (x = 0; x < FFALIGN(avctx->width, 16) >> 4; x++)
231             tgq_decode_mb(s, y, x);
232
233     *data_size = sizeof(AVFrame);
234     *(AVFrame*)data = s->frame;
235
236     return avpkt->size;
237 }
238
239 static av_cold int tgq_decode_end(AVCodecContext *avctx){
240     TgqContext *s = avctx->priv_data;
241     if (s->frame.data[0])
242         s->avctx->release_buffer(avctx, &s->frame);
243     return 0;
244 }
245
246 AVCodec ff_eatgq_decoder = {
247     .name           = "eatgq",
248     .type           = AVMEDIA_TYPE_VIDEO,
249     .id             = CODEC_ID_TGQ,
250     .priv_data_size = sizeof(TgqContext),
251     .init           = tgq_decode_init,
252     .close          = tgq_decode_end,
253     .decode         = tgq_decode_frame,
254     .capabilities   = CODEC_CAP_DR1,
255     .long_name      = NULL_IF_CONFIG_SMALL("Electronic Arts TGQ video"),
256 };