indeo3: ensure that decoded cell data is in 7-bit range as presumed by decoder
[ffmpeg.git] / libavcodec / vp5.c
1 /*
2  * Copyright (C) 2006  Aurelien Jacobs <aurel@gnuage.org>
3  *
4  * This file is part of Libav.
5  *
6  * Libav is free software; you can redistribute it and/or
7  * modify it under the terms of the GNU Lesser General Public
8  * License as published by the Free Software Foundation; either
9  * version 2.1 of the License, or (at your option) any later version.
10  *
11  * Libav is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14  * Lesser General Public License for more details.
15  *
16  * You should have received a copy of the GNU Lesser General Public
17  * License along with Libav; if not, write to the Free Software
18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
19  */
20
21 /**
22  * @file
23  * VP5 compatible video decoder
24  */
25
26 #include <stdlib.h>
27 #include <string.h>
28
29 #include "avcodec.h"
30 #include "dsputil.h"
31 #include "get_bits.h"
32
33 #include "vp56.h"
34 #include "vp56data.h"
35 #include "vp5data.h"
36
37
38 static int vp5_parse_header(VP56Context *s, const uint8_t *buf, int buf_size,
39                             int *golden_frame)
40 {
41     VP56RangeCoder *c = &s->c;
42     int rows, cols;
43
44     ff_vp56_init_range_decoder(&s->c, buf, buf_size);
45     s->framep[VP56_FRAME_CURRENT]->key_frame = !vp56_rac_get(c);
46     vp56_rac_get(c);
47     ff_vp56_init_dequant(s, vp56_rac_gets(c, 6));
48     if (s->framep[VP56_FRAME_CURRENT]->key_frame)
49     {
50         vp56_rac_gets(c, 8);
51         if(vp56_rac_gets(c, 5) > 5)
52             return 0;
53         vp56_rac_gets(c, 2);
54         if (vp56_rac_get(c)) {
55             av_log(s->avctx, AV_LOG_ERROR, "interlacing not supported\n");
56             return 0;
57         }
58         rows = vp56_rac_gets(c, 8);  /* number of stored macroblock rows */
59         cols = vp56_rac_gets(c, 8);  /* number of stored macroblock cols */
60         if (!rows || !cols) {
61             av_log(s->avctx, AV_LOG_ERROR, "Invalid size %dx%d\n",
62                    cols << 4, rows << 4);
63             return 0;
64         }
65         vp56_rac_gets(c, 8);  /* number of displayed macroblock rows */
66         vp56_rac_gets(c, 8);  /* number of displayed macroblock cols */
67         vp56_rac_gets(c, 2);
68         if (!s->macroblocks || /* first frame */
69             16*cols != s->avctx->coded_width ||
70             16*rows != s->avctx->coded_height) {
71             avcodec_set_dimensions(s->avctx, 16*cols, 16*rows);
72             return 2;
73         }
74     } else if (!s->macroblocks)
75         return 0;
76     return 1;
77 }
78
79 static void vp5_parse_vector_adjustment(VP56Context *s, VP56mv *vect)
80 {
81     VP56RangeCoder *c = &s->c;
82     VP56Model *model = s->modelp;
83     int comp, di;
84
85     for (comp=0; comp<2; comp++) {
86         int delta = 0;
87         if (vp56_rac_get_prob(c, model->vector_dct[comp])) {
88             int sign = vp56_rac_get_prob(c, model->vector_sig[comp]);
89             di  = vp56_rac_get_prob(c, model->vector_pdi[comp][0]);
90             di |= vp56_rac_get_prob(c, model->vector_pdi[comp][1]) << 1;
91             delta = vp56_rac_get_tree(c, ff_vp56_pva_tree,
92                                       model->vector_pdv[comp]);
93             delta = di | (delta << 2);
94             delta = (delta ^ -sign) + sign;
95         }
96         if (!comp)
97             vect->x = delta;
98         else
99             vect->y = delta;
100     }
101 }
102
103 static void vp5_parse_vector_models(VP56Context *s)
104 {
105     VP56RangeCoder *c = &s->c;
106     VP56Model *model = s->modelp;
107     int comp, node;
108
109     for (comp=0; comp<2; comp++) {
110         if (vp56_rac_get_prob(c, vp5_vmc_pct[comp][0]))
111             model->vector_dct[comp] = vp56_rac_gets_nn(c, 7);
112         if (vp56_rac_get_prob(c, vp5_vmc_pct[comp][1]))
113             model->vector_sig[comp] = vp56_rac_gets_nn(c, 7);
114         if (vp56_rac_get_prob(c, vp5_vmc_pct[comp][2]))
115             model->vector_pdi[comp][0] = vp56_rac_gets_nn(c, 7);
116         if (vp56_rac_get_prob(c, vp5_vmc_pct[comp][3]))
117             model->vector_pdi[comp][1] = vp56_rac_gets_nn(c, 7);
118     }
119
120     for (comp=0; comp<2; comp++)
121         for (node=0; node<7; node++)
122             if (vp56_rac_get_prob(c, vp5_vmc_pct[comp][4 + node]))
123                 model->vector_pdv[comp][node] = vp56_rac_gets_nn(c, 7);
124 }
125
126 static int vp5_parse_coeff_models(VP56Context *s)
127 {
128     VP56RangeCoder *c = &s->c;
129     VP56Model *model = s->modelp;
130     uint8_t def_prob[11];
131     int node, cg, ctx;
132     int ct;    /* code type */
133     int pt;    /* plane type (0 for Y, 1 for U or V) */
134
135     memset(def_prob, 0x80, sizeof(def_prob));
136
137     for (pt=0; pt<2; pt++)
138         for (node=0; node<11; node++)
139             if (vp56_rac_get_prob(c, vp5_dccv_pct[pt][node])) {
140                 def_prob[node] = vp56_rac_gets_nn(c, 7);
141                 model->coeff_dccv[pt][node] = def_prob[node];
142             } else if (s->framep[VP56_FRAME_CURRENT]->key_frame) {
143                 model->coeff_dccv[pt][node] = def_prob[node];
144             }
145
146     for (ct=0; ct<3; ct++)
147         for (pt=0; pt<2; pt++)
148             for (cg=0; cg<6; cg++)
149                 for (node=0; node<11; node++)
150                     if (vp56_rac_get_prob(c, vp5_ract_pct[ct][pt][cg][node])) {
151                         def_prob[node] = vp56_rac_gets_nn(c, 7);
152                         model->coeff_ract[pt][ct][cg][node] = def_prob[node];
153                     } else if (s->framep[VP56_FRAME_CURRENT]->key_frame) {
154                         model->coeff_ract[pt][ct][cg][node] = def_prob[node];
155                     }
156
157     /* coeff_dcct is a linear combination of coeff_dccv */
158     for (pt=0; pt<2; pt++)
159         for (ctx=0; ctx<36; ctx++)
160             for (node=0; node<5; node++)
161                 model->coeff_dcct[pt][ctx][node] = av_clip(((model->coeff_dccv[pt][node] * vp5_dccv_lc[node][ctx][0] + 128) >> 8) + vp5_dccv_lc[node][ctx][1], 1, 254);
162
163     /* coeff_acct is a linear combination of coeff_ract */
164     for (ct=0; ct<3; ct++)
165         for (pt=0; pt<2; pt++)
166             for (cg=0; cg<3; cg++)
167                 for (ctx=0; ctx<6; ctx++)
168                     for (node=0; node<5; node++)
169                         model->coeff_acct[pt][ct][cg][ctx][node] = av_clip(((model->coeff_ract[pt][ct][cg][node] * vp5_ract_lc[ct][cg][node][ctx][0] + 128) >> 8) + vp5_ract_lc[ct][cg][node][ctx][1], 1, 254);
170     return 0;
171 }
172
173 static void vp5_parse_coeff(VP56Context *s)
174 {
175     VP56RangeCoder *c = &s->c;
176     VP56Model *model = s->modelp;
177     uint8_t *permute = s->scantable.permutated;
178     uint8_t *model1, *model2;
179     int coeff, sign, coeff_idx;
180     int b, i, cg, idx, ctx, ctx_last;
181     int pt = 0;    /* plane type (0 for Y, 1 for U or V) */
182
183     for (b=0; b<6; b++) {
184         int ct = 1;    /* code type */
185
186         if (b > 3) pt = 1;
187
188         ctx = 6*s->coeff_ctx[ff_vp56_b6to4[b]][0]
189               + s->above_blocks[s->above_block_idx[b]].not_null_dc;
190         model1 = model->coeff_dccv[pt];
191         model2 = model->coeff_dcct[pt][ctx];
192
193         coeff_idx = 0;
194         for (;;) {
195             if (vp56_rac_get_prob(c, model2[0])) {
196                 if (vp56_rac_get_prob(c, model2[2])) {
197                     if (vp56_rac_get_prob(c, model2[3])) {
198                         s->coeff_ctx[ff_vp56_b6to4[b]][coeff_idx] = 4;
199                         idx = vp56_rac_get_tree(c, ff_vp56_pc_tree, model1);
200                         sign = vp56_rac_get(c);
201                         coeff = ff_vp56_coeff_bias[idx+5];
202                         for (i=ff_vp56_coeff_bit_length[idx]; i>=0; i--)
203                             coeff += vp56_rac_get_prob(c, ff_vp56_coeff_parse_table[idx][i]) << i;
204                     } else {
205                         if (vp56_rac_get_prob(c, model2[4])) {
206                             coeff = 3 + vp56_rac_get_prob(c, model1[5]);
207                             s->coeff_ctx[ff_vp56_b6to4[b]][coeff_idx] = 3;
208                         } else {
209                             coeff = 2;
210                             s->coeff_ctx[ff_vp56_b6to4[b]][coeff_idx] = 2;
211                         }
212                         sign = vp56_rac_get(c);
213                     }
214                     ct = 2;
215                 } else {
216                     ct = 1;
217                     s->coeff_ctx[ff_vp56_b6to4[b]][coeff_idx] = 1;
218                     sign = vp56_rac_get(c);
219                     coeff = 1;
220                 }
221                 coeff = (coeff ^ -sign) + sign;
222                 if (coeff_idx)
223                     coeff *= s->dequant_ac;
224                 s->block_coeff[b][permute[coeff_idx]] = coeff;
225             } else {
226                 if (ct && !vp56_rac_get_prob(c, model2[1]))
227                     break;
228                 ct = 0;
229                 s->coeff_ctx[ff_vp56_b6to4[b]][coeff_idx] = 0;
230             }
231             coeff_idx++;
232             if (coeff_idx >= 64)
233                 break;
234
235             cg = vp5_coeff_groups[coeff_idx];
236             ctx = s->coeff_ctx[ff_vp56_b6to4[b]][coeff_idx];
237             model1 = model->coeff_ract[pt][ct][cg];
238             model2 = cg > 2 ? model1 : model->coeff_acct[pt][ct][cg][ctx];
239         }
240
241         ctx_last = FFMIN(s->coeff_ctx_last[ff_vp56_b6to4[b]], 24);
242         s->coeff_ctx_last[ff_vp56_b6to4[b]] = coeff_idx;
243         if (coeff_idx < ctx_last)
244             for (i=coeff_idx; i<=ctx_last; i++)
245                 s->coeff_ctx[ff_vp56_b6to4[b]][i] = 5;
246         s->above_blocks[s->above_block_idx[b]].not_null_dc = s->coeff_ctx[ff_vp56_b6to4[b]][0];
247     }
248 }
249
250 static void vp5_default_models_init(VP56Context *s)
251 {
252     VP56Model *model = s->modelp;
253     int i;
254
255     for (i=0; i<2; i++) {
256         model->vector_sig[i] = 0x80;
257         model->vector_dct[i] = 0x80;
258         model->vector_pdi[i][0] = 0x55;
259         model->vector_pdi[i][1] = 0x80;
260     }
261     memcpy(model->mb_types_stats, ff_vp56_def_mb_types_stats, sizeof(model->mb_types_stats));
262     memset(model->vector_pdv, 0x80, sizeof(model->vector_pdv));
263 }
264
265 static av_cold int vp5_decode_init(AVCodecContext *avctx)
266 {
267     VP56Context *s = avctx->priv_data;
268
269     ff_vp56_init(avctx, 1, 0);
270     s->vp56_coord_div = vp5_coord_div;
271     s->parse_vector_adjustment = vp5_parse_vector_adjustment;
272     s->parse_coeff = vp5_parse_coeff;
273     s->default_models_init = vp5_default_models_init;
274     s->parse_vector_models = vp5_parse_vector_models;
275     s->parse_coeff_models = vp5_parse_coeff_models;
276     s->parse_header = vp5_parse_header;
277
278     return 0;
279 }
280
281 AVCodec ff_vp5_decoder = {
282     .name           = "vp5",
283     .type           = AVMEDIA_TYPE_VIDEO,
284     .id             = CODEC_ID_VP5,
285     .priv_data_size = sizeof(VP56Context),
286     .init           = vp5_decode_init,
287     .close          = ff_vp56_free,
288     .decode         = ff_vp56_decode_frame,
289     .capabilities   = CODEC_CAP_DR1,
290     .long_name      = NULL_IF_CONFIG_SMALL("On2 VP5"),
291 };