swscale: fix gbrap to gbrap alpha scaling
[ffmpeg.git] / libavcodec / vp5.c
1 /*
2  * Copyright (C) 2006  Aurelien Jacobs <aurel@gnuage.org>
3  *
4  * This file is part of Libav.
5  *
6  * Libav is free software; you can redistribute it and/or
7  * modify it under the terms of the GNU Lesser General Public
8  * License as published by the Free Software Foundation; either
9  * version 2.1 of the License, or (at your option) any later version.
10  *
11  * Libav is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14  * Lesser General Public License for more details.
15  *
16  * You should have received a copy of the GNU Lesser General Public
17  * License along with Libav; if not, write to the Free Software
18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
19  */
20
21 /**
22  * @file
23  * VP5 compatible video decoder
24  */
25
26 #include <stdlib.h>
27 #include <string.h>
28
29 #include "avcodec.h"
30 #include "get_bits.h"
31 #include "internal.h"
32
33 #include "vp56.h"
34 #include "vp56data.h"
35 #include "vp5data.h"
36
37
38 static int vp5_parse_header(VP56Context *s, const uint8_t *buf, int buf_size,
39                             int *golden_frame)
40 {
41     VP56RangeCoder *c = &s->c;
42     int rows, cols;
43
44     ff_vp56_init_range_decoder(&s->c, buf, buf_size);
45     s->frames[VP56_FRAME_CURRENT]->key_frame = !vp56_rac_get(c);
46     vp56_rac_get(c);
47     ff_vp56_init_dequant(s, vp56_rac_gets(c, 6));
48     if (s->frames[VP56_FRAME_CURRENT]->key_frame)
49     {
50         vp56_rac_gets(c, 8);
51         if(vp56_rac_gets(c, 5) > 5)
52             return AVERROR_INVALIDDATA;
53         vp56_rac_gets(c, 2);
54         if (vp56_rac_get(c)) {
55             av_log(s->avctx, AV_LOG_ERROR, "interlacing not supported\n");
56             return AVERROR_PATCHWELCOME;
57         }
58         rows = vp56_rac_gets(c, 8);  /* number of stored macroblock rows */
59         cols = vp56_rac_gets(c, 8);  /* number of stored macroblock cols */
60         if (!rows || !cols) {
61             av_log(s->avctx, AV_LOG_ERROR, "Invalid size %dx%d\n",
62                    cols << 4, rows << 4);
63             return AVERROR_INVALIDDATA;
64         }
65         vp56_rac_gets(c, 8);  /* number of displayed macroblock rows */
66         vp56_rac_gets(c, 8);  /* number of displayed macroblock cols */
67         vp56_rac_gets(c, 2);
68         if (!s->macroblocks || /* first frame */
69             16*cols != s->avctx->coded_width ||
70             16*rows != s->avctx->coded_height) {
71             int ret = ff_set_dimensions(s->avctx, 16 * cols, 16 * rows);
72             if (ret < 0)
73                 return ret;
74             return VP56_SIZE_CHANGE;
75         }
76     } else if (!s->macroblocks)
77         return AVERROR_INVALIDDATA;
78     return 0;
79 }
80
81 static void vp5_parse_vector_adjustment(VP56Context *s, VP56mv *vect)
82 {
83     VP56RangeCoder *c = &s->c;
84     VP56Model *model = s->modelp;
85     int comp, di;
86
87     for (comp=0; comp<2; comp++) {
88         int delta = 0;
89         if (vp56_rac_get_prob(c, model->vector_dct[comp])) {
90             int sign = vp56_rac_get_prob(c, model->vector_sig[comp]);
91             di  = vp56_rac_get_prob(c, model->vector_pdi[comp][0]);
92             di |= vp56_rac_get_prob(c, model->vector_pdi[comp][1]) << 1;
93             delta = vp56_rac_get_tree(c, ff_vp56_pva_tree,
94                                       model->vector_pdv[comp]);
95             delta = di | (delta << 2);
96             delta = (delta ^ -sign) + sign;
97         }
98         if (!comp)
99             vect->x = delta;
100         else
101             vect->y = delta;
102     }
103 }
104
105 static void vp5_parse_vector_models(VP56Context *s)
106 {
107     VP56RangeCoder *c = &s->c;
108     VP56Model *model = s->modelp;
109     int comp, node;
110
111     for (comp=0; comp<2; comp++) {
112         if (vp56_rac_get_prob(c, vp5_vmc_pct[comp][0]))
113             model->vector_dct[comp] = vp56_rac_gets_nn(c, 7);
114         if (vp56_rac_get_prob(c, vp5_vmc_pct[comp][1]))
115             model->vector_sig[comp] = vp56_rac_gets_nn(c, 7);
116         if (vp56_rac_get_prob(c, vp5_vmc_pct[comp][2]))
117             model->vector_pdi[comp][0] = vp56_rac_gets_nn(c, 7);
118         if (vp56_rac_get_prob(c, vp5_vmc_pct[comp][3]))
119             model->vector_pdi[comp][1] = vp56_rac_gets_nn(c, 7);
120     }
121
122     for (comp=0; comp<2; comp++)
123         for (node=0; node<7; node++)
124             if (vp56_rac_get_prob(c, vp5_vmc_pct[comp][4 + node]))
125                 model->vector_pdv[comp][node] = vp56_rac_gets_nn(c, 7);
126 }
127
128 static int vp5_parse_coeff_models(VP56Context *s)
129 {
130     VP56RangeCoder *c = &s->c;
131     VP56Model *model = s->modelp;
132     uint8_t def_prob[11];
133     int node, cg, ctx;
134     int ct;    /* code type */
135     int pt;    /* plane type (0 for Y, 1 for U or V) */
136
137     memset(def_prob, 0x80, sizeof(def_prob));
138
139     for (pt=0; pt<2; pt++)
140         for (node=0; node<11; node++)
141             if (vp56_rac_get_prob(c, vp5_dccv_pct[pt][node])) {
142                 def_prob[node] = vp56_rac_gets_nn(c, 7);
143                 model->coeff_dccv[pt][node] = def_prob[node];
144             } else if (s->frames[VP56_FRAME_CURRENT]->key_frame) {
145                 model->coeff_dccv[pt][node] = def_prob[node];
146             }
147
148     for (ct=0; ct<3; ct++)
149         for (pt=0; pt<2; pt++)
150             for (cg=0; cg<6; cg++)
151                 for (node=0; node<11; node++)
152                     if (vp56_rac_get_prob(c, vp5_ract_pct[ct][pt][cg][node])) {
153                         def_prob[node] = vp56_rac_gets_nn(c, 7);
154                         model->coeff_ract[pt][ct][cg][node] = def_prob[node];
155                     } else if (s->frames[VP56_FRAME_CURRENT]->key_frame) {
156                         model->coeff_ract[pt][ct][cg][node] = def_prob[node];
157                     }
158
159     /* coeff_dcct is a linear combination of coeff_dccv */
160     for (pt=0; pt<2; pt++)
161         for (ctx=0; ctx<36; ctx++)
162             for (node=0; node<5; node++)
163                 model->coeff_dcct[pt][ctx][node] = av_clip(((model->coeff_dccv[pt][node] * vp5_dccv_lc[node][ctx][0] + 128) >> 8) + vp5_dccv_lc[node][ctx][1], 1, 254);
164
165     /* coeff_acct is a linear combination of coeff_ract */
166     for (ct=0; ct<3; ct++)
167         for (pt=0; pt<2; pt++)
168             for (cg=0; cg<3; cg++)
169                 for (ctx=0; ctx<6; ctx++)
170                     for (node=0; node<5; node++)
171                         model->coeff_acct[pt][ct][cg][ctx][node] = av_clip(((model->coeff_ract[pt][ct][cg][node] * vp5_ract_lc[ct][cg][node][ctx][0] + 128) >> 8) + vp5_ract_lc[ct][cg][node][ctx][1], 1, 254);
172     return 0;
173 }
174
175 static void vp5_parse_coeff(VP56Context *s)
176 {
177     VP56RangeCoder *c = &s->c;
178     VP56Model *model = s->modelp;
179     uint8_t *permute = s->idct_scantable;
180     uint8_t *model1, *model2;
181     int coeff, sign, coeff_idx;
182     int b, i, cg, idx, ctx, ctx_last;
183     int pt = 0;    /* plane type (0 for Y, 1 for U or V) */
184
185     for (b=0; b<6; b++) {
186         int ct = 1;    /* code type */
187
188         if (b > 3) pt = 1;
189
190         ctx = 6*s->coeff_ctx[ff_vp56_b6to4[b]][0]
191               + s->above_blocks[s->above_block_idx[b]].not_null_dc;
192         model1 = model->coeff_dccv[pt];
193         model2 = model->coeff_dcct[pt][ctx];
194
195         coeff_idx = 0;
196         for (;;) {
197             if (vp56_rac_get_prob(c, model2[0])) {
198                 if (vp56_rac_get_prob(c, model2[2])) {
199                     if (vp56_rac_get_prob(c, model2[3])) {
200                         s->coeff_ctx[ff_vp56_b6to4[b]][coeff_idx] = 4;
201                         idx = vp56_rac_get_tree(c, ff_vp56_pc_tree, model1);
202                         sign = vp56_rac_get(c);
203                         coeff = ff_vp56_coeff_bias[idx+5];
204                         for (i=ff_vp56_coeff_bit_length[idx]; i>=0; i--)
205                             coeff += vp56_rac_get_prob(c, ff_vp56_coeff_parse_table[idx][i]) << i;
206                     } else {
207                         if (vp56_rac_get_prob(c, model2[4])) {
208                             coeff = 3 + vp56_rac_get_prob(c, model1[5]);
209                             s->coeff_ctx[ff_vp56_b6to4[b]][coeff_idx] = 3;
210                         } else {
211                             coeff = 2;
212                             s->coeff_ctx[ff_vp56_b6to4[b]][coeff_idx] = 2;
213                         }
214                         sign = vp56_rac_get(c);
215                     }
216                     ct = 2;
217                 } else {
218                     ct = 1;
219                     s->coeff_ctx[ff_vp56_b6to4[b]][coeff_idx] = 1;
220                     sign = vp56_rac_get(c);
221                     coeff = 1;
222                 }
223                 coeff = (coeff ^ -sign) + sign;
224                 if (coeff_idx)
225                     coeff *= s->dequant_ac;
226                 s->block_coeff[b][permute[coeff_idx]] = coeff;
227             } else {
228                 if (ct && !vp56_rac_get_prob(c, model2[1]))
229                     break;
230                 ct = 0;
231                 s->coeff_ctx[ff_vp56_b6to4[b]][coeff_idx] = 0;
232             }
233             coeff_idx++;
234             if (coeff_idx >= 64)
235                 break;
236
237             cg = vp5_coeff_groups[coeff_idx];
238             ctx = s->coeff_ctx[ff_vp56_b6to4[b]][coeff_idx];
239             model1 = model->coeff_ract[pt][ct][cg];
240             model2 = cg > 2 ? model1 : model->coeff_acct[pt][ct][cg][ctx];
241         }
242
243         ctx_last = FFMIN(s->coeff_ctx_last[ff_vp56_b6to4[b]], 24);
244         s->coeff_ctx_last[ff_vp56_b6to4[b]] = coeff_idx;
245         if (coeff_idx < ctx_last)
246             for (i=coeff_idx; i<=ctx_last; i++)
247                 s->coeff_ctx[ff_vp56_b6to4[b]][i] = 5;
248         s->above_blocks[s->above_block_idx[b]].not_null_dc = s->coeff_ctx[ff_vp56_b6to4[b]][0];
249     }
250 }
251
252 static void vp5_default_models_init(VP56Context *s)
253 {
254     VP56Model *model = s->modelp;
255     int i;
256
257     for (i=0; i<2; i++) {
258         model->vector_sig[i] = 0x80;
259         model->vector_dct[i] = 0x80;
260         model->vector_pdi[i][0] = 0x55;
261         model->vector_pdi[i][1] = 0x80;
262     }
263     memcpy(model->mb_types_stats, ff_vp56_def_mb_types_stats, sizeof(model->mb_types_stats));
264     memset(model->vector_pdv, 0x80, sizeof(model->vector_pdv));
265 }
266
267 static av_cold int vp5_decode_init(AVCodecContext *avctx)
268 {
269     VP56Context *s = avctx->priv_data;
270     int ret;
271
272     if ((ret = ff_vp56_init(avctx, 1, 0)) < 0)
273         return ret;
274     s->vp56_coord_div = vp5_coord_div;
275     s->parse_vector_adjustment = vp5_parse_vector_adjustment;
276     s->parse_coeff = vp5_parse_coeff;
277     s->default_models_init = vp5_default_models_init;
278     s->parse_vector_models = vp5_parse_vector_models;
279     s->parse_coeff_models = vp5_parse_coeff_models;
280     s->parse_header = vp5_parse_header;
281
282     return 0;
283 }
284
285 AVCodec ff_vp5_decoder = {
286     .name           = "vp5",
287     .long_name      = NULL_IF_CONFIG_SMALL("On2 VP5"),
288     .type           = AVMEDIA_TYPE_VIDEO,
289     .id             = AV_CODEC_ID_VP5,
290     .priv_data_size = sizeof(VP56Context),
291     .init           = vp5_decode_init,
292     .close          = ff_vp56_free,
293     .decode         = ff_vp56_decode_frame,
294     .capabilities   = CODEC_CAP_DR1,
295 };