Merge commit '79dad2a932534d1155079f937649e099f9e5cc27'
[ffmpeg.git] / libavcodec / vp56.c
1 /*
2  * Copyright (C) 2006  Aurelien Jacobs <aurel@gnuage.org>
3  *
4  * This file is part of FFmpeg.
5  *
6  * FFmpeg is free software; you can redistribute it and/or
7  * modify it under the terms of the GNU Lesser General Public
8  * License as published by the Free Software Foundation; either
9  * version 2.1 of the License, or (at your option) any later version.
10  *
11  * FFmpeg is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14  * Lesser General Public License for more details.
15  *
16  * You should have received a copy of the GNU Lesser General Public
17  * License along with FFmpeg; if not, write to the Free Software
18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
19  */
20
21 /**
22  * @file
23  * VP5 and VP6 compatible video decoder (common features)
24  */
25
26 #include "avcodec.h"
27 #include "bytestream.h"
28 #include "internal.h"
29 #include "h264chroma.h"
30 #include "vp56.h"
31 #include "vp56data.h"
32
33
34 void ff_vp56_init_dequant(VP56Context *s, int quantizer)
35 {
36     s->quantizer = quantizer;
37     s->dequant_dc = vp56_dc_dequant[quantizer] << 2;
38     s->dequant_ac = vp56_ac_dequant[quantizer] << 2;
39     memset(s->qscale_table, quantizer, s->mb_width);
40 }
41
42 static int vp56_get_vectors_predictors(VP56Context *s, int row, int col,
43                                        VP56Frame ref_frame)
44 {
45     int nb_pred = 0;
46     VP56mv vect[2] = {{0,0}, {0,0}};
47     int pos, offset;
48     VP56mv mvp;
49
50     for (pos=0; pos<12; pos++) {
51         mvp.x = col + vp56_candidate_predictor_pos[pos][0];
52         mvp.y = row + vp56_candidate_predictor_pos[pos][1];
53         if (mvp.x < 0 || mvp.x >= s->mb_width ||
54             mvp.y < 0 || mvp.y >= s->mb_height)
55             continue;
56         offset = mvp.x + s->mb_width*mvp.y;
57
58         if (vp56_reference_frame[s->macroblocks[offset].type] != ref_frame)
59             continue;
60         if ((s->macroblocks[offset].mv.x == vect[0].x &&
61              s->macroblocks[offset].mv.y == vect[0].y) ||
62             (s->macroblocks[offset].mv.x == 0 &&
63              s->macroblocks[offset].mv.y == 0))
64             continue;
65
66         vect[nb_pred++] = s->macroblocks[offset].mv;
67         if (nb_pred > 1) {
68             nb_pred = -1;
69             break;
70         }
71         s->vector_candidate_pos = pos;
72     }
73
74     s->vector_candidate[0] = vect[0];
75     s->vector_candidate[1] = vect[1];
76
77     return nb_pred+1;
78 }
79
80 static void vp56_parse_mb_type_models(VP56Context *s)
81 {
82     VP56RangeCoder *c = &s->c;
83     VP56Model *model = s->modelp;
84     int i, ctx, type;
85
86     for (ctx=0; ctx<3; ctx++) {
87         if (vp56_rac_get_prob(c, 174)) {
88             int idx = vp56_rac_gets(c, 4);
89             memcpy(model->mb_types_stats[ctx],
90                    vp56_pre_def_mb_type_stats[idx][ctx],
91                    sizeof(model->mb_types_stats[ctx]));
92         }
93         if (vp56_rac_get_prob(c, 254)) {
94             for (type=0; type<10; type++) {
95                 for(i=0; i<2; i++) {
96                     if (vp56_rac_get_prob(c, 205)) {
97                         int delta, sign = vp56_rac_get(c);
98
99                         delta = vp56_rac_get_tree(c, vp56_pmbtm_tree,
100                                                   vp56_mb_type_model_model);
101                         if (!delta)
102                             delta = 4 * vp56_rac_gets(c, 7);
103                         model->mb_types_stats[ctx][type][i] += (delta ^ -sign) + sign;
104                     }
105                 }
106             }
107         }
108     }
109
110     /* compute MB type probability tables based on previous MB type */
111     for (ctx=0; ctx<3; ctx++) {
112         int p[10];
113
114         for (type=0; type<10; type++)
115             p[type] = 100 * model->mb_types_stats[ctx][type][1];
116
117         for (type=0; type<10; type++) {
118             int p02, p34, p0234, p17, p56, p89, p5689, p156789;
119
120             /* conservative MB type probability */
121             model->mb_type[ctx][type][0] = 255 - (255 * model->mb_types_stats[ctx][type][0]) / (1 + model->mb_types_stats[ctx][type][0] + model->mb_types_stats[ctx][type][1]);
122
123             p[type] = 0;    /* same MB type => weight is null */
124
125             /* binary tree parsing probabilities */
126             p02 = p[0] + p[2];
127             p34 = p[3] + p[4];
128             p0234 = p02 + p34;
129             p17 = p[1] + p[7];
130             p56 = p[5] + p[6];
131             p89 = p[8] + p[9];
132             p5689 = p56 + p89;
133             p156789 = p17 + p5689;
134
135             model->mb_type[ctx][type][1] = 1 + 255 * p0234/(1+p0234+p156789);
136             model->mb_type[ctx][type][2] = 1 + 255 * p02  / (1+p0234);
137             model->mb_type[ctx][type][3] = 1 + 255 * p17  / (1+p156789);
138             model->mb_type[ctx][type][4] = 1 + 255 * p[0] / (1+p02);
139             model->mb_type[ctx][type][5] = 1 + 255 * p[3] / (1+p34);
140             model->mb_type[ctx][type][6] = 1 + 255 * p[1] / (1+p17);
141             model->mb_type[ctx][type][7] = 1 + 255 * p56  / (1+p5689);
142             model->mb_type[ctx][type][8] = 1 + 255 * p[5] / (1+p56);
143             model->mb_type[ctx][type][9] = 1 + 255 * p[8] / (1+p89);
144
145             /* restore initial value */
146             p[type] = 100 * model->mb_types_stats[ctx][type][1];
147         }
148     }
149 }
150
151 static VP56mb vp56_parse_mb_type(VP56Context *s,
152                                  VP56mb prev_type, int ctx)
153 {
154     uint8_t *mb_type_model = s->modelp->mb_type[ctx][prev_type];
155     VP56RangeCoder *c = &s->c;
156
157     if (vp56_rac_get_prob(c, mb_type_model[0]))
158         return prev_type;
159     else
160         return vp56_rac_get_tree(c, vp56_pmbt_tree, mb_type_model);
161 }
162
163 static void vp56_decode_4mv(VP56Context *s, int row, int col)
164 {
165     VP56mv mv = {0,0};
166     int type[4];
167     int b;
168
169     /* parse each block type */
170     for (b=0; b<4; b++) {
171         type[b] = vp56_rac_gets(&s->c, 2);
172         if (type[b])
173             type[b]++;  /* only returns 0, 2, 3 or 4 (all INTER_PF) */
174     }
175
176     /* get vectors */
177     for (b=0; b<4; b++) {
178         switch (type[b]) {
179             case VP56_MB_INTER_NOVEC_PF:
180                 s->mv[b] = (VP56mv) {0,0};
181                 break;
182             case VP56_MB_INTER_DELTA_PF:
183                 s->parse_vector_adjustment(s, &s->mv[b]);
184                 break;
185             case VP56_MB_INTER_V1_PF:
186                 s->mv[b] = s->vector_candidate[0];
187                 break;
188             case VP56_MB_INTER_V2_PF:
189                 s->mv[b] = s->vector_candidate[1];
190                 break;
191         }
192         mv.x += s->mv[b].x;
193         mv.y += s->mv[b].y;
194     }
195
196     /* this is the one selected for the whole MB for prediction */
197     s->macroblocks[row * s->mb_width + col].mv = s->mv[3];
198
199     /* chroma vectors are average luma vectors */
200     if (s->avctx->codec->id == AV_CODEC_ID_VP5) {
201         s->mv[4].x = s->mv[5].x = RSHIFT(mv.x,2);
202         s->mv[4].y = s->mv[5].y = RSHIFT(mv.y,2);
203     } else {
204         s->mv[4] = s->mv[5] = (VP56mv) {mv.x/4, mv.y/4};
205     }
206 }
207
208 static VP56mb vp56_decode_mv(VP56Context *s, int row, int col)
209 {
210     VP56mv *mv, vect = {0,0};
211     int ctx, b;
212
213     ctx = vp56_get_vectors_predictors(s, row, col, VP56_FRAME_PREVIOUS);
214     s->mb_type = vp56_parse_mb_type(s, s->mb_type, ctx);
215     s->macroblocks[row * s->mb_width + col].type = s->mb_type;
216
217     switch (s->mb_type) {
218         case VP56_MB_INTER_V1_PF:
219             mv = &s->vector_candidate[0];
220             break;
221
222         case VP56_MB_INTER_V2_PF:
223             mv = &s->vector_candidate[1];
224             break;
225
226         case VP56_MB_INTER_V1_GF:
227             vp56_get_vectors_predictors(s, row, col, VP56_FRAME_GOLDEN);
228             mv = &s->vector_candidate[0];
229             break;
230
231         case VP56_MB_INTER_V2_GF:
232             vp56_get_vectors_predictors(s, row, col, VP56_FRAME_GOLDEN);
233             mv = &s->vector_candidate[1];
234             break;
235
236         case VP56_MB_INTER_DELTA_PF:
237             s->parse_vector_adjustment(s, &vect);
238             mv = &vect;
239             break;
240
241         case VP56_MB_INTER_DELTA_GF:
242             vp56_get_vectors_predictors(s, row, col, VP56_FRAME_GOLDEN);
243             s->parse_vector_adjustment(s, &vect);
244             mv = &vect;
245             break;
246
247         case VP56_MB_INTER_4V:
248             vp56_decode_4mv(s, row, col);
249             return s->mb_type;
250
251         default:
252             mv = &vect;
253             break;
254     }
255
256     s->macroblocks[row*s->mb_width + col].mv = *mv;
257
258     /* same vector for all blocks */
259     for (b=0; b<6; b++)
260         s->mv[b] = *mv;
261
262     return s->mb_type;
263 }
264
265 static void vp56_add_predictors_dc(VP56Context *s, VP56Frame ref_frame)
266 {
267     int idx = s->scantable.permutated[0];
268     int b;
269
270     for (b=0; b<6; b++) {
271         VP56RefDc *ab = &s->above_blocks[s->above_block_idx[b]];
272         VP56RefDc *lb = &s->left_block[ff_vp56_b6to4[b]];
273         int count = 0;
274         int dc = 0;
275         int i;
276
277         if (ref_frame == lb->ref_frame) {
278             dc += lb->dc_coeff;
279             count++;
280         }
281         if (ref_frame == ab->ref_frame) {
282             dc += ab->dc_coeff;
283             count++;
284         }
285         if (s->avctx->codec->id == AV_CODEC_ID_VP5)
286             for (i=0; i<2; i++)
287                 if (count < 2 && ref_frame == ab[-1+2*i].ref_frame) {
288                     dc += ab[-1+2*i].dc_coeff;
289                     count++;
290                 }
291         if (count == 0)
292             dc = s->prev_dc[ff_vp56_b2p[b]][ref_frame];
293         else if (count == 2)
294             dc /= 2;
295
296         s->block_coeff[b][idx] += dc;
297         s->prev_dc[ff_vp56_b2p[b]][ref_frame] = s->block_coeff[b][idx];
298         ab->dc_coeff = s->block_coeff[b][idx];
299         ab->ref_frame = ref_frame;
300         lb->dc_coeff = s->block_coeff[b][idx];
301         lb->ref_frame = ref_frame;
302         s->block_coeff[b][idx] *= s->dequant_dc;
303     }
304 }
305
306 static void vp56_deblock_filter(VP56Context *s, uint8_t *yuv,
307                                 int stride, int dx, int dy)
308 {
309     int t = vp56_filter_threshold[s->quantizer];
310     if (dx)  s->vp56dsp.edge_filter_hor(yuv +         10-dx , stride, t);
311     if (dy)  s->vp56dsp.edge_filter_ver(yuv + stride*(10-dy), stride, t);
312 }
313
314 static void vp56_mc(VP56Context *s, int b, int plane, uint8_t *src,
315                     int stride, int x, int y)
316 {
317     uint8_t *dst=s->framep[VP56_FRAME_CURRENT]->data[plane]+s->block_offset[b];
318     uint8_t *src_block;
319     int src_offset;
320     int overlap_offset = 0;
321     int mask = s->vp56_coord_div[b] - 1;
322     int deblock_filtering = s->deblock_filtering;
323     int dx;
324     int dy;
325
326     if (s->avctx->skip_loop_filter >= AVDISCARD_ALL ||
327         (s->avctx->skip_loop_filter >= AVDISCARD_NONKEY
328          && !s->framep[VP56_FRAME_CURRENT]->key_frame))
329         deblock_filtering = 0;
330
331     dx = s->mv[b].x / s->vp56_coord_div[b];
332     dy = s->mv[b].y / s->vp56_coord_div[b];
333
334     if (b >= 4) {
335         x /= 2;
336         y /= 2;
337     }
338     x += dx - 2;
339     y += dy - 2;
340
341     if (x<0 || x+12>=s->plane_width[plane] ||
342         y<0 || y+12>=s->plane_height[plane]) {
343         s->vdsp.emulated_edge_mc(s->edge_emu_buffer,
344                             src + s->block_offset[b] + (dy-2)*stride + (dx-2),
345                             stride, 12, 12, x, y,
346                             s->plane_width[plane],
347                             s->plane_height[plane]);
348         src_block = s->edge_emu_buffer;
349         src_offset = 2 + 2*stride;
350     } else if (deblock_filtering) {
351         /* only need a 12x12 block, but there is no such dsp function, */
352         /* so copy a 16x12 block */
353         s->dsp.put_pixels_tab[0][0](s->edge_emu_buffer,
354                                     src + s->block_offset[b] + (dy-2)*stride + (dx-2),
355                                     stride, 12);
356         src_block = s->edge_emu_buffer;
357         src_offset = 2 + 2*stride;
358     } else {
359         src_block = src;
360         src_offset = s->block_offset[b] + dy*stride + dx;
361     }
362
363     if (deblock_filtering)
364         vp56_deblock_filter(s, src_block, stride, dx&7, dy&7);
365
366     if (s->mv[b].x & mask)
367         overlap_offset += (s->mv[b].x > 0) ? 1 : -1;
368     if (s->mv[b].y & mask)
369         overlap_offset += (s->mv[b].y > 0) ? stride : -stride;
370
371     if (overlap_offset) {
372         if (s->filter)
373             s->filter(s, dst, src_block, src_offset, src_offset+overlap_offset,
374                       stride, s->mv[b], mask, s->filter_selection, b<4);
375         else
376             s->vp3dsp.put_no_rnd_pixels_l2(dst, src_block+src_offset,
377                                            src_block+src_offset+overlap_offset,
378                                            stride, 8);
379     } else {
380         s->dsp.put_pixels_tab[1][0](dst, src_block+src_offset, stride, 8);
381     }
382 }
383
384 static void vp56_decode_mb(VP56Context *s, int row, int col, int is_alpha)
385 {
386     AVFrame *frame_current, *frame_ref;
387     VP56mb mb_type;
388     VP56Frame ref_frame;
389     int b, ab, b_max, plane, off;
390
391     if (s->framep[VP56_FRAME_CURRENT]->key_frame)
392         mb_type = VP56_MB_INTRA;
393     else
394         mb_type = vp56_decode_mv(s, row, col);
395     ref_frame = vp56_reference_frame[mb_type];
396
397     s->parse_coeff(s);
398
399     vp56_add_predictors_dc(s, ref_frame);
400
401     frame_current = s->framep[VP56_FRAME_CURRENT];
402     frame_ref = s->framep[ref_frame];
403     if (mb_type != VP56_MB_INTRA && !frame_ref->data[0])
404         return;
405
406     ab = 6*is_alpha;
407     b_max = 6 - 2*is_alpha;
408
409     switch (mb_type) {
410         case VP56_MB_INTRA:
411             for (b=0; b<b_max; b++) {
412                 plane = ff_vp56_b2p[b+ab];
413                 s->vp3dsp.idct_put(frame_current->data[plane] + s->block_offset[b],
414                                 s->stride[plane], s->block_coeff[b]);
415             }
416             break;
417
418         case VP56_MB_INTER_NOVEC_PF:
419         case VP56_MB_INTER_NOVEC_GF:
420             for (b=0; b<b_max; b++) {
421                 plane = ff_vp56_b2p[b+ab];
422                 off = s->block_offset[b];
423                 s->dsp.put_pixels_tab[1][0](frame_current->data[plane] + off,
424                                             frame_ref->data[plane] + off,
425                                             s->stride[plane], 8);
426                 s->vp3dsp.idct_add(frame_current->data[plane] + off,
427                                 s->stride[plane], s->block_coeff[b]);
428             }
429             break;
430
431         case VP56_MB_INTER_DELTA_PF:
432         case VP56_MB_INTER_V1_PF:
433         case VP56_MB_INTER_V2_PF:
434         case VP56_MB_INTER_DELTA_GF:
435         case VP56_MB_INTER_4V:
436         case VP56_MB_INTER_V1_GF:
437         case VP56_MB_INTER_V2_GF:
438             for (b=0; b<b_max; b++) {
439                 int x_off = b==1 || b==3 ? 8 : 0;
440                 int y_off = b==2 || b==3 ? 8 : 0;
441                 plane = ff_vp56_b2p[b+ab];
442                 vp56_mc(s, b, plane, frame_ref->data[plane], s->stride[plane],
443                         16*col+x_off, 16*row+y_off);
444                 s->vp3dsp.idct_add(frame_current->data[plane] + s->block_offset[b],
445                                 s->stride[plane], s->block_coeff[b]);
446             }
447             break;
448     }
449
450     if (is_alpha) {
451         s->block_coeff[4][0] = 0;
452         s->block_coeff[5][0] = 0;
453     }
454 }
455
456 static int vp56_size_changed(VP56Context *s)
457 {
458     AVCodecContext *avctx = s->avctx;
459     int stride = s->framep[VP56_FRAME_CURRENT]->linesize[0];
460     int i;
461
462     s->plane_width[0]  = s->plane_width[3]  = avctx->coded_width;
463     s->plane_width[1]  = s->plane_width[2]  = avctx->coded_width/2;
464     s->plane_height[0] = s->plane_height[3] = avctx->coded_height;
465     s->plane_height[1] = s->plane_height[2] = avctx->coded_height/2;
466
467     for (i=0; i<4; i++)
468         s->stride[i] = s->flip * s->framep[VP56_FRAME_CURRENT]->linesize[i];
469
470     s->mb_width  = (avctx->coded_width +15) / 16;
471     s->mb_height = (avctx->coded_height+15) / 16;
472
473     if (s->mb_width > 1000 || s->mb_height > 1000) {
474         avcodec_set_dimensions(avctx, 0, 0);
475         av_log(avctx, AV_LOG_ERROR, "picture too big\n");
476         return -1;
477     }
478
479     s->qscale_table = av_realloc(s->qscale_table, s->mb_width);
480     s->above_blocks = av_realloc(s->above_blocks,
481                                  (4*s->mb_width+6) * sizeof(*s->above_blocks));
482     s->macroblocks = av_realloc(s->macroblocks,
483                                 s->mb_width*s->mb_height*sizeof(*s->macroblocks));
484     av_free(s->edge_emu_buffer_alloc);
485     s->edge_emu_buffer_alloc = av_malloc(16*stride);
486     s->edge_emu_buffer = s->edge_emu_buffer_alloc;
487     if (s->flip < 0)
488         s->edge_emu_buffer += 15 * stride;
489
490     if (s->alpha_context)
491         return vp56_size_changed(s->alpha_context);
492
493     return 0;
494 }
495
496 static int ff_vp56_decode_mbs(AVCodecContext *avctx, void *, int, int);
497
498 int ff_vp56_decode_frame(AVCodecContext *avctx, void *data, int *got_frame,
499                          AVPacket *avpkt)
500 {
501     const uint8_t *buf = avpkt->data;
502     VP56Context *s = avctx->priv_data;
503     AVFrame *p = 0;
504     int remaining_buf_size = avpkt->size;
505     int av_uninit(alpha_offset);
506     int i, res;
507
508     /* select a current frame from the unused frames */
509     for (i = 0; i < 4; ++i) {
510         if (!s->frames[i].data[0]) {
511             p = &s->frames[i];
512             break;
513         }
514     }
515     av_assert0(p != 0);
516     s->framep[VP56_FRAME_CURRENT] = p;
517     if (s->alpha_context)
518         s->alpha_context->framep[VP56_FRAME_CURRENT] = p;
519
520     if (s->has_alpha) {
521         if (remaining_buf_size < 3)
522             return -1;
523         alpha_offset = bytestream_get_be24(&buf);
524         remaining_buf_size -= 3;
525         if (remaining_buf_size < alpha_offset)
526             return -1;
527     }
528
529     res = s->parse_header(s, buf, remaining_buf_size);
530     if (res < 0)
531         return res;
532
533     if (res == VP56_SIZE_CHANGE) {
534         for (i = 0; i < 4; i++) {
535             if (s->frames[i].data[0])
536                 avctx->release_buffer(avctx, &s->frames[i]);
537         }
538     }
539
540     p->reference = 3;
541     if (ff_get_buffer(avctx, p) < 0) {
542         av_log(avctx, AV_LOG_ERROR, "get_buffer() failed\n");
543         return -1;
544     }
545
546     if (res == VP56_SIZE_CHANGE) {
547         if (vp56_size_changed(s)) {
548             avctx->release_buffer(avctx, p);
549             return -1;
550         }
551     }
552
553     if (s->has_alpha) {
554         int bak_w = avctx->width;
555         int bak_h = avctx->height;
556         int bak_cw = avctx->coded_width;
557         int bak_ch = avctx->coded_height;
558         buf += alpha_offset;
559         remaining_buf_size -= alpha_offset;
560
561         res = s->alpha_context->parse_header(s->alpha_context, buf, remaining_buf_size);
562         if (res != 0) {
563             if(res==VP56_SIZE_CHANGE) {
564                 av_log(avctx, AV_LOG_ERROR, "Alpha reconfiguration\n");
565                 avctx->width  = bak_w;
566                 avctx->height = bak_h;
567                 avctx->coded_width  = bak_cw;
568                 avctx->coded_height = bak_ch;
569             }
570             avctx->release_buffer(avctx, p);
571             return -1;
572         }
573     }
574
575     avctx->execute2(avctx, ff_vp56_decode_mbs, 0, 0, s->has_alpha + 1);
576
577     /* release frames that aren't in use */
578     for (i = 0; i < 4; ++i) {
579         AVFrame *victim = &s->frames[i];
580         if (!victim->data[0])
581             continue;
582         if (victim != s->framep[VP56_FRAME_PREVIOUS] &&
583             victim != s->framep[VP56_FRAME_GOLDEN] &&
584             (!s->has_alpha || victim != s->alpha_context->framep[VP56_FRAME_GOLDEN]))
585             avctx->release_buffer(avctx, victim);
586     }
587
588     p->qstride = 0;
589     p->qscale_table = s->qscale_table;
590     p->qscale_type = FF_QSCALE_TYPE_VP56;
591     *(AVFrame*)data = *p;
592     *got_frame = 1;
593
594     return avpkt->size;
595 }
596
597 static int ff_vp56_decode_mbs(AVCodecContext *avctx, void *data,
598                               int jobnr, int threadnr)
599 {
600     VP56Context *s0 = avctx->priv_data;
601     int is_alpha = (jobnr == 1);
602     VP56Context *s = is_alpha ? s0->alpha_context : s0;
603     AVFrame *const p = s->framep[VP56_FRAME_CURRENT];
604     int mb_row, mb_col, mb_row_flip, mb_offset = 0;
605     int block, y, uv, stride_y, stride_uv;
606
607     if (p->key_frame) {
608         p->pict_type = AV_PICTURE_TYPE_I;
609         s->default_models_init(s);
610         for (block=0; block<s->mb_height*s->mb_width; block++)
611             s->macroblocks[block].type = VP56_MB_INTRA;
612     } else {
613         p->pict_type = AV_PICTURE_TYPE_P;
614         vp56_parse_mb_type_models(s);
615         s->parse_vector_models(s);
616         s->mb_type = VP56_MB_INTER_NOVEC_PF;
617     }
618
619     if (s->parse_coeff_models(s))
620         goto next;
621
622     memset(s->prev_dc, 0, sizeof(s->prev_dc));
623     s->prev_dc[1][VP56_FRAME_CURRENT] = 128;
624     s->prev_dc[2][VP56_FRAME_CURRENT] = 128;
625
626     for (block=0; block < 4*s->mb_width+6; block++) {
627         s->above_blocks[block].ref_frame = VP56_FRAME_NONE;
628         s->above_blocks[block].dc_coeff = 0;
629         s->above_blocks[block].not_null_dc = 0;
630     }
631     s->above_blocks[2*s->mb_width + 2].ref_frame = VP56_FRAME_CURRENT;
632     s->above_blocks[3*s->mb_width + 4].ref_frame = VP56_FRAME_CURRENT;
633
634     stride_y  = p->linesize[0];
635     stride_uv = p->linesize[1];
636
637     if (s->flip < 0)
638         mb_offset = 7;
639
640     /* main macroblocks loop */
641     for (mb_row=0; mb_row<s->mb_height; mb_row++) {
642         if (s->flip < 0)
643             mb_row_flip = s->mb_height - mb_row - 1;
644         else
645             mb_row_flip = mb_row;
646
647         for (block=0; block<4; block++) {
648             s->left_block[block].ref_frame = VP56_FRAME_NONE;
649             s->left_block[block].dc_coeff = 0;
650             s->left_block[block].not_null_dc = 0;
651         }
652         memset(s->coeff_ctx, 0, sizeof(s->coeff_ctx));
653         memset(s->coeff_ctx_last, 24, sizeof(s->coeff_ctx_last));
654
655         s->above_block_idx[0] = 1;
656         s->above_block_idx[1] = 2;
657         s->above_block_idx[2] = 1;
658         s->above_block_idx[3] = 2;
659         s->above_block_idx[4] = 2*s->mb_width + 2 + 1;
660         s->above_block_idx[5] = 3*s->mb_width + 4 + 1;
661
662         s->block_offset[s->frbi] = (mb_row_flip*16 + mb_offset) * stride_y;
663         s->block_offset[s->srbi] = s->block_offset[s->frbi] + 8*stride_y;
664         s->block_offset[1] = s->block_offset[0] + 8;
665         s->block_offset[3] = s->block_offset[2] + 8;
666         s->block_offset[4] = (mb_row_flip*8 + mb_offset) * stride_uv;
667         s->block_offset[5] = s->block_offset[4];
668
669         for (mb_col=0; mb_col<s->mb_width; mb_col++) {
670             vp56_decode_mb(s, mb_row, mb_col, is_alpha);
671
672             for (y=0; y<4; y++) {
673                 s->above_block_idx[y] += 2;
674                 s->block_offset[y] += 16;
675             }
676
677             for (uv=4; uv<6; uv++) {
678                 s->above_block_idx[uv] += 1;
679                 s->block_offset[uv] += 8;
680             }
681         }
682     }
683
684 next:
685     if (p->key_frame || s->golden_frame) {
686         s->framep[VP56_FRAME_GOLDEN] = p;
687     }
688
689     FFSWAP(AVFrame *, s->framep[VP56_FRAME_CURRENT],
690                       s->framep[VP56_FRAME_PREVIOUS]);
691     return 0;
692 }
693
694 av_cold void ff_vp56_init(AVCodecContext *avctx, int flip, int has_alpha)
695 {
696     VP56Context *s = avctx->priv_data;
697     ff_vp56_init_context(avctx, s, flip, has_alpha);
698 }
699
700 av_cold void ff_vp56_init_context(AVCodecContext *avctx, VP56Context *s,
701                                   int flip, int has_alpha)
702 {
703     int i;
704
705     s->avctx = avctx;
706     avctx->pix_fmt = has_alpha ? AV_PIX_FMT_YUVA420P : AV_PIX_FMT_YUV420P;
707
708     ff_dsputil_init(&s->dsp, avctx);
709     ff_h264chroma_init(&s->h264chroma, 8);
710     ff_videodsp_init(&s->vdsp, 8);
711     ff_vp3dsp_init(&s->vp3dsp, avctx->flags);
712     ff_vp56dsp_init(&s->vp56dsp, avctx->codec->id);
713     ff_init_scantable_permutation(s->dsp.idct_permutation, s->vp3dsp.idct_perm);
714     ff_init_scantable(s->dsp.idct_permutation, &s->scantable,ff_zigzag_direct);
715
716     for (i=0; i<4; i++) {
717         s->framep[i] = &s->frames[i];
718         avcodec_get_frame_defaults(&s->frames[i]);
719     }
720     s->framep[VP56_FRAME_UNUSED] = s->framep[VP56_FRAME_GOLDEN];
721     s->framep[VP56_FRAME_UNUSED2] = s->framep[VP56_FRAME_GOLDEN2];
722     s->edge_emu_buffer_alloc = NULL;
723
724     s->above_blocks = NULL;
725     s->macroblocks = NULL;
726     s->quantizer = -1;
727     s->deblock_filtering = 1;
728     s->golden_frame = 0;
729
730     s->filter = NULL;
731
732     s->has_alpha = has_alpha;
733
734     s->modelp = &s->model;
735
736     if (flip) {
737         s->flip = -1;
738         s->frbi = 2;
739         s->srbi = 0;
740     } else {
741         s->flip = 1;
742         s->frbi = 0;
743         s->srbi = 2;
744     }
745 }
746
747 av_cold int ff_vp56_free(AVCodecContext *avctx)
748 {
749     VP56Context *s = avctx->priv_data;
750     return ff_vp56_free_context(s);
751 }
752
753 av_cold int ff_vp56_free_context(VP56Context *s)
754 {
755     AVCodecContext *avctx = s->avctx;
756     int i;
757
758     av_freep(&s->qscale_table);
759     av_freep(&s->above_blocks);
760     av_freep(&s->macroblocks);
761     av_freep(&s->edge_emu_buffer_alloc);
762     for (i = 0; i < 4; ++i) {
763         if (s->frames[i].data[0])
764             avctx->release_buffer(avctx, &s->frames[i]);
765     }
766     return 0;
767 }