Use LOCAL_ALIGNED macro for local arrays
[ffmpeg.git] / libavcodec / vp3.c
1 /*
2  * Copyright (C) 2003-2004 the ffmpeg project
3  *
4  * This file is part of FFmpeg.
5  *
6  * FFmpeg is free software; you can redistribute it and/or
7  * modify it under the terms of the GNU Lesser General Public
8  * License as published by the Free Software Foundation; either
9  * version 2.1 of the License, or (at your option) any later version.
10  *
11  * FFmpeg is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14  * Lesser General Public License for more details.
15  *
16  * You should have received a copy of the GNU Lesser General Public
17  * License along with FFmpeg; if not, write to the Free Software
18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
19  */
20
21 /**
22  * @file libavcodec/vp3.c
23  * On2 VP3 Video Decoder
24  *
25  * VP3 Video Decoder by Mike Melanson (mike at multimedia.cx)
26  * For more information about the VP3 coding process, visit:
27  *   http://wiki.multimedia.cx/index.php?title=On2_VP3
28  *
29  * Theora decoder by Alex Beregszaszi
30  */
31
32 #include <stdio.h>
33 #include <stdlib.h>
34 #include <string.h>
35
36 #include "avcodec.h"
37 #include "dsputil.h"
38 #include "get_bits.h"
39
40 #include "vp3data.h"
41 #include "xiph.h"
42
43 #define FRAGMENT_PIXELS 8
44
45 static av_cold int vp3_decode_end(AVCodecContext *avctx);
46
47 typedef struct Coeff {
48     struct Coeff *next;
49     DCTELEM coeff;
50     uint8_t index;
51 } Coeff;
52
53 //FIXME split things out into their own arrays
54 typedef struct Vp3Fragment {
55     Coeff *next_coeff;
56     uint8_t coding_method;
57     int8_t motion_x;
58     int8_t motion_y;
59     uint8_t qpi;
60 } Vp3Fragment;
61
62 #define SB_NOT_CODED        0
63 #define SB_PARTIALLY_CODED  1
64 #define SB_FULLY_CODED      2
65
66 #define MODE_INTER_NO_MV      0
67 #define MODE_INTRA            1
68 #define MODE_INTER_PLUS_MV    2
69 #define MODE_INTER_LAST_MV    3
70 #define MODE_INTER_PRIOR_LAST 4
71 #define MODE_USING_GOLDEN     5
72 #define MODE_GOLDEN_MV        6
73 #define MODE_INTER_FOURMV     7
74 #define CODING_MODE_COUNT     8
75
76 /* special internal mode */
77 #define MODE_COPY             8
78
79 /* There are 6 preset schemes, plus a free-form scheme */
80 static const int ModeAlphabet[6][CODING_MODE_COUNT] =
81 {
82     /* scheme 1: Last motion vector dominates */
83     {    MODE_INTER_LAST_MV,    MODE_INTER_PRIOR_LAST,
84          MODE_INTER_PLUS_MV,    MODE_INTER_NO_MV,
85          MODE_INTRA,            MODE_USING_GOLDEN,
86          MODE_GOLDEN_MV,        MODE_INTER_FOURMV },
87
88     /* scheme 2 */
89     {    MODE_INTER_LAST_MV,    MODE_INTER_PRIOR_LAST,
90          MODE_INTER_NO_MV,      MODE_INTER_PLUS_MV,
91          MODE_INTRA,            MODE_USING_GOLDEN,
92          MODE_GOLDEN_MV,        MODE_INTER_FOURMV },
93
94     /* scheme 3 */
95     {    MODE_INTER_LAST_MV,    MODE_INTER_PLUS_MV,
96          MODE_INTER_PRIOR_LAST, MODE_INTER_NO_MV,
97          MODE_INTRA,            MODE_USING_GOLDEN,
98          MODE_GOLDEN_MV,        MODE_INTER_FOURMV },
99
100     /* scheme 4 */
101     {    MODE_INTER_LAST_MV,    MODE_INTER_PLUS_MV,
102          MODE_INTER_NO_MV,      MODE_INTER_PRIOR_LAST,
103          MODE_INTRA,            MODE_USING_GOLDEN,
104          MODE_GOLDEN_MV,        MODE_INTER_FOURMV },
105
106     /* scheme 5: No motion vector dominates */
107     {    MODE_INTER_NO_MV,      MODE_INTER_LAST_MV,
108          MODE_INTER_PRIOR_LAST, MODE_INTER_PLUS_MV,
109          MODE_INTRA,            MODE_USING_GOLDEN,
110          MODE_GOLDEN_MV,        MODE_INTER_FOURMV },
111
112     /* scheme 6 */
113     {    MODE_INTER_NO_MV,      MODE_USING_GOLDEN,
114          MODE_INTER_LAST_MV,    MODE_INTER_PRIOR_LAST,
115          MODE_INTER_PLUS_MV,    MODE_INTRA,
116          MODE_GOLDEN_MV,        MODE_INTER_FOURMV },
117
118 };
119
120 #define MIN_DEQUANT_VAL 2
121
122 typedef struct Vp3DecodeContext {
123     AVCodecContext *avctx;
124     int theora, theora_tables;
125     int version;
126     int width, height;
127     AVFrame golden_frame;
128     AVFrame last_frame;
129     AVFrame current_frame;
130     int keyframe;
131     DSPContext dsp;
132     int flipped_image;
133     int last_slice_end;
134
135     int qps[3];
136     int nqps;
137     int last_qps[3];
138
139     int superblock_count;
140     int y_superblock_width;
141     int y_superblock_height;
142     int c_superblock_width;
143     int c_superblock_height;
144     int u_superblock_start;
145     int v_superblock_start;
146     unsigned char *superblock_coding;
147
148     int macroblock_count;
149     int macroblock_width;
150     int macroblock_height;
151
152     int fragment_count;
153     int fragment_width;
154     int fragment_height;
155
156     Vp3Fragment *all_fragments;
157     uint8_t *coeff_counts;
158     Coeff *coeffs;
159     Coeff *next_coeff;
160     int fragment_start[3];
161     int data_offset[3];
162
163     ScanTable scantable;
164
165     /* tables */
166     uint16_t coded_dc_scale_factor[64];
167     uint32_t coded_ac_scale_factor[64];
168     uint8_t base_matrix[384][64];
169     uint8_t qr_count[2][3];
170     uint8_t qr_size [2][3][64];
171     uint16_t qr_base[2][3][64];
172
173     /* this is a list of indexes into the all_fragments array indicating
174      * which of the fragments are coded */
175     int *coded_fragment_list;
176     int coded_fragment_list_index;
177
178     /* track which fragments have already been decoded; called 'fast'
179      * because this data structure avoids having to iterate through every
180      * fragment in coded_fragment_list; once a fragment has been fully
181      * decoded, it is removed from this list */
182     int *fast_fragment_list;
183     int fragment_list_y_head;
184     int fragment_list_c_head;
185
186     VLC dc_vlc[16];
187     VLC ac_vlc_1[16];
188     VLC ac_vlc_2[16];
189     VLC ac_vlc_3[16];
190     VLC ac_vlc_4[16];
191
192     VLC superblock_run_length_vlc;
193     VLC fragment_run_length_vlc;
194     VLC mode_code_vlc;
195     VLC motion_vector_vlc;
196
197     /* these arrays need to be on 16-byte boundaries since SSE2 operations
198      * index into them */
199     DECLARE_ALIGNED_16(int16_t, qmat)[3][2][3][64];     //<qmat[qpi][is_inter][plane]
200
201     /* This table contains superblock_count * 16 entries. Each set of 16
202      * numbers corresponds to the fragment indexes 0..15 of the superblock.
203      * An entry will be -1 to indicate that no entry corresponds to that
204      * index. */
205     int *superblock_fragments;
206
207     /* This is an array that indicates how a particular macroblock
208      * is coded. */
209     unsigned char *macroblock_coding;
210
211     int first_coded_y_fragment;
212     int first_coded_c_fragment;
213     int last_coded_y_fragment;
214     int last_coded_c_fragment;
215
216     uint8_t edge_emu_buffer[9*2048]; //FIXME dynamic alloc
217     int8_t qscale_table[2048]; //FIXME dynamic alloc (width+15)/16
218
219     /* Huffman decode */
220     int hti;
221     unsigned int hbits;
222     int entries;
223     int huff_code_size;
224     uint16_t huffman_table[80][32][2];
225
226     uint8_t filter_limit_values[64];
227     DECLARE_ALIGNED_8(int, bounding_values_array)[256+2];
228 } Vp3DecodeContext;
229
230 /************************************************************************
231  * VP3 specific functions
232  ************************************************************************/
233
234 /*
235  * This function sets up all of the various blocks mappings:
236  * superblocks <-> fragments, macroblocks <-> fragments,
237  * superblocks <-> macroblocks
238  *
239  * Returns 0 is successful; returns 1 if *anything* went wrong.
240  */
241 static int init_block_mapping(Vp3DecodeContext *s)
242 {
243     int i, j;
244     signed int hilbert_walk_mb[4];
245
246     int current_fragment = 0;
247     int current_width = 0;
248     int current_height = 0;
249     int right_edge = 0;
250     int bottom_edge = 0;
251     int superblock_row_inc = 0;
252     int mapping_index = 0;
253
254     int current_macroblock;
255     int c_fragment;
256
257     static const signed char travel_width[16] = {
258          1,  1,  0, -1,
259          0,  0,  1,  0,
260          1,  0,  1,  0,
261          0, -1,  0,  1
262     };
263
264     static const signed char travel_height[16] = {
265          0,  0,  1,  0,
266          1,  1,  0, -1,
267          0,  1,  0, -1,
268         -1,  0, -1,  0
269     };
270
271     hilbert_walk_mb[0] = 1;
272     hilbert_walk_mb[1] = s->macroblock_width;
273     hilbert_walk_mb[2] = 1;
274     hilbert_walk_mb[3] = -s->macroblock_width;
275
276     /* iterate through each superblock (all planes) and map the fragments */
277     for (i = 0; i < s->superblock_count; i++) {
278         /* time to re-assign the limits? */
279         if (i == 0) {
280
281             /* start of Y superblocks */
282             right_edge = s->fragment_width;
283             bottom_edge = s->fragment_height;
284             current_width = -1;
285             current_height = 0;
286             superblock_row_inc = 3 * s->fragment_width -
287                 (s->y_superblock_width * 4 - s->fragment_width);
288
289             /* the first operation for this variable is to advance by 1 */
290             current_fragment = -1;
291
292         } else if (i == s->u_superblock_start) {
293
294             /* start of U superblocks */
295             right_edge = s->fragment_width / 2;
296             bottom_edge = s->fragment_height / 2;
297             current_width = -1;
298             current_height = 0;
299             superblock_row_inc = 3 * (s->fragment_width / 2) -
300                 (s->c_superblock_width * 4 - s->fragment_width / 2);
301
302             /* the first operation for this variable is to advance by 1 */
303             current_fragment = s->fragment_start[1] - 1;
304
305         } else if (i == s->v_superblock_start) {
306
307             /* start of V superblocks */
308             right_edge = s->fragment_width / 2;
309             bottom_edge = s->fragment_height / 2;
310             current_width = -1;
311             current_height = 0;
312             superblock_row_inc = 3 * (s->fragment_width / 2) -
313                 (s->c_superblock_width * 4 - s->fragment_width / 2);
314
315             /* the first operation for this variable is to advance by 1 */
316             current_fragment = s->fragment_start[2] - 1;
317
318         }
319
320         if (current_width >= right_edge - 1) {
321             /* reset width and move to next superblock row */
322             current_width = -1;
323             current_height += 4;
324
325             /* fragment is now at the start of a new superblock row */
326             current_fragment += superblock_row_inc;
327         }
328
329         /* iterate through all 16 fragments in a superblock */
330         for (j = 0; j < 16; j++) {
331             current_fragment += travel_width[j] + right_edge * travel_height[j];
332             current_width += travel_width[j];
333             current_height += travel_height[j];
334
335             /* check if the fragment is in bounds */
336             if ((current_width < right_edge) &&
337                 (current_height < bottom_edge)) {
338                 s->superblock_fragments[mapping_index] = current_fragment;
339             } else {
340                 s->superblock_fragments[mapping_index] = -1;
341             }
342
343             mapping_index++;
344         }
345     }
346
347     return 0;  /* successful path out */
348 }
349
350 /*
351  * This function wipes out all of the fragment data.
352  */
353 static void init_frame(Vp3DecodeContext *s, GetBitContext *gb)
354 {
355     int i;
356
357     /* zero out all of the fragment information */
358     s->coded_fragment_list_index = 0;
359     for (i = 0; i < s->fragment_count; i++) {
360         s->coeff_counts[i] = 0;
361         s->all_fragments[i].motion_x = 127;
362         s->all_fragments[i].motion_y = 127;
363         s->all_fragments[i].next_coeff= NULL;
364         s->all_fragments[i].qpi = 0;
365         s->coeffs[i].index=
366         s->coeffs[i].coeff=0;
367         s->coeffs[i].next= NULL;
368     }
369 }
370
371 /*
372  * This function sets up the dequantization tables used for a particular
373  * frame.
374  */
375 static void init_dequantizer(Vp3DecodeContext *s, int qpi)
376 {
377     int ac_scale_factor = s->coded_ac_scale_factor[s->qps[qpi]];
378     int dc_scale_factor = s->coded_dc_scale_factor[s->qps[qpi]];
379     int i, plane, inter, qri, bmi, bmj, qistart;
380
381     for(inter=0; inter<2; inter++){
382         for(plane=0; plane<3; plane++){
383             int sum=0;
384             for(qri=0; qri<s->qr_count[inter][plane]; qri++){
385                 sum+= s->qr_size[inter][plane][qri];
386                 if(s->qps[qpi] <= sum)
387                     break;
388             }
389             qistart= sum - s->qr_size[inter][plane][qri];
390             bmi= s->qr_base[inter][plane][qri  ];
391             bmj= s->qr_base[inter][plane][qri+1];
392             for(i=0; i<64; i++){
393                 int coeff= (  2*(sum    -s->qps[qpi])*s->base_matrix[bmi][i]
394                             - 2*(qistart-s->qps[qpi])*s->base_matrix[bmj][i]
395                             + s->qr_size[inter][plane][qri])
396                            / (2*s->qr_size[inter][plane][qri]);
397
398                 int qmin= 8<<(inter + !i);
399                 int qscale= i ? ac_scale_factor : dc_scale_factor;
400
401                 s->qmat[qpi][inter][plane][s->dsp.idct_permutation[i]]= av_clip((qscale * coeff)/100 * 4, qmin, 4096);
402             }
403             // all DC coefficients use the same quant so as not to interfere with DC prediction
404             s->qmat[qpi][inter][plane][0] = s->qmat[0][inter][plane][0];
405         }
406     }
407
408     memset(s->qscale_table, (FFMAX(s->qmat[0][0][0][1], s->qmat[0][0][1][1])+8)/16, 512); //FIXME finetune
409 }
410
411 /*
412  * This function initializes the loop filter boundary limits if the frame's
413  * quality index is different from the previous frame's.
414  *
415  * The filter_limit_values may not be larger than 127.
416  */
417 static void init_loop_filter(Vp3DecodeContext *s)
418 {
419     int *bounding_values= s->bounding_values_array+127;
420     int filter_limit;
421     int x;
422     int value;
423
424     filter_limit = s->filter_limit_values[s->qps[0]];
425
426     /* set up the bounding values */
427     memset(s->bounding_values_array, 0, 256 * sizeof(int));
428     for (x = 0; x < filter_limit; x++) {
429         bounding_values[-x] = -x;
430         bounding_values[x] = x;
431     }
432     for (x = value = filter_limit; x < 128 && value; x++, value--) {
433         bounding_values[ x] =  value;
434         bounding_values[-x] = -value;
435     }
436     if (value)
437         bounding_values[128] = value;
438     bounding_values[129] = bounding_values[130] = filter_limit * 0x02020202;
439 }
440
441 /*
442  * This function unpacks all of the superblock/macroblock/fragment coding
443  * information from the bitstream.
444  */
445 static int unpack_superblocks(Vp3DecodeContext *s, GetBitContext *gb)
446 {
447     int bit = 0;
448     int current_superblock = 0;
449     int current_run = 0;
450     int decode_fully_flags = 0;
451     int decode_partial_blocks = 0;
452     int first_c_fragment_seen;
453
454     int i, j;
455     int current_fragment;
456
457     if (s->keyframe) {
458         memset(s->superblock_coding, SB_FULLY_CODED, s->superblock_count);
459
460     } else {
461
462         /* unpack the list of partially-coded superblocks */
463         bit = get_bits1(gb);
464         /* toggle the bit because as soon as the first run length is
465          * fetched the bit will be toggled again */
466         bit ^= 1;
467         while (current_superblock < s->superblock_count) {
468             if (current_run-- == 0) {
469                 bit ^= 1;
470                 current_run = get_vlc2(gb,
471                     s->superblock_run_length_vlc.table, 6, 2);
472                 if (current_run == 33)
473                     current_run += get_bits(gb, 12);
474
475                 /* if any of the superblocks are not partially coded, flag
476                  * a boolean to decode the list of fully-coded superblocks */
477                 if (bit == 0) {
478                     decode_fully_flags = 1;
479                 } else {
480
481                     /* make a note of the fact that there are partially coded
482                      * superblocks */
483                     decode_partial_blocks = 1;
484                 }
485             }
486             s->superblock_coding[current_superblock++] = bit;
487         }
488
489         /* unpack the list of fully coded superblocks if any of the blocks were
490          * not marked as partially coded in the previous step */
491         if (decode_fully_flags) {
492
493             current_superblock = 0;
494             current_run = 0;
495             bit = get_bits1(gb);
496             /* toggle the bit because as soon as the first run length is
497              * fetched the bit will be toggled again */
498             bit ^= 1;
499             while (current_superblock < s->superblock_count) {
500
501                 /* skip any superblocks already marked as partially coded */
502                 if (s->superblock_coding[current_superblock] == SB_NOT_CODED) {
503
504                     if (current_run-- == 0) {
505                         bit ^= 1;
506                         current_run = get_vlc2(gb,
507                             s->superblock_run_length_vlc.table, 6, 2);
508                         if (current_run == 33)
509                             current_run += get_bits(gb, 12);
510                     }
511                     s->superblock_coding[current_superblock] = 2*bit;
512                 }
513                 current_superblock++;
514             }
515         }
516
517         /* if there were partial blocks, initialize bitstream for
518          * unpacking fragment codings */
519         if (decode_partial_blocks) {
520
521             current_run = 0;
522             bit = get_bits1(gb);
523             /* toggle the bit because as soon as the first run length is
524              * fetched the bit will be toggled again */
525             bit ^= 1;
526         }
527     }
528
529     /* figure out which fragments are coded; iterate through each
530      * superblock (all planes) */
531     s->coded_fragment_list_index = 0;
532     s->next_coeff= s->coeffs + s->fragment_count;
533     s->first_coded_y_fragment = s->first_coded_c_fragment = 0;
534     s->last_coded_y_fragment = s->last_coded_c_fragment = -1;
535     first_c_fragment_seen = 0;
536     memset(s->macroblock_coding, MODE_COPY, s->macroblock_count);
537     for (i = 0; i < s->superblock_count; i++) {
538
539         /* iterate through all 16 fragments in a superblock */
540         for (j = 0; j < 16; j++) {
541
542             /* if the fragment is in bounds, check its coding status */
543             current_fragment = s->superblock_fragments[i * 16 + j];
544             if (current_fragment >= s->fragment_count) {
545                 av_log(s->avctx, AV_LOG_ERROR, "  vp3:unpack_superblocks(): bad fragment number (%d >= %d)\n",
546                     current_fragment, s->fragment_count);
547                 return 1;
548             }
549             if (current_fragment != -1) {
550                 if (s->superblock_coding[i] == SB_NOT_CODED) {
551
552                     /* copy all the fragments from the prior frame */
553                     s->all_fragments[current_fragment].coding_method =
554                         MODE_COPY;
555
556                 } else if (s->superblock_coding[i] == SB_PARTIALLY_CODED) {
557
558                     /* fragment may or may not be coded; this is the case
559                      * that cares about the fragment coding runs */
560                     if (current_run-- == 0) {
561                         bit ^= 1;
562                         current_run = get_vlc2(gb,
563                             s->fragment_run_length_vlc.table, 5, 2);
564                     }
565
566                     if (bit) {
567                         /* default mode; actual mode will be decoded in
568                          * the next phase */
569                         s->all_fragments[current_fragment].coding_method =
570                             MODE_INTER_NO_MV;
571                         s->all_fragments[current_fragment].next_coeff= s->coeffs + current_fragment;
572                         s->coded_fragment_list[s->coded_fragment_list_index] =
573                             current_fragment;
574                         if ((current_fragment >= s->fragment_start[1]) &&
575                             (s->last_coded_y_fragment == -1) &&
576                             (!first_c_fragment_seen)) {
577                             s->first_coded_c_fragment = s->coded_fragment_list_index;
578                             s->last_coded_y_fragment = s->first_coded_c_fragment - 1;
579                             first_c_fragment_seen = 1;
580                         }
581                         s->coded_fragment_list_index++;
582                     } else {
583                         /* not coded; copy this fragment from the prior frame */
584                         s->all_fragments[current_fragment].coding_method =
585                             MODE_COPY;
586                     }
587
588                 } else {
589
590                     /* fragments are fully coded in this superblock; actual
591                      * coding will be determined in next step */
592                     s->all_fragments[current_fragment].coding_method =
593                         MODE_INTER_NO_MV;
594                     s->all_fragments[current_fragment].next_coeff= s->coeffs + current_fragment;
595                     s->coded_fragment_list[s->coded_fragment_list_index] =
596                         current_fragment;
597                     if ((current_fragment >= s->fragment_start[1]) &&
598                         (s->last_coded_y_fragment == -1) &&
599                         (!first_c_fragment_seen)) {
600                         s->first_coded_c_fragment = s->coded_fragment_list_index;
601                         s->last_coded_y_fragment = s->first_coded_c_fragment - 1;
602                         first_c_fragment_seen = 1;
603                     }
604                     s->coded_fragment_list_index++;
605                 }
606             }
607         }
608     }
609
610     if (!first_c_fragment_seen)
611         /* only Y fragments coded in this frame */
612         s->last_coded_y_fragment = s->coded_fragment_list_index - 1;
613     else
614         /* end the list of coded C fragments */
615         s->last_coded_c_fragment = s->coded_fragment_list_index - 1;
616
617     for (i = 0; i < s->fragment_count - 1; i++) {
618         s->fast_fragment_list[i] = i + 1;
619     }
620     s->fast_fragment_list[s->fragment_count - 1] = -1;
621
622     if (s->last_coded_y_fragment == -1)
623         s->fragment_list_y_head = -1;
624     else {
625         s->fragment_list_y_head = s->first_coded_y_fragment;
626         s->fast_fragment_list[s->last_coded_y_fragment] = -1;
627     }
628
629     if (s->last_coded_c_fragment == -1)
630         s->fragment_list_c_head = -1;
631     else {
632         s->fragment_list_c_head = s->first_coded_c_fragment;
633         s->fast_fragment_list[s->last_coded_c_fragment] = -1;
634     }
635
636     return 0;
637 }
638
639 /*
640  * This function unpacks all the coding mode data for individual macroblocks
641  * from the bitstream.
642  */
643 static int unpack_modes(Vp3DecodeContext *s, GetBitContext *gb)
644 {
645     int i, j, k, sb_x, sb_y;
646     int scheme;
647     int current_macroblock;
648     int current_fragment;
649     int coding_mode;
650     int custom_mode_alphabet[CODING_MODE_COUNT];
651     const int *alphabet;
652
653     if (s->keyframe) {
654         for (i = 0; i < s->fragment_count; i++)
655             s->all_fragments[i].coding_method = MODE_INTRA;
656
657     } else {
658
659         /* fetch the mode coding scheme for this frame */
660         scheme = get_bits(gb, 3);
661
662         /* is it a custom coding scheme? */
663         if (scheme == 0) {
664             for (i = 0; i < 8; i++)
665                 custom_mode_alphabet[i] = MODE_INTER_NO_MV;
666             for (i = 0; i < 8; i++)
667                 custom_mode_alphabet[get_bits(gb, 3)] = i;
668             alphabet = custom_mode_alphabet;
669         } else
670             alphabet = ModeAlphabet[scheme-1];
671
672         /* iterate through all of the macroblocks that contain 1 or more
673          * coded fragments */
674         for (sb_y = 0; sb_y < s->y_superblock_height; sb_y++) {
675             for (sb_x = 0; sb_x < s->y_superblock_width; sb_x++) {
676
677             for (j = 0; j < 4; j++) {
678                 int mb_x = 2*sb_x +   (j>>1);
679                 int mb_y = 2*sb_y + (((j>>1)+j)&1);
680                 int frags_coded = 0;
681                 current_macroblock = mb_y * s->macroblock_width + mb_x;
682
683                 if (mb_x >= s->macroblock_width || mb_y >= s->macroblock_height)
684                     continue;
685
686 #define BLOCK_X (2*mb_x + (k&1))
687 #define BLOCK_Y (2*mb_y + (k>>1))
688                 /* coding modes are only stored if the macroblock has at least one
689                  * luma block coded, otherwise it must be INTER_NO_MV */
690                 for (k = 0; k < 4; k++) {
691                     current_fragment = BLOCK_Y*s->fragment_width + BLOCK_X;
692                     if (s->all_fragments[current_fragment].coding_method != MODE_COPY)
693                         break;
694                 }
695                 if (k == 4) {
696                     s->macroblock_coding[current_macroblock] = MODE_INTER_NO_MV;
697                     continue;
698                 }
699
700                 /* mode 7 means get 3 bits for each coding mode */
701                 if (scheme == 7)
702                     coding_mode = get_bits(gb, 3);
703                 else
704                     coding_mode = alphabet
705                         [get_vlc2(gb, s->mode_code_vlc.table, 3, 3)];
706
707                 s->macroblock_coding[current_macroblock] = coding_mode;
708                 for (k = 0; k < 4; k++) {
709                     current_fragment =
710                         BLOCK_Y*s->fragment_width + BLOCK_X;
711                     if (s->all_fragments[current_fragment].coding_method !=
712                         MODE_COPY)
713                         s->all_fragments[current_fragment].coding_method =
714                             coding_mode;
715                 }
716                 for (k = 0; k < 2; k++) {
717                     current_fragment = s->fragment_start[k+1] +
718                         mb_y*(s->fragment_width>>1) + mb_x;
719                     if (s->all_fragments[current_fragment].coding_method !=
720                         MODE_COPY)
721                         s->all_fragments[current_fragment].coding_method =
722                             coding_mode;
723                 }
724             }
725             }
726         }
727     }
728
729     return 0;
730 }
731
732 /*
733  * This function unpacks all the motion vectors for the individual
734  * macroblocks from the bitstream.
735  */
736 static int unpack_vectors(Vp3DecodeContext *s, GetBitContext *gb)
737 {
738     int j, k, sb_x, sb_y;
739     int coding_mode;
740     int motion_x[6];
741     int motion_y[6];
742     int last_motion_x = 0;
743     int last_motion_y = 0;
744     int prior_last_motion_x = 0;
745     int prior_last_motion_y = 0;
746     int current_macroblock;
747     int current_fragment;
748
749     if (s->keyframe)
750         return 0;
751
752     memset(motion_x, 0, 6 * sizeof(int));
753     memset(motion_y, 0, 6 * sizeof(int));
754
755     /* coding mode 0 is the VLC scheme; 1 is the fixed code scheme */
756     coding_mode = get_bits1(gb);
757
758     /* iterate through all of the macroblocks that contain 1 or more
759      * coded fragments */
760     for (sb_y = 0; sb_y < s->y_superblock_height; sb_y++) {
761         for (sb_x = 0; sb_x < s->y_superblock_width; sb_x++) {
762
763         for (j = 0; j < 4; j++) {
764             int mb_x = 2*sb_x +   (j>>1);
765             int mb_y = 2*sb_y + (((j>>1)+j)&1);
766             current_macroblock = mb_y * s->macroblock_width + mb_x;
767
768             if (mb_x >= s->macroblock_width || mb_y >= s->macroblock_height ||
769                 (s->macroblock_coding[current_macroblock] == MODE_COPY))
770                 continue;
771
772             switch (s->macroblock_coding[current_macroblock]) {
773
774             case MODE_INTER_PLUS_MV:
775             case MODE_GOLDEN_MV:
776                 /* all 6 fragments use the same motion vector */
777                 if (coding_mode == 0) {
778                     motion_x[0] = motion_vector_table[get_vlc2(gb, s->motion_vector_vlc.table, 6, 2)];
779                     motion_y[0] = motion_vector_table[get_vlc2(gb, s->motion_vector_vlc.table, 6, 2)];
780                 } else {
781                     motion_x[0] = fixed_motion_vector_table[get_bits(gb, 6)];
782                     motion_y[0] = fixed_motion_vector_table[get_bits(gb, 6)];
783                 }
784
785                 /* vector maintenance, only on MODE_INTER_PLUS_MV */
786                 if (s->macroblock_coding[current_macroblock] ==
787                     MODE_INTER_PLUS_MV) {
788                     prior_last_motion_x = last_motion_x;
789                     prior_last_motion_y = last_motion_y;
790                     last_motion_x = motion_x[0];
791                     last_motion_y = motion_y[0];
792                 }
793                 break;
794
795             case MODE_INTER_FOURMV:
796                 /* vector maintenance */
797                 prior_last_motion_x = last_motion_x;
798                 prior_last_motion_y = last_motion_y;
799
800                 /* fetch 4 vectors from the bitstream, one for each
801                  * Y fragment, then average for the C fragment vectors */
802                 motion_x[4] = motion_y[4] = 0;
803                 for (k = 0; k < 4; k++) {
804                     current_fragment = BLOCK_Y*s->fragment_width + BLOCK_X;
805                     if (s->all_fragments[current_fragment].coding_method != MODE_COPY) {
806                         if (coding_mode == 0) {
807                             motion_x[k] = motion_vector_table[get_vlc2(gb, s->motion_vector_vlc.table, 6, 2)];
808                             motion_y[k] = motion_vector_table[get_vlc2(gb, s->motion_vector_vlc.table, 6, 2)];
809                         } else {
810                             motion_x[k] = fixed_motion_vector_table[get_bits(gb, 6)];
811                             motion_y[k] = fixed_motion_vector_table[get_bits(gb, 6)];
812                         }
813                         last_motion_x = motion_x[k];
814                         last_motion_y = motion_y[k];
815                     } else {
816                         motion_x[k] = 0;
817                         motion_y[k] = 0;
818                     }
819                     motion_x[4] += motion_x[k];
820                     motion_y[4] += motion_y[k];
821                 }
822
823                 motion_x[5]=
824                 motion_x[4]= RSHIFT(motion_x[4], 2);
825                 motion_y[5]=
826                 motion_y[4]= RSHIFT(motion_y[4], 2);
827                 break;
828
829             case MODE_INTER_LAST_MV:
830                 /* all 6 fragments use the last motion vector */
831                 motion_x[0] = last_motion_x;
832                 motion_y[0] = last_motion_y;
833
834                 /* no vector maintenance (last vector remains the
835                  * last vector) */
836                 break;
837
838             case MODE_INTER_PRIOR_LAST:
839                 /* all 6 fragments use the motion vector prior to the
840                  * last motion vector */
841                 motion_x[0] = prior_last_motion_x;
842                 motion_y[0] = prior_last_motion_y;
843
844                 /* vector maintenance */
845                 prior_last_motion_x = last_motion_x;
846                 prior_last_motion_y = last_motion_y;
847                 last_motion_x = motion_x[0];
848                 last_motion_y = motion_y[0];
849                 break;
850
851             default:
852                 /* covers intra, inter without MV, golden without MV */
853                 motion_x[0] = 0;
854                 motion_y[0] = 0;
855
856                 /* no vector maintenance */
857                 break;
858             }
859
860             /* assign the motion vectors to the correct fragments */
861             for (k = 0; k < 4; k++) {
862                 current_fragment =
863                     BLOCK_Y*s->fragment_width + BLOCK_X;
864                 if (s->macroblock_coding[current_macroblock] == MODE_INTER_FOURMV) {
865                     s->all_fragments[current_fragment].motion_x = motion_x[k];
866                     s->all_fragments[current_fragment].motion_y = motion_y[k];
867                 } else {
868                     s->all_fragments[current_fragment].motion_x = motion_x[0];
869                     s->all_fragments[current_fragment].motion_y = motion_y[0];
870                 }
871             }
872             for (k = 0; k < 2; k++) {
873                 current_fragment = s->fragment_start[k+1] +
874                     mb_y*(s->fragment_width>>1) + mb_x;
875                 if (s->macroblock_coding[current_macroblock] == MODE_INTER_FOURMV) {
876                     s->all_fragments[current_fragment].motion_x = motion_x[k+4];
877                     s->all_fragments[current_fragment].motion_y = motion_y[k+4];
878                 } else {
879                     s->all_fragments[current_fragment].motion_x = motion_x[0];
880                     s->all_fragments[current_fragment].motion_y = motion_y[0];
881                 }
882             }
883         }
884         }
885     }
886
887     return 0;
888 }
889
890 static int unpack_block_qpis(Vp3DecodeContext *s, GetBitContext *gb)
891 {
892     int qpi, i, j, bit, run_length, blocks_decoded, num_blocks_at_qpi;
893     int num_blocks = s->coded_fragment_list_index;
894
895     for (qpi = 0; qpi < s->nqps-1 && num_blocks > 0; qpi++) {
896         i = blocks_decoded = num_blocks_at_qpi = 0;
897
898         bit = get_bits1(gb);
899
900         do {
901             run_length = get_vlc2(gb, s->superblock_run_length_vlc.table, 6, 2) + 1;
902             if (run_length == 34)
903                 run_length += get_bits(gb, 12);
904             blocks_decoded += run_length;
905
906             if (!bit)
907                 num_blocks_at_qpi += run_length;
908
909             for (j = 0; j < run_length; i++) {
910                 if (i >= s->coded_fragment_list_index)
911                     return -1;
912
913                 if (s->all_fragments[s->coded_fragment_list[i]].qpi == qpi) {
914                     s->all_fragments[s->coded_fragment_list[i]].qpi += bit;
915                     j++;
916                 }
917             }
918
919             if (run_length == 4129)
920                 bit = get_bits1(gb);
921             else
922                 bit ^= 1;
923         } while (blocks_decoded < num_blocks);
924
925         num_blocks -= num_blocks_at_qpi;
926     }
927
928     return 0;
929 }
930
931 /*
932  * This function is called by unpack_dct_coeffs() to extract the VLCs from
933  * the bitstream. The VLCs encode tokens which are used to unpack DCT
934  * data. This function unpacks all the VLCs for either the Y plane or both
935  * C planes, and is called for DC coefficients or different AC coefficient
936  * levels (since different coefficient types require different VLC tables.
937  *
938  * This function returns a residual eob run. E.g, if a particular token gave
939  * instructions to EOB the next 5 fragments and there were only 2 fragments
940  * left in the current fragment range, 3 would be returned so that it could
941  * be passed into the next call to this same function.
942  */
943 static int unpack_vlcs(Vp3DecodeContext *s, GetBitContext *gb,
944                         VLC *table, int coeff_index,
945                         int y_plane,
946                         int eob_run)
947 {
948     int i;
949     int token;
950     int zero_run = 0;
951     DCTELEM coeff = 0;
952     Vp3Fragment *fragment;
953     int bits_to_get;
954     int next_fragment;
955     int previous_fragment;
956     int fragment_num;
957     int *list_head;
958
959     /* local references to structure members to avoid repeated deferences */
960     uint8_t *perm= s->scantable.permutated;
961     int *coded_fragment_list = s->coded_fragment_list;
962     Vp3Fragment *all_fragments = s->all_fragments;
963     uint8_t *coeff_counts = s->coeff_counts;
964     VLC_TYPE (*vlc_table)[2] = table->table;
965     int *fast_fragment_list = s->fast_fragment_list;
966
967     if (y_plane) {
968         next_fragment = s->fragment_list_y_head;
969         list_head = &s->fragment_list_y_head;
970     } else {
971         next_fragment = s->fragment_list_c_head;
972         list_head = &s->fragment_list_c_head;
973     }
974
975     i = next_fragment;
976     previous_fragment = -1;  /* this indicates that the previous fragment is actually the list head */
977     while (i != -1) {
978         fragment_num = coded_fragment_list[i];
979
980         if (coeff_counts[fragment_num] > coeff_index) {
981             previous_fragment = i;
982             i = fast_fragment_list[i];
983             continue;
984         }
985         fragment = &all_fragments[fragment_num];
986
987         if (!eob_run) {
988             /* decode a VLC into a token */
989             token = get_vlc2(gb, vlc_table, 5, 3);
990             /* use the token to get a zero run, a coefficient, and an eob run */
991             if (token <= 6) {
992                 eob_run = eob_run_base[token];
993                 if (eob_run_get_bits[token])
994                     eob_run += get_bits(gb, eob_run_get_bits[token]);
995                 coeff = zero_run = 0;
996             } else {
997                 bits_to_get = coeff_get_bits[token];
998                 if (bits_to_get)
999                     bits_to_get = get_bits(gb, bits_to_get);
1000                 coeff = coeff_tables[token][bits_to_get];
1001
1002                 zero_run = zero_run_base[token];
1003                 if (zero_run_get_bits[token])
1004                     zero_run += get_bits(gb, zero_run_get_bits[token]);
1005             }
1006         }
1007
1008         if (!eob_run) {
1009             coeff_counts[fragment_num] += zero_run;
1010             if (coeff_counts[fragment_num] < 64){
1011                 fragment->next_coeff->coeff= coeff;
1012                 fragment->next_coeff->index= perm[coeff_counts[fragment_num]++]; //FIXME perm here already?
1013                 fragment->next_coeff->next= s->next_coeff;
1014                 s->next_coeff->next=NULL;
1015                 fragment->next_coeff= s->next_coeff++;
1016             }
1017             /* previous fragment is now this fragment */
1018             previous_fragment = i;
1019         } else {
1020             coeff_counts[fragment_num] |= 128;
1021             eob_run--;
1022             /* remove this fragment from the list */
1023             if (previous_fragment != -1)
1024                 fast_fragment_list[previous_fragment] = fast_fragment_list[i];
1025             else
1026                 *list_head = fast_fragment_list[i];
1027             /* previous fragment remains unchanged */
1028         }
1029
1030         i = fast_fragment_list[i];
1031     }
1032
1033     return eob_run;
1034 }
1035
1036 static void reverse_dc_prediction(Vp3DecodeContext *s,
1037                                   int first_fragment,
1038                                   int fragment_width,
1039                                   int fragment_height);
1040 /*
1041  * This function unpacks all of the DCT coefficient data from the
1042  * bitstream.
1043  */
1044 static int unpack_dct_coeffs(Vp3DecodeContext *s, GetBitContext *gb)
1045 {
1046     int i;
1047     int dc_y_table;
1048     int dc_c_table;
1049     int ac_y_table;
1050     int ac_c_table;
1051     int residual_eob_run = 0;
1052     VLC *y_tables[64];
1053     VLC *c_tables[64];
1054
1055     /* fetch the DC table indexes */
1056     dc_y_table = get_bits(gb, 4);
1057     dc_c_table = get_bits(gb, 4);
1058
1059     /* unpack the Y plane DC coefficients */
1060     residual_eob_run = unpack_vlcs(s, gb, &s->dc_vlc[dc_y_table], 0,
1061         1, residual_eob_run);
1062
1063     /* reverse prediction of the Y-plane DC coefficients */
1064     reverse_dc_prediction(s, 0, s->fragment_width, s->fragment_height);
1065
1066     /* unpack the C plane DC coefficients */
1067     residual_eob_run = unpack_vlcs(s, gb, &s->dc_vlc[dc_c_table], 0,
1068         0, residual_eob_run);
1069
1070     /* reverse prediction of the C-plane DC coefficients */
1071     if (!(s->avctx->flags & CODEC_FLAG_GRAY))
1072     {
1073         reverse_dc_prediction(s, s->fragment_start[1],
1074             s->fragment_width / 2, s->fragment_height / 2);
1075         reverse_dc_prediction(s, s->fragment_start[2],
1076             s->fragment_width / 2, s->fragment_height / 2);
1077     }
1078
1079     /* fetch the AC table indexes */
1080     ac_y_table = get_bits(gb, 4);
1081     ac_c_table = get_bits(gb, 4);
1082
1083     /* build tables of AC VLC tables */
1084     for (i = 1; i <= 5; i++) {
1085         y_tables[i] = &s->ac_vlc_1[ac_y_table];
1086         c_tables[i] = &s->ac_vlc_1[ac_c_table];
1087     }
1088     for (i = 6; i <= 14; i++) {
1089         y_tables[i] = &s->ac_vlc_2[ac_y_table];
1090         c_tables[i] = &s->ac_vlc_2[ac_c_table];
1091     }
1092     for (i = 15; i <= 27; i++) {
1093         y_tables[i] = &s->ac_vlc_3[ac_y_table];
1094         c_tables[i] = &s->ac_vlc_3[ac_c_table];
1095     }
1096     for (i = 28; i <= 63; i++) {
1097         y_tables[i] = &s->ac_vlc_4[ac_y_table];
1098         c_tables[i] = &s->ac_vlc_4[ac_c_table];
1099     }
1100
1101     /* decode all AC coefficents */
1102     for (i = 1; i <= 63; i++) {
1103         if (s->fragment_list_y_head != -1)
1104             residual_eob_run = unpack_vlcs(s, gb, y_tables[i], i,
1105                 1, residual_eob_run);
1106
1107         if (s->fragment_list_c_head != -1)
1108             residual_eob_run = unpack_vlcs(s, gb, c_tables[i], i,
1109                 0, residual_eob_run);
1110     }
1111
1112     return 0;
1113 }
1114
1115 /*
1116  * This function reverses the DC prediction for each coded fragment in
1117  * the frame. Much of this function is adapted directly from the original
1118  * VP3 source code.
1119  */
1120 #define COMPATIBLE_FRAME(x) \
1121   (compatible_frame[s->all_fragments[x].coding_method] == current_frame_type)
1122 #define DC_COEFF(u) (s->coeffs[u].index ? 0 : s->coeffs[u].coeff) //FIXME do somethin to simplify this
1123
1124 static void reverse_dc_prediction(Vp3DecodeContext *s,
1125                                   int first_fragment,
1126                                   int fragment_width,
1127                                   int fragment_height)
1128 {
1129
1130 #define PUL 8
1131 #define PU 4
1132 #define PUR 2
1133 #define PL 1
1134
1135     int x, y;
1136     int i = first_fragment;
1137
1138     int predicted_dc;
1139
1140     /* DC values for the left, up-left, up, and up-right fragments */
1141     int vl, vul, vu, vur;
1142
1143     /* indexes for the left, up-left, up, and up-right fragments */
1144     int l, ul, u, ur;
1145
1146     /*
1147      * The 6 fields mean:
1148      *   0: up-left multiplier
1149      *   1: up multiplier
1150      *   2: up-right multiplier
1151      *   3: left multiplier
1152      */
1153     static const int predictor_transform[16][4] = {
1154         {  0,  0,  0,  0},
1155         {  0,  0,  0,128},        // PL
1156         {  0,  0,128,  0},        // PUR
1157         {  0,  0, 53, 75},        // PUR|PL
1158         {  0,128,  0,  0},        // PU
1159         {  0, 64,  0, 64},        // PU|PL
1160         {  0,128,  0,  0},        // PU|PUR
1161         {  0,  0, 53, 75},        // PU|PUR|PL
1162         {128,  0,  0,  0},        // PUL
1163         {  0,  0,  0,128},        // PUL|PL
1164         { 64,  0, 64,  0},        // PUL|PUR
1165         {  0,  0, 53, 75},        // PUL|PUR|PL
1166         {  0,128,  0,  0},        // PUL|PU
1167        {-104,116,  0,116},        // PUL|PU|PL
1168         { 24, 80, 24,  0},        // PUL|PU|PUR
1169        {-104,116,  0,116}         // PUL|PU|PUR|PL
1170     };
1171
1172     /* This table shows which types of blocks can use other blocks for
1173      * prediction. For example, INTRA is the only mode in this table to
1174      * have a frame number of 0. That means INTRA blocks can only predict
1175      * from other INTRA blocks. There are 2 golden frame coding types;
1176      * blocks encoding in these modes can only predict from other blocks
1177      * that were encoded with these 1 of these 2 modes. */
1178     static const unsigned char compatible_frame[9] = {
1179         1,    /* MODE_INTER_NO_MV */
1180         0,    /* MODE_INTRA */
1181         1,    /* MODE_INTER_PLUS_MV */
1182         1,    /* MODE_INTER_LAST_MV */
1183         1,    /* MODE_INTER_PRIOR_MV */
1184         2,    /* MODE_USING_GOLDEN */
1185         2,    /* MODE_GOLDEN_MV */
1186         1,    /* MODE_INTER_FOUR_MV */
1187         3     /* MODE_COPY */
1188     };
1189     int current_frame_type;
1190
1191     /* there is a last DC predictor for each of the 3 frame types */
1192     short last_dc[3];
1193
1194     int transform = 0;
1195
1196     vul = vu = vur = vl = 0;
1197     last_dc[0] = last_dc[1] = last_dc[2] = 0;
1198
1199     /* for each fragment row... */
1200     for (y = 0; y < fragment_height; y++) {
1201
1202         /* for each fragment in a row... */
1203         for (x = 0; x < fragment_width; x++, i++) {
1204
1205             /* reverse prediction if this block was coded */
1206             if (s->all_fragments[i].coding_method != MODE_COPY) {
1207
1208                 current_frame_type =
1209                     compatible_frame[s->all_fragments[i].coding_method];
1210
1211                 transform= 0;
1212                 if(x){
1213                     l= i-1;
1214                     vl = DC_COEFF(l);
1215                     if(COMPATIBLE_FRAME(l))
1216                         transform |= PL;
1217                 }
1218                 if(y){
1219                     u= i-fragment_width;
1220                     vu = DC_COEFF(u);
1221                     if(COMPATIBLE_FRAME(u))
1222                         transform |= PU;
1223                     if(x){
1224                         ul= i-fragment_width-1;
1225                         vul = DC_COEFF(ul);
1226                         if(COMPATIBLE_FRAME(ul))
1227                             transform |= PUL;
1228                     }
1229                     if(x + 1 < fragment_width){
1230                         ur= i-fragment_width+1;
1231                         vur = DC_COEFF(ur);
1232                         if(COMPATIBLE_FRAME(ur))
1233                             transform |= PUR;
1234                     }
1235                 }
1236
1237                 if (transform == 0) {
1238
1239                     /* if there were no fragments to predict from, use last
1240                      * DC saved */
1241                     predicted_dc = last_dc[current_frame_type];
1242                 } else {
1243
1244                     /* apply the appropriate predictor transform */
1245                     predicted_dc =
1246                         (predictor_transform[transform][0] * vul) +
1247                         (predictor_transform[transform][1] * vu) +
1248                         (predictor_transform[transform][2] * vur) +
1249                         (predictor_transform[transform][3] * vl);
1250
1251                     predicted_dc /= 128;
1252
1253                     /* check for outranging on the [ul u l] and
1254                      * [ul u ur l] predictors */
1255                     if ((transform == 15) || (transform == 13)) {
1256                         if (FFABS(predicted_dc - vu) > 128)
1257                             predicted_dc = vu;
1258                         else if (FFABS(predicted_dc - vl) > 128)
1259                             predicted_dc = vl;
1260                         else if (FFABS(predicted_dc - vul) > 128)
1261                             predicted_dc = vul;
1262                     }
1263                 }
1264
1265                 /* at long last, apply the predictor */
1266                 if(s->coeffs[i].index){
1267                     *s->next_coeff= s->coeffs[i];
1268                     s->coeffs[i].index=0;
1269                     s->coeffs[i].coeff=0;
1270                     s->coeffs[i].next= s->next_coeff++;
1271                 }
1272                 s->coeffs[i].coeff += predicted_dc;
1273                 /* save the DC */
1274                 last_dc[current_frame_type] = DC_COEFF(i);
1275                 if(DC_COEFF(i) && !(s->coeff_counts[i]&127)){
1276                     s->coeff_counts[i]= 129;
1277 //                    s->all_fragments[i].next_coeff= s->next_coeff;
1278                     s->coeffs[i].next= s->next_coeff;
1279                     (s->next_coeff++)->next=NULL;
1280                 }
1281             }
1282         }
1283     }
1284 }
1285
1286 static void apply_loop_filter(Vp3DecodeContext *s, int plane, int ystart, int yend)
1287 {
1288     int x, y;
1289     int *bounding_values= s->bounding_values_array+127;
1290
1291     int width           = s->fragment_width  >> !!plane;
1292     int height          = s->fragment_height >> !!plane;
1293     int fragment        = s->fragment_start        [plane] + ystart * width;
1294     int stride          = s->current_frame.linesize[plane];
1295     uint8_t *plane_data = s->current_frame.data    [plane];
1296     if (!s->flipped_image) stride = -stride;
1297     plane_data += s->data_offset[plane] + 8*ystart*stride;
1298
1299     for (y = ystart; y < yend; y++) {
1300
1301         for (x = 0; x < width; x++) {
1302             /* This code basically just deblocks on the edges of coded blocks.
1303              * However, it has to be much more complicated because of the
1304              * braindamaged deblock ordering used in VP3/Theora. Order matters
1305              * because some pixels get filtered twice. */
1306             if( s->all_fragments[fragment].coding_method != MODE_COPY )
1307             {
1308                 /* do not perform left edge filter for left columns frags */
1309                 if (x > 0) {
1310                     s->dsp.vp3_h_loop_filter(
1311                         plane_data + 8*x,
1312                         stride, bounding_values);
1313                 }
1314
1315                 /* do not perform top edge filter for top row fragments */
1316                 if (y > 0) {
1317                     s->dsp.vp3_v_loop_filter(
1318                         plane_data + 8*x,
1319                         stride, bounding_values);
1320                 }
1321
1322                 /* do not perform right edge filter for right column
1323                  * fragments or if right fragment neighbor is also coded
1324                  * in this frame (it will be filtered in next iteration) */
1325                 if ((x < width - 1) &&
1326                     (s->all_fragments[fragment + 1].coding_method == MODE_COPY)) {
1327                     s->dsp.vp3_h_loop_filter(
1328                         plane_data + 8*x + 8,
1329                         stride, bounding_values);
1330                 }
1331
1332                 /* do not perform bottom edge filter for bottom row
1333                  * fragments or if bottom fragment neighbor is also coded
1334                  * in this frame (it will be filtered in the next row) */
1335                 if ((y < height - 1) &&
1336                     (s->all_fragments[fragment + width].coding_method == MODE_COPY)) {
1337                     s->dsp.vp3_v_loop_filter(
1338                         plane_data + 8*x + 8*stride,
1339                         stride, bounding_values);
1340                 }
1341             }
1342
1343             fragment++;
1344         }
1345         plane_data += 8*stride;
1346     }
1347 }
1348
1349 /**
1350  * called when all pixels up to row y are complete
1351  */
1352 static void vp3_draw_horiz_band(Vp3DecodeContext *s, int y)
1353 {
1354     int h, cy;
1355     int offset[4];
1356
1357     if(s->avctx->draw_horiz_band==NULL)
1358         return;
1359
1360     h= y - s->last_slice_end;
1361     y -= h;
1362
1363     if (!s->flipped_image) {
1364         if (y == 0)
1365             h -= s->height - s->avctx->height;  // account for non-mod16
1366         y = s->height - y - h;
1367     }
1368
1369     cy = y >> 1;
1370     offset[0] = s->current_frame.linesize[0]*y;
1371     offset[1] = s->current_frame.linesize[1]*cy;
1372     offset[2] = s->current_frame.linesize[2]*cy;
1373     offset[3] = 0;
1374
1375     emms_c();
1376     s->avctx->draw_horiz_band(s->avctx, &s->current_frame, offset, y, 3, h);
1377     s->last_slice_end= y + h;
1378 }
1379
1380 /*
1381  * Perform the final rendering for a particular slice of data.
1382  * The slice number ranges from 0..(macroblock_height - 1).
1383  */
1384 static void render_slice(Vp3DecodeContext *s, int slice)
1385 {
1386     int x;
1387     int16_t *dequantizer;
1388     LOCAL_ALIGNED_16(DCTELEM, block, [64]);
1389     int motion_x = 0xdeadbeef, motion_y = 0xdeadbeef;
1390     int motion_halfpel_index;
1391     uint8_t *motion_source;
1392     int plane;
1393
1394     if (slice >= s->macroblock_height)
1395         return;
1396
1397     for (plane = 0; plane < 3; plane++) {
1398         uint8_t *output_plane = s->current_frame.data    [plane] + s->data_offset[plane];
1399         uint8_t *  last_plane = s->   last_frame.data    [plane] + s->data_offset[plane];
1400         uint8_t *golden_plane = s-> golden_frame.data    [plane] + s->data_offset[plane];
1401         int stride            = s->current_frame.linesize[plane];
1402         int plane_width       = s->width  >> !!plane;
1403         int plane_height      = s->height >> !!plane;
1404         int y =        slice *  FRAGMENT_PIXELS << !plane ;
1405         int slice_height = y + (FRAGMENT_PIXELS << !plane);
1406         int i = s->fragment_start[plane] + (y>>3)*(s->fragment_width>>!!plane);
1407
1408         if (!s->flipped_image) stride = -stride;
1409         if (CONFIG_GRAY && plane && (s->avctx->flags & CODEC_FLAG_GRAY))
1410             continue;
1411
1412
1413         if(FFABS(stride) > 2048)
1414             return; //various tables are fixed size
1415
1416         /* for each fragment row in the slice (both of them)... */
1417         for (; y < slice_height; y += 8) {
1418
1419             /* for each fragment in a row... */
1420             for (x = 0; x < plane_width; x += 8, i++) {
1421                 int first_pixel = y*stride + x;
1422
1423                 if ((i < 0) || (i >= s->fragment_count)) {
1424                     av_log(s->avctx, AV_LOG_ERROR, "  vp3:render_slice(): bad fragment number (%d)\n", i);
1425                     return;
1426                 }
1427
1428                 /* transform if this block was coded */
1429                 if (s->all_fragments[i].coding_method != MODE_COPY) {
1430
1431                     if ((s->all_fragments[i].coding_method == MODE_USING_GOLDEN) ||
1432                         (s->all_fragments[i].coding_method == MODE_GOLDEN_MV))
1433                         motion_source= golden_plane;
1434                     else
1435                         motion_source= last_plane;
1436
1437                     motion_source += first_pixel;
1438                     motion_halfpel_index = 0;
1439
1440                     /* sort out the motion vector if this fragment is coded
1441                      * using a motion vector method */
1442                     if ((s->all_fragments[i].coding_method > MODE_INTRA) &&
1443                         (s->all_fragments[i].coding_method != MODE_USING_GOLDEN)) {
1444                         int src_x, src_y;
1445                         motion_x = s->all_fragments[i].motion_x;
1446                         motion_y = s->all_fragments[i].motion_y;
1447                         if(plane){
1448                             motion_x= (motion_x>>1) | (motion_x&1);
1449                             motion_y= (motion_y>>1) | (motion_y&1);
1450                         }
1451
1452                         src_x= (motion_x>>1) + x;
1453                         src_y= (motion_y>>1) + y;
1454                         if ((motion_x == 127) || (motion_y == 127))
1455                             av_log(s->avctx, AV_LOG_ERROR, " help! got invalid motion vector! (%X, %X)\n", motion_x, motion_y);
1456
1457                         motion_halfpel_index = motion_x & 0x01;
1458                         motion_source += (motion_x >> 1);
1459
1460                         motion_halfpel_index |= (motion_y & 0x01) << 1;
1461                         motion_source += ((motion_y >> 1) * stride);
1462
1463                         if(src_x<0 || src_y<0 || src_x + 9 >= plane_width || src_y + 9 >= plane_height){
1464                             uint8_t *temp= s->edge_emu_buffer;
1465                             if(stride<0) temp -= 9*stride;
1466                             else temp += 9*stride;
1467
1468                             ff_emulated_edge_mc(temp, motion_source, stride, 9, 9, src_x, src_y, plane_width, plane_height);
1469                             motion_source= temp;
1470                         }
1471                     }
1472
1473
1474                     /* first, take care of copying a block from either the
1475                      * previous or the golden frame */
1476                     if (s->all_fragments[i].coding_method != MODE_INTRA) {
1477                         /* Note, it is possible to implement all MC cases with
1478                            put_no_rnd_pixels_l2 which would look more like the
1479                            VP3 source but this would be slower as
1480                            put_no_rnd_pixels_tab is better optimzed */
1481                         if(motion_halfpel_index != 3){
1482                             s->dsp.put_no_rnd_pixels_tab[1][motion_halfpel_index](
1483                                 output_plane + first_pixel,
1484                                 motion_source, stride, 8);
1485                         }else{
1486                             int d= (motion_x ^ motion_y)>>31; // d is 0 if motion_x and _y have the same sign, else -1
1487                             s->dsp.put_no_rnd_pixels_l2[1](
1488                                 output_plane + first_pixel,
1489                                 motion_source - d,
1490                                 motion_source + stride + 1 + d,
1491                                 stride, 8);
1492                         }
1493                         dequantizer = s->qmat[s->all_fragments[i].qpi][1][plane];
1494                     }else{
1495                         dequantizer = s->qmat[s->all_fragments[i].qpi][0][plane];
1496                     }
1497
1498                     /* dequantize the DCT coefficients */
1499                     if(s->avctx->idct_algo==FF_IDCT_VP3){
1500                         Coeff *coeff= s->coeffs + i;
1501                         s->dsp.clear_block(block);
1502                         while(coeff->next){
1503                             block[coeff->index]= coeff->coeff * dequantizer[coeff->index];
1504                             coeff= coeff->next;
1505                         }
1506                     }else{
1507                         Coeff *coeff= s->coeffs + i;
1508                         s->dsp.clear_block(block);
1509                         while(coeff->next){
1510                             block[coeff->index]= (coeff->coeff * dequantizer[coeff->index] + 2)>>2;
1511                             coeff= coeff->next;
1512                         }
1513                     }
1514
1515                     /* invert DCT and place (or add) in final output */
1516
1517                     if (s->all_fragments[i].coding_method == MODE_INTRA) {
1518                         if(s->avctx->idct_algo!=FF_IDCT_VP3)
1519                             block[0] += 128<<3;
1520                         s->dsp.idct_put(
1521                             output_plane + first_pixel,
1522                             stride,
1523                             block);
1524                     } else {
1525                         s->dsp.idct_add(
1526                             output_plane + first_pixel,
1527                             stride,
1528                             block);
1529                     }
1530                 } else {
1531
1532                     /* copy directly from the previous frame */
1533                     s->dsp.put_pixels_tab[1][0](
1534                         output_plane + first_pixel,
1535                         last_plane + first_pixel,
1536                         stride, 8);
1537
1538                 }
1539             }
1540             // Filter the previous block row. We can't filter the current row yet
1541             // since it needs pixels from the next row
1542             if (y > 0)
1543                 apply_loop_filter(s, plane, (y>>3)-1, (y>>3));
1544         }
1545     }
1546
1547      /* this looks like a good place for slice dispatch... */
1548      /* algorithm:
1549       *   if (slice == s->macroblock_height - 1)
1550       *     dispatch (both last slice & 2nd-to-last slice);
1551       *   else if (slice > 0)
1552       *     dispatch (slice - 1);
1553       */
1554
1555     // now that we've filtered the last rows, they're safe to display
1556     if (slice)
1557         vp3_draw_horiz_band(s, 16*slice);
1558 }
1559
1560 /*
1561  * This is the ffmpeg/libavcodec API init function.
1562  */
1563 static av_cold int vp3_decode_init(AVCodecContext *avctx)
1564 {
1565     Vp3DecodeContext *s = avctx->priv_data;
1566     int i, inter, plane;
1567     int c_width;
1568     int c_height;
1569     int y_superblock_count;
1570     int c_superblock_count;
1571
1572     if (avctx->codec_tag == MKTAG('V','P','3','0'))
1573         s->version = 0;
1574     else
1575         s->version = 1;
1576
1577     s->avctx = avctx;
1578     s->width = FFALIGN(avctx->width, 16);
1579     s->height = FFALIGN(avctx->height, 16);
1580     avctx->pix_fmt = PIX_FMT_YUV420P;
1581     avctx->chroma_sample_location = AVCHROMA_LOC_CENTER;
1582     if(avctx->idct_algo==FF_IDCT_AUTO)
1583         avctx->idct_algo=FF_IDCT_VP3;
1584     dsputil_init(&s->dsp, avctx);
1585
1586     ff_init_scantable(s->dsp.idct_permutation, &s->scantable, ff_zigzag_direct);
1587
1588     /* initialize to an impossible value which will force a recalculation
1589      * in the first frame decode */
1590     for (i = 0; i < 3; i++)
1591         s->qps[i] = -1;
1592
1593     s->y_superblock_width = (s->width + 31) / 32;
1594     s->y_superblock_height = (s->height + 31) / 32;
1595     y_superblock_count = s->y_superblock_width * s->y_superblock_height;
1596
1597     /* work out the dimensions for the C planes */
1598     c_width = s->width / 2;
1599     c_height = s->height / 2;
1600     s->c_superblock_width = (c_width + 31) / 32;
1601     s->c_superblock_height = (c_height + 31) / 32;
1602     c_superblock_count = s->c_superblock_width * s->c_superblock_height;
1603
1604     s->superblock_count = y_superblock_count + (c_superblock_count * 2);
1605     s->u_superblock_start = y_superblock_count;
1606     s->v_superblock_start = s->u_superblock_start + c_superblock_count;
1607     s->superblock_coding = av_malloc(s->superblock_count);
1608
1609     s->macroblock_width = (s->width + 15) / 16;
1610     s->macroblock_height = (s->height + 15) / 16;
1611     s->macroblock_count = s->macroblock_width * s->macroblock_height;
1612
1613     s->fragment_width = s->width / FRAGMENT_PIXELS;
1614     s->fragment_height = s->height / FRAGMENT_PIXELS;
1615
1616     /* fragment count covers all 8x8 blocks for all 3 planes */
1617     s->fragment_count = s->fragment_width * s->fragment_height * 3 / 2;
1618     s->fragment_start[1] = s->fragment_width * s->fragment_height;
1619     s->fragment_start[2] = s->fragment_width * s->fragment_height * 5 / 4;
1620
1621     s->all_fragments = av_malloc(s->fragment_count * sizeof(Vp3Fragment));
1622     s->coeff_counts = av_malloc(s->fragment_count * sizeof(*s->coeff_counts));
1623     s->coeffs = av_malloc(s->fragment_count * sizeof(Coeff) * 65);
1624     s->coded_fragment_list = av_malloc(s->fragment_count * sizeof(int));
1625     s->fast_fragment_list = av_malloc(s->fragment_count * sizeof(int));
1626     if (!s->superblock_coding || !s->all_fragments || !s->coeff_counts ||
1627         !s->coeffs || !s->coded_fragment_list || !s->fast_fragment_list) {
1628         vp3_decode_end(avctx);
1629         return -1;
1630     }
1631
1632     if (!s->theora_tables)
1633     {
1634         for (i = 0; i < 64; i++) {
1635             s->coded_dc_scale_factor[i] = vp31_dc_scale_factor[i];
1636             s->coded_ac_scale_factor[i] = vp31_ac_scale_factor[i];
1637             s->base_matrix[0][i] = vp31_intra_y_dequant[i];
1638             s->base_matrix[1][i] = vp31_intra_c_dequant[i];
1639             s->base_matrix[2][i] = vp31_inter_dequant[i];
1640             s->filter_limit_values[i] = vp31_filter_limit_values[i];
1641         }
1642
1643         for(inter=0; inter<2; inter++){
1644             for(plane=0; plane<3; plane++){
1645                 s->qr_count[inter][plane]= 1;
1646                 s->qr_size [inter][plane][0]= 63;
1647                 s->qr_base [inter][plane][0]=
1648                 s->qr_base [inter][plane][1]= 2*inter + (!!plane)*!inter;
1649             }
1650         }
1651
1652         /* init VLC tables */
1653         for (i = 0; i < 16; i++) {
1654
1655             /* DC histograms */
1656             init_vlc(&s->dc_vlc[i], 5, 32,
1657                 &dc_bias[i][0][1], 4, 2,
1658                 &dc_bias[i][0][0], 4, 2, 0);
1659
1660             /* group 1 AC histograms */
1661             init_vlc(&s->ac_vlc_1[i], 5, 32,
1662                 &ac_bias_0[i][0][1], 4, 2,
1663                 &ac_bias_0[i][0][0], 4, 2, 0);
1664
1665             /* group 2 AC histograms */
1666             init_vlc(&s->ac_vlc_2[i], 5, 32,
1667                 &ac_bias_1[i][0][1], 4, 2,
1668                 &ac_bias_1[i][0][0], 4, 2, 0);
1669
1670             /* group 3 AC histograms */
1671             init_vlc(&s->ac_vlc_3[i], 5, 32,
1672                 &ac_bias_2[i][0][1], 4, 2,
1673                 &ac_bias_2[i][0][0], 4, 2, 0);
1674
1675             /* group 4 AC histograms */
1676             init_vlc(&s->ac_vlc_4[i], 5, 32,
1677                 &ac_bias_3[i][0][1], 4, 2,
1678                 &ac_bias_3[i][0][0], 4, 2, 0);
1679         }
1680     } else {
1681         for (i = 0; i < 16; i++) {
1682
1683             /* DC histograms */
1684             if (init_vlc(&s->dc_vlc[i], 5, 32,
1685                 &s->huffman_table[i][0][1], 4, 2,
1686                 &s->huffman_table[i][0][0], 4, 2, 0) < 0)
1687                 goto vlc_fail;
1688
1689             /* group 1 AC histograms */
1690             if (init_vlc(&s->ac_vlc_1[i], 5, 32,
1691                 &s->huffman_table[i+16][0][1], 4, 2,
1692                 &s->huffman_table[i+16][0][0], 4, 2, 0) < 0)
1693                 goto vlc_fail;
1694
1695             /* group 2 AC histograms */
1696             if (init_vlc(&s->ac_vlc_2[i], 5, 32,
1697                 &s->huffman_table[i+16*2][0][1], 4, 2,
1698                 &s->huffman_table[i+16*2][0][0], 4, 2, 0) < 0)
1699                 goto vlc_fail;
1700
1701             /* group 3 AC histograms */
1702             if (init_vlc(&s->ac_vlc_3[i], 5, 32,
1703                 &s->huffman_table[i+16*3][0][1], 4, 2,
1704                 &s->huffman_table[i+16*3][0][0], 4, 2, 0) < 0)
1705                 goto vlc_fail;
1706
1707             /* group 4 AC histograms */
1708             if (init_vlc(&s->ac_vlc_4[i], 5, 32,
1709                 &s->huffman_table[i+16*4][0][1], 4, 2,
1710                 &s->huffman_table[i+16*4][0][0], 4, 2, 0) < 0)
1711                 goto vlc_fail;
1712         }
1713     }
1714
1715     init_vlc(&s->superblock_run_length_vlc, 6, 34,
1716         &superblock_run_length_vlc_table[0][1], 4, 2,
1717         &superblock_run_length_vlc_table[0][0], 4, 2, 0);
1718
1719     init_vlc(&s->fragment_run_length_vlc, 5, 30,
1720         &fragment_run_length_vlc_table[0][1], 4, 2,
1721         &fragment_run_length_vlc_table[0][0], 4, 2, 0);
1722
1723     init_vlc(&s->mode_code_vlc, 3, 8,
1724         &mode_code_vlc_table[0][1], 2, 1,
1725         &mode_code_vlc_table[0][0], 2, 1, 0);
1726
1727     init_vlc(&s->motion_vector_vlc, 6, 63,
1728         &motion_vector_vlc_table[0][1], 2, 1,
1729         &motion_vector_vlc_table[0][0], 2, 1, 0);
1730
1731     /* work out the block mapping tables */
1732     s->superblock_fragments = av_malloc(s->superblock_count * 16 * sizeof(int));
1733     s->macroblock_coding = av_malloc(s->macroblock_count + 1);
1734     if (!s->superblock_fragments || !s->macroblock_coding) {
1735         vp3_decode_end(avctx);
1736         return -1;
1737     }
1738     init_block_mapping(s);
1739
1740     for (i = 0; i < 3; i++) {
1741         s->current_frame.data[i] = NULL;
1742         s->last_frame.data[i] = NULL;
1743         s->golden_frame.data[i] = NULL;
1744     }
1745
1746     return 0;
1747
1748 vlc_fail:
1749     av_log(avctx, AV_LOG_FATAL, "Invalid huffman table\n");
1750     return -1;
1751 }
1752
1753 /*
1754  * This is the ffmpeg/libavcodec API frame decode function.
1755  */
1756 static int vp3_decode_frame(AVCodecContext *avctx,
1757                             void *data, int *data_size,
1758                             AVPacket *avpkt)
1759 {
1760     const uint8_t *buf = avpkt->data;
1761     int buf_size = avpkt->size;
1762     Vp3DecodeContext *s = avctx->priv_data;
1763     GetBitContext gb;
1764     static int counter = 0;
1765     int i;
1766
1767     init_get_bits(&gb, buf, buf_size * 8);
1768
1769     if (s->theora && get_bits1(&gb))
1770     {
1771         av_log(avctx, AV_LOG_ERROR, "Header packet passed to frame decoder, skipping\n");
1772         return -1;
1773     }
1774
1775     s->keyframe = !get_bits1(&gb);
1776     if (!s->theora)
1777         skip_bits(&gb, 1);
1778     for (i = 0; i < 3; i++)
1779         s->last_qps[i] = s->qps[i];
1780
1781     s->nqps=0;
1782     do{
1783         s->qps[s->nqps++]= get_bits(&gb, 6);
1784     } while(s->theora >= 0x030200 && s->nqps<3 && get_bits1(&gb));
1785     for (i = s->nqps; i < 3; i++)
1786         s->qps[i] = -1;
1787
1788     if (s->avctx->debug & FF_DEBUG_PICT_INFO)
1789         av_log(s->avctx, AV_LOG_INFO, " VP3 %sframe #%d: Q index = %d\n",
1790             s->keyframe?"key":"", counter, s->qps[0]);
1791     counter++;
1792
1793     if (s->qps[0] != s->last_qps[0])
1794         init_loop_filter(s);
1795
1796     for (i = 0; i < s->nqps; i++)
1797         // reinit all dequantizers if the first one changed, because
1798         // the DC of the first quantizer must be used for all matrices
1799         if (s->qps[i] != s->last_qps[i] || s->qps[0] != s->last_qps[0])
1800             init_dequantizer(s, i);
1801
1802     if (avctx->skip_frame >= AVDISCARD_NONKEY && !s->keyframe)
1803         return buf_size;
1804
1805     if (s->keyframe) {
1806         if (!s->theora)
1807         {
1808             skip_bits(&gb, 4); /* width code */
1809             skip_bits(&gb, 4); /* height code */
1810             if (s->version)
1811             {
1812                 s->version = get_bits(&gb, 5);
1813                 if (counter == 1)
1814                     av_log(s->avctx, AV_LOG_DEBUG, "VP version: %d\n", s->version);
1815             }
1816         }
1817         if (s->version || s->theora)
1818         {
1819                 if (get_bits1(&gb))
1820                     av_log(s->avctx, AV_LOG_ERROR, "Warning, unsupported keyframe coding type?!\n");
1821             skip_bits(&gb, 2); /* reserved? */
1822         }
1823
1824         if (s->last_frame.data[0] == s->golden_frame.data[0]) {
1825             if (s->golden_frame.data[0])
1826                 avctx->release_buffer(avctx, &s->golden_frame);
1827             s->last_frame= s->golden_frame; /* ensure that we catch any access to this released frame */
1828         } else {
1829             if (s->golden_frame.data[0])
1830                 avctx->release_buffer(avctx, &s->golden_frame);
1831             if (s->last_frame.data[0])
1832                 avctx->release_buffer(avctx, &s->last_frame);
1833         }
1834
1835         s->golden_frame.reference = 3;
1836         if(avctx->get_buffer(avctx, &s->golden_frame) < 0) {
1837             av_log(s->avctx, AV_LOG_ERROR, "vp3: get_buffer() failed\n");
1838             return -1;
1839         }
1840
1841         /* golden frame is also the current frame */
1842         s->current_frame= s->golden_frame;
1843     } else {
1844         /* allocate a new current frame */
1845         s->current_frame.reference = 3;
1846         if (!s->golden_frame.data[0]) {
1847             av_log(s->avctx, AV_LOG_ERROR, "vp3: first frame not a keyframe\n");
1848             return -1;
1849         }
1850         if(avctx->get_buffer(avctx, &s->current_frame) < 0) {
1851             av_log(s->avctx, AV_LOG_ERROR, "vp3: get_buffer() failed\n");
1852             return -1;
1853         }
1854     }
1855
1856     s->current_frame.qscale_table= s->qscale_table; //FIXME allocate individual tables per AVFrame
1857     s->current_frame.qstride= 0;
1858
1859     init_frame(s, &gb);
1860
1861     if (unpack_superblocks(s, &gb)){
1862         av_log(s->avctx, AV_LOG_ERROR, "error in unpack_superblocks\n");
1863         return -1;
1864     }
1865     if (unpack_modes(s, &gb)){
1866         av_log(s->avctx, AV_LOG_ERROR, "error in unpack_modes\n");
1867         return -1;
1868     }
1869     if (unpack_vectors(s, &gb)){
1870         av_log(s->avctx, AV_LOG_ERROR, "error in unpack_vectors\n");
1871         return -1;
1872     }
1873     if (unpack_block_qpis(s, &gb)){
1874         av_log(s->avctx, AV_LOG_ERROR, "error in unpack_block_qpis\n");
1875         return -1;
1876     }
1877     if (unpack_dct_coeffs(s, &gb)){
1878         av_log(s->avctx, AV_LOG_ERROR, "error in unpack_dct_coeffs\n");
1879         return -1;
1880     }
1881
1882     for (i = 0; i < 3; i++) {
1883         if (s->flipped_image)
1884             s->data_offset[i] = 0;
1885         else
1886             s->data_offset[i] = ((s->height>>!!i)-1) * s->current_frame.linesize[i];
1887     }
1888
1889     s->last_slice_end = 0;
1890     for (i = 0; i < s->macroblock_height; i++)
1891         render_slice(s, i);
1892
1893     // filter the last row
1894     for (i = 0; i < 3; i++) {
1895         int row = (s->height >> (3+!!i)) - 1;
1896         apply_loop_filter(s, i, row, row+1);
1897     }
1898     vp3_draw_horiz_band(s, s->height);
1899
1900     *data_size=sizeof(AVFrame);
1901     *(AVFrame*)data= s->current_frame;
1902
1903     /* release the last frame, if it is allocated and if it is not the
1904      * golden frame */
1905     if ((s->last_frame.data[0]) &&
1906         (s->last_frame.data[0] != s->golden_frame.data[0]))
1907         avctx->release_buffer(avctx, &s->last_frame);
1908
1909     /* shuffle frames (last = current) */
1910     s->last_frame= s->current_frame;
1911     s->current_frame.data[0]= NULL; /* ensure that we catch any access to this released frame */
1912
1913     return buf_size;
1914 }
1915
1916 /*
1917  * This is the ffmpeg/libavcodec API module cleanup function.
1918  */
1919 static av_cold int vp3_decode_end(AVCodecContext *avctx)
1920 {
1921     Vp3DecodeContext *s = avctx->priv_data;
1922     int i;
1923
1924     av_free(s->superblock_coding);
1925     av_free(s->all_fragments);
1926     av_free(s->coeff_counts);
1927     av_free(s->coeffs);
1928     av_free(s->coded_fragment_list);
1929     av_free(s->fast_fragment_list);
1930     av_free(s->superblock_fragments);
1931     av_free(s->macroblock_coding);
1932
1933     for (i = 0; i < 16; i++) {
1934         free_vlc(&s->dc_vlc[i]);
1935         free_vlc(&s->ac_vlc_1[i]);
1936         free_vlc(&s->ac_vlc_2[i]);
1937         free_vlc(&s->ac_vlc_3[i]);
1938         free_vlc(&s->ac_vlc_4[i]);
1939     }
1940
1941     free_vlc(&s->superblock_run_length_vlc);
1942     free_vlc(&s->fragment_run_length_vlc);
1943     free_vlc(&s->mode_code_vlc);
1944     free_vlc(&s->motion_vector_vlc);
1945
1946     /* release all frames */
1947     if (s->golden_frame.data[0] && s->golden_frame.data[0] != s->last_frame.data[0])
1948         avctx->release_buffer(avctx, &s->golden_frame);
1949     if (s->last_frame.data[0])
1950         avctx->release_buffer(avctx, &s->last_frame);
1951     /* no need to release the current_frame since it will always be pointing
1952      * to the same frame as either the golden or last frame */
1953
1954     return 0;
1955 }
1956
1957 static int read_huffman_tree(AVCodecContext *avctx, GetBitContext *gb)
1958 {
1959     Vp3DecodeContext *s = avctx->priv_data;
1960
1961     if (get_bits1(gb)) {
1962         int token;
1963         if (s->entries >= 32) { /* overflow */
1964             av_log(avctx, AV_LOG_ERROR, "huffman tree overflow\n");
1965             return -1;
1966         }
1967         token = get_bits(gb, 5);
1968         //av_log(avctx, AV_LOG_DEBUG, "hti %d hbits %x token %d entry : %d size %d\n", s->hti, s->hbits, token, s->entries, s->huff_code_size);
1969         s->huffman_table[s->hti][token][0] = s->hbits;
1970         s->huffman_table[s->hti][token][1] = s->huff_code_size;
1971         s->entries++;
1972     }
1973     else {
1974         if (s->huff_code_size >= 32) {/* overflow */
1975             av_log(avctx, AV_LOG_ERROR, "huffman tree overflow\n");
1976             return -1;
1977         }
1978         s->huff_code_size++;
1979         s->hbits <<= 1;
1980         if (read_huffman_tree(avctx, gb))
1981             return -1;
1982         s->hbits |= 1;
1983         if (read_huffman_tree(avctx, gb))
1984             return -1;
1985         s->hbits >>= 1;
1986         s->huff_code_size--;
1987     }
1988     return 0;
1989 }
1990
1991 #if CONFIG_THEORA_DECODER
1992 static int theora_decode_header(AVCodecContext *avctx, GetBitContext *gb)
1993 {
1994     Vp3DecodeContext *s = avctx->priv_data;
1995     int visible_width, visible_height, colorspace;
1996
1997     s->theora = get_bits_long(gb, 24);
1998     av_log(avctx, AV_LOG_DEBUG, "Theora bitstream version %X\n", s->theora);
1999
2000     /* 3.2.0 aka alpha3 has the same frame orientation as original vp3 */
2001     /* but previous versions have the image flipped relative to vp3 */
2002     if (s->theora < 0x030200)
2003     {
2004         s->flipped_image = 1;
2005         av_log(avctx, AV_LOG_DEBUG, "Old (<alpha3) Theora bitstream, flipped image\n");
2006     }
2007
2008     visible_width  = s->width  = get_bits(gb, 16) << 4;
2009     visible_height = s->height = get_bits(gb, 16) << 4;
2010
2011     if(avcodec_check_dimensions(avctx, s->width, s->height)){
2012         av_log(avctx, AV_LOG_ERROR, "Invalid dimensions (%dx%d)\n", s->width, s->height);
2013         s->width= s->height= 0;
2014         return -1;
2015     }
2016
2017     if (s->theora >= 0x030200) {
2018         visible_width  = get_bits_long(gb, 24);
2019         visible_height = get_bits_long(gb, 24);
2020
2021         skip_bits(gb, 8); /* offset x */
2022         skip_bits(gb, 8); /* offset y */
2023     }
2024
2025     skip_bits(gb, 32); /* fps numerator */
2026     skip_bits(gb, 32); /* fps denumerator */
2027     skip_bits(gb, 24); /* aspect numerator */
2028     skip_bits(gb, 24); /* aspect denumerator */
2029
2030     if (s->theora < 0x030200)
2031         skip_bits(gb, 5); /* keyframe frequency force */
2032     colorspace = get_bits(gb, 8);
2033     skip_bits(gb, 24); /* bitrate */
2034
2035     skip_bits(gb, 6); /* quality hint */
2036
2037     if (s->theora >= 0x030200)
2038     {
2039         skip_bits(gb, 5); /* keyframe frequency force */
2040         skip_bits(gb, 2); /* pixel format: 420,res,422,444 */
2041         skip_bits(gb, 3); /* reserved */
2042     }
2043
2044 //    align_get_bits(gb);
2045
2046     if (   visible_width  <= s->width  && visible_width  > s->width-16
2047         && visible_height <= s->height && visible_height > s->height-16)
2048         avcodec_set_dimensions(avctx, visible_width, visible_height);
2049     else
2050         avcodec_set_dimensions(avctx, s->width, s->height);
2051
2052     if (colorspace == 1) {
2053         avctx->color_primaries = AVCOL_PRI_BT470M;
2054     } else if (colorspace == 2) {
2055         avctx->color_primaries = AVCOL_PRI_BT470BG;
2056     }
2057     if (colorspace == 1 || colorspace == 2) {
2058         avctx->colorspace = AVCOL_SPC_BT470BG;
2059         avctx->color_trc  = AVCOL_TRC_BT709;
2060     }
2061
2062     return 0;
2063 }
2064
2065 static int theora_decode_tables(AVCodecContext *avctx, GetBitContext *gb)
2066 {
2067     Vp3DecodeContext *s = avctx->priv_data;
2068     int i, n, matrices, inter, plane;
2069
2070     if (s->theora >= 0x030200) {
2071         n = get_bits(gb, 3);
2072         /* loop filter limit values table */
2073         for (i = 0; i < 64; i++) {
2074             s->filter_limit_values[i] = get_bits(gb, n);
2075             if (s->filter_limit_values[i] > 127) {
2076                 av_log(avctx, AV_LOG_ERROR, "filter limit value too large (%i > 127), clamping\n", s->filter_limit_values[i]);
2077                 s->filter_limit_values[i] = 127;
2078             }
2079         }
2080     }
2081
2082     if (s->theora >= 0x030200)
2083         n = get_bits(gb, 4) + 1;
2084     else
2085         n = 16;
2086     /* quality threshold table */
2087     for (i = 0; i < 64; i++)
2088         s->coded_ac_scale_factor[i] = get_bits(gb, n);
2089
2090     if (s->theora >= 0x030200)
2091         n = get_bits(gb, 4) + 1;
2092     else
2093         n = 16;
2094     /* dc scale factor table */
2095     for (i = 0; i < 64; i++)
2096         s->coded_dc_scale_factor[i] = get_bits(gb, n);
2097
2098     if (s->theora >= 0x030200)
2099         matrices = get_bits(gb, 9) + 1;
2100     else
2101         matrices = 3;
2102
2103     if(matrices > 384){
2104         av_log(avctx, AV_LOG_ERROR, "invalid number of base matrixes\n");
2105         return -1;
2106     }
2107
2108     for(n=0; n<matrices; n++){
2109         for (i = 0; i < 64; i++)
2110             s->base_matrix[n][i]= get_bits(gb, 8);
2111     }
2112
2113     for (inter = 0; inter <= 1; inter++) {
2114         for (plane = 0; plane <= 2; plane++) {
2115             int newqr= 1;
2116             if (inter || plane > 0)
2117                 newqr = get_bits1(gb);
2118             if (!newqr) {
2119                 int qtj, plj;
2120                 if(inter && get_bits1(gb)){
2121                     qtj = 0;
2122                     plj = plane;
2123                 }else{
2124                     qtj= (3*inter + plane - 1) / 3;
2125                     plj= (plane + 2) % 3;
2126                 }
2127                 s->qr_count[inter][plane]= s->qr_count[qtj][plj];
2128                 memcpy(s->qr_size[inter][plane], s->qr_size[qtj][plj], sizeof(s->qr_size[0][0]));
2129                 memcpy(s->qr_base[inter][plane], s->qr_base[qtj][plj], sizeof(s->qr_base[0][0]));
2130             } else {
2131                 int qri= 0;
2132                 int qi = 0;
2133
2134                 for(;;){
2135                     i= get_bits(gb, av_log2(matrices-1)+1);
2136                     if(i>= matrices){
2137                         av_log(avctx, AV_LOG_ERROR, "invalid base matrix index\n");
2138                         return -1;
2139                     }
2140                     s->qr_base[inter][plane][qri]= i;
2141                     if(qi >= 63)
2142                         break;
2143                     i = get_bits(gb, av_log2(63-qi)+1) + 1;
2144                     s->qr_size[inter][plane][qri++]= i;
2145                     qi += i;
2146                 }
2147
2148                 if (qi > 63) {
2149                     av_log(avctx, AV_LOG_ERROR, "invalid qi %d > 63\n", qi);
2150                     return -1;
2151                 }
2152                 s->qr_count[inter][plane]= qri;
2153             }
2154         }
2155     }
2156
2157     /* Huffman tables */
2158     for (s->hti = 0; s->hti < 80; s->hti++) {
2159         s->entries = 0;
2160         s->huff_code_size = 1;
2161         if (!get_bits1(gb)) {
2162             s->hbits = 0;
2163             if(read_huffman_tree(avctx, gb))
2164                 return -1;
2165             s->hbits = 1;
2166             if(read_huffman_tree(avctx, gb))
2167                 return -1;
2168         }
2169     }
2170
2171     s->theora_tables = 1;
2172
2173     return 0;
2174 }
2175
2176 static av_cold int theora_decode_init(AVCodecContext *avctx)
2177 {
2178     Vp3DecodeContext *s = avctx->priv_data;
2179     GetBitContext gb;
2180     int ptype;
2181     uint8_t *header_start[3];
2182     int header_len[3];
2183     int i;
2184
2185     s->theora = 1;
2186
2187     if (!avctx->extradata_size)
2188     {
2189         av_log(avctx, AV_LOG_ERROR, "Missing extradata!\n");
2190         return -1;
2191     }
2192
2193     if (ff_split_xiph_headers(avctx->extradata, avctx->extradata_size,
2194                               42, header_start, header_len) < 0) {
2195         av_log(avctx, AV_LOG_ERROR, "Corrupt extradata\n");
2196         return -1;
2197     }
2198
2199   for(i=0;i<3;i++) {
2200     init_get_bits(&gb, header_start[i], header_len[i] * 8);
2201
2202     ptype = get_bits(&gb, 8);
2203
2204      if (!(ptype & 0x80))
2205      {
2206         av_log(avctx, AV_LOG_ERROR, "Invalid extradata!\n");
2207 //        return -1;
2208      }
2209
2210     // FIXME: Check for this as well.
2211     skip_bits_long(&gb, 6*8); /* "theora" */
2212
2213     switch(ptype)
2214     {
2215         case 0x80:
2216             theora_decode_header(avctx, &gb);
2217                 break;
2218         case 0x81:
2219 // FIXME: is this needed? it breaks sometimes
2220 //            theora_decode_comments(avctx, gb);
2221             break;
2222         case 0x82:
2223             if (theora_decode_tables(avctx, &gb))
2224                 return -1;
2225             break;
2226         default:
2227             av_log(avctx, AV_LOG_ERROR, "Unknown Theora config packet: %d\n", ptype&~0x80);
2228             break;
2229     }
2230     if(ptype != 0x81 && 8*header_len[i] != get_bits_count(&gb))
2231         av_log(avctx, AV_LOG_WARNING, "%d bits left in packet %X\n", 8*header_len[i] - get_bits_count(&gb), ptype);
2232     if (s->theora < 0x030200)
2233         break;
2234   }
2235
2236     return vp3_decode_init(avctx);
2237 }
2238
2239 AVCodec theora_decoder = {
2240     "theora",
2241     CODEC_TYPE_VIDEO,
2242     CODEC_ID_THEORA,
2243     sizeof(Vp3DecodeContext),
2244     theora_decode_init,
2245     NULL,
2246     vp3_decode_end,
2247     vp3_decode_frame,
2248     CODEC_CAP_DR1 | CODEC_CAP_DRAW_HORIZ_BAND,
2249     NULL,
2250     .long_name = NULL_IF_CONFIG_SMALL("Theora"),
2251 };
2252 #endif
2253
2254 AVCodec vp3_decoder = {
2255     "vp3",
2256     CODEC_TYPE_VIDEO,
2257     CODEC_ID_VP3,
2258     sizeof(Vp3DecodeContext),
2259     vp3_decode_init,
2260     NULL,
2261     vp3_decode_end,
2262     vp3_decode_frame,
2263     CODEC_CAP_DR1 | CODEC_CAP_DRAW_HORIZ_BAND,
2264     NULL,
2265     .long_name = NULL_IF_CONFIG_SMALL("On2 VP3"),
2266 };