rv34: fix invalid memory access for small video dimensions
[ffmpeg.git] / libavcodec / rv34.c
1 /*
2  * RV30/40 decoder common data
3  * Copyright (c) 2007 Mike Melanson, Konstantin Shishkov
4  *
5  * This file is part of Libav.
6  *
7  * Libav is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * Libav is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with Libav; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 /**
23  * @file
24  * RV30/40 decoder common data
25  */
26
27 #include "avcodec.h"
28 #include "dsputil.h"
29 #include "mpegvideo.h"
30 #include "golomb.h"
31 #include "mathops.h"
32 #include "rectangle.h"
33
34 #include "rv34vlc.h"
35 #include "rv34data.h"
36 #include "rv34.h"
37
38 //#define DEBUG
39
40 static inline void ZERO8x2(void* dst, int stride)
41 {
42     fill_rectangle(dst,                 1, 2, stride, 0, 4);
43     fill_rectangle(((uint8_t*)(dst))+4, 1, 2, stride, 0, 4);
44 }
45
46 /** translation of RV30/40 macroblock types to lavc ones */
47 static const int rv34_mb_type_to_lavc[12] = {
48     MB_TYPE_INTRA,
49     MB_TYPE_INTRA16x16              | MB_TYPE_SEPARATE_DC,
50     MB_TYPE_16x16   | MB_TYPE_L0,
51     MB_TYPE_8x8     | MB_TYPE_L0,
52     MB_TYPE_16x16   | MB_TYPE_L0,
53     MB_TYPE_16x16   | MB_TYPE_L1,
54     MB_TYPE_SKIP,
55     MB_TYPE_DIRECT2 | MB_TYPE_16x16,
56     MB_TYPE_16x8    | MB_TYPE_L0,
57     MB_TYPE_8x16    | MB_TYPE_L0,
58     MB_TYPE_16x16   | MB_TYPE_L0L1,
59     MB_TYPE_16x16   | MB_TYPE_L0    | MB_TYPE_SEPARATE_DC
60 };
61
62
63 static RV34VLC intra_vlcs[NUM_INTRA_TABLES], inter_vlcs[NUM_INTER_TABLES];
64
65 static int rv34_decode_mv(RV34DecContext *r, int block_type);
66
67 /**
68  * @name RV30/40 VLC generating functions
69  * @{
70  */
71
72 static const int table_offs[] = {
73       0,   1818,   3622,   4144,   4698,   5234,   5804,   5868,   5900,   5932,
74    5996,   6252,   6316,   6348,   6380,   7674,   8944,  10274,  11668,  12250,
75   14060,  15846,  16372,  16962,  17512,  18148,  18180,  18212,  18244,  18308,
76   18564,  18628,  18660,  18692,  20036,  21314,  22648,  23968,  24614,  26384,
77   28190,  28736,  29366,  29938,  30608,  30640,  30672,  30704,  30768,  31024,
78   31088,  31120,  31184,  32570,  33898,  35236,  36644,  37286,  39020,  40802,
79   41368,  42052,  42692,  43348,  43380,  43412,  43444,  43476,  43604,  43668,
80   43700,  43732,  45100,  46430,  47778,  49160,  49802,  51550,  53340,  53972,
81   54648,  55348,  55994,  56122,  56154,  56186,  56218,  56346,  56410,  56442,
82   56474,  57878,  59290,  60636,  62036,  62682,  64460,  64524,  64588,  64716,
83   64844,  66076,  67466,  67978,  68542,  69064,  69648,  70296,  72010,  72074,
84   72138,  72202,  72330,  73572,  74936,  75454,  76030,  76566,  77176,  77822,
85   79582,  79646,  79678,  79742,  79870,  81180,  82536,  83064,  83672,  84242,
86   84934,  85576,  87384,  87448,  87480,  87544,  87672,  88982,  90340,  90902,
87   91598,  92182,  92846,  93488,  95246,  95278,  95310,  95374,  95502,  96878,
88   98266,  98848,  99542, 100234, 100884, 101524, 103320, 103352, 103384, 103416,
89  103480, 104874, 106222, 106910, 107584, 108258, 108902, 109544, 111366, 111398,
90  111430, 111462, 111494, 112878, 114320, 114988, 115660, 116310, 116950, 117592
91 };
92
93 static VLC_TYPE table_data[117592][2];
94
95 /**
96  * Generate VLC from codeword lengths.
97  * @param bits   codeword lengths (zeroes are accepted)
98  * @param size   length of input data
99  * @param vlc    output VLC
100  * @param insyms symbols for input codes (NULL for default ones)
101  * @param num    VLC table number (for static initialization)
102  */
103 static void rv34_gen_vlc(const uint8_t *bits, int size, VLC *vlc, const uint8_t *insyms,
104                          const int num)
105 {
106     int i;
107     int counts[17] = {0}, codes[17];
108     uint16_t cw[MAX_VLC_SIZE], syms[MAX_VLC_SIZE];
109     uint8_t bits2[MAX_VLC_SIZE];
110     int maxbits = 0, realsize = 0;
111
112     for(i = 0; i < size; i++){
113         if(bits[i]){
114             bits2[realsize] = bits[i];
115             syms[realsize] = insyms ? insyms[i] : i;
116             realsize++;
117             maxbits = FFMAX(maxbits, bits[i]);
118             counts[bits[i]]++;
119         }
120     }
121
122     codes[0] = 0;
123     for(i = 0; i < 16; i++)
124         codes[i+1] = (codes[i] + counts[i]) << 1;
125     for(i = 0; i < realsize; i++)
126         cw[i] = codes[bits2[i]]++;
127
128     vlc->table = &table_data[table_offs[num]];
129     vlc->table_allocated = table_offs[num + 1] - table_offs[num];
130     init_vlc_sparse(vlc, FFMIN(maxbits, 9), realsize,
131                     bits2, 1, 1,
132                     cw,    2, 2,
133                     syms,  2, 2, INIT_VLC_USE_NEW_STATIC);
134 }
135
136 /**
137  * Initialize all tables.
138  */
139 static av_cold void rv34_init_tables(void)
140 {
141     int i, j, k;
142
143     for(i = 0; i < NUM_INTRA_TABLES; i++){
144         for(j = 0; j < 2; j++){
145             rv34_gen_vlc(rv34_table_intra_cbppat   [i][j], CBPPAT_VLC_SIZE,   &intra_vlcs[i].cbppattern[j],     NULL, 19*i + 0 + j);
146             rv34_gen_vlc(rv34_table_intra_secondpat[i][j], OTHERBLK_VLC_SIZE, &intra_vlcs[i].second_pattern[j], NULL, 19*i + 2 + j);
147             rv34_gen_vlc(rv34_table_intra_thirdpat [i][j], OTHERBLK_VLC_SIZE, &intra_vlcs[i].third_pattern[j],  NULL, 19*i + 4 + j);
148             for(k = 0; k < 4; k++){
149                 rv34_gen_vlc(rv34_table_intra_cbp[i][j+k*2],  CBP_VLC_SIZE,   &intra_vlcs[i].cbp[j][k],         rv34_cbp_code, 19*i + 6 + j*4 + k);
150             }
151         }
152         for(j = 0; j < 4; j++){
153             rv34_gen_vlc(rv34_table_intra_firstpat[i][j], FIRSTBLK_VLC_SIZE, &intra_vlcs[i].first_pattern[j], NULL, 19*i + 14 + j);
154         }
155         rv34_gen_vlc(rv34_intra_coeff[i], COEFF_VLC_SIZE, &intra_vlcs[i].coefficient, NULL, 19*i + 18);
156     }
157
158     for(i = 0; i < NUM_INTER_TABLES; i++){
159         rv34_gen_vlc(rv34_inter_cbppat[i], CBPPAT_VLC_SIZE, &inter_vlcs[i].cbppattern[0], NULL, i*12 + 95);
160         for(j = 0; j < 4; j++){
161             rv34_gen_vlc(rv34_inter_cbp[i][j], CBP_VLC_SIZE, &inter_vlcs[i].cbp[0][j], rv34_cbp_code, i*12 + 96 + j);
162         }
163         for(j = 0; j < 2; j++){
164             rv34_gen_vlc(rv34_table_inter_firstpat [i][j], FIRSTBLK_VLC_SIZE, &inter_vlcs[i].first_pattern[j],  NULL, i*12 + 100 + j);
165             rv34_gen_vlc(rv34_table_inter_secondpat[i][j], OTHERBLK_VLC_SIZE, &inter_vlcs[i].second_pattern[j], NULL, i*12 + 102 + j);
166             rv34_gen_vlc(rv34_table_inter_thirdpat [i][j], OTHERBLK_VLC_SIZE, &inter_vlcs[i].third_pattern[j],  NULL, i*12 + 104 + j);
167         }
168         rv34_gen_vlc(rv34_inter_coeff[i], COEFF_VLC_SIZE, &inter_vlcs[i].coefficient, NULL, i*12 + 106);
169     }
170 }
171
172 /** @} */ // vlc group
173
174 /**
175  * @name RV30/40 4x4 block decoding functions
176  * @{
177  */
178
179 /**
180  * Decode coded block pattern.
181  */
182 static int rv34_decode_cbp(GetBitContext *gb, RV34VLC *vlc, int table)
183 {
184     int pattern, code, cbp=0;
185     int ones;
186     static const int cbp_masks[3] = {0x100000, 0x010000, 0x110000};
187     static const int shifts[4] = { 0, 2, 8, 10 };
188     const int *curshift = shifts;
189     int i, t, mask;
190
191     code = get_vlc2(gb, vlc->cbppattern[table].table, 9, 2);
192     pattern = code & 0xF;
193     code >>= 4;
194
195     ones = rv34_count_ones[pattern];
196
197     for(mask = 8; mask; mask >>= 1, curshift++){
198         if(pattern & mask)
199             cbp |= get_vlc2(gb, vlc->cbp[table][ones].table, vlc->cbp[table][ones].bits, 1) << curshift[0];
200     }
201
202     for(i = 0; i < 4; i++){
203         t = modulo_three_table[code][i];
204         if(t == 1)
205             cbp |= cbp_masks[get_bits1(gb)] << i;
206         if(t == 2)
207             cbp |= cbp_masks[2] << i;
208     }
209     return cbp;
210 }
211
212 /**
213  * Get one coefficient value from the bistream and store it.
214  */
215 static inline void decode_coeff(DCTELEM *dst, int coef, int esc, GetBitContext *gb, VLC* vlc, int q)
216 {
217     if(coef){
218         if(coef == esc){
219             coef = get_vlc2(gb, vlc->table, 9, 2);
220             if(coef > 23){
221                 coef -= 23;
222                 coef = 22 + ((1 << coef) | get_bits(gb, coef));
223             }
224             coef += esc;
225         }
226         if(get_bits1(gb))
227             coef = -coef;
228         *dst = (coef*q + 8) >> 4;
229     }
230 }
231
232 /**
233  * Decode 2x2 subblock of coefficients.
234  */
235 static inline void decode_subblock(DCTELEM *dst, int code, const int is_block2, GetBitContext *gb, VLC *vlc, int q)
236 {
237     int coeffs[4];
238
239     coeffs[0] = modulo_three_table[code][0];
240     coeffs[1] = modulo_three_table[code][1];
241     coeffs[2] = modulo_three_table[code][2];
242     coeffs[3] = modulo_three_table[code][3];
243     decode_coeff(dst  , coeffs[0], 3, gb, vlc, q);
244     if(is_block2){
245         decode_coeff(dst+8, coeffs[1], 2, gb, vlc, q);
246         decode_coeff(dst+1, coeffs[2], 2, gb, vlc, q);
247     }else{
248         decode_coeff(dst+1, coeffs[1], 2, gb, vlc, q);
249         decode_coeff(dst+8, coeffs[2], 2, gb, vlc, q);
250     }
251     decode_coeff(dst+9, coeffs[3], 2, gb, vlc, q);
252 }
253
254 static inline void decode_subblock3(DCTELEM *dst, int code, const int is_block2, GetBitContext *gb, VLC *vlc,
255                                     int q_dc, int q_ac1, int q_ac2)
256 {
257     int coeffs[4];
258
259     coeffs[0] = modulo_three_table[code][0];
260     coeffs[1] = modulo_three_table[code][1];
261     coeffs[2] = modulo_three_table[code][2];
262     coeffs[3] = modulo_three_table[code][3];
263     decode_coeff(dst  , coeffs[0], 3, gb, vlc, q_dc);
264     if(is_block2){
265         decode_coeff(dst+8, coeffs[1], 2, gb, vlc, q_ac1);
266         decode_coeff(dst+1, coeffs[2], 2, gb, vlc, q_ac1);
267     }else{
268         decode_coeff(dst+1, coeffs[1], 2, gb, vlc, q_ac1);
269         decode_coeff(dst+8, coeffs[2], 2, gb, vlc, q_ac1);
270     }
271     decode_coeff(dst+9, coeffs[3], 2, gb, vlc, q_ac2);
272 }
273
274 /**
275  * Decode coefficients for 4x4 block.
276  *
277  * This is done by filling 2x2 subblocks with decoded coefficients
278  * in this order (the same for subblocks and subblock coefficients):
279  *  o--o
280  *    /
281  *   /
282  *  o--o
283  */
284
285 static inline void rv34_decode_block(DCTELEM *dst, GetBitContext *gb, RV34VLC *rvlc, int fc, int sc, int q_dc, int q_ac1, int q_ac2)
286 {
287     int code, pattern;
288
289     code = get_vlc2(gb, rvlc->first_pattern[fc].table, 9, 2);
290
291     pattern = code & 0x7;
292
293     code >>= 3;
294     decode_subblock3(dst, code, 0, gb, &rvlc->coefficient, q_dc, q_ac1, q_ac2);
295
296     if(pattern & 4){
297         code = get_vlc2(gb, rvlc->second_pattern[sc].table, 9, 2);
298         decode_subblock(dst + 2, code, 0, gb, &rvlc->coefficient, q_ac2);
299     }
300     if(pattern & 2){ // Looks like coefficients 1 and 2 are swapped for this block
301         code = get_vlc2(gb, rvlc->second_pattern[sc].table, 9, 2);
302         decode_subblock(dst + 8*2, code, 1, gb, &rvlc->coefficient, q_ac2);
303     }
304     if(pattern & 1){
305         code = get_vlc2(gb, rvlc->third_pattern[sc].table, 9, 2);
306         decode_subblock(dst + 8*2+2, code, 0, gb, &rvlc->coefficient, q_ac2);
307     }
308
309 }
310
311 /**
312  * @name RV30/40 bitstream parsing
313  * @{
314  */
315
316 /**
317  * Decode starting slice position.
318  * @todo Maybe replace with ff_h263_decode_mba() ?
319  */
320 int ff_rv34_get_start_offset(GetBitContext *gb, int mb_size)
321 {
322     int i;
323     for(i = 0; i < 5; i++)
324         if(rv34_mb_max_sizes[i] >= mb_size - 1)
325             break;
326     return rv34_mb_bits_sizes[i];
327 }
328
329 /**
330  * Select VLC set for decoding from current quantizer, modifier and frame type.
331  */
332 static inline RV34VLC* choose_vlc_set(int quant, int mod, int type)
333 {
334     if(mod == 2 && quant < 19) quant += 10;
335     else if(mod && quant < 26) quant += 5;
336     return type ? &inter_vlcs[rv34_quant_to_vlc_set[1][av_clip(quant, 0, 30)]]
337                 : &intra_vlcs[rv34_quant_to_vlc_set[0][av_clip(quant, 0, 30)]];
338 }
339
340 /**
341  * Decode macroblock header and return CBP in case of success, -1 otherwise.
342  */
343 static int rv34_decode_mb_header(RV34DecContext *r, int8_t *intra_types)
344 {
345     MpegEncContext *s = &r->s;
346     GetBitContext *gb = &s->gb;
347     int mb_pos = s->mb_x + s->mb_y * s->mb_stride;
348     int i, t;
349
350     if(!r->si.type){
351         r->is16 = get_bits1(gb);
352         if(!r->is16 && !r->rv30){
353             if(!get_bits1(gb))
354                 av_log(s->avctx, AV_LOG_ERROR, "Need DQUANT\n");
355         }
356         s->current_picture_ptr->f.mb_type[mb_pos] = r->is16 ? MB_TYPE_INTRA16x16 : MB_TYPE_INTRA;
357         r->block_type = r->is16 ? RV34_MB_TYPE_INTRA16x16 : RV34_MB_TYPE_INTRA;
358     }else{
359         r->block_type = r->decode_mb_info(r);
360         if(r->block_type == -1)
361             return -1;
362         s->current_picture_ptr->f.mb_type[mb_pos] = rv34_mb_type_to_lavc[r->block_type];
363         r->mb_type[mb_pos] = r->block_type;
364         if(r->block_type == RV34_MB_SKIP){
365             if(s->pict_type == AV_PICTURE_TYPE_P)
366                 r->mb_type[mb_pos] = RV34_MB_P_16x16;
367             if(s->pict_type == AV_PICTURE_TYPE_B)
368                 r->mb_type[mb_pos] = RV34_MB_B_DIRECT;
369         }
370         r->is16 = !!IS_INTRA16x16(s->current_picture_ptr->f.mb_type[mb_pos]);
371         rv34_decode_mv(r, r->block_type);
372         if(r->block_type == RV34_MB_SKIP){
373             fill_rectangle(intra_types, 4, 4, r->intra_types_stride, 0, sizeof(intra_types[0]));
374             return 0;
375         }
376         r->chroma_vlc = 1;
377         r->luma_vlc   = 0;
378     }
379     if(IS_INTRA(s->current_picture_ptr->f.mb_type[mb_pos])){
380         if(r->is16){
381             t = get_bits(gb, 2);
382             fill_rectangle(intra_types, 4, 4, r->intra_types_stride, t, sizeof(intra_types[0]));
383             r->luma_vlc   = 2;
384         }else{
385             if(r->decode_intra_types(r, gb, intra_types) < 0)
386                 return -1;
387             r->luma_vlc   = 1;
388         }
389         r->chroma_vlc = 0;
390         r->cur_vlcs = choose_vlc_set(r->si.quant, r->si.vlc_set, 0);
391     }else{
392         for(i = 0; i < 16; i++)
393             intra_types[(i & 3) + (i>>2) * r->intra_types_stride] = 0;
394         r->cur_vlcs = choose_vlc_set(r->si.quant, r->si.vlc_set, 1);
395         if(r->mb_type[mb_pos] == RV34_MB_P_MIX16x16){
396             r->is16 = 1;
397             r->chroma_vlc = 1;
398             r->luma_vlc   = 2;
399             r->cur_vlcs = choose_vlc_set(r->si.quant, r->si.vlc_set, 0);
400         }
401     }
402
403     return rv34_decode_cbp(gb, r->cur_vlcs, r->is16);
404 }
405
406 /** @} */ //bitstream functions
407
408 /**
409  * @name motion vector related code (prediction, reconstruction, motion compensation)
410  * @{
411  */
412
413 /** macroblock partition width in 8x8 blocks */
414 static const uint8_t part_sizes_w[RV34_MB_TYPES] = { 2, 2, 2, 1, 2, 2, 2, 2, 2, 1, 2, 2 };
415
416 /** macroblock partition height in 8x8 blocks */
417 static const uint8_t part_sizes_h[RV34_MB_TYPES] = { 2, 2, 2, 1, 2, 2, 2, 2, 1, 2, 2, 2 };
418
419 /** availability index for subblocks */
420 static const uint8_t avail_indexes[4] = { 6, 7, 10, 11 };
421
422 /**
423  * motion vector prediction
424  *
425  * Motion prediction performed for the block by using median prediction of
426  * motion vectors from the left, top and right top blocks but in corner cases
427  * some other vectors may be used instead.
428  */
429 static void rv34_pred_mv(RV34DecContext *r, int block_type, int subblock_no, int dmv_no)
430 {
431     MpegEncContext *s = &r->s;
432     int mv_pos = s->mb_x * 2 + s->mb_y * 2 * s->b8_stride;
433     int A[2] = {0}, B[2], C[2];
434     int i, j;
435     int mx, my;
436     int avail_index = avail_indexes[subblock_no];
437     int c_off = part_sizes_w[block_type];
438
439     mv_pos += (subblock_no & 1) + (subblock_no >> 1)*s->b8_stride;
440     if(subblock_no == 3)
441         c_off = -1;
442
443     if(r->avail_cache[avail_index - 1]){
444         A[0] = s->current_picture_ptr->f.motion_val[0][mv_pos-1][0];
445         A[1] = s->current_picture_ptr->f.motion_val[0][mv_pos-1][1];
446     }
447     if(r->avail_cache[avail_index - 4]){
448         B[0] = s->current_picture_ptr->f.motion_val[0][mv_pos-s->b8_stride][0];
449         B[1] = s->current_picture_ptr->f.motion_val[0][mv_pos-s->b8_stride][1];
450     }else{
451         B[0] = A[0];
452         B[1] = A[1];
453     }
454     if(!r->avail_cache[avail_index - 4 + c_off]){
455         if(r->avail_cache[avail_index - 4] && (r->avail_cache[avail_index - 1] || r->rv30)){
456             C[0] = s->current_picture_ptr->f.motion_val[0][mv_pos-s->b8_stride-1][0];
457             C[1] = s->current_picture_ptr->f.motion_val[0][mv_pos-s->b8_stride-1][1];
458         }else{
459             C[0] = A[0];
460             C[1] = A[1];
461         }
462     }else{
463         C[0] = s->current_picture_ptr->f.motion_val[0][mv_pos-s->b8_stride+c_off][0];
464         C[1] = s->current_picture_ptr->f.motion_val[0][mv_pos-s->b8_stride+c_off][1];
465     }
466     mx = mid_pred(A[0], B[0], C[0]);
467     my = mid_pred(A[1], B[1], C[1]);
468     mx += r->dmv[dmv_no][0];
469     my += r->dmv[dmv_no][1];
470     for(j = 0; j < part_sizes_h[block_type]; j++){
471         for(i = 0; i < part_sizes_w[block_type]; i++){
472             s->current_picture_ptr->f.motion_val[0][mv_pos + i + j*s->b8_stride][0] = mx;
473             s->current_picture_ptr->f.motion_val[0][mv_pos + i + j*s->b8_stride][1] = my;
474         }
475     }
476 }
477
478 #define GET_PTS_DIFF(a, b) ((a - b + 8192) & 0x1FFF)
479
480 /**
481  * Calculate motion vector component that should be added for direct blocks.
482  */
483 static int calc_add_mv(RV34DecContext *r, int dir, int val)
484 {
485     int mul = dir ? -r->weight2 : r->weight1;
486
487     return (val * mul + 0x2000) >> 14;
488 }
489
490 /**
491  * Predict motion vector for B-frame macroblock.
492  */
493 static inline void rv34_pred_b_vector(int A[2], int B[2], int C[2],
494                                       int A_avail, int B_avail, int C_avail,
495                                       int *mx, int *my)
496 {
497     if(A_avail + B_avail + C_avail != 3){
498         *mx = A[0] + B[0] + C[0];
499         *my = A[1] + B[1] + C[1];
500         if(A_avail + B_avail + C_avail == 2){
501             *mx /= 2;
502             *my /= 2;
503         }
504     }else{
505         *mx = mid_pred(A[0], B[0], C[0]);
506         *my = mid_pred(A[1], B[1], C[1]);
507     }
508 }
509
510 /**
511  * motion vector prediction for B-frames
512  */
513 static void rv34_pred_mv_b(RV34DecContext *r, int block_type, int dir)
514 {
515     MpegEncContext *s = &r->s;
516     int mb_pos = s->mb_x + s->mb_y * s->mb_stride;
517     int mv_pos = s->mb_x * 2 + s->mb_y * 2 * s->b8_stride;
518     int A[2], B[2], C[2];
519     int has_A = 0, has_B = 0, has_C = 0;
520     int mx, my;
521     int i, j;
522     Picture *cur_pic = s->current_picture_ptr;
523     const int mask = dir ? MB_TYPE_L1 : MB_TYPE_L0;
524     int type = cur_pic->f.mb_type[mb_pos];
525
526     memset(A, 0, sizeof(A));
527     memset(B, 0, sizeof(B));
528     memset(C, 0, sizeof(C));
529     if((r->avail_cache[6-1] & type) & mask){
530         A[0] = cur_pic->f.motion_val[dir][mv_pos - 1][0];
531         A[1] = cur_pic->f.motion_val[dir][mv_pos - 1][1];
532         has_A = 1;
533     }
534     if((r->avail_cache[6-4] & type) & mask){
535         B[0] = cur_pic->f.motion_val[dir][mv_pos - s->b8_stride][0];
536         B[1] = cur_pic->f.motion_val[dir][mv_pos - s->b8_stride][1];
537         has_B = 1;
538     }
539     if(r->avail_cache[6-4] && (r->avail_cache[6-2] & type) & mask){
540         C[0] = cur_pic->f.motion_val[dir][mv_pos - s->b8_stride + 2][0];
541         C[1] = cur_pic->f.motion_val[dir][mv_pos - s->b8_stride + 2][1];
542         has_C = 1;
543     }else if((s->mb_x+1) == s->mb_width && (r->avail_cache[6-5] & type) & mask){
544         C[0] = cur_pic->f.motion_val[dir][mv_pos - s->b8_stride - 1][0];
545         C[1] = cur_pic->f.motion_val[dir][mv_pos - s->b8_stride - 1][1];
546         has_C = 1;
547     }
548
549     rv34_pred_b_vector(A, B, C, has_A, has_B, has_C, &mx, &my);
550
551     mx += r->dmv[dir][0];
552     my += r->dmv[dir][1];
553
554     for(j = 0; j < 2; j++){
555         for(i = 0; i < 2; i++){
556             cur_pic->f.motion_val[dir][mv_pos + i + j*s->b8_stride][0] = mx;
557             cur_pic->f.motion_val[dir][mv_pos + i + j*s->b8_stride][1] = my;
558         }
559     }
560     if(block_type == RV34_MB_B_BACKWARD || block_type == RV34_MB_B_FORWARD){
561         ZERO8x2(cur_pic->f.motion_val[!dir][mv_pos], s->b8_stride);
562     }
563 }
564
565 /**
566  * motion vector prediction - RV3 version
567  */
568 static void rv34_pred_mv_rv3(RV34DecContext *r, int block_type, int dir)
569 {
570     MpegEncContext *s = &r->s;
571     int mv_pos = s->mb_x * 2 + s->mb_y * 2 * s->b8_stride;
572     int A[2] = {0}, B[2], C[2];
573     int i, j, k;
574     int mx, my;
575     int avail_index = avail_indexes[0];
576
577     if(r->avail_cache[avail_index - 1]){
578         A[0] = s->current_picture_ptr->f.motion_val[0][mv_pos - 1][0];
579         A[1] = s->current_picture_ptr->f.motion_val[0][mv_pos - 1][1];
580     }
581     if(r->avail_cache[avail_index - 4]){
582         B[0] = s->current_picture_ptr->f.motion_val[0][mv_pos - s->b8_stride][0];
583         B[1] = s->current_picture_ptr->f.motion_val[0][mv_pos - s->b8_stride][1];
584     }else{
585         B[0] = A[0];
586         B[1] = A[1];
587     }
588     if(!r->avail_cache[avail_index - 4 + 2]){
589         if(r->avail_cache[avail_index - 4] && (r->avail_cache[avail_index - 1])){
590             C[0] = s->current_picture_ptr->f.motion_val[0][mv_pos - s->b8_stride - 1][0];
591             C[1] = s->current_picture_ptr->f.motion_val[0][mv_pos - s->b8_stride - 1][1];
592         }else{
593             C[0] = A[0];
594             C[1] = A[1];
595         }
596     }else{
597         C[0] = s->current_picture_ptr->f.motion_val[0][mv_pos - s->b8_stride + 2][0];
598         C[1] = s->current_picture_ptr->f.motion_val[0][mv_pos - s->b8_stride + 2][1];
599     }
600     mx = mid_pred(A[0], B[0], C[0]);
601     my = mid_pred(A[1], B[1], C[1]);
602     mx += r->dmv[0][0];
603     my += r->dmv[0][1];
604     for(j = 0; j < 2; j++){
605         for(i = 0; i < 2; i++){
606             for(k = 0; k < 2; k++){
607                 s->current_picture_ptr->f.motion_val[k][mv_pos + i + j*s->b8_stride][0] = mx;
608                 s->current_picture_ptr->f.motion_val[k][mv_pos + i + j*s->b8_stride][1] = my;
609             }
610         }
611     }
612 }
613
614 static const int chroma_coeffs[3] = { 0, 3, 5 };
615
616 /**
617  * generic motion compensation function
618  *
619  * @param r decoder context
620  * @param block_type type of the current block
621  * @param xoff horizontal offset from the start of the current block
622  * @param yoff vertical offset from the start of the current block
623  * @param mv_off offset to the motion vector information
624  * @param width width of the current partition in 8x8 blocks
625  * @param height height of the current partition in 8x8 blocks
626  * @param dir motion compensation direction (i.e. from the last or the next reference frame)
627  * @param thirdpel motion vectors are specified in 1/3 of pixel
628  * @param qpel_mc a set of functions used to perform luma motion compensation
629  * @param chroma_mc a set of functions used to perform chroma motion compensation
630  */
631 static inline void rv34_mc(RV34DecContext *r, const int block_type,
632                           const int xoff, const int yoff, int mv_off,
633                           const int width, const int height, int dir,
634                           const int thirdpel, int weighted,
635                           qpel_mc_func (*qpel_mc)[16],
636                           h264_chroma_mc_func (*chroma_mc))
637 {
638     MpegEncContext *s = &r->s;
639     uint8_t *Y, *U, *V, *srcY, *srcU, *srcV;
640     int dxy, mx, my, umx, umy, lx, ly, uvmx, uvmy, src_x, src_y, uvsrc_x, uvsrc_y;
641     int mv_pos = s->mb_x * 2 + s->mb_y * 2 * s->b8_stride + mv_off;
642     int is16x16 = 1;
643
644     if(thirdpel){
645         int chroma_mx, chroma_my;
646         mx = (s->current_picture_ptr->f.motion_val[dir][mv_pos][0] + (3 << 24)) / 3 - (1 << 24);
647         my = (s->current_picture_ptr->f.motion_val[dir][mv_pos][1] + (3 << 24)) / 3 - (1 << 24);
648         lx = (s->current_picture_ptr->f.motion_val[dir][mv_pos][0] + (3 << 24)) % 3;
649         ly = (s->current_picture_ptr->f.motion_val[dir][mv_pos][1] + (3 << 24)) % 3;
650         chroma_mx = s->current_picture_ptr->f.motion_val[dir][mv_pos][0] / 2;
651         chroma_my = s->current_picture_ptr->f.motion_val[dir][mv_pos][1] / 2;
652         umx = (chroma_mx + (3 << 24)) / 3 - (1 << 24);
653         umy = (chroma_my + (3 << 24)) / 3 - (1 << 24);
654         uvmx = chroma_coeffs[(chroma_mx + (3 << 24)) % 3];
655         uvmy = chroma_coeffs[(chroma_my + (3 << 24)) % 3];
656     }else{
657         int cx, cy;
658         mx = s->current_picture_ptr->f.motion_val[dir][mv_pos][0] >> 2;
659         my = s->current_picture_ptr->f.motion_val[dir][mv_pos][1] >> 2;
660         lx = s->current_picture_ptr->f.motion_val[dir][mv_pos][0] & 3;
661         ly = s->current_picture_ptr->f.motion_val[dir][mv_pos][1] & 3;
662         cx = s->current_picture_ptr->f.motion_val[dir][mv_pos][0] / 2;
663         cy = s->current_picture_ptr->f.motion_val[dir][mv_pos][1] / 2;
664         umx = cx >> 2;
665         umy = cy >> 2;
666         uvmx = (cx & 3) << 1;
667         uvmy = (cy & 3) << 1;
668         //due to some flaw RV40 uses the same MC compensation routine for H2V2 and H3V3
669         if(uvmx == 6 && uvmy == 6)
670             uvmx = uvmy = 4;
671     }
672     dxy = ly*4 + lx;
673     srcY = dir ? s->next_picture_ptr->f.data[0] : s->last_picture_ptr->f.data[0];
674     srcU = dir ? s->next_picture_ptr->f.data[1] : s->last_picture_ptr->f.data[1];
675     srcV = dir ? s->next_picture_ptr->f.data[2] : s->last_picture_ptr->f.data[2];
676     src_x = s->mb_x * 16 + xoff + mx;
677     src_y = s->mb_y * 16 + yoff + my;
678     uvsrc_x = s->mb_x * 8 + (xoff >> 1) + umx;
679     uvsrc_y = s->mb_y * 8 + (yoff >> 1) + umy;
680     srcY += src_y * s->linesize + src_x;
681     srcU += uvsrc_y * s->uvlinesize + uvsrc_x;
682     srcV += uvsrc_y * s->uvlinesize + uvsrc_x;
683     if(s->h_edge_pos - (width << 3) < 6 || s->v_edge_pos - (height << 3) < 6 ||
684        (unsigned)(src_x - !!lx*2) > s->h_edge_pos - !!lx*2 - (width <<3) - 4 ||
685        (unsigned)(src_y - !!ly*2) > s->v_edge_pos - !!ly*2 - (height<<3) - 4) {
686         uint8_t *uvbuf = s->edge_emu_buffer + 22 * s->linesize;
687
688         srcY -= 2 + 2*s->linesize;
689         s->dsp.emulated_edge_mc(s->edge_emu_buffer, srcY, s->linesize, (width<<3)+6, (height<<3)+6,
690                             src_x - 2, src_y - 2, s->h_edge_pos, s->v_edge_pos);
691         srcY = s->edge_emu_buffer + 2 + 2*s->linesize;
692         s->dsp.emulated_edge_mc(uvbuf     , srcU, s->uvlinesize, (width<<2)+1, (height<<2)+1,
693                             uvsrc_x, uvsrc_y, s->h_edge_pos >> 1, s->v_edge_pos >> 1);
694         s->dsp.emulated_edge_mc(uvbuf + 16, srcV, s->uvlinesize, (width<<2)+1, (height<<2)+1,
695                             uvsrc_x, uvsrc_y, s->h_edge_pos >> 1, s->v_edge_pos >> 1);
696         srcU = uvbuf;
697         srcV = uvbuf + 16;
698     }
699     if(!weighted){
700         Y = s->dest[0] + xoff      + yoff     *s->linesize;
701         U = s->dest[1] + (xoff>>1) + (yoff>>1)*s->uvlinesize;
702         V = s->dest[2] + (xoff>>1) + (yoff>>1)*s->uvlinesize;
703     }else{
704         Y = r->tmp_b_block_y [dir]     +  xoff     +  yoff    *s->linesize;
705         U = r->tmp_b_block_uv[dir*2]   + (xoff>>1) + (yoff>>1)*s->uvlinesize;
706         V = r->tmp_b_block_uv[dir*2+1] + (xoff>>1) + (yoff>>1)*s->uvlinesize;
707     }
708
709     if(block_type == RV34_MB_P_16x8){
710         qpel_mc[1][dxy](Y, srcY, s->linesize);
711         Y    += 8;
712         srcY += 8;
713     }else if(block_type == RV34_MB_P_8x16){
714         qpel_mc[1][dxy](Y, srcY, s->linesize);
715         Y    += 8 * s->linesize;
716         srcY += 8 * s->linesize;
717     }
718     is16x16 = (block_type != RV34_MB_P_8x8) && (block_type != RV34_MB_P_16x8) && (block_type != RV34_MB_P_8x16);
719     qpel_mc[!is16x16][dxy](Y, srcY, s->linesize);
720     chroma_mc[2-width]   (U, srcU, s->uvlinesize, height*4, uvmx, uvmy);
721     chroma_mc[2-width]   (V, srcV, s->uvlinesize, height*4, uvmx, uvmy);
722 }
723
724 static void rv34_mc_1mv(RV34DecContext *r, const int block_type,
725                         const int xoff, const int yoff, int mv_off,
726                         const int width, const int height, int dir)
727 {
728     rv34_mc(r, block_type, xoff, yoff, mv_off, width, height, dir, r->rv30, 0,
729             r->rdsp.put_pixels_tab,
730             r->rdsp.put_chroma_pixels_tab);
731 }
732
733 static void rv4_weight(RV34DecContext *r)
734 {
735     r->rdsp.rv40_weight_pixels_tab[0](r->s.dest[0],
736                                       r->tmp_b_block_y[0],
737                                       r->tmp_b_block_y[1],
738                                       r->weight1,
739                                       r->weight2,
740                                       r->s.linesize);
741     r->rdsp.rv40_weight_pixels_tab[1](r->s.dest[1],
742                                       r->tmp_b_block_uv[0],
743                                       r->tmp_b_block_uv[2],
744                                       r->weight1,
745                                       r->weight2,
746                                       r->s.uvlinesize);
747     r->rdsp.rv40_weight_pixels_tab[1](r->s.dest[2],
748                                       r->tmp_b_block_uv[1],
749                                       r->tmp_b_block_uv[3],
750                                       r->weight1,
751                                       r->weight2,
752                                       r->s.uvlinesize);
753 }
754
755 static void rv34_mc_2mv(RV34DecContext *r, const int block_type)
756 {
757     int weighted = !r->rv30 && block_type != RV34_MB_B_BIDIR && r->weight1 != 8192;
758
759     rv34_mc(r, block_type, 0, 0, 0, 2, 2, 0, r->rv30, weighted,
760             r->rdsp.put_pixels_tab,
761             r->rdsp.put_chroma_pixels_tab);
762     if(!weighted){
763         rv34_mc(r, block_type, 0, 0, 0, 2, 2, 1, r->rv30, 0,
764                 r->rdsp.avg_pixels_tab,
765                 r->rdsp.avg_chroma_pixels_tab);
766     }else{
767         rv34_mc(r, block_type, 0, 0, 0, 2, 2, 1, r->rv30, 1,
768                 r->rdsp.put_pixels_tab,
769                 r->rdsp.put_chroma_pixels_tab);
770         rv4_weight(r);
771     }
772 }
773
774 static void rv34_mc_2mv_skip(RV34DecContext *r)
775 {
776     int i, j;
777     int weighted = !r->rv30 && r->weight1 != 8192;
778
779     for(j = 0; j < 2; j++)
780         for(i = 0; i < 2; i++){
781              rv34_mc(r, RV34_MB_P_8x8, i*8, j*8, i+j*r->s.b8_stride, 1, 1, 0, r->rv30,
782                      weighted,
783                      r->rdsp.put_pixels_tab,
784                      r->rdsp.put_chroma_pixels_tab);
785              rv34_mc(r, RV34_MB_P_8x8, i*8, j*8, i+j*r->s.b8_stride, 1, 1, 1, r->rv30,
786                      weighted,
787                      weighted ? r->rdsp.put_pixels_tab : r->rdsp.avg_pixels_tab,
788                      weighted ? r->rdsp.put_chroma_pixels_tab : r->rdsp.avg_chroma_pixels_tab);
789         }
790     if(weighted)
791         rv4_weight(r);
792 }
793
794 /** number of motion vectors in each macroblock type */
795 static const int num_mvs[RV34_MB_TYPES] = { 0, 0, 1, 4, 1, 1, 0, 0, 2, 2, 2, 1 };
796
797 /**
798  * Decode motion vector differences
799  * and perform motion vector reconstruction and motion compensation.
800  */
801 static int rv34_decode_mv(RV34DecContext *r, int block_type)
802 {
803     MpegEncContext *s = &r->s;
804     GetBitContext *gb = &s->gb;
805     int i, j, k, l;
806     int mv_pos = s->mb_x * 2 + s->mb_y * 2 * s->b8_stride;
807     int next_bt;
808
809     memset(r->dmv, 0, sizeof(r->dmv));
810     for(i = 0; i < num_mvs[block_type]; i++){
811         r->dmv[i][0] = svq3_get_se_golomb(gb);
812         r->dmv[i][1] = svq3_get_se_golomb(gb);
813     }
814     switch(block_type){
815     case RV34_MB_TYPE_INTRA:
816     case RV34_MB_TYPE_INTRA16x16:
817         ZERO8x2(s->current_picture_ptr->f.motion_val[0][s->mb_x * 2 + s->mb_y * 2 * s->b8_stride], s->b8_stride);
818         return 0;
819     case RV34_MB_SKIP:
820         if(s->pict_type == AV_PICTURE_TYPE_P){
821             ZERO8x2(s->current_picture_ptr->f.motion_val[0][s->mb_x * 2 + s->mb_y * 2 * s->b8_stride], s->b8_stride);
822             rv34_mc_1mv (r, block_type, 0, 0, 0, 2, 2, 0);
823             break;
824         }
825     case RV34_MB_B_DIRECT:
826         //surprisingly, it uses motion scheme from next reference frame
827         next_bt = s->next_picture_ptr->f.mb_type[s->mb_x + s->mb_y * s->mb_stride];
828         if(IS_INTRA(next_bt) || IS_SKIP(next_bt)){
829             ZERO8x2(s->current_picture_ptr->f.motion_val[0][s->mb_x * 2 + s->mb_y * 2 * s->b8_stride], s->b8_stride);
830             ZERO8x2(s->current_picture_ptr->f.motion_val[1][s->mb_x * 2 + s->mb_y * 2 * s->b8_stride], s->b8_stride);
831         }else
832             for(j = 0; j < 2; j++)
833                 for(i = 0; i < 2; i++)
834                     for(k = 0; k < 2; k++)
835                         for(l = 0; l < 2; l++)
836                             s->current_picture_ptr->f.motion_val[l][mv_pos + i + j*s->b8_stride][k] = calc_add_mv(r, l, s->next_picture_ptr->f.motion_val[0][mv_pos + i + j*s->b8_stride][k]);
837         if(!(IS_16X8(next_bt) || IS_8X16(next_bt) || IS_8X8(next_bt))) //we can use whole macroblock MC
838             rv34_mc_2mv(r, block_type);
839         else
840             rv34_mc_2mv_skip(r);
841         ZERO8x2(s->current_picture_ptr->f.motion_val[0][s->mb_x * 2 + s->mb_y * 2 * s->b8_stride], s->b8_stride);
842         break;
843     case RV34_MB_P_16x16:
844     case RV34_MB_P_MIX16x16:
845         rv34_pred_mv(r, block_type, 0, 0);
846         rv34_mc_1mv (r, block_type, 0, 0, 0, 2, 2, 0);
847         break;
848     case RV34_MB_B_FORWARD:
849     case RV34_MB_B_BACKWARD:
850         r->dmv[1][0] = r->dmv[0][0];
851         r->dmv[1][1] = r->dmv[0][1];
852         if(r->rv30)
853             rv34_pred_mv_rv3(r, block_type, block_type == RV34_MB_B_BACKWARD);
854         else
855             rv34_pred_mv_b  (r, block_type, block_type == RV34_MB_B_BACKWARD);
856         rv34_mc_1mv     (r, block_type, 0, 0, 0, 2, 2, block_type == RV34_MB_B_BACKWARD);
857         break;
858     case RV34_MB_P_16x8:
859     case RV34_MB_P_8x16:
860         rv34_pred_mv(r, block_type, 0, 0);
861         rv34_pred_mv(r, block_type, 1 + (block_type == RV34_MB_P_16x8), 1);
862         if(block_type == RV34_MB_P_16x8){
863             rv34_mc_1mv(r, block_type, 0, 0, 0,            2, 1, 0);
864             rv34_mc_1mv(r, block_type, 0, 8, s->b8_stride, 2, 1, 0);
865         }
866         if(block_type == RV34_MB_P_8x16){
867             rv34_mc_1mv(r, block_type, 0, 0, 0, 1, 2, 0);
868             rv34_mc_1mv(r, block_type, 8, 0, 1, 1, 2, 0);
869         }
870         break;
871     case RV34_MB_B_BIDIR:
872         rv34_pred_mv_b  (r, block_type, 0);
873         rv34_pred_mv_b  (r, block_type, 1);
874         rv34_mc_2mv     (r, block_type);
875         break;
876     case RV34_MB_P_8x8:
877         for(i=0;i< 4;i++){
878             rv34_pred_mv(r, block_type, i, i);
879             rv34_mc_1mv (r, block_type, (i&1)<<3, (i&2)<<2, (i&1)+(i>>1)*s->b8_stride, 1, 1, 0);
880         }
881         break;
882     }
883
884     return 0;
885 }
886 /** @} */ // mv group
887
888 /**
889  * @name Macroblock reconstruction functions
890  * @{
891  */
892 /** mapping of RV30/40 intra prediction types to standard H.264 types */
893 static const int ittrans[9] = {
894  DC_PRED, VERT_PRED, HOR_PRED, DIAG_DOWN_RIGHT_PRED, DIAG_DOWN_LEFT_PRED,
895  VERT_RIGHT_PRED, VERT_LEFT_PRED, HOR_UP_PRED, HOR_DOWN_PRED,
896 };
897
898 /** mapping of RV30/40 intra 16x16 prediction types to standard H.264 types */
899 static const int ittrans16[4] = {
900  DC_PRED8x8, VERT_PRED8x8, HOR_PRED8x8, PLANE_PRED8x8,
901 };
902
903 /**
904  * Perform 4x4 intra prediction.
905  */
906 static void rv34_pred_4x4_block(RV34DecContext *r, uint8_t *dst, int stride, int itype, int up, int left, int down, int right)
907 {
908     uint8_t *prev = dst - stride + 4;
909     uint32_t topleft;
910
911     if(!up && !left)
912         itype = DC_128_PRED;
913     else if(!up){
914         if(itype == VERT_PRED) itype = HOR_PRED;
915         if(itype == DC_PRED)   itype = LEFT_DC_PRED;
916     }else if(!left){
917         if(itype == HOR_PRED)  itype = VERT_PRED;
918         if(itype == DC_PRED)   itype = TOP_DC_PRED;
919         if(itype == DIAG_DOWN_LEFT_PRED) itype = DIAG_DOWN_LEFT_PRED_RV40_NODOWN;
920     }
921     if(!down){
922         if(itype == DIAG_DOWN_LEFT_PRED) itype = DIAG_DOWN_LEFT_PRED_RV40_NODOWN;
923         if(itype == HOR_UP_PRED) itype = HOR_UP_PRED_RV40_NODOWN;
924         if(itype == VERT_LEFT_PRED) itype = VERT_LEFT_PRED_RV40_NODOWN;
925     }
926     if(!right && up){
927         topleft = dst[-stride + 3] * 0x01010101u;
928         prev = (uint8_t*)&topleft;
929     }
930     r->h.pred4x4[itype](dst, prev, stride);
931 }
932
933 /** add_pixels_clamped for 4x4 block */
934 static void rv34_add_4x4_block(uint8_t *dst, int stride, DCTELEM block[64], int off)
935 {
936     int x, y;
937     for(y = 0; y < 4; y++)
938         for(x = 0; x < 4; x++)
939             dst[x + y*stride] = av_clip_uint8(dst[x + y*stride] + block[off + x+y*8]);
940 }
941
942 static inline int adjust_pred16(int itype, int up, int left)
943 {
944     if(!up && !left)
945         itype = DC_128_PRED8x8;
946     else if(!up){
947         if(itype == PLANE_PRED8x8)itype = HOR_PRED8x8;
948         if(itype == VERT_PRED8x8) itype = HOR_PRED8x8;
949         if(itype == DC_PRED8x8)   itype = LEFT_DC_PRED8x8;
950     }else if(!left){
951         if(itype == PLANE_PRED8x8)itype = VERT_PRED8x8;
952         if(itype == HOR_PRED8x8)  itype = VERT_PRED8x8;
953         if(itype == DC_PRED8x8)   itype = TOP_DC_PRED8x8;
954     }
955     return itype;
956 }
957
958 static void rv34_output_macroblock(RV34DecContext *r, int8_t *intra_types, int cbp, int is16)
959 {
960     MpegEncContext *s = &r->s;
961     DSPContext *dsp = &s->dsp;
962     int i, j;
963     uint8_t *Y, *U, *V;
964     int itype;
965     int avail[6*8] = {0};
966     int idx;
967
968     // Set neighbour information.
969     if(r->avail_cache[1])
970         avail[0] = 1;
971     if(r->avail_cache[2])
972         avail[1] = avail[2] = 1;
973     if(r->avail_cache[3])
974         avail[3] = avail[4] = 1;
975     if(r->avail_cache[4])
976         avail[5] = 1;
977     if(r->avail_cache[5])
978         avail[8] = avail[16] = 1;
979     if(r->avail_cache[9])
980         avail[24] = avail[32] = 1;
981
982     Y = s->dest[0];
983     U = s->dest[1];
984     V = s->dest[2];
985     if(!is16){
986         for(j = 0; j < 4; j++){
987             idx = 9 + j*8;
988             for(i = 0; i < 4; i++, cbp >>= 1, Y += 4, idx++){
989                 rv34_pred_4x4_block(r, Y, s->linesize, ittrans[intra_types[i]], avail[idx-8], avail[idx-1], avail[idx+7], avail[idx-7]);
990                 avail[idx] = 1;
991                 if(cbp & 1)
992                     rv34_add_4x4_block(Y, s->linesize, s->block[(i>>1)+(j&2)], (i&1)*4+(j&1)*32);
993             }
994             Y += s->linesize * 4 - 4*4;
995             intra_types += r->intra_types_stride;
996         }
997         intra_types -= r->intra_types_stride * 4;
998         fill_rectangle(r->avail_cache + 6, 2, 2, 4, 0, 4);
999         for(j = 0; j < 2; j++){
1000             idx = 6 + j*4;
1001             for(i = 0; i < 2; i++, cbp >>= 1, idx++){
1002                 rv34_pred_4x4_block(r, U + i*4 + j*4*s->uvlinesize, s->uvlinesize, ittrans[intra_types[i*2+j*2*r->intra_types_stride]], r->avail_cache[idx-4], r->avail_cache[idx-1], !i && !j, r->avail_cache[idx-3]);
1003                 rv34_pred_4x4_block(r, V + i*4 + j*4*s->uvlinesize, s->uvlinesize, ittrans[intra_types[i*2+j*2*r->intra_types_stride]], r->avail_cache[idx-4], r->avail_cache[idx-1], !i && !j, r->avail_cache[idx-3]);
1004                 r->avail_cache[idx] = 1;
1005                 if(cbp & 0x01)
1006                     rv34_add_4x4_block(U + i*4 + j*4*s->uvlinesize, s->uvlinesize, s->block[4], i*4+j*32);
1007                 if(cbp & 0x10)
1008                     rv34_add_4x4_block(V + i*4 + j*4*s->uvlinesize, s->uvlinesize, s->block[5], i*4+j*32);
1009             }
1010         }
1011     }else{
1012         itype = ittrans16[intra_types[0]];
1013         itype = adjust_pred16(itype, r->avail_cache[6-4], r->avail_cache[6-1]);
1014         r->h.pred16x16[itype](Y, s->linesize);
1015         dsp->add_pixels_clamped(s->block[0], Y,     s->linesize);
1016         dsp->add_pixels_clamped(s->block[1], Y + 8, s->linesize);
1017         Y += s->linesize * 8;
1018         dsp->add_pixels_clamped(s->block[2], Y,     s->linesize);
1019         dsp->add_pixels_clamped(s->block[3], Y + 8, s->linesize);
1020
1021         itype = ittrans16[intra_types[0]];
1022         if(itype == PLANE_PRED8x8) itype = DC_PRED8x8;
1023         itype = adjust_pred16(itype, r->avail_cache[6-4], r->avail_cache[6-1]);
1024         r->h.pred8x8[itype](U, s->uvlinesize);
1025         dsp->add_pixels_clamped(s->block[4], U, s->uvlinesize);
1026         r->h.pred8x8[itype](V, s->uvlinesize);
1027         dsp->add_pixels_clamped(s->block[5], V, s->uvlinesize);
1028     }
1029 }
1030
1031 /**
1032  * mask for retrieving all bits in coded block pattern
1033  * corresponding to one 8x8 block
1034  */
1035 #define LUMA_CBP_BLOCK_MASK 0x33
1036
1037 #define U_CBP_MASK 0x0F0000
1038 #define V_CBP_MASK 0xF00000
1039
1040 /** @} */ // recons group
1041
1042
1043 static void rv34_apply_differences(RV34DecContext *r, int cbp)
1044 {
1045     static const int shifts[4] = { 0, 2, 8, 10 };
1046     MpegEncContext *s = &r->s;
1047     int i;
1048
1049     for(i = 0; i < 4; i++)
1050         if((cbp & (LUMA_CBP_BLOCK_MASK << shifts[i])) || r->block_type == RV34_MB_P_MIX16x16)
1051             s->dsp.add_pixels_clamped(s->block[i], s->dest[0] + (i & 1)*8 + (i&2)*4*s->linesize, s->linesize);
1052     if(cbp & U_CBP_MASK)
1053         s->dsp.add_pixels_clamped(s->block[4], s->dest[1], s->uvlinesize);
1054     if(cbp & V_CBP_MASK)
1055         s->dsp.add_pixels_clamped(s->block[5], s->dest[2], s->uvlinesize);
1056 }
1057
1058 static int is_mv_diff_gt_3(int16_t (*motion_val)[2], int step)
1059 {
1060     int d;
1061     d = motion_val[0][0] - motion_val[-step][0];
1062     if(d < -3 || d > 3)
1063         return 1;
1064     d = motion_val[0][1] - motion_val[-step][1];
1065     if(d < -3 || d > 3)
1066         return 1;
1067     return 0;
1068 }
1069
1070 static int rv34_set_deblock_coef(RV34DecContext *r)
1071 {
1072     MpegEncContext *s = &r->s;
1073     int hmvmask = 0, vmvmask = 0, i, j;
1074     int midx = s->mb_x * 2 + s->mb_y * 2 * s->b8_stride;
1075     int16_t (*motion_val)[2] = &s->current_picture_ptr->f.motion_val[0][midx];
1076     for(j = 0; j < 16; j += 8){
1077         for(i = 0; i < 2; i++){
1078             if(is_mv_diff_gt_3(motion_val + i, 1))
1079                 vmvmask |= 0x11 << (j + i*2);
1080             if((j || s->mb_y) && is_mv_diff_gt_3(motion_val + i, s->b8_stride))
1081                 hmvmask |= 0x03 << (j + i*2);
1082         }
1083         motion_val += s->b8_stride;
1084     }
1085     if(s->first_slice_line)
1086         hmvmask &= ~0x000F;
1087     if(!s->mb_x)
1088         vmvmask &= ~0x1111;
1089     if(r->rv30){ //RV30 marks both subblocks on the edge for filtering
1090         vmvmask |= (vmvmask & 0x4444) >> 1;
1091         hmvmask |= (hmvmask & 0x0F00) >> 4;
1092         if(s->mb_x)
1093             r->deblock_coefs[s->mb_x - 1 + s->mb_y*s->mb_stride] |= (vmvmask & 0x1111) << 3;
1094         if(!s->first_slice_line)
1095             r->deblock_coefs[s->mb_x + (s->mb_y - 1)*s->mb_stride] |= (hmvmask & 0xF) << 12;
1096     }
1097     return hmvmask | vmvmask;
1098 }
1099
1100 static int rv34_decode_macroblock(RV34DecContext *r, int8_t *intra_types)
1101 {
1102     MpegEncContext *s = &r->s;
1103     GetBitContext *gb = &s->gb;
1104     int cbp, cbp2;
1105     int q_dc, q_ac;
1106     int i, blknum, blkoff;
1107     LOCAL_ALIGNED_16(DCTELEM, block16, [64]);
1108     int luma_dc_quant;
1109     int dist;
1110     int mb_pos = s->mb_x + s->mb_y * s->mb_stride;
1111
1112     // Calculate which neighbours are available. Maybe it's worth optimizing too.
1113     memset(r->avail_cache, 0, sizeof(r->avail_cache));
1114     fill_rectangle(r->avail_cache + 6, 2, 2, 4, 1, 4);
1115     dist = (s->mb_x - s->resync_mb_x) + (s->mb_y - s->resync_mb_y) * s->mb_width;
1116     if(s->mb_x && dist)
1117         r->avail_cache[5] =
1118         r->avail_cache[9] = s->current_picture_ptr->f.mb_type[mb_pos - 1];
1119     if(dist >= s->mb_width)
1120         r->avail_cache[2] =
1121         r->avail_cache[3] = s->current_picture_ptr->f.mb_type[mb_pos - s->mb_stride];
1122     if(((s->mb_x+1) < s->mb_width) && dist >= s->mb_width - 1)
1123         r->avail_cache[4] = s->current_picture_ptr->f.mb_type[mb_pos - s->mb_stride + 1];
1124     if(s->mb_x && dist > s->mb_width)
1125         r->avail_cache[1] = s->current_picture_ptr->f.mb_type[mb_pos - s->mb_stride - 1];
1126
1127     s->qscale = r->si.quant;
1128     cbp = cbp2 = rv34_decode_mb_header(r, intra_types);
1129     r->cbp_luma  [mb_pos] = cbp;
1130     r->cbp_chroma[mb_pos] = cbp >> 16;
1131     if(s->pict_type == AV_PICTURE_TYPE_I)
1132         r->deblock_coefs[mb_pos] = 0xFFFF;
1133     else
1134         r->deblock_coefs[mb_pos] = rv34_set_deblock_coef(r) | r->cbp_luma[mb_pos];
1135     s->current_picture_ptr->f.qscale_table[mb_pos] = s->qscale;
1136
1137     if(cbp == -1)
1138         return -1;
1139
1140     luma_dc_quant = r->block_type == RV34_MB_P_MIX16x16 ? r->luma_dc_quant_p[s->qscale] : r->luma_dc_quant_i[s->qscale];
1141     if(r->is16){
1142         q_dc = rv34_qscale_tab[luma_dc_quant];
1143         q_ac = rv34_qscale_tab[s->qscale];
1144         memset(block16, 0, 64 * sizeof(*block16));
1145         rv34_decode_block(block16, gb, r->cur_vlcs, 3, 0, q_dc, q_dc, q_ac);
1146         r->rdsp.rv34_inv_transform_tab[1](block16);
1147     }
1148
1149     q_ac = rv34_qscale_tab[s->qscale];
1150     for(i = 0; i < 16; i++, cbp >>= 1){
1151         if(!r->is16 && !(cbp & 1)) continue;
1152         blknum = ((i & 2) >> 1) + ((i & 8) >> 2);
1153         blkoff = ((i & 1) << 2) + ((i & 4) << 3);
1154         if(cbp & 1)
1155             rv34_decode_block(s->block[blknum] + blkoff, gb,
1156                               r->cur_vlcs, r->luma_vlc, 0, q_ac, q_ac, q_ac);
1157         if(r->is16) //FIXME: optimize
1158             s->block[blknum][blkoff] = block16[(i & 3) | ((i & 0xC) << 1)];
1159         r->rdsp.rv34_inv_transform_tab[0](s->block[blknum] + blkoff);
1160     }
1161     if(r->block_type == RV34_MB_P_MIX16x16)
1162         r->cur_vlcs = choose_vlc_set(r->si.quant, r->si.vlc_set, 1);
1163     q_dc = rv34_qscale_tab[rv34_chroma_quant[1][s->qscale]];
1164     q_ac = rv34_qscale_tab[rv34_chroma_quant[0][s->qscale]];
1165     for(; i < 24; i++, cbp >>= 1){
1166         if(!(cbp & 1)) continue;
1167         blknum = ((i & 4) >> 2) + 4;
1168         blkoff = ((i & 1) << 2) + ((i & 2) << 4);
1169         rv34_decode_block(s->block[blknum] + blkoff, gb, r->cur_vlcs, r->chroma_vlc, 1, q_dc, q_ac, q_ac);
1170         r->rdsp.rv34_inv_transform_tab[0](s->block[blknum] + blkoff);
1171     }
1172     if (IS_INTRA(s->current_picture_ptr->f.mb_type[mb_pos]))
1173         rv34_output_macroblock(r, intra_types, cbp2, r->is16);
1174     else
1175         rv34_apply_differences(r, cbp2);
1176
1177     return 0;
1178 }
1179
1180 static int check_slice_end(RV34DecContext *r, MpegEncContext *s)
1181 {
1182     int bits;
1183     if(s->mb_y >= s->mb_height)
1184         return 1;
1185     if(!s->mb_num_left)
1186         return 1;
1187     if(r->s.mb_skip_run > 1)
1188         return 0;
1189     bits = r->bits - get_bits_count(&s->gb);
1190     if(bits < 0 || (bits < 8 && !show_bits(&s->gb, bits)))
1191         return 1;
1192     return 0;
1193 }
1194
1195 static int rv34_decode_slice(RV34DecContext *r, int end, const uint8_t* buf, int buf_size)
1196 {
1197     MpegEncContext *s = &r->s;
1198     GetBitContext *gb = &s->gb;
1199     int mb_pos;
1200     int res;
1201
1202     init_get_bits(&r->s.gb, buf, buf_size*8);
1203     res = r->parse_slice_header(r, gb, &r->si);
1204     if(res < 0){
1205         av_log(s->avctx, AV_LOG_ERROR, "Incorrect or unknown slice header\n");
1206         return -1;
1207     }
1208
1209     if ((s->mb_x == 0 && s->mb_y == 0) || s->current_picture_ptr==NULL) {
1210         if(s->width != r->si.width || s->height != r->si.height){
1211             av_log(s->avctx, AV_LOG_DEBUG, "Changing dimensions to %dx%d\n", r->si.width,r->si.height);
1212             MPV_common_end(s);
1213             s->width  = r->si.width;
1214             s->height = r->si.height;
1215             avcodec_set_dimensions(s->avctx, s->width, s->height);
1216             if(MPV_common_init(s) < 0)
1217                 return -1;
1218             r->intra_types_stride = s->mb_width*4 + 4;
1219             r->intra_types_hist = av_realloc(r->intra_types_hist, r->intra_types_stride * 4 * 2 * sizeof(*r->intra_types_hist));
1220             r->intra_types = r->intra_types_hist + r->intra_types_stride * 4;
1221             r->mb_type = av_realloc(r->mb_type, r->s.mb_stride * r->s.mb_height * sizeof(*r->mb_type));
1222             r->cbp_luma   = av_realloc(r->cbp_luma,   r->s.mb_stride * r->s.mb_height * sizeof(*r->cbp_luma));
1223             r->cbp_chroma = av_realloc(r->cbp_chroma, r->s.mb_stride * r->s.mb_height * sizeof(*r->cbp_chroma));
1224             r->deblock_coefs = av_realloc(r->deblock_coefs, r->s.mb_stride * r->s.mb_height * sizeof(*r->deblock_coefs));
1225             av_freep(&r->tmp_b_block_base);
1226         }
1227         s->pict_type = r->si.type ? r->si.type : AV_PICTURE_TYPE_I;
1228         if(MPV_frame_start(s, s->avctx) < 0)
1229             return -1;
1230         ff_er_frame_start(s);
1231         if (!r->tmp_b_block_base) {
1232             int i;
1233
1234             r->tmp_b_block_base = av_malloc(s->linesize * 48);
1235             for (i = 0; i < 2; i++)
1236                 r->tmp_b_block_y[i] = r->tmp_b_block_base + i * 16 * s->linesize;
1237             for (i = 0; i < 4; i++)
1238                 r->tmp_b_block_uv[i] = r->tmp_b_block_base + 32 * s->linesize
1239                                        + (i >> 1) * 8 * s->uvlinesize + (i & 1) * 16;
1240         }
1241         r->cur_pts = r->si.pts;
1242         if(s->pict_type != AV_PICTURE_TYPE_B){
1243             r->last_pts = r->next_pts;
1244             r->next_pts = r->cur_pts;
1245         }else{
1246             int refdist = GET_PTS_DIFF(r->next_pts, r->last_pts);
1247             int dist0   = GET_PTS_DIFF(r->cur_pts,  r->last_pts);
1248             int dist1   = GET_PTS_DIFF(r->next_pts, r->cur_pts);
1249
1250             if(!refdist){
1251                 r->weight1 = r->weight2 = 8192;
1252             }else{
1253                 r->weight1 = (dist0 << 14) / refdist;
1254                 r->weight2 = (dist1 << 14) / refdist;
1255             }
1256         }
1257         s->mb_x = s->mb_y = 0;
1258     } else {
1259         int slice_type = r->si.type ? r->si.type : AV_PICTURE_TYPE_I;
1260
1261         if (slice_type != s->pict_type) {
1262             av_log(s->avctx, AV_LOG_ERROR, "Slice type mismatch\n");
1263             return AVERROR_INVALIDDATA;
1264         }
1265     }
1266
1267     r->si.end = end;
1268     s->qscale = r->si.quant;
1269     r->bits = buf_size*8;
1270     s->mb_num_left = r->si.end - r->si.start;
1271     r->s.mb_skip_run = 0;
1272
1273     mb_pos = s->mb_x + s->mb_y * s->mb_width;
1274     if(r->si.start != mb_pos){
1275         av_log(s->avctx, AV_LOG_ERROR, "Slice indicates MB offset %d, got %d\n", r->si.start, mb_pos);
1276         s->mb_x = r->si.start % s->mb_width;
1277         s->mb_y = r->si.start / s->mb_width;
1278     }
1279     memset(r->intra_types_hist, -1, r->intra_types_stride * 4 * 2 * sizeof(*r->intra_types_hist));
1280     s->first_slice_line = 1;
1281     s->resync_mb_x = s->mb_x;
1282     s->resync_mb_y = s->mb_y;
1283
1284     ff_init_block_index(s);
1285     while(!check_slice_end(r, s)) {
1286         ff_update_block_index(s);
1287         s->dsp.clear_blocks(s->block[0]);
1288
1289         if(rv34_decode_macroblock(r, r->intra_types + s->mb_x * 4 + 4) < 0){
1290             ff_er_add_slice(s, s->resync_mb_x, s->resync_mb_y, s->mb_x-1, s->mb_y, ER_MB_ERROR);
1291             return -1;
1292         }
1293         if (++s->mb_x == s->mb_width) {
1294             s->mb_x = 0;
1295             s->mb_y++;
1296             ff_init_block_index(s);
1297
1298             memmove(r->intra_types_hist, r->intra_types, r->intra_types_stride * 4 * sizeof(*r->intra_types_hist));
1299             memset(r->intra_types, -1, r->intra_types_stride * 4 * sizeof(*r->intra_types_hist));
1300
1301             if(r->loop_filter && s->mb_y >= 2)
1302                 r->loop_filter(r, s->mb_y - 2);
1303         }
1304         if(s->mb_x == s->resync_mb_x)
1305             s->first_slice_line=0;
1306         s->mb_num_left--;
1307     }
1308     ff_er_add_slice(s, s->resync_mb_x, s->resync_mb_y, s->mb_x-1, s->mb_y, ER_MB_END);
1309
1310     return s->mb_y == s->mb_height;
1311 }
1312
1313 /** @} */ // recons group end
1314
1315 /**
1316  * Initialize decoder.
1317  */
1318 av_cold int ff_rv34_decode_init(AVCodecContext *avctx)
1319 {
1320     RV34DecContext *r = avctx->priv_data;
1321     MpegEncContext *s = &r->s;
1322
1323     MPV_decode_defaults(s);
1324     s->avctx      = avctx;
1325     s->out_format = FMT_H263;
1326     s->codec_id   = avctx->codec_id;
1327
1328     s->width  = avctx->width;
1329     s->height = avctx->height;
1330
1331     r->s.avctx = avctx;
1332     avctx->flags |= CODEC_FLAG_EMU_EDGE;
1333     r->s.flags |= CODEC_FLAG_EMU_EDGE;
1334     avctx->pix_fmt = PIX_FMT_YUV420P;
1335     avctx->has_b_frames = 1;
1336     s->low_delay = 0;
1337
1338     if (MPV_common_init(s) < 0)
1339         return -1;
1340
1341     ff_h264_pred_init(&r->h, CODEC_ID_RV40, 8, 1);
1342
1343 #if CONFIG_RV30_DECODER
1344     if (avctx->codec_id == CODEC_ID_RV30)
1345         ff_rv30dsp_init(&r->rdsp, &r->s.dsp);
1346 #endif
1347 #if CONFIG_RV40_DECODER
1348     if (avctx->codec_id == CODEC_ID_RV40)
1349         ff_rv40dsp_init(&r->rdsp, &r->s.dsp);
1350 #endif
1351
1352     r->intra_types_stride = 4*s->mb_stride + 4;
1353     r->intra_types_hist = av_malloc(r->intra_types_stride * 4 * 2 * sizeof(*r->intra_types_hist));
1354     r->intra_types = r->intra_types_hist + r->intra_types_stride * 4;
1355
1356     r->mb_type = av_mallocz(r->s.mb_stride * r->s.mb_height * sizeof(*r->mb_type));
1357
1358     r->cbp_luma   = av_malloc(r->s.mb_stride * r->s.mb_height * sizeof(*r->cbp_luma));
1359     r->cbp_chroma = av_malloc(r->s.mb_stride * r->s.mb_height * sizeof(*r->cbp_chroma));
1360     r->deblock_coefs = av_malloc(r->s.mb_stride * r->s.mb_height * sizeof(*r->deblock_coefs));
1361
1362     if(!intra_vlcs[0].cbppattern[0].bits)
1363         rv34_init_tables();
1364
1365     return 0;
1366 }
1367
1368 static int get_slice_offset(AVCodecContext *avctx, const uint8_t *buf, int n)
1369 {
1370     if(avctx->slice_count) return avctx->slice_offset[n];
1371     else                   return AV_RL32(buf + n*8 - 4) == 1 ? AV_RL32(buf + n*8) :  AV_RB32(buf + n*8);
1372 }
1373
1374 int ff_rv34_decode_frame(AVCodecContext *avctx,
1375                             void *data, int *data_size,
1376                             AVPacket *avpkt)
1377 {
1378     const uint8_t *buf = avpkt->data;
1379     int buf_size = avpkt->size;
1380     RV34DecContext *r = avctx->priv_data;
1381     MpegEncContext *s = &r->s;
1382     AVFrame *pict = data;
1383     SliceInfo si;
1384     int i;
1385     int slice_count;
1386     const uint8_t *slices_hdr = NULL;
1387     int last = 0;
1388
1389     /* no supplementary picture */
1390     if (buf_size == 0) {
1391         /* special case for last picture */
1392         if (s->low_delay==0 && s->next_picture_ptr) {
1393             *pict = *(AVFrame*)s->next_picture_ptr;
1394             s->next_picture_ptr = NULL;
1395
1396             *data_size = sizeof(AVFrame);
1397         }
1398         return 0;
1399     }
1400
1401     if(!avctx->slice_count){
1402         slice_count = (*buf++) + 1;
1403         slices_hdr = buf + 4;
1404         buf += 8 * slice_count;
1405         buf_size -= 1 + 8 * slice_count;
1406     }else
1407         slice_count = avctx->slice_count;
1408
1409     //parse first slice header to check whether this frame can be decoded
1410     if(get_slice_offset(avctx, slices_hdr, 0) < 0 ||
1411        get_slice_offset(avctx, slices_hdr, 0) > buf_size){
1412         av_log(avctx, AV_LOG_ERROR, "Slice offset is invalid\n");
1413         return -1;
1414     }
1415     init_get_bits(&s->gb, buf+get_slice_offset(avctx, slices_hdr, 0), (buf_size-get_slice_offset(avctx, slices_hdr, 0))*8);
1416     if(r->parse_slice_header(r, &r->s.gb, &si) < 0 || si.start){
1417         av_log(avctx, AV_LOG_ERROR, "First slice header is incorrect\n");
1418         return -1;
1419     }
1420     if ((!s->last_picture_ptr || !s->last_picture_ptr->f.data[0]) && si.type == AV_PICTURE_TYPE_B)
1421         return -1;
1422     if(   (avctx->skip_frame >= AVDISCARD_NONREF && si.type==AV_PICTURE_TYPE_B)
1423        || (avctx->skip_frame >= AVDISCARD_NONKEY && si.type!=AV_PICTURE_TYPE_I)
1424        ||  avctx->skip_frame >= AVDISCARD_ALL)
1425         return avpkt->size;
1426
1427     for(i = 0; i < slice_count; i++){
1428         int offset = get_slice_offset(avctx, slices_hdr, i);
1429         int size;
1430         if(i+1 == slice_count)
1431             size = buf_size - offset;
1432         else
1433             size = get_slice_offset(avctx, slices_hdr, i+1) - offset;
1434
1435         if(offset < 0 || offset > buf_size){
1436             av_log(avctx, AV_LOG_ERROR, "Slice offset is invalid\n");
1437             break;
1438         }
1439
1440         r->si.end = s->mb_width * s->mb_height;
1441         if(i+1 < slice_count){
1442             if (get_slice_offset(avctx, slices_hdr, i+1) < 0 ||
1443                 get_slice_offset(avctx, slices_hdr, i+1) > buf_size) {
1444                 av_log(avctx, AV_LOG_ERROR, "Slice offset is invalid\n");
1445                 break;
1446             }
1447             init_get_bits(&s->gb, buf+get_slice_offset(avctx, slices_hdr, i+1), (buf_size-get_slice_offset(avctx, slices_hdr, i+1))*8);
1448             if(r->parse_slice_header(r, &r->s.gb, &si) < 0){
1449                 if(i+2 < slice_count)
1450                     size = get_slice_offset(avctx, slices_hdr, i+2) - offset;
1451                 else
1452                     size = buf_size - offset;
1453             }else
1454                 r->si.end = si.start;
1455         }
1456         if (size < 0 || size > buf_size - offset) {
1457             av_log(avctx, AV_LOG_ERROR, "Slice size is invalid\n");
1458             break;
1459         }
1460         last = rv34_decode_slice(r, r->si.end, buf + offset, size);
1461         s->mb_num_left = r->s.mb_x + r->s.mb_y*r->s.mb_width - r->si.start;
1462         if(last)
1463             break;
1464     }
1465
1466     if(last && s->current_picture_ptr){
1467         if(r->loop_filter)
1468             r->loop_filter(r, s->mb_height - 1);
1469         ff_er_frame_end(s);
1470         MPV_frame_end(s);
1471         if (s->pict_type == AV_PICTURE_TYPE_B || s->low_delay) {
1472             *pict = *(AVFrame*)s->current_picture_ptr;
1473         } else if (s->last_picture_ptr != NULL) {
1474             *pict = *(AVFrame*)s->last_picture_ptr;
1475         }
1476
1477         if(s->last_picture_ptr || s->low_delay){
1478             *data_size = sizeof(AVFrame);
1479             ff_print_debug_info(s, pict);
1480         }
1481         s->current_picture_ptr = NULL; //so we can detect if frame_end wasnt called (find some nicer solution...)
1482     }
1483     return avpkt->size;
1484 }
1485
1486 av_cold int ff_rv34_decode_end(AVCodecContext *avctx)
1487 {
1488     RV34DecContext *r = avctx->priv_data;
1489
1490     MPV_common_end(&r->s);
1491
1492     av_freep(&r->intra_types_hist);
1493     r->intra_types = NULL;
1494     av_freep(&r->tmp_b_block_base);
1495     av_freep(&r->mb_type);
1496     av_freep(&r->cbp_luma);
1497     av_freep(&r->cbp_chroma);
1498     av_freep(&r->deblock_coefs);
1499
1500     return 0;
1501 }