8a14e08e76597fdb2025e2bf582d296514b2bd98
[ffmpeg.git] / libavcodec / rv34.c
1 /*
2  * RV30/40 decoder common data
3  * Copyright (c) 2007 Mike Melanson, Konstantin Shishkov
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with FFmpeg; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 /**
23  * @file rv34.c
24  * RV30/40 decoder common data
25  */
26
27 #include "avcodec.h"
28 #include "dsputil.h"
29 #include "mpegvideo.h"
30 #include "golomb.h"
31 #include "mathops.h"
32 #include "rectangle.h"
33
34 #include "rv34vlc.h"
35 #include "rv34data.h"
36 #include "rv34.h"
37
38 //#define DEBUG
39
40 /** translation of RV30/40 macroblock types to lavc ones */
41 static const int rv34_mb_type_to_lavc[12] = {
42     MB_TYPE_INTRA,
43     MB_TYPE_INTRA16x16              | MB_TYPE_SEPARATE_DC,
44     MB_TYPE_16x16   | MB_TYPE_L0,
45     MB_TYPE_8x8     | MB_TYPE_L0,
46     MB_TYPE_16x16   | MB_TYPE_L0,
47     MB_TYPE_16x16   | MB_TYPE_L1,
48     MB_TYPE_SKIP,
49     MB_TYPE_DIRECT2 | MB_TYPE_16x16,
50     MB_TYPE_16x8    | MB_TYPE_L0,
51     MB_TYPE_8x16    | MB_TYPE_L0,
52     MB_TYPE_16x16   | MB_TYPE_L0L1,
53     MB_TYPE_16x16   | MB_TYPE_L0    | MB_TYPE_SEPARATE_DC
54 };
55
56
57 static RV34VLC intra_vlcs[NUM_INTRA_TABLES], inter_vlcs[NUM_INTER_TABLES];
58
59 /**
60  * @defgroup vlc RV30/40 VLC generating functions
61  * @{
62  */
63
64 /**
65  * Generate VLC from codeword lengths.
66  * @param bits   codeword lengths (zeroes are accepted)
67  * @param size   length of input data
68  * @param insyms symbols for input codes (NULL for default ones)
69  */
70 static void rv34_gen_vlc(const uint8_t *bits, int size, VLC *vlc, const uint8_t *insyms)
71 {
72     int i;
73     int counts[17] = {0}, codes[17];
74     uint16_t cw[size], syms[size];
75     uint8_t bits2[size];
76     int maxbits = 0, realsize = 0;
77
78     for(i = 0; i < size; i++){
79         if(bits[i]){
80             bits2[realsize] = bits[i];
81             syms[realsize] = insyms ? insyms[i] : i;
82             realsize++;
83             maxbits = FFMAX(maxbits, bits[i]);
84             counts[bits[i]]++;
85         }
86     }
87
88     codes[0] = 0;
89     for(i = 0; i < 16; i++)
90         codes[i+1] = (codes[i] + counts[i]) << 1;
91     for(i = 0; i < realsize; i++)
92         cw[i] = codes[bits2[i]]++;
93
94     init_vlc_sparse(vlc, FFMIN(maxbits, 9), realsize,
95                     bits2, 1, 1,
96                     cw,    2, 2,
97                     syms,  2, 2, INIT_VLC_USE_STATIC);
98 }
99
100 /**
101  * Initialize all tables.
102  */
103 static av_cold void rv34_init_tables()
104 {
105     int i, j, k;
106
107     for(i = 0; i < NUM_INTRA_TABLES; i++){
108         for(j = 0; j < 2; j++){
109             rv34_gen_vlc(rv34_table_intra_cbppat   [i][j], CBPPAT_VLC_SIZE,   &intra_vlcs[i].cbppattern[j],     NULL);
110             rv34_gen_vlc(rv34_table_intra_secondpat[i][j], OTHERBLK_VLC_SIZE, &intra_vlcs[i].second_pattern[j], NULL);
111             rv34_gen_vlc(rv34_table_intra_thirdpat [i][j], OTHERBLK_VLC_SIZE, &intra_vlcs[i].third_pattern[j],  NULL);
112             for(k = 0; k < 4; k++)
113                 rv34_gen_vlc(rv34_table_intra_cbp[i][j+k*2],  CBP_VLC_SIZE,   &intra_vlcs[i].cbp[j][k],         rv34_cbp_code);
114         }
115         for(j = 0; j < 4; j++)
116             rv34_gen_vlc(rv34_table_intra_firstpat[i][j], FIRSTBLK_VLC_SIZE, &intra_vlcs[i].first_pattern[j], NULL);
117         rv34_gen_vlc(rv34_intra_coeff[i], COEFF_VLC_SIZE, &intra_vlcs[i].coefficient, NULL);
118     }
119
120     for(i = 0; i < NUM_INTER_TABLES; i++){
121         rv34_gen_vlc(rv34_inter_cbppat[i], CBPPAT_VLC_SIZE, &inter_vlcs[i].cbppattern[0], NULL);
122         for(j = 0; j < 4; j++)
123             rv34_gen_vlc(rv34_inter_cbp[i][j], CBP_VLC_SIZE, &inter_vlcs[i].cbp[0][j], rv34_cbp_code);
124         for(j = 0; j < 2; j++){
125             rv34_gen_vlc(rv34_table_inter_firstpat [i][j], FIRSTBLK_VLC_SIZE, &inter_vlcs[i].first_pattern[j],  NULL);
126             rv34_gen_vlc(rv34_table_inter_secondpat[i][j], OTHERBLK_VLC_SIZE, &inter_vlcs[i].second_pattern[j], NULL);
127             rv34_gen_vlc(rv34_table_inter_thirdpat [i][j], OTHERBLK_VLC_SIZE, &inter_vlcs[i].third_pattern[j],  NULL);
128         }
129         rv34_gen_vlc(rv34_inter_coeff[i], COEFF_VLC_SIZE, &inter_vlcs[i].coefficient, NULL);
130     }
131 }
132
133 /** @} */ // vlc group
134
135
136 /**
137  * @defgroup transform RV30/40 inverse transform functions
138  * @{
139  */
140
141 static av_always_inline void rv34_row_transform(int temp[16], DCTELEM *block)
142 {
143     int i;
144
145     for(i=0; i<4; i++){
146         const int z0= 13*(block[i+8*0] +    block[i+8*2]);
147         const int z1= 13*(block[i+8*0] -    block[i+8*2]);
148         const int z2=  7* block[i+8*1] - 17*block[i+8*3];
149         const int z3= 17* block[i+8*1] +  7*block[i+8*3];
150
151         temp[4*i+0]= z0+z3;
152         temp[4*i+1]= z1+z2;
153         temp[4*i+2]= z1-z2;
154         temp[4*i+3]= z0-z3;
155     }
156 }
157
158 /**
159  * Real Video 3.0/4.0 inverse transform
160  * Code is almost the same as in SVQ3, only scaling is different.
161  */
162 static void rv34_inv_transform(DCTELEM *block){
163     int temp[16];
164     int i;
165
166     rv34_row_transform(temp, block);
167
168     for(i=0; i<4; i++){
169         const int z0= 13*(temp[4*0+i] +    temp[4*2+i]) + 0x200;
170         const int z1= 13*(temp[4*0+i] -    temp[4*2+i]) + 0x200;
171         const int z2=  7* temp[4*1+i] - 17*temp[4*3+i];
172         const int z3= 17* temp[4*1+i] +  7*temp[4*3+i];
173
174         block[i*8+0]= (z0 + z3)>>10;
175         block[i*8+1]= (z1 + z2)>>10;
176         block[i*8+2]= (z1 - z2)>>10;
177         block[i*8+3]= (z0 - z3)>>10;
178     }
179
180 }
181
182 /**
183  * RealVideo 3.0/4.0 inverse transform for DC block
184  *
185  * Code is almost the same as rv34_inv_transform()
186  * but final coefficients are multiplied by 1.5 and have no rounding.
187  */
188 static void rv34_inv_transform_noround(DCTELEM *block){
189     int temp[16];
190     int i;
191
192     rv34_row_transform(temp, block);
193
194     for(i=0; i<4; i++){
195         const int z0= 13*(temp[4*0+i] +    temp[4*2+i]);
196         const int z1= 13*(temp[4*0+i] -    temp[4*2+i]);
197         const int z2=  7* temp[4*1+i] - 17*temp[4*3+i];
198         const int z3= 17* temp[4*1+i] +  7*temp[4*3+i];
199
200         block[i*8+0]= ((z0 + z3)*3)>>11;
201         block[i*8+1]= ((z1 + z2)*3)>>11;
202         block[i*8+2]= ((z1 - z2)*3)>>11;
203         block[i*8+3]= ((z0 - z3)*3)>>11;
204     }
205
206 }
207
208 /** @} */ // transform
209
210
211 /**
212  * @defgroup block RV30/40 4x4 block decoding functions
213  * @{
214  */
215
216 /**
217  * Decode coded block pattern.
218  */
219 static int rv34_decode_cbp(GetBitContext *gb, RV34VLC *vlc, int table)
220 {
221     int pattern, code, cbp=0;
222     int ones;
223     static const int cbp_masks[3] = {0x100000, 0x010000, 0x110000};
224     static const int shifts[4] = { 0, 2, 8, 10 };
225     int *curshift = shifts;
226     int i, t, mask;
227
228     code = get_vlc2(gb, vlc->cbppattern[table].table, 9, 2);
229     pattern = code & 0xF;
230     code >>= 4;
231
232     ones = rv34_count_ones[pattern];
233
234     for(mask = 8; mask; mask >>= 1, curshift++){
235         if(pattern & mask)
236             cbp |= get_vlc2(gb, vlc->cbp[table][ones].table, vlc->cbp[table][ones].bits, 1) << curshift[0];
237     }
238
239     for(i = 0; i < 4; i++){
240         t = modulo_three_table[code][i];
241         if(t == 1)
242             cbp |= cbp_masks[get_bits1(gb)] << i;
243         if(t == 2)
244             cbp |= cbp_masks[2] << i;
245     }
246     return cbp;
247 }
248
249 /**
250  * Get one coefficient value from the bistream and store it.
251  */
252 static inline void decode_coeff(DCTELEM *dst, int coef, int esc, GetBitContext *gb, VLC* vlc)
253 {
254     if(coef){
255         if(coef == esc){
256             coef = get_vlc2(gb, vlc->table, 9, 2);
257             if(coef > 23){
258                 coef -= 23;
259                 coef = 22 + ((1 << coef) | get_bits(gb, coef));
260             }
261             coef += esc;
262         }
263         if(get_bits1(gb))
264             coef = -coef;
265         *dst = coef;
266     }
267 }
268
269 /**
270  * Decode 2x2 subblock of coefficients.
271  */
272 static inline void decode_subblock(DCTELEM *dst, int code, const int is_block2, GetBitContext *gb, VLC *vlc)
273 {
274     int coeffs[4];
275
276     coeffs[0] = modulo_three_table[code][0];
277     coeffs[1] = modulo_three_table[code][1];
278     coeffs[2] = modulo_three_table[code][2];
279     coeffs[3] = modulo_three_table[code][3];
280     decode_coeff(dst  , coeffs[0], 3, gb, vlc);
281     if(is_block2){
282         decode_coeff(dst+8, coeffs[1], 2, gb, vlc);
283         decode_coeff(dst+1, coeffs[2], 2, gb, vlc);
284     }else{
285         decode_coeff(dst+1, coeffs[1], 2, gb, vlc);
286         decode_coeff(dst+8, coeffs[2], 2, gb, vlc);
287     }
288     decode_coeff(dst+9, coeffs[3], 2, gb, vlc);
289 }
290
291 /**
292  * Decode coefficients for 4x4 block.
293  *
294  * This is done by filling 2x2 subblocks with decoded coefficients
295  * in this order (the same for subblocks and subblock coefficients):
296  *  o--o
297  *    /
298  *   /
299  *  o--o
300  */
301
302 static inline void rv34_decode_block(DCTELEM *dst, GetBitContext *gb, RV34VLC *rvlc, int fc, int sc)
303 {
304     int code, pattern;
305
306     code = get_vlc2(gb, rvlc->first_pattern[fc].table, 9, 2);
307
308     pattern = code & 0x7;
309
310     code >>= 3;
311     decode_subblock(dst, code, 0, gb, &rvlc->coefficient);
312
313     if(pattern & 4){
314         code = get_vlc2(gb, rvlc->second_pattern[sc].table, 9, 2);
315         decode_subblock(dst + 2, code, 0, gb, &rvlc->coefficient);
316     }
317     if(pattern & 2){ // Looks like coefficients 1 and 2 are swapped for this block
318         code = get_vlc2(gb, rvlc->second_pattern[sc].table, 9, 2);
319         decode_subblock(dst + 8*2, code, 1, gb, &rvlc->coefficient);
320     }
321     if(pattern & 1){
322         code = get_vlc2(gb, rvlc->third_pattern[sc].table, 9, 2);
323         decode_subblock(dst + 8*2+2, code, 0, gb, &rvlc->coefficient);
324     }
325
326 }
327
328 /**
329  * Dequantize ordinary 4x4 block.
330  * @todo optimize
331  */
332 static inline void rv34_dequant4x4(DCTELEM *block, int Qdc, int Q)
333 {
334     int i, j;
335
336     block[0] = (block[0] * Qdc + 8) >> 4;
337     for(i = 0; i < 4; i++)
338         for(j = !i; j < 4; j++)
339             block[j + i*8] = (block[j + i*8] * Q + 8) >> 4;
340 }
341
342 /**
343  * Dequantize 4x4 block of DC values for 16x16 macroblock.
344  * @todo optimize
345  */
346 static inline void rv34_dequant4x4_16x16(DCTELEM *block, int Qdc, int Q)
347 {
348     int i;
349
350     for(i = 0; i < 3; i++)
351          block[rv34_dezigzag[i]] = (block[rv34_dezigzag[i]] * Qdc + 8) >> 4;
352     for(; i < 16; i++)
353          block[rv34_dezigzag[i]] = (block[rv34_dezigzag[i]] * Q + 8) >> 4;
354 }
355 /** @} */ //block functions
356
357
358 /**
359  * @defgroup bitstream RV30/40 bitstream parsing
360  * @{
361  */
362
363 /**
364  * Decode starting slice position.
365  * @todo Maybe replace with ff_h263_decode_mba() ?
366  */
367 int ff_rv34_get_start_offset(GetBitContext *gb, int mb_size)
368 {
369     int i;
370     for(i = 0; i < 5; i++)
371         if(rv34_mb_max_sizes[i] >= mb_size - 1)
372             break;
373     return rv34_mb_bits_sizes[i];
374 }
375
376 /**
377  * Select VLC set for decoding from current quantizer, modifier and frame type.
378  */
379 static inline RV34VLC* choose_vlc_set(int quant, int mod, int type)
380 {
381     if(mod == 2 && quant < 19) quant += 10;
382     else if(mod && quant < 26) quant += 5;
383     return type ? &inter_vlcs[rv34_quant_to_vlc_set[1][av_clip(quant, 0, 30)]]
384                 : &intra_vlcs[rv34_quant_to_vlc_set[0][av_clip(quant, 0, 30)]];
385 }
386
387 /**
388  * Decode quantizer difference and return modified quantizer.
389  */
390 static inline int rv34_decode_dquant(GetBitContext *gb, int quant)
391 {
392     if(get_bits1(gb))
393         return rv34_dquant_tab[get_bits1(gb)][quant];
394     else
395         return get_bits(gb, 5);
396 }
397
398 /** @} */ //bitstream functions
399
400 /**
401  * @defgroup mv motion vector related code (prediction, reconstruction, motion compensation)
402  * @{
403  */
404
405 /** macroblock partition width in 8x8 blocks */
406 static const uint8_t part_sizes_w[RV34_MB_TYPES] = { 2, 2, 2, 1, 2, 2, 2, 2, 2, 1, 2, 2 };
407
408 /** macroblock partition height in 8x8 blocks */
409 static const uint8_t part_sizes_h[RV34_MB_TYPES] = { 2, 2, 2, 1, 2, 2, 2, 2, 1, 2, 2, 2 };
410
411 /** availability index for subblocks */
412 static const uint8_t avail_indexes[4] = { 5, 6, 9, 10 };
413
414 /**
415  * motion vector prediction
416  *
417  * Motion prediction performed for the block by using median prediction of
418  * motion vectors from the left, top and right top blocks but in corner cases
419  * some other vectors may be used instead.
420  */
421 static void rv34_pred_mv(RV34DecContext *r, int block_type, int subblock_no, int dmv_no)
422 {
423     MpegEncContext *s = &r->s;
424     int mv_pos = s->mb_x * 2 + s->mb_y * 2 * s->b8_stride;
425     int A[2] = {0}, B[2], C[2];
426     int i, j;
427     int mx, my;
428     int avail_index = avail_indexes[subblock_no];
429     int c_off = part_sizes_w[block_type];
430
431     mv_pos += (subblock_no & 1) + (subblock_no >> 1)*s->b8_stride;
432     if(subblock_no == 3)
433         c_off = -1;
434
435     if(r->avail_cache[avail_index - 1]){
436         A[0] = s->current_picture_ptr->motion_val[0][mv_pos-1][0];
437         A[1] = s->current_picture_ptr->motion_val[0][mv_pos-1][1];
438     }
439     if(r->avail_cache[avail_index - 4]){
440         B[0] = s->current_picture_ptr->motion_val[0][mv_pos-s->b8_stride][0];
441         B[1] = s->current_picture_ptr->motion_val[0][mv_pos-s->b8_stride][1];
442     }else{
443         B[0] = A[0];
444         B[1] = A[1];
445     }
446     if(!r->avail_cache[avail_index - 4 + c_off]){
447         if(r->avail_cache[avail_index - 4] && (r->avail_cache[avail_index - 1] || r->rv30)){
448             C[0] = s->current_picture_ptr->motion_val[0][mv_pos-s->b8_stride-1][0];
449             C[1] = s->current_picture_ptr->motion_val[0][mv_pos-s->b8_stride-1][1];
450         }else{
451             C[0] = A[0];
452             C[1] = A[1];
453         }
454     }else{
455         C[0] = s->current_picture_ptr->motion_val[0][mv_pos-s->b8_stride+c_off][0];
456         C[1] = s->current_picture_ptr->motion_val[0][mv_pos-s->b8_stride+c_off][1];
457     }
458     mx = mid_pred(A[0], B[0], C[0]);
459     my = mid_pred(A[1], B[1], C[1]);
460     mx += r->dmv[dmv_no][0];
461     my += r->dmv[dmv_no][1];
462     for(j = 0; j < part_sizes_h[block_type]; j++){
463         for(i = 0; i < part_sizes_w[block_type]; i++){
464             s->current_picture_ptr->motion_val[0][mv_pos + i + j*s->b8_stride][0] = mx;
465             s->current_picture_ptr->motion_val[0][mv_pos + i + j*s->b8_stride][1] = my;
466         }
467     }
468 }
469
470 #define GET_PTS_DIFF(a, b) ((a - b + 8192) & 0x1FFF)
471
472 /**
473  * Calculate motion vector component that should be added for direct blocks.
474  */
475 static int calc_add_mv(RV34DecContext *r, int dir, int val)
476 {
477     int refdist = GET_PTS_DIFF(r->next_pts, r->last_pts);
478     int dist = dir ? -GET_PTS_DIFF(r->next_pts, r->cur_pts) : GET_PTS_DIFF(r->cur_pts, r->last_pts);
479     int mul;
480
481     if(!refdist) return 0;
482     mul = (dist << 14) / refdist;
483     return (val * mul + 0x2000) >> 14;
484 }
485
486 /**
487  * Predict motion vector for B-frame macroblock.
488  */
489 static inline void rv34_pred_b_vector(int A[2], int B[2], int C[2],
490                                       int A_avail, int B_avail, int C_avail,
491                                       int *mx, int *my)
492 {
493     if(A_avail + B_avail + C_avail != 3){
494         *mx = A[0] + B[0] + C[0];
495         *my = A[1] + B[1] + C[1];
496         if(A_avail + B_avail + C_avail == 2){
497             *mx /= 2;
498             *my /= 2;
499         }
500     }else{
501         *mx = mid_pred(A[0], B[0], C[0]);
502         *my = mid_pred(A[1], B[1], C[1]);
503     }
504 }
505
506 /**
507  * motion vector prediction for B-frames
508  */
509 static void rv34_pred_mv_b(RV34DecContext *r, int block_type, int dir)
510 {
511     MpegEncContext *s = &r->s;
512     int mb_pos = s->mb_x + s->mb_y * s->mb_stride;
513     int mv_pos = s->mb_x * 2 + s->mb_y * 2 * s->b8_stride;
514     int A[2], B[2], C[2];
515     int has_A = 0, has_B = 0, has_C = 0;
516     int mx, my;
517     int i, j;
518     Picture *cur_pic = s->current_picture_ptr;
519     const int mask = dir ? MB_TYPE_L1 : MB_TYPE_L0;
520     int type = cur_pic->mb_type[mb_pos];
521
522     memset(A, 0, sizeof(A));
523     memset(B, 0, sizeof(B));
524     memset(C, 0, sizeof(C));
525     if((r->avail_cache[5-1] & type) & mask){
526         A[0] = cur_pic->motion_val[dir][mv_pos - 1][0];
527         A[1] = cur_pic->motion_val[dir][mv_pos - 1][1];
528         has_A = 1;
529     }
530     if((r->avail_cache[5-4] & type) & mask){
531         B[0] = cur_pic->motion_val[dir][mv_pos - s->b8_stride][0];
532         B[1] = cur_pic->motion_val[dir][mv_pos - s->b8_stride][1];
533         has_B = 1;
534     }
535     if((r->avail_cache[5-2] & type) & mask){
536         C[0] = cur_pic->motion_val[dir][mv_pos - s->b8_stride + 2][0];
537         C[1] = cur_pic->motion_val[dir][mv_pos - s->b8_stride + 2][1];
538         has_C = 1;
539     }else if((s->mb_x+1) == s->mb_width && (r->avail_cache[5-5] & type) & mask){
540         C[0] = cur_pic->motion_val[dir][mv_pos - s->b8_stride - 1][0];
541         C[1] = cur_pic->motion_val[dir][mv_pos - s->b8_stride - 1][1];
542         has_C = 1;
543     }
544
545     rv34_pred_b_vector(A, B, C, has_A, has_B, has_C, &mx, &my);
546
547     mx += r->dmv[dir][0];
548     my += r->dmv[dir][1];
549
550     for(j = 0; j < 2; j++){
551         for(i = 0; i < 2; i++){
552             cur_pic->motion_val[dir][mv_pos + i + j*s->b8_stride][0] = mx;
553             cur_pic->motion_val[dir][mv_pos + i + j*s->b8_stride][1] = my;
554         }
555     }
556     if(block_type == RV34_MB_B_BACKWARD || block_type == RV34_MB_B_FORWARD)
557         fill_rectangle(cur_pic->motion_val[!dir][mv_pos], 2, 2, s->b8_stride, 0, 4);
558 }
559
560 /**
561  * motion vector prediction - RV3 version
562  */
563 static void rv34_pred_mv_rv3(RV34DecContext *r, int block_type, int dir)
564 {
565     MpegEncContext *s = &r->s;
566     int mv_pos = s->mb_x * 2 + s->mb_y * 2 * s->b8_stride;
567     int A[2] = {0}, B[2], C[2];
568     int i, j, k;
569     int mx, my;
570     int avail_index = avail_indexes[0];
571
572     if(r->avail_cache[avail_index - 1]){
573         A[0] = s->current_picture_ptr->motion_val[0][mv_pos-1][0];
574         A[1] = s->current_picture_ptr->motion_val[0][mv_pos-1][1];
575     }
576     if(r->avail_cache[avail_index - 4]){
577         B[0] = s->current_picture_ptr->motion_val[0][mv_pos-s->b8_stride][0];
578         B[1] = s->current_picture_ptr->motion_val[0][mv_pos-s->b8_stride][1];
579     }else{
580         B[0] = A[0];
581         B[1] = A[1];
582     }
583     if(!r->avail_cache[avail_index - 4 + 2]){
584         if(r->avail_cache[avail_index - 4] && (r->avail_cache[avail_index - 1])){
585             C[0] = s->current_picture_ptr->motion_val[0][mv_pos-s->b8_stride-1][0];
586             C[1] = s->current_picture_ptr->motion_val[0][mv_pos-s->b8_stride-1][1];
587         }else{
588             C[0] = A[0];
589             C[1] = A[1];
590         }
591     }else{
592         C[0] = s->current_picture_ptr->motion_val[0][mv_pos-s->b8_stride+2][0];
593         C[1] = s->current_picture_ptr->motion_val[0][mv_pos-s->b8_stride+2][1];
594     }
595     mx = mid_pred(A[0], B[0], C[0]);
596     my = mid_pred(A[1], B[1], C[1]);
597     mx += r->dmv[0][0];
598     my += r->dmv[0][1];
599     for(j = 0; j < 2; j++){
600         for(i = 0; i < 2; i++){
601             for(k = 0; k < 2; k++){
602                 s->current_picture_ptr->motion_val[k][mv_pos + i + j*s->b8_stride][0] = mx;
603                 s->current_picture_ptr->motion_val[k][mv_pos + i + j*s->b8_stride][1] = my;
604             }
605         }
606     }
607 }
608
609 static const int chroma_coeffs[3] = { 0, 3, 5 };
610
611 /**
612  * generic motion compensation function
613  *
614  * @param r decoder context
615  * @param block_type type of the current block
616  * @param xoff horizontal offset from the start of the current block
617  * @param yoff vertical offset from the start of the current block
618  * @param mv_off offset to the motion vector information
619  * @param width width of the current partition in 8x8 blocks
620  * @param height height of the current partition in 8x8 blocks
621  */
622 static inline void rv34_mc(RV34DecContext *r, const int block_type,
623                           const int xoff, const int yoff, int mv_off,
624                           const int width, const int height, int dir,
625                           const int thirdpel,
626                           qpel_mc_func (*qpel_mc)[16],
627                           h264_chroma_mc_func (*chroma_mc))
628 {
629     MpegEncContext *s = &r->s;
630     uint8_t *Y, *U, *V, *srcY, *srcU, *srcV;
631     int dxy, mx, my, umx, umy, lx, ly, uvmx, uvmy, src_x, src_y, uvsrc_x, uvsrc_y;
632     int mv_pos = s->mb_x * 2 + s->mb_y * 2 * s->b8_stride + mv_off;
633     int is16x16 = 1;
634
635     if(thirdpel){
636         int chroma_mx, chroma_my;
637         mx = (s->current_picture_ptr->motion_val[dir][mv_pos][0] + (3 << 24)) / 3 - (1 << 24);
638         my = (s->current_picture_ptr->motion_val[dir][mv_pos][1] + (3 << 24)) / 3 - (1 << 24);
639         lx = (s->current_picture_ptr->motion_val[dir][mv_pos][0] + (3 << 24)) % 3;
640         ly = (s->current_picture_ptr->motion_val[dir][mv_pos][1] + (3 << 24)) % 3;
641         chroma_mx = (s->current_picture_ptr->motion_val[dir][mv_pos][0] + 1) >> 1;
642         chroma_my = (s->current_picture_ptr->motion_val[dir][mv_pos][1] + 1) >> 1;
643         umx = (chroma_mx + (3 << 24)) / 3 - (1 << 24);
644         umy = (chroma_my + (3 << 24)) / 3 - (1 << 24);
645         uvmx = chroma_coeffs[(chroma_mx + (3 << 24)) % 3];
646         uvmy = chroma_coeffs[(chroma_my + (3 << 24)) % 3];
647     }else{
648         int cx, cy;
649         mx = s->current_picture_ptr->motion_val[dir][mv_pos][0] >> 2;
650         my = s->current_picture_ptr->motion_val[dir][mv_pos][1] >> 2;
651         lx = s->current_picture_ptr->motion_val[dir][mv_pos][0] & 3;
652         ly = s->current_picture_ptr->motion_val[dir][mv_pos][1] & 3;
653         cx = s->current_picture_ptr->motion_val[dir][mv_pos][0] / 2;
654         cy = s->current_picture_ptr->motion_val[dir][mv_pos][1] / 2;
655         umx = cx >> 2;
656         umy = cy >> 2;
657         uvmx = (cx & 3) << 1;
658         uvmy = (cy & 3) << 1;
659         //due to some flaw RV40 uses the same MC compensation routine for H2V2 and H3V3
660         if(uvmx == 6 && uvmy == 6)
661             uvmx = uvmy = 4;
662     }
663     dxy = ly*4 + lx;
664     srcY = dir ? s->next_picture_ptr->data[0] : s->last_picture_ptr->data[0];
665     srcU = dir ? s->next_picture_ptr->data[1] : s->last_picture_ptr->data[1];
666     srcV = dir ? s->next_picture_ptr->data[2] : s->last_picture_ptr->data[2];
667     src_x = s->mb_x * 16 + xoff + mx;
668     src_y = s->mb_y * 16 + yoff + my;
669     uvsrc_x = s->mb_x * 8 + (xoff >> 1) + umx;
670     uvsrc_y = s->mb_y * 8 + (yoff >> 1) + umy;
671     srcY += src_y * s->linesize + src_x;
672     srcU += uvsrc_y * s->uvlinesize + uvsrc_x;
673     srcV += uvsrc_y * s->uvlinesize + uvsrc_x;
674     if(   (unsigned)(src_x - !!lx*2) > s->h_edge_pos - !!lx*2 - (width <<3) - 4
675        || (unsigned)(src_y - !!ly*2) > s->v_edge_pos - !!ly*2 - (height<<3) - 4){
676         uint8_t *uvbuf= s->edge_emu_buffer + 22 * s->linesize;
677
678         srcY -= 2 + 2*s->linesize;
679         ff_emulated_edge_mc(s->edge_emu_buffer, srcY, s->linesize, (width<<3)+6, (height<<3)+6,
680                             src_x - 2, src_y - 2, s->h_edge_pos, s->v_edge_pos);
681         srcY = s->edge_emu_buffer + 2 + 2*s->linesize;
682         ff_emulated_edge_mc(uvbuf     , srcU, s->uvlinesize, (width<<2)+1, (height<<2)+1,
683                             uvsrc_x, uvsrc_y, s->h_edge_pos >> 1, s->v_edge_pos >> 1);
684         ff_emulated_edge_mc(uvbuf + 16, srcV, s->uvlinesize, (width<<2)+1, (height<<2)+1,
685                             uvsrc_x, uvsrc_y, s->h_edge_pos >> 1, s->v_edge_pos >> 1);
686         srcU = uvbuf;
687         srcV = uvbuf + 16;
688     }
689     Y = s->dest[0] + xoff      + yoff     *s->linesize;
690     U = s->dest[1] + (xoff>>1) + (yoff>>1)*s->uvlinesize;
691     V = s->dest[2] + (xoff>>1) + (yoff>>1)*s->uvlinesize;
692
693     if(block_type == RV34_MB_P_16x8){
694         qpel_mc[1][dxy](Y, srcY, s->linesize);
695         Y    += 8;
696         srcY += 8;
697     }else if(block_type == RV34_MB_P_8x16){
698         qpel_mc[1][dxy](Y, srcY, s->linesize);
699         Y    += 8 * s->linesize;
700         srcY += 8 * s->linesize;
701     }
702     is16x16 = (block_type != RV34_MB_P_8x8) && (block_type != RV34_MB_P_16x8) && (block_type != RV34_MB_P_8x16);
703     qpel_mc[!is16x16][dxy](Y, srcY, s->linesize);
704     chroma_mc[2-width]   (U, srcU, s->uvlinesize, height*4, uvmx, uvmy);
705     chroma_mc[2-width]   (V, srcV, s->uvlinesize, height*4, uvmx, uvmy);
706 }
707
708 static void rv34_mc_1mv(RV34DecContext *r, const int block_type,
709                         const int xoff, const int yoff, int mv_off,
710                         const int width, const int height, int dir)
711 {
712     rv34_mc(r, block_type, xoff, yoff, mv_off, width, height, dir, r->rv30,
713             r->rv30 ? r->s.dsp.put_rv30_tpel_pixels_tab
714                     : r->s.dsp.put_rv40_qpel_pixels_tab,
715             r->rv30 ? r->s.dsp.put_h264_chroma_pixels_tab
716                     : r->s.dsp.put_rv40_chroma_pixels_tab);
717 }
718
719 static void rv34_mc_2mv(RV34DecContext *r, const int block_type)
720 {
721     rv34_mc(r, block_type, 0, 0, 0, 2, 2, 0, r->rv30,
722             r->rv30 ? r->s.dsp.put_rv30_tpel_pixels_tab
723                     : r->s.dsp.put_rv40_qpel_pixels_tab,
724             r->rv30 ? r->s.dsp.put_h264_chroma_pixels_tab
725                     : r->s.dsp.put_rv40_chroma_pixels_tab);
726     rv34_mc(r, block_type, 0, 0, 0, 2, 2, 1, r->rv30,
727             r->rv30 ? r->s.dsp.avg_rv30_tpel_pixels_tab
728                     : r->s.dsp.avg_rv40_qpel_pixels_tab,
729             r->rv30 ? r->s.dsp.avg_h264_chroma_pixels_tab
730                     : r->s.dsp.avg_rv40_chroma_pixels_tab);
731 }
732
733 static void rv34_mc_2mv_skip(RV34DecContext *r)
734 {
735     int i, j;
736     for(j = 0; j < 2; j++)
737         for(i = 0; i < 2; i++){
738              rv34_mc(r, RV34_MB_P_8x8, i*8, j*8, i+j*r->s.b8_stride, 1, 1, 0, r->rv30,
739                     r->rv30 ? r->s.dsp.put_rv30_tpel_pixels_tab
740                             : r->s.dsp.put_rv40_qpel_pixels_tab,
741                     r->rv30 ? r->s.dsp.put_h264_chroma_pixels_tab
742                             : r->s.dsp.put_rv40_chroma_pixels_tab);
743              rv34_mc(r, RV34_MB_P_8x8, i*8, j*8, i+j*r->s.b8_stride, 1, 1, 1, r->rv30,
744                     r->rv30 ? r->s.dsp.avg_rv30_tpel_pixels_tab
745                             : r->s.dsp.avg_rv40_qpel_pixels_tab,
746                     r->rv30 ? r->s.dsp.avg_h264_chroma_pixels_tab
747                             : r->s.dsp.avg_rv40_chroma_pixels_tab);
748         }
749 }
750
751 /** number of motion vectors in each macroblock type */
752 static const int num_mvs[RV34_MB_TYPES] = { 0, 0, 1, 4, 1, 1, 0, 0, 2, 2, 2, 1 };
753
754 /**
755  * Decode motion vector differences
756  * and perform motion vector reconstruction and motion compensation.
757  */
758 static int rv34_decode_mv(RV34DecContext *r, int block_type)
759 {
760     MpegEncContext *s = &r->s;
761     GetBitContext *gb = &s->gb;
762     int i, j, k, l;
763     int mv_pos = s->mb_x * 2 + s->mb_y * 2 * s->b8_stride;
764     int next_bt;
765
766     memset(r->dmv, 0, sizeof(r->dmv));
767     for(i = 0; i < num_mvs[block_type]; i++){
768         r->dmv[i][0] = svq3_get_se_golomb(gb);
769         r->dmv[i][1] = svq3_get_se_golomb(gb);
770     }
771     switch(block_type){
772     case RV34_MB_TYPE_INTRA:
773     case RV34_MB_TYPE_INTRA16x16:
774         fill_rectangle(s->current_picture_ptr->motion_val[0][s->mb_x * 2 + s->mb_y * 2 * s->b8_stride], 2, 2, s->b8_stride, 0, 4);
775         return 0;
776     case RV34_MB_SKIP:
777         if(s->pict_type == FF_P_TYPE){
778             fill_rectangle(s->current_picture_ptr->motion_val[0][s->mb_x * 2 + s->mb_y * 2 * s->b8_stride], 2, 2, s->b8_stride, 0, 4);
779             rv34_mc_1mv (r, block_type, 0, 0, 0, 2, 2, 0);
780             break;
781         }
782     case RV34_MB_B_DIRECT:
783         //surprisingly, it uses motion scheme from next reference frame
784         next_bt = s->next_picture_ptr->mb_type[s->mb_x + s->mb_y * s->mb_stride];
785         for(j = 0; j < 2; j++)
786             for(i = 0; i < 2; i++)
787                 for(k = 0; k < 2; k++)
788                     for(l = 0; l < 2; l++)
789                         s->current_picture_ptr->motion_val[l][mv_pos + i + j*s->b8_stride][k] = calc_add_mv(r, l, s->next_picture_ptr->motion_val[0][mv_pos + i + j*s->b8_stride][k]);
790         if(IS_16X16(next_bt)) //we can use whole macroblock MC
791             rv34_mc_2mv(r, block_type);
792         else
793             rv34_mc_2mv_skip(r);
794         fill_rectangle(s->current_picture_ptr->motion_val[0][s->mb_x * 2 + s->mb_y * 2 * s->b8_stride], 2, 2, s->b8_stride, 0, 4);
795         break;
796     case RV34_MB_P_16x16:
797     case RV34_MB_P_MIX16x16:
798         rv34_pred_mv(r, block_type, 0, 0);
799         rv34_mc_1mv (r, block_type, 0, 0, 0, 2, 2, 0);
800         break;
801     case RV34_MB_B_FORWARD:
802     case RV34_MB_B_BACKWARD:
803         r->dmv[1][0] = r->dmv[0][0];
804         r->dmv[1][1] = r->dmv[0][1];
805         if(r->rv30)
806             rv34_pred_mv_rv3(r, block_type, block_type == RV34_MB_B_BACKWARD);
807         else
808             rv34_pred_mv_b  (r, block_type, block_type == RV34_MB_B_BACKWARD);
809         rv34_mc_1mv     (r, block_type, 0, 0, 0, 2, 2, block_type == RV34_MB_B_BACKWARD);
810         break;
811     case RV34_MB_P_16x8:
812     case RV34_MB_P_8x16:
813         rv34_pred_mv(r, block_type, 0, 0);
814         rv34_pred_mv(r, block_type, 1 + (block_type == RV34_MB_P_16x8), 1);
815         if(block_type == RV34_MB_P_16x8){
816             rv34_mc_1mv(r, block_type, 0, 0, 0,            2, 1, 0);
817             rv34_mc_1mv(r, block_type, 0, 8, s->b8_stride, 2, 1, 0);
818         }
819         if(block_type == RV34_MB_P_8x16){
820             rv34_mc_1mv(r, block_type, 0, 0, 0, 1, 2, 0);
821             rv34_mc_1mv(r, block_type, 8, 0, 1, 1, 2, 0);
822         }
823         break;
824     case RV34_MB_B_BIDIR:
825         rv34_pred_mv_b  (r, block_type, 0);
826         rv34_pred_mv_b  (r, block_type, 1);
827         rv34_mc_2mv     (r, block_type);
828         break;
829     case RV34_MB_P_8x8:
830         for(i=0;i< 4;i++){
831             rv34_pred_mv(r, block_type, i, i);
832             rv34_mc_1mv (r, block_type, (i&1)<<3, (i&2)<<2, (i&1)+(i>>1)*s->b8_stride, 1, 1, 0);
833         }
834         break;
835     }
836
837     return 0;
838 }
839 /** @} */ // mv group
840
841 /**
842  * @defgroup recons Macroblock reconstruction functions
843  * @{
844  */
845 /** mapping of RV30/40 intra prediction types to standard H.264 types */
846 static const int ittrans[9] = {
847  DC_PRED, VERT_PRED, HOR_PRED, DIAG_DOWN_RIGHT_PRED, DIAG_DOWN_LEFT_PRED,
848  VERT_RIGHT_PRED, VERT_LEFT_PRED, HOR_UP_PRED, HOR_DOWN_PRED,
849 };
850
851 /** mapping of RV30/40 intra 16x16 prediction types to standard H.264 types */
852 static const int ittrans16[4] = {
853  DC_PRED8x8, VERT_PRED8x8, HOR_PRED8x8, PLANE_PRED8x8,
854 };
855
856 /**
857  * Perform 4x4 intra prediction.
858  */
859 static void rv34_pred_4x4_block(RV34DecContext *r, uint8_t *dst, int stride, int itype, int up, int left, int down, int right)
860 {
861     uint8_t *prev = dst - stride + 4;
862     uint32_t topleft;
863
864     if(!up && !left)
865         itype = DC_128_PRED;
866     else if(!up){
867         if(itype == VERT_PRED) itype = HOR_PRED;
868         if(itype == DC_PRED)   itype = LEFT_DC_PRED;
869     }else if(!left){
870         if(itype == HOR_PRED)  itype = VERT_PRED;
871         if(itype == DC_PRED)   itype = TOP_DC_PRED;
872         if(itype == DIAG_DOWN_LEFT_PRED) itype = DIAG_DOWN_LEFT_PRED_RV40_NODOWN;
873     }
874     if(!down){
875         if(itype == DIAG_DOWN_LEFT_PRED) itype = DIAG_DOWN_LEFT_PRED_RV40_NODOWN;
876         if(itype == HOR_UP_PRED) itype = HOR_UP_PRED_RV40_NODOWN;
877         if(itype == VERT_LEFT_PRED) itype = VERT_LEFT_PRED_RV40_NODOWN;
878     }
879     if(!right && up){
880         topleft = dst[-stride + 3] * 0x01010101;
881         prev = &topleft;
882     }
883     r->h.pred4x4[itype](dst, prev, stride);
884 }
885
886 /** add_pixels_clamped for 4x4 block */
887 static void rv34_add_4x4_block(uint8_t *dst, int stride, DCTELEM block[64], int off)
888 {
889     int x, y;
890     for(y = 0; y < 4; y++)
891         for(x = 0; x < 4; x++)
892             dst[x + y*stride] = av_clip_uint8(dst[x + y*stride] + block[off + x+y*8]);
893 }
894
895 static inline int adjust_pred16(int itype, int up, int left)
896 {
897     if(!up && !left)
898         itype = DC_128_PRED8x8;
899     else if(!up){
900         if(itype == PLANE_PRED8x8)itype = HOR_PRED8x8;
901         if(itype == VERT_PRED8x8) itype = HOR_PRED8x8;
902         if(itype == DC_PRED8x8)   itype = LEFT_DC_PRED8x8;
903     }else if(!left){
904         if(itype == PLANE_PRED8x8)itype = VERT_PRED8x8;
905         if(itype == HOR_PRED8x8)  itype = VERT_PRED8x8;
906         if(itype == DC_PRED8x8)   itype = TOP_DC_PRED8x8;
907     }
908     return itype;
909 }
910
911 static void rv34_output_macroblock(RV34DecContext *r, int8_t *intra_types, int cbp, int is16)
912 {
913     MpegEncContext *s = &r->s;
914     DSPContext *dsp = &s->dsp;
915     int i, j;
916     uint8_t *Y, *U, *V;
917     int itype;
918     int avail[6*8] = {0};
919     int idx;
920
921     // Set neighbour information.
922     if(r->avail_cache[0])
923         avail[0] = 1;
924     if(r->avail_cache[1])
925         avail[1] = avail[2] = 1;
926     if(r->avail_cache[2])
927         avail[3] = avail[4] = 1;
928     if(r->avail_cache[3])
929         avail[5] = 1;
930     if(r->avail_cache[4])
931         avail[8] = avail[16] = 1;
932     if(r->avail_cache[8])
933         avail[24] = avail[32] = 1;
934
935     Y = s->dest[0];
936     U = s->dest[1];
937     V = s->dest[2];
938     if(!is16){
939         for(j = 0; j < 4; j++){
940             idx = 9 + j*8;
941             for(i = 0; i < 4; i++, cbp >>= 1, Y += 4, idx++){
942                 rv34_pred_4x4_block(r, Y, s->linesize, ittrans[intra_types[i]], avail[idx-8], avail[idx-1], avail[idx+7], avail[idx-7]);
943                 avail[idx] = 1;
944                 if(cbp & 1)
945                     rv34_add_4x4_block(Y, s->linesize, s->block[(i>>1)+(j&2)], (i&1)*4+(j&1)*32);
946             }
947             Y += s->linesize * 4 - 4*4;
948             intra_types += s->b4_stride;
949         }
950         intra_types -= s->b4_stride * 4;
951         fill_rectangle(r->avail_cache + 5, 2, 2, 4, 0, 4);
952         for(j = 0; j < 2; j++){
953             idx = 5 + j*4;
954             for(i = 0; i < 2; i++, cbp >>= 1, idx++){
955                 rv34_pred_4x4_block(r, U + i*4 + j*4*s->uvlinesize, s->uvlinesize, ittrans[intra_types[i*2+j*2*s->b4_stride]], r->avail_cache[idx-4], r->avail_cache[idx-1], !i && !j, r->avail_cache[idx-3]);
956                 rv34_pred_4x4_block(r, V + i*4 + j*4*s->uvlinesize, s->uvlinesize, ittrans[intra_types[i*2+j*2*s->b4_stride]], r->avail_cache[idx-4], r->avail_cache[idx-1], !i && !j, r->avail_cache[idx-3]);
957                 r->avail_cache[idx] = 1;
958                 if(cbp & 0x01)
959                     rv34_add_4x4_block(U + i*4 + j*4*s->uvlinesize, s->uvlinesize, s->block[4], i*4+j*32);
960                 if(cbp & 0x10)
961                     rv34_add_4x4_block(V + i*4 + j*4*s->uvlinesize, s->uvlinesize, s->block[5], i*4+j*32);
962             }
963         }
964     }else{
965         itype = ittrans16[intra_types[0]];
966         itype = adjust_pred16(itype, r->avail_cache[5-4], r->avail_cache[5-1]);
967         r->h.pred16x16[itype](Y, s->linesize);
968         dsp->add_pixels_clamped(s->block[0], Y,     s->linesize);
969         dsp->add_pixels_clamped(s->block[1], Y + 8, s->linesize);
970         Y += s->linesize * 8;
971         dsp->add_pixels_clamped(s->block[2], Y,     s->linesize);
972         dsp->add_pixels_clamped(s->block[3], Y + 8, s->linesize);
973
974         itype = ittrans16[intra_types[0]];
975         if(itype == PLANE_PRED8x8) itype = DC_PRED8x8;
976         itype = adjust_pred16(itype, r->avail_cache[5-4], r->avail_cache[5-1]);
977         r->h.pred8x8[itype](U, s->uvlinesize);
978         dsp->add_pixels_clamped(s->block[4], U, s->uvlinesize);
979         r->h.pred8x8[itype](V, s->uvlinesize);
980         dsp->add_pixels_clamped(s->block[5], V, s->uvlinesize);
981     }
982 }
983
984 /** @} */ // recons group
985
986 /**
987  * @addtogroup bitstream
988  * Decode macroblock header and return CBP in case of success, -1 otherwise.
989  */
990 static int rv34_decode_mb_header(RV34DecContext *r, int8_t *intra_types)
991 {
992     MpegEncContext *s = &r->s;
993     GetBitContext *gb = &s->gb;
994     int mb_pos = s->mb_x + s->mb_y * s->mb_stride;
995     int i, t;
996
997     if(!r->si.type){
998         r->is16 = get_bits1(gb);
999         if(!r->is16 && !r->rv30){
1000             if(!get_bits1(gb))
1001                 av_log(s->avctx, AV_LOG_ERROR, "Need DQUANT\n");
1002         }
1003         s->current_picture_ptr->mb_type[mb_pos] = r->is16 ? MB_TYPE_INTRA16x16 : MB_TYPE_INTRA;
1004         r->block_type = r->is16 ? RV34_MB_TYPE_INTRA16x16 : RV34_MB_TYPE_INTRA;
1005     }else{
1006         r->block_type = r->decode_mb_info(r);
1007         if(r->block_type == -1)
1008             return -1;
1009         s->current_picture_ptr->mb_type[mb_pos] = rv34_mb_type_to_lavc[r->block_type];
1010         r->mb_type[mb_pos] = r->block_type;
1011         if(r->block_type == RV34_MB_SKIP){
1012             if(s->pict_type == FF_P_TYPE)
1013                 r->mb_type[mb_pos] = RV34_MB_P_16x16;
1014             if(s->pict_type == FF_B_TYPE)
1015                 r->mb_type[mb_pos] = RV34_MB_B_DIRECT;
1016         }
1017         r->is16 = !!IS_INTRA16x16(s->current_picture_ptr->mb_type[mb_pos]);
1018         rv34_decode_mv(r, r->block_type);
1019         if(r->block_type == RV34_MB_SKIP){
1020             fill_rectangle(intra_types, 4, 4, s->b4_stride, 0, sizeof(intra_types[0]));
1021             return 0;
1022         }
1023         r->chroma_vlc = 1;
1024         r->luma_vlc   = 0;
1025     }
1026     if(IS_INTRA(s->current_picture_ptr->mb_type[mb_pos])){
1027         if(r->is16){
1028             t = get_bits(gb, 2);
1029             fill_rectangle(intra_types, 4, 4, s->b4_stride, t, sizeof(intra_types[0]));
1030             r->luma_vlc   = 2;
1031         }else{
1032             if(r->decode_intra_types(r, gb, intra_types) < 0)
1033                 return -1;
1034             r->luma_vlc   = 1;
1035         }
1036         r->chroma_vlc = 0;
1037         r->cur_vlcs = choose_vlc_set(r->si.quant, r->si.vlc_set, 0);
1038     }else{
1039         for(i = 0; i < 16; i++)
1040             intra_types[(i & 3) + (i>>2) * s->b4_stride] = 0;
1041         r->cur_vlcs = choose_vlc_set(r->si.quant, r->si.vlc_set, 1);
1042         if(r->mb_type[mb_pos] == RV34_MB_P_MIX16x16){
1043             r->is16 = 1;
1044             r->chroma_vlc = 1;
1045             r->luma_vlc   = 2;
1046             r->cur_vlcs = choose_vlc_set(r->si.quant, r->si.vlc_set, 0);
1047         }
1048     }
1049
1050     return rv34_decode_cbp(gb, r->cur_vlcs, r->is16);
1051 }
1052
1053 /**
1054  * @addtogroup recons
1055  * @{
1056  */
1057 /**
1058  * mask for retrieving all bits in coded block pattern
1059  * corresponding to one 8x8 block
1060  */
1061 #define LUMA_CBP_BLOCK_MASK 0x33
1062
1063 #define U_CBP_MASK 0x0F0000
1064 #define V_CBP_MASK 0xF00000
1065
1066
1067 static void rv34_apply_differences(RV34DecContext *r, int cbp)
1068 {
1069     static const int shifts[4] = { 0, 2, 8, 10 };
1070     MpegEncContext *s = &r->s;
1071     int i;
1072
1073     for(i = 0; i < 4; i++)
1074         if((cbp & (LUMA_CBP_BLOCK_MASK << shifts[i])) || r->block_type == RV34_MB_P_MIX16x16)
1075             s->dsp.add_pixels_clamped(s->block[i], s->dest[0] + (i & 1)*8 + (i&2)*4*s->linesize, s->linesize);
1076     if(cbp & U_CBP_MASK)
1077         s->dsp.add_pixels_clamped(s->block[4], s->dest[1], s->uvlinesize);
1078     if(cbp & V_CBP_MASK)
1079         s->dsp.add_pixels_clamped(s->block[5], s->dest[2], s->uvlinesize);
1080 }
1081
1082 static int is_mv_diff_gt_3(int16_t (*motion_val)[2], int step)
1083 {
1084     int d;
1085     d = motion_val[0][0] - motion_val[-step][0];
1086     if(d < -3 || d > 3)
1087         return 1;
1088     d = motion_val[0][1] - motion_val[-step][1];
1089     if(d < -3 || d > 3)
1090         return 1;
1091     return 0;
1092 }
1093
1094 static int rv34_set_deblock_coef(RV34DecContext *r)
1095 {
1096     MpegEncContext *s = &r->s;
1097     int hmvmask = 0, vmvmask = 0, i, j;
1098     int midx = s->mb_x * 2 + s->mb_y * 2 * s->b8_stride;
1099     int16_t (*motion_val)[2] = s->current_picture_ptr->motion_val[0][midx];
1100     for(j = 0; j < 16; j += 8){
1101         for(i = 0; i < 2; i++){
1102             if(is_mv_diff_gt_3(motion_val + i, 1))
1103                 vmvmask |= 0x11 << (j + i*2);
1104             if((j || s->mb_y) && is_mv_diff_gt_3(motion_val + i, s->b8_stride))
1105                 hmvmask |= 0x03 << (j + i*2);
1106         }
1107         motion_val += s->b8_stride;
1108     }
1109     if(s->first_slice_line)
1110         hmvmask &= ~0x000F;
1111     if(!s->mb_x)
1112         vmvmask &= ~0x1111;
1113     if(r->rv30){ //RV30 marks both subblocks on the edge for filtering
1114         vmvmask |= (vmvmask & 0x4444) >> 1;
1115         hmvmask |= (hmvmask & 0x0F00) >> 4;
1116         if(s->mb_x)
1117             r->deblock_coefs[s->mb_x - 1 + s->mb_y*s->mb_stride] |= (vmvmask & 0x1111) << 3;
1118         if(!s->first_slice_line)
1119             r->deblock_coefs[s->mb_x + (s->mb_y - 1)*s->mb_stride] |= (hmvmask & 0xF) << 12;
1120     }
1121     return hmvmask | vmvmask;
1122 }
1123
1124 static int rv34_decode_macroblock(RV34DecContext *r, int8_t *intra_types)
1125 {
1126     MpegEncContext *s = &r->s;
1127     GetBitContext *gb = &s->gb;
1128     int cbp, cbp2;
1129     int i, blknum, blkoff;
1130     DCTELEM block16[64];
1131     int luma_dc_quant;
1132     int dist;
1133     int mb_pos = s->mb_x + s->mb_y * s->mb_stride;
1134
1135     // Calculate which neighbours are available. Maybe it's worth optimizing too.
1136     memset(r->avail_cache, 0, sizeof(r->avail_cache));
1137     fill_rectangle(r->avail_cache + 5, 2, 2, 4, 1, 4);
1138     dist = (s->mb_x - s->resync_mb_x) + (s->mb_y - s->resync_mb_y) * s->mb_width;
1139     if(s->mb_x && dist)
1140         r->avail_cache[4] =
1141         r->avail_cache[8] = s->current_picture_ptr->mb_type[mb_pos - 1];
1142     if(dist >= s->mb_width)
1143         r->avail_cache[1] =
1144         r->avail_cache[2] = s->current_picture_ptr->mb_type[mb_pos - s->mb_stride];
1145     if(((s->mb_x+1) < s->mb_width) && dist >= s->mb_width - 1)
1146         r->avail_cache[3] = s->current_picture_ptr->mb_type[mb_pos - s->mb_stride + 1];
1147     if(s->mb_x && dist > s->mb_width)
1148         r->avail_cache[0] = s->current_picture_ptr->mb_type[mb_pos - s->mb_stride - 1];
1149
1150     s->qscale = r->si.quant;
1151     cbp = cbp2 = rv34_decode_mb_header(r, intra_types);
1152     r->cbp_luma  [mb_pos] = cbp;
1153     r->cbp_chroma[mb_pos] = cbp >> 16;
1154     if(s->pict_type == FF_I_TYPE)
1155         r->deblock_coefs[mb_pos] = 0xFFFF;
1156     else
1157         r->deblock_coefs[mb_pos] = rv34_set_deblock_coef(r) | r->cbp_luma[mb_pos];
1158     s->current_picture_ptr->qscale_table[mb_pos] = s->qscale;
1159
1160     if(cbp == -1)
1161         return -1;
1162
1163     luma_dc_quant = r->block_type == RV34_MB_P_MIX16x16 ? r->luma_dc_quant_p[s->qscale] : r->luma_dc_quant_i[s->qscale];
1164     if(r->is16){
1165         memset(block16, 0, sizeof(block16));
1166         rv34_decode_block(block16, gb, r->cur_vlcs, 3, 0);
1167         rv34_dequant4x4_16x16(block16, rv34_qscale_tab[luma_dc_quant],rv34_qscale_tab[s->qscale]);
1168         rv34_inv_transform_noround(block16);
1169     }
1170
1171     for(i = 0; i < 16; i++, cbp >>= 1){
1172         if(!r->is16 && !(cbp & 1)) continue;
1173         blknum = ((i & 2) >> 1) + ((i & 8) >> 2);
1174         blkoff = ((i & 1) << 2) + ((i & 4) << 3);
1175         if(cbp & 1)
1176             rv34_decode_block(s->block[blknum] + blkoff, gb, r->cur_vlcs, r->luma_vlc, 0);
1177         rv34_dequant4x4(s->block[blknum] + blkoff, rv34_qscale_tab[s->qscale],rv34_qscale_tab[s->qscale]);
1178         if(r->is16) //FIXME: optimize
1179             s->block[blknum][blkoff] = block16[(i & 3) | ((i & 0xC) << 1)];
1180         rv34_inv_transform(s->block[blknum] + blkoff);
1181     }
1182     if(r->block_type == RV34_MB_P_MIX16x16)
1183         r->cur_vlcs = choose_vlc_set(r->si.quant, r->si.vlc_set, 1);
1184     for(; i < 24; i++, cbp >>= 1){
1185         if(!(cbp & 1)) continue;
1186         blknum = ((i & 4) >> 2) + 4;
1187         blkoff = ((i & 1) << 2) + ((i & 2) << 4);
1188         rv34_decode_block(s->block[blknum] + blkoff, gb, r->cur_vlcs, r->chroma_vlc, 1);
1189         rv34_dequant4x4(s->block[blknum] + blkoff, rv34_qscale_tab[rv34_chroma_quant[1][s->qscale]],rv34_qscale_tab[rv34_chroma_quant[0][s->qscale]]);
1190         rv34_inv_transform(s->block[blknum] + blkoff);
1191     }
1192     if(IS_INTRA(s->current_picture_ptr->mb_type[mb_pos]))
1193         rv34_output_macroblock(r, intra_types, cbp2, r->is16);
1194     else
1195         rv34_apply_differences(r, cbp2);
1196
1197     return 0;
1198 }
1199
1200 static int check_slice_end(RV34DecContext *r, MpegEncContext *s)
1201 {
1202     int bits;
1203     if(s->mb_y >= s->mb_height)
1204         return 1;
1205     if(!s->mb_num_left)
1206         return 1;
1207     if(r->s.mb_skip_run > 1)
1208         return 0;
1209     bits = r->bits - get_bits_count(&s->gb);
1210     if(bits < 0 || (bits < 8 && !show_bits(&s->gb, bits)))
1211         return 1;
1212     return 0;
1213 }
1214
1215 static inline int slice_compare(SliceInfo *si1, SliceInfo *si2)
1216 {
1217     return si1->type   != si2->type  ||
1218            si1->start  >= si2->start ||
1219            si1->width  != si2->width ||
1220            si1->height != si2->height||
1221            si1->pts    != si2->pts;
1222 }
1223
1224 static int rv34_decode_slice(RV34DecContext *r, int end, const uint8_t* buf, int buf_size)
1225 {
1226     MpegEncContext *s = &r->s;
1227     GetBitContext *gb = &s->gb;
1228     int mb_pos;
1229     int res;
1230
1231     init_get_bits(&r->s.gb, buf, buf_size*8);
1232     res = r->parse_slice_header(r, gb, &r->si);
1233     if(res < 0){
1234         av_log(s->avctx, AV_LOG_ERROR, "Incorrect or unknown slice header\n");
1235         return -1;
1236     }
1237
1238     if ((s->mb_x == 0 && s->mb_y == 0) || s->current_picture_ptr==NULL) {
1239         if(s->width != r->si.width || s->height != r->si.height){
1240             av_log(s->avctx, AV_LOG_DEBUG, "Changing dimensions to %dx%d\n", r->si.width,r->si.height);
1241             MPV_common_end(s);
1242             s->width  = r->si.width;
1243             s->height = r->si.height;
1244             if(MPV_common_init(s) < 0)
1245                 return -1;
1246             r->intra_types_hist = av_realloc(r->intra_types_hist, s->b4_stride * 4 * 2 * sizeof(*r->intra_types_hist));
1247             r->intra_types = r->intra_types_hist + s->b4_stride * 4;
1248             r->mb_type = av_realloc(r->mb_type, r->s.mb_stride * r->s.mb_height * sizeof(*r->mb_type));
1249             r->cbp_luma   = av_realloc(r->cbp_luma,   r->s.mb_stride * r->s.mb_height * sizeof(*r->cbp_luma));
1250             r->cbp_chroma = av_realloc(r->cbp_chroma, r->s.mb_stride * r->s.mb_height * sizeof(*r->cbp_chroma));
1251             r->deblock_coefs = av_realloc(r->deblock_coefs, r->s.mb_stride * r->s.mb_height * sizeof(*r->deblock_coefs));
1252         }
1253         s->pict_type = r->si.type ? r->si.type : FF_I_TYPE;
1254         if(MPV_frame_start(s, s->avctx) < 0)
1255             return -1;
1256         ff_er_frame_start(s);
1257         r->cur_pts = r->si.pts;
1258         if(s->pict_type != FF_B_TYPE){
1259             r->last_pts = r->next_pts;
1260             r->next_pts = r->cur_pts;
1261         }
1262         s->mb_x = s->mb_y = 0;
1263     }
1264
1265     r->si.end = end;
1266     s->qscale = r->si.quant;
1267     r->bits = buf_size*8;
1268     s->mb_num_left = r->si.end - r->si.start;
1269     r->s.mb_skip_run = 0;
1270
1271     mb_pos = s->mb_x + s->mb_y * s->mb_width;
1272     if(r->si.start != mb_pos){
1273         av_log(s->avctx, AV_LOG_ERROR, "Slice indicates MB offset %d, got %d\n", r->si.start, mb_pos);
1274         s->mb_x = r->si.start % s->mb_width;
1275         s->mb_y = r->si.start / s->mb_width;
1276     }
1277     memset(r->intra_types_hist, -1, s->b4_stride * 4 * 2 * sizeof(*r->intra_types_hist));
1278     s->first_slice_line = 1;
1279     s->resync_mb_x= s->mb_x;
1280     s->resync_mb_y= s->mb_y;
1281
1282     ff_init_block_index(s);
1283     while(!check_slice_end(r, s)) {
1284         ff_update_block_index(s);
1285         s->dsp.clear_blocks(s->block[0]);
1286
1287         if(rv34_decode_macroblock(r, r->intra_types + s->mb_x * 4 + 1) < 0){
1288             ff_er_add_slice(s, s->resync_mb_x, s->resync_mb_y, s->mb_x-1, s->mb_y, AC_ERROR|DC_ERROR|MV_ERROR);
1289             return -1;
1290         }
1291         if (++s->mb_x == s->mb_width) {
1292             s->mb_x = 0;
1293             s->mb_y++;
1294             ff_init_block_index(s);
1295
1296             memmove(r->intra_types_hist, r->intra_types, s->b4_stride * 4 * sizeof(*r->intra_types_hist));
1297             memset(r->intra_types, -1, s->b4_stride * 4 * sizeof(*r->intra_types_hist));
1298
1299             if(r->loop_filter && s->mb_y >= 2)
1300                 r->loop_filter(r, s->mb_y - 2);
1301         }
1302         if(s->mb_x == s->resync_mb_x)
1303             s->first_slice_line=0;
1304         s->mb_num_left--;
1305     }
1306     ff_er_add_slice(s, s->resync_mb_x, s->resync_mb_y, s->mb_x-1, s->mb_y, AC_END|DC_END|MV_END);
1307
1308     return s->mb_y == s->mb_height;
1309 }
1310
1311 /** @} */ // recons group end
1312
1313 /**
1314  * Initialize decoder.
1315  */
1316 av_cold int ff_rv34_decode_init(AVCodecContext *avctx)
1317 {
1318     RV34DecContext *r = avctx->priv_data;
1319     MpegEncContext *s = &r->s;
1320
1321     MPV_decode_defaults(s);
1322     s->avctx= avctx;
1323     s->out_format = FMT_H263;
1324     s->codec_id= avctx->codec_id;
1325
1326     s->width = avctx->width;
1327     s->height = avctx->height;
1328
1329     r->s.avctx = avctx;
1330     avctx->flags |= CODEC_FLAG_EMU_EDGE;
1331     r->s.flags |= CODEC_FLAG_EMU_EDGE;
1332     avctx->pix_fmt = PIX_FMT_YUV420P;
1333     avctx->has_b_frames = 1;
1334     s->low_delay = 0;
1335
1336     if (MPV_common_init(s) < 0)
1337         return -1;
1338
1339     ff_h264_pred_init(&r->h, CODEC_ID_RV40);
1340
1341     r->intra_types_hist = av_malloc(s->b4_stride * 4 * 2 * sizeof(*r->intra_types_hist));
1342     r->intra_types = r->intra_types_hist + s->b4_stride * 4;
1343
1344     r->mb_type = av_mallocz(r->s.mb_stride * r->s.mb_height * sizeof(*r->mb_type));
1345
1346     r->cbp_luma   = av_malloc(r->s.mb_stride * r->s.mb_height * sizeof(*r->cbp_luma));
1347     r->cbp_chroma = av_malloc(r->s.mb_stride * r->s.mb_height * sizeof(*r->cbp_chroma));
1348     r->deblock_coefs = av_malloc(r->s.mb_stride * r->s.mb_height * sizeof(*r->deblock_coefs));
1349
1350     if(!intra_vlcs[0].cbppattern[0].bits)
1351         rv34_init_tables();
1352
1353     return 0;
1354 }
1355
1356 static int get_slice_offset(AVCodecContext *avctx, const uint8_t *buf, int n)
1357 {
1358     if(avctx->slice_count) return avctx->slice_offset[n];
1359     else                   return AV_RL32(buf + n*8 - 4) == 1 ? AV_RL32(buf + n*8) :  AV_RB32(buf + n*8);
1360 }
1361
1362 int ff_rv34_decode_frame(AVCodecContext *avctx,
1363                             void *data, int *data_size,
1364                             const uint8_t *buf, int buf_size)
1365 {
1366     RV34DecContext *r = avctx->priv_data;
1367     MpegEncContext *s = &r->s;
1368     AVFrame *pict = data;
1369     SliceInfo si;
1370     int i;
1371     int slice_count;
1372     const uint8_t *slices_hdr = NULL;
1373     int last = 0;
1374
1375     /* no supplementary picture */
1376     if (buf_size == 0) {
1377         /* special case for last picture */
1378         if (s->low_delay==0 && s->next_picture_ptr) {
1379             *pict= *(AVFrame*)s->next_picture_ptr;
1380             s->next_picture_ptr= NULL;
1381
1382             *data_size = sizeof(AVFrame);
1383         }
1384         return 0;
1385     }
1386
1387     if(!avctx->slice_count){
1388         slice_count = (*buf++) + 1;
1389         slices_hdr = buf + 4;
1390         buf += 8 * slice_count;
1391     }else
1392         slice_count = avctx->slice_count;
1393
1394     for(i=0; i<slice_count; i++){
1395         int offset= get_slice_offset(avctx, slices_hdr, i);
1396         int size;
1397         if(i+1 == slice_count)
1398             size= buf_size - offset;
1399         else
1400             size= get_slice_offset(avctx, slices_hdr, i+1) - offset;
1401
1402         if(offset > buf_size){
1403             av_log(avctx, AV_LOG_ERROR, "Slice offset is greater than frame size\n");
1404             break;
1405         }
1406
1407         r->si.end = s->mb_width * s->mb_height;
1408         if(i+1 < slice_count){
1409             init_get_bits(&s->gb, buf+get_slice_offset(avctx, slices_hdr, i+1), (buf_size-get_slice_offset(avctx, slices_hdr, i+1))*8);
1410             if(r->parse_slice_header(r, &r->s.gb, &si) < 0){
1411                 if(i+2 < slice_count)
1412                     size = get_slice_offset(avctx, slices_hdr, i+2) - offset;
1413                 else
1414                     size = buf_size - offset;
1415             }else
1416                 r->si.end = si.start;
1417         }
1418         if(!i && si.type == FF_B_TYPE && (!s->last_picture_ptr || !s->last_picture_ptr->data[0]))
1419             return -1;
1420         last = rv34_decode_slice(r, r->si.end, buf + offset, size);
1421         s->mb_num_left = r->s.mb_x + r->s.mb_y*r->s.mb_width - r->si.start;
1422         if(last)
1423             break;
1424     }
1425
1426     if(last){
1427         if(r->loop_filter)
1428             r->loop_filter(r, s->mb_height - 1);
1429         ff_er_frame_end(s);
1430         MPV_frame_end(s);
1431         if (s->pict_type == FF_B_TYPE || s->low_delay) {
1432             *pict= *(AVFrame*)s->current_picture_ptr;
1433         } else if (s->last_picture_ptr != NULL) {
1434             *pict= *(AVFrame*)s->last_picture_ptr;
1435         }
1436
1437         if(s->last_picture_ptr || s->low_delay){
1438             *data_size = sizeof(AVFrame);
1439             ff_print_debug_info(s, pict);
1440         }
1441         s->current_picture_ptr= NULL; //so we can detect if frame_end wasnt called (find some nicer solution...)
1442     }
1443     return buf_size;
1444 }
1445
1446 av_cold int ff_rv34_decode_end(AVCodecContext *avctx)
1447 {
1448     RV34DecContext *r = avctx->priv_data;
1449
1450     MPV_common_end(&r->s);
1451
1452     av_freep(&r->intra_types_hist);
1453     r->intra_types = NULL;
1454     av_freep(&r->mb_type);
1455     av_freep(&r->cbp_luma);
1456     av_freep(&r->cbp_chroma);
1457     av_freep(&r->deblock_coefs);
1458
1459     return 0;
1460 }