Faster CABAC residual encoding
[x264/x264-sandbox.git] / encoder / cavlc.c
1 /*****************************************************************************
2  * cavlc.c: h264 encoder library
3  *****************************************************************************
4  * Copyright (C) 2003-2008 x264 project
5  *
6  * Authors: Laurent Aimar <fenrir@via.ecp.fr>
7  *          Loren Merritt <lorenm@u.washington.edu>
8  *
9  * This program is free software; you can redistribute it and/or modify
10  * it under the terms of the GNU General Public License as published by
11  * the Free Software Foundation; either version 2 of the License, or
12  * (at your option) any later version.
13  *
14  * This program is distributed in the hope that it will be useful,
15  * but WITHOUT ANY WARRANTY; without even the implied warranty of
16  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
17  * GNU General Public License for more details.
18  *
19  * You should have received a copy of the GNU General Public License
20  * along with this program; if not, write to the Free Software
21  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02111, USA.
22  *****************************************************************************/
23
24 #include "common/common.h"
25 #include "macroblock.h"
26
27 #ifndef RDO_SKIP_BS
28 #define RDO_SKIP_BS 0
29 #endif
30
31 static const uint8_t intra4x4_cbp_to_golomb[48]=
32 {
33   3, 29, 30, 17, 31, 18, 37,  8, 32, 38, 19,  9, 20, 10, 11,  2,
34  16, 33, 34, 21, 35, 22, 39,  4, 36, 40, 23,  5, 24,  6,  7,  1,
35  41, 42, 43, 25, 44, 26, 46, 12, 45, 47, 27, 13, 28, 14, 15,  0
36 };
37 static const uint8_t inter_cbp_to_golomb[48]=
38 {
39   0,  2,  3,  7,  4,  8, 17, 13,  5, 18,  9, 14, 10, 15, 16, 11,
40   1, 32, 33, 36, 34, 37, 44, 40, 35, 45, 38, 41, 39, 42, 43, 19,
41   6, 24, 25, 20, 26, 21, 46, 28, 27, 47, 22, 29, 23, 30, 31, 12
42 };
43 static const uint8_t mb_type_b_to_golomb[3][9]=
44 {
45     { 4,  8, 12, 10,  6, 14, 16, 18, 20 }, /* D_16x8 */
46     { 5,  9, 13, 11,  7, 15, 17, 19, 21 }, /* D_8x16 */
47     { 1, -1, -1, -1,  2, -1, -1, -1,  3 }  /* D_16x16 */
48 };
49 static const uint8_t sub_mb_type_p_to_golomb[4]=
50 {
51     3, 1, 2, 0
52 };
53 static const uint8_t sub_mb_type_b_to_golomb[13]=
54 {
55     10,  4,  5,  1, 11,  6,  7,  2, 12,  8,  9,  3,  0
56 };
57
58 #define BLOCK_INDEX_CHROMA_DC   (-1)
59 #define BLOCK_INDEX_LUMA_DC     (-2)
60
61 static inline void bs_write_vlc( bs_t *s, vlc_t v )
62 {
63     bs_write( s, v.i_size, v.i_bits );
64 }
65
66 /****************************************************************************
67  * block_residual_write_cavlc:
68  ****************************************************************************/
69 static void block_residual_write_cavlc( x264_t *h, bs_t *s, int i_idx, int16_t *l, int i_count )
70 {
71     int level[16], run[16];
72     int i_total, i_trailing;
73     int i_total_zero;
74     int i_last;
75     unsigned int i_sign;
76     int i;
77     int i_suffix_length;
78
79     /* first find i_last */
80     for( i_last = i_count-1; i_last >= 3; i_last -= 4 )
81         if( *(uint64_t*)(l+i_last-3) )
82             break;
83     while( i_last >= 0 && l[i_last] == 0 )
84         i_last--;
85
86     i_sign = 0;
87     i_total = 0;
88     i_trailing = 0;
89     i_total_zero = i_last + 1;
90
91     if( i_last >= 0 )
92     {
93         int idx = 0;
94
95         /* level and run and total */
96         while( i_last >= 0 )
97         {
98             int r = 0;
99             level[idx] = l[i_last];
100             while( --i_last >= 0 && l[i_last] == 0 )
101                 r++;
102             run[idx++] = r;
103         }
104
105         i_total = idx;
106         i_total_zero -= idx;
107
108         i_trailing = X264_MIN(3, idx);
109         for( idx = 0; idx < i_trailing; idx++ )
110         {
111             if( (unsigned)(level[idx]+1) > 2 )
112             {
113                 i_trailing = idx;
114                 break;
115             }
116             i_sign <<= 1;
117             i_sign |= level[idx] < 0;
118         }
119     }
120
121     /* total/trailing */
122     if( i_idx == BLOCK_INDEX_CHROMA_DC )
123         bs_write_vlc( s, x264_coeff_token[4][i_total*4+i_trailing] );
124     else
125     {
126         /* x264_mb_predict_non_zero_code return 0 <-> (16+16+1)>>1 = 16 */
127         static const int ct_index[17] = {0,0,1,1,2,2,2,2,3,3,3,3,3,3,3,3,3 };
128         int nC = x264_mb_predict_non_zero_code( h, i_idx == BLOCK_INDEX_LUMA_DC ? 0 : i_idx );
129         bs_write_vlc( s, x264_coeff_token[ct_index[nC]][i_total*4+i_trailing] );
130     }
131
132     if( i_total <= 0 )
133         return;
134
135     i_suffix_length = i_total > 10 && i_trailing < 3 ? 1 : 0;
136     if( i_trailing > 0 )
137         bs_write( s, i_trailing, i_sign );
138     for( i = i_trailing; i < i_total; i++ )
139     {
140         int mask = level[i] >> 15;
141         int abs_level = (level[i]^mask)-mask;
142         int i_level_code = abs_level*2-mask-2;
143
144         if( i == i_trailing && i_trailing < 3 )
145             i_level_code -= 2; /* as level[i] can't be 1 for the first one if i_trailing < 3 */
146
147         if( ( i_level_code >> i_suffix_length ) < 14 )
148             bs_write( s, (i_level_code >> i_suffix_length) + 1 + i_suffix_length,
149                      (1<<i_suffix_length) + (i_level_code & ((1<<i_suffix_length)-1)) );
150         else if( i_suffix_length == 0 && i_level_code < 30 )
151             bs_write( s, 19, (1<<4) + (i_level_code - 14) );
152         else if( i_suffix_length > 0 && ( i_level_code >> i_suffix_length ) == 14 )
153             bs_write( s, 15 + i_suffix_length,
154                       (1<<i_suffix_length) + (i_level_code & ((1<<i_suffix_length)-1)) );
155         else
156         {
157             int i_level_prefix = 15;
158             i_level_code -= 15 << i_suffix_length;
159             if( i_suffix_length == 0 )
160                 i_level_code -= 15;
161
162             /* If the prefix size exceeds 15, High Profile is required. */
163             if( i_level_code >= 1<<12 )
164             {
165                 if( h->sps->i_profile_idc >= PROFILE_HIGH )
166                 {
167                     while( i_level_code > 1<<(i_level_prefix-3) )
168                     {
169                         i_level_code -= 1<<(i_level_prefix-3);
170                         i_level_prefix++;
171                     }
172                 }
173                 else
174                 {
175 #if RDO_SKIP_BS
176                     /* Weight highly against overflows. */
177                     s->i_bits_encoded += 1000000;
178 #else
179                     x264_log(h, X264_LOG_WARNING, "OVERFLOW levelcode=%d is only allowed in High Profile", i_level_code );
180                     /* clip level, preserving sign */
181                     i_level_code = (1<<12) - 2 + (i_level_code & 1);
182 #endif
183                 }
184             }
185             bs_write( s, i_level_prefix + 1, 1 );
186             bs_write( s, i_level_prefix - 3, i_level_code & ((1<<(i_level_prefix-3))-1) );
187         }
188
189         if( i_suffix_length == 0 )
190             i_suffix_length++;
191         if( abs_level > (3 << (i_suffix_length-1)) && i_suffix_length < 6 )
192             i_suffix_length++;
193     }
194
195     if( i_total < i_count )
196     {
197         if( i_idx == BLOCK_INDEX_CHROMA_DC )
198             bs_write_vlc( s, x264_total_zeros_dc[i_total-1][i_total_zero] );
199         else
200             bs_write_vlc( s, x264_total_zeros[i_total-1][i_total_zero] );
201     }
202
203     for( i = 0; i < i_total-1 && i_total_zero > 0; i++ )
204     {
205         int i_zl = X264_MIN( i_total_zero - 1, 6 );
206         bs_write_vlc( s, x264_run_before[i_zl][run[i]] );
207         i_total_zero -= run[i];
208     }
209 }
210
211 static void cavlc_qp_delta( x264_t *h, bs_t *s )
212 {
213     int i_dqp = h->mb.i_qp - h->mb.i_last_qp;
214
215     /* Avoid writing a delta quant if we have an empty i16x16 block, e.g. in a completely flat background area */
216     if( h->mb.i_type == I_16x16 && !(h->mb.i_cbp_luma | h->mb.i_cbp_chroma)
217         && !array_non_zero(h->dct.luma16x16_dc) )
218     {
219 #if !RDO_SKIP_BS
220         h->mb.i_qp = h->mb.i_last_qp;
221 #endif
222         i_dqp = 0;
223     }
224
225     if( i_dqp )
226     {
227         if( i_dqp < -26 )
228             i_dqp += 52;
229         else if( i_dqp > 25 )
230             i_dqp -= 52;
231     }
232     bs_write_se( s, i_dqp );
233 }
234
235 static void cavlc_mb_mvd( x264_t *h, bs_t *s, int i_list, int idx, int width )
236 {
237     DECLARE_ALIGNED_4( int16_t mvp[2] );
238     x264_mb_predict_mv( h, i_list, idx, width, mvp );
239     bs_write_se( s, h->mb.cache.mv[i_list][x264_scan8[idx]][0] - mvp[0] );
240     bs_write_se( s, h->mb.cache.mv[i_list][x264_scan8[idx]][1] - mvp[1] );
241 }
242
243 static void cavlc_mb8x8_mvd( x264_t *h, bs_t *s, int i_list, int i )
244 {
245     if( !x264_mb_partition_listX_table[i_list][ h->mb.i_sub_partition[i] ] )
246         return;
247
248     switch( h->mb.i_sub_partition[i] )
249     {
250         case D_L0_8x8:
251         case D_L1_8x8:
252         case D_BI_8x8:
253             cavlc_mb_mvd( h, s, i_list, 4*i, 2 );
254             break;
255         case D_L0_8x4:
256         case D_L1_8x4:
257         case D_BI_8x4:
258             cavlc_mb_mvd( h, s, i_list, 4*i+0, 2 );
259             cavlc_mb_mvd( h, s, i_list, 4*i+2, 2 );
260             break;
261         case D_L0_4x8:
262         case D_L1_4x8:
263         case D_BI_4x8:
264             cavlc_mb_mvd( h, s, i_list, 4*i+0, 1 );
265             cavlc_mb_mvd( h, s, i_list, 4*i+1, 1 );
266             break;
267         case D_L0_4x4:
268         case D_L1_4x4:
269         case D_BI_4x4:
270             cavlc_mb_mvd( h, s, i_list, 4*i+0, 1 );
271             cavlc_mb_mvd( h, s, i_list, 4*i+1, 1 );
272             cavlc_mb_mvd( h, s, i_list, 4*i+2, 1 );
273             cavlc_mb_mvd( h, s, i_list, 4*i+3, 1 );
274             break;
275     }
276 }
277
278 static inline void x264_macroblock_luma_write_cavlc( x264_t *h, bs_t *s, int i8start, int i8end )
279 {
280     int i8, i4;
281     if( h->mb.b_transform_8x8 )
282     {
283         /* shuffle 8x8 dct coeffs into 4x4 lists */
284         for( i8 = i8start; i8 <= i8end; i8++ )
285             if( h->mb.i_cbp_luma & (1 << i8) )
286                 h->zigzagf.interleave_8x8_cavlc( h->dct.luma4x4[i8*4], h->dct.luma8x8[i8] );
287     }
288
289     for( i8 = i8start; i8 <= i8end; i8++ )
290         if( h->mb.i_cbp_luma & (1 << i8) )
291             for( i4 = 0; i4 < 4; i4++ )
292             {
293                 h->mb.cache.non_zero_count[x264_scan8[i4+i8*4]] = array_non_zero_count( h->dct.luma4x4[i4+i8*4] );
294                 block_residual_write_cavlc( h, s, i4+i8*4, h->dct.luma4x4[i4+i8*4], 16 );
295             }
296 }
297
298 /*****************************************************************************
299  * x264_macroblock_write:
300  *****************************************************************************/
301 void x264_macroblock_write_cavlc( x264_t *h, bs_t *s )
302 {
303     const int i_mb_type = h->mb.i_type;
304     int i_mb_i_offset;
305     int i;
306
307 #if !RDO_SKIP_BS
308     const int i_mb_pos_start = bs_pos( s );
309     int       i_mb_pos_tex;
310 #endif
311
312     switch( h->sh.i_type )
313     {
314         case SLICE_TYPE_I:
315             i_mb_i_offset = 0;
316             break;
317         case SLICE_TYPE_P:
318             i_mb_i_offset = 5;
319             break;
320         case SLICE_TYPE_B:
321             i_mb_i_offset = 23;
322             break;
323         default:
324             x264_log(h, X264_LOG_ERROR, "internal error or slice unsupported\n" );
325             return;
326     }
327
328     if( h->sh.b_mbaff
329         && (!(h->mb.i_mb_y & 1) || IS_SKIP(h->mb.type[h->mb.i_mb_xy - h->mb.i_mb_stride])) )
330     {
331         bs_write1( s, h->mb.b_interlaced );
332     }
333
334 #if !RDO_SKIP_BS
335     if( i_mb_type == I_PCM)
336     {
337         bs_write_ue( s, i_mb_i_offset + 25 );
338         i_mb_pos_tex = bs_pos( s );
339         h->stat.frame.i_mv_bits += i_mb_pos_tex - i_mb_pos_start;
340
341         bs_align_0( s );
342
343         memcpy( s->p, h->mb.pic.p_fenc[0], 256 );
344         s->p += 256;
345         for( i = 0; i < 8; i++ )
346             memcpy( s->p + i*8, h->mb.pic.p_fenc[1] + i*FENC_STRIDE, 8 );
347         s->p += 64;
348         for( i = 0; i < 8; i++ )
349             memcpy( s->p + i*8, h->mb.pic.p_fenc[2] + i*FENC_STRIDE, 8 );
350         s->p += 64;
351
352         /* if PCM is chosen, we need to store reconstructed frame data */
353         h->mc.copy[PIXEL_16x16]( h->mb.pic.p_fdec[0], FDEC_STRIDE, h->mb.pic.p_fenc[0], FENC_STRIDE, 16 );
354         h->mc.copy[PIXEL_8x8]  ( h->mb.pic.p_fdec[1], FDEC_STRIDE, h->mb.pic.p_fenc[1], FENC_STRIDE, 8 );
355         h->mc.copy[PIXEL_8x8]  ( h->mb.pic.p_fdec[2], FDEC_STRIDE, h->mb.pic.p_fenc[2], FENC_STRIDE, 8 );
356
357         h->stat.frame.i_tex_bits += bs_pos(s) - i_mb_pos_tex;
358         return;
359     }
360 #endif
361
362     /* Write:
363       - type
364       - prediction
365       - mv */
366     if( i_mb_type == I_4x4 || i_mb_type == I_8x8 )
367     {
368         int di = i_mb_type == I_8x8 ? 4 : 1;
369         bs_write_ue( s, i_mb_i_offset + 0 );
370         if( h->pps->b_transform_8x8_mode )
371             bs_write1( s, h->mb.b_transform_8x8 );
372
373         /* Prediction: Luma */
374         for( i = 0; i < 16; i += di )
375         {
376             int i_pred = x264_mb_predict_intra4x4_mode( h, i );
377             int i_mode = x264_mb_pred_mode4x4_fix( h->mb.cache.intra4x4_pred_mode[x264_scan8[i]] );
378
379             if( i_pred == i_mode )
380                 bs_write1( s, 1 );  /* b_prev_intra4x4_pred_mode */
381             else
382                 bs_write( s, 4, i_mode - (i_mode > i_pred) );
383         }
384         bs_write_ue( s, x264_mb_pred_mode8x8c_fix[ h->mb.i_chroma_pred_mode ] );
385     }
386     else if( i_mb_type == I_16x16 )
387     {
388         bs_write_ue( s, i_mb_i_offset + 1 + x264_mb_pred_mode16x16_fix[h->mb.i_intra16x16_pred_mode] +
389                         h->mb.i_cbp_chroma * 4 + ( h->mb.i_cbp_luma == 0 ? 0 : 12 ) );
390         bs_write_ue( s, x264_mb_pred_mode8x8c_fix[ h->mb.i_chroma_pred_mode ] );
391     }
392     else if( i_mb_type == P_L0 )
393     {
394         DECLARE_ALIGNED_4( int16_t mvp[2] );
395
396         if( h->mb.i_partition == D_16x16 )
397         {
398             bs_write_ue( s, 0 );
399
400             if( h->mb.pic.i_fref[0] > 1 )
401                 bs_write_te( s, h->mb.pic.i_fref[0] - 1, h->mb.cache.ref[0][x264_scan8[0]] );
402             x264_mb_predict_mv( h, 0, 0, 4, mvp );
403             bs_write_se( s, h->mb.cache.mv[0][x264_scan8[0]][0] - mvp[0] );
404             bs_write_se( s, h->mb.cache.mv[0][x264_scan8[0]][1] - mvp[1] );
405         }
406         else if( h->mb.i_partition == D_16x8 )
407         {
408             bs_write_ue( s, 1 );
409             if( h->mb.pic.i_fref[0] > 1 )
410             {
411                 bs_write_te( s, h->mb.pic.i_fref[0] - 1, h->mb.cache.ref[0][x264_scan8[0]] );
412                 bs_write_te( s, h->mb.pic.i_fref[0] - 1, h->mb.cache.ref[0][x264_scan8[8]] );
413             }
414
415             x264_mb_predict_mv( h, 0, 0, 4, mvp );
416             bs_write_se( s, h->mb.cache.mv[0][x264_scan8[0]][0] - mvp[0] );
417             bs_write_se( s, h->mb.cache.mv[0][x264_scan8[0]][1] - mvp[1] );
418
419             x264_mb_predict_mv( h, 0, 8, 4, mvp );
420             bs_write_se( s, h->mb.cache.mv[0][x264_scan8[8]][0] - mvp[0] );
421             bs_write_se( s, h->mb.cache.mv[0][x264_scan8[8]][1] - mvp[1] );
422         }
423         else if( h->mb.i_partition == D_8x16 )
424         {
425             bs_write_ue( s, 2 );
426             if( h->mb.pic.i_fref[0] > 1 )
427             {
428                 bs_write_te( s, h->mb.pic.i_fref[0] - 1, h->mb.cache.ref[0][x264_scan8[0]] );
429                 bs_write_te( s, h->mb.pic.i_fref[0] - 1, h->mb.cache.ref[0][x264_scan8[4]] );
430             }
431
432             x264_mb_predict_mv( h, 0, 0, 2, mvp );
433             bs_write_se( s, h->mb.cache.mv[0][x264_scan8[0]][0] - mvp[0] );
434             bs_write_se( s, h->mb.cache.mv[0][x264_scan8[0]][1] - mvp[1] );
435
436             x264_mb_predict_mv( h, 0, 4, 2, mvp );
437             bs_write_se( s, h->mb.cache.mv[0][x264_scan8[4]][0] - mvp[0] );
438             bs_write_se( s, h->mb.cache.mv[0][x264_scan8[4]][1] - mvp[1] );
439         }
440     }
441     else if( i_mb_type == P_8x8 )
442     {
443         int b_sub_ref0;
444         if( (h->mb.cache.ref[0][x264_scan8[0]] | h->mb.cache.ref[0][x264_scan8[ 4]] |
445              h->mb.cache.ref[0][x264_scan8[8]] | h->mb.cache.ref[0][x264_scan8[12]]) == 0 )
446         {
447             bs_write_ue( s, 4 );
448             b_sub_ref0 = 0;
449         }
450         else
451         {
452             bs_write_ue( s, 3 );
453             b_sub_ref0 = 1;
454         }
455
456         /* sub mb type */
457         if( h->param.analyse.inter & X264_ANALYSE_PSUB8x8 )
458             for( i = 0; i < 4; i++ )
459                 bs_write_ue( s, sub_mb_type_p_to_golomb[ h->mb.i_sub_partition[i] ] );
460         else
461             bs_write( s, 4, 0xf );
462
463         /* ref0 */
464         if( h->mb.pic.i_fref[0] > 1 && b_sub_ref0 )
465         {
466             bs_write_te( s, h->mb.pic.i_fref[0] - 1, h->mb.cache.ref[0][x264_scan8[0]] );
467             bs_write_te( s, h->mb.pic.i_fref[0] - 1, h->mb.cache.ref[0][x264_scan8[4]] );
468             bs_write_te( s, h->mb.pic.i_fref[0] - 1, h->mb.cache.ref[0][x264_scan8[8]] );
469             bs_write_te( s, h->mb.pic.i_fref[0] - 1, h->mb.cache.ref[0][x264_scan8[12]] );
470         }
471
472         for( i = 0; i < 4; i++ )
473             cavlc_mb8x8_mvd( h, s, 0, i );
474     }
475     else if( i_mb_type == B_8x8 )
476     {
477         bs_write_ue( s, 22 );
478
479         /* sub mb type */
480         for( i = 0; i < 4; i++ )
481             bs_write_ue( s, sub_mb_type_b_to_golomb[ h->mb.i_sub_partition[i] ] );
482
483         /* ref */
484         for( i = 0; i < 4; i++ )
485             if( x264_mb_partition_listX_table[0][ h->mb.i_sub_partition[i] ] )
486                 bs_write_te( s, h->mb.pic.i_fref[0] - 1, h->mb.cache.ref[0][x264_scan8[i*4]] );
487         for( i = 0; i < 4; i++ )
488             if( x264_mb_partition_listX_table[1][ h->mb.i_sub_partition[i] ] )
489                 bs_write_te( s, h->mb.pic.i_fref[1] - 1, h->mb.cache.ref[1][x264_scan8[i*4]] );
490
491         /* mvd */
492         for( i = 0; i < 4; i++ )
493             cavlc_mb8x8_mvd( h, s, 0, i );
494         for( i = 0; i < 4; i++ )
495             cavlc_mb8x8_mvd( h, s, 1, i );
496     }
497     else if( i_mb_type != B_DIRECT )
498     {
499         /* All B mode */
500         /* Motion Vector */
501         int i_list;
502         DECLARE_ALIGNED_4( int16_t mvp[2] );
503
504         int b_list[2][2];
505
506         /* init ref list utilisations */
507         for( i = 0; i < 2; i++ )
508         {
509             b_list[0][i] = x264_mb_type_list0_table[i_mb_type][i];
510             b_list[1][i] = x264_mb_type_list1_table[i_mb_type][i];
511         }
512
513         bs_write_ue( s, mb_type_b_to_golomb[ h->mb.i_partition - D_16x8 ][ i_mb_type - B_L0_L0 ] );
514
515         for( i_list = 0; i_list < 2; i_list++ )
516         {
517             const int i_ref_max = (i_list == 0 ? h->mb.pic.i_fref[0] : h->mb.pic.i_fref[1]) - 1;
518
519             if( i_ref_max )
520                 switch( h->mb.i_partition )
521                 {
522                     case D_16x16:
523                         if( b_list[i_list][0] ) bs_write_te( s, i_ref_max, h->mb.cache.ref[i_list][x264_scan8[0]] );
524                         break;
525                     case D_16x8:
526                         if( b_list[i_list][0] ) bs_write_te( s, i_ref_max, h->mb.cache.ref[i_list][x264_scan8[0]] );
527                         if( b_list[i_list][1] ) bs_write_te( s, i_ref_max, h->mb.cache.ref[i_list][x264_scan8[8]] );
528                         break;
529                     case D_8x16:
530                         if( b_list[i_list][0] ) bs_write_te( s, i_ref_max, h->mb.cache.ref[i_list][x264_scan8[0]] );
531                         if( b_list[i_list][1] ) bs_write_te( s, i_ref_max, h->mb.cache.ref[i_list][x264_scan8[4]] );
532                         break;
533                 }
534         }
535         for( i_list = 0; i_list < 2; i_list++ )
536         {
537             switch( h->mb.i_partition )
538             {
539                 case D_16x16:
540                     if( b_list[i_list][0] )
541                     {
542                         x264_mb_predict_mv( h, i_list, 0, 4, mvp );
543                         bs_write_se( s, h->mb.cache.mv[i_list][x264_scan8[0]][0] - mvp[0] );
544                         bs_write_se( s, h->mb.cache.mv[i_list][x264_scan8[0]][1] - mvp[1] );
545                     }
546                     break;
547                 case D_16x8:
548                     if( b_list[i_list][0] )
549                     {
550                         x264_mb_predict_mv( h, i_list, 0, 4, mvp );
551                         bs_write_se( s, h->mb.cache.mv[i_list][x264_scan8[0]][0] - mvp[0] );
552                         bs_write_se( s, h->mb.cache.mv[i_list][x264_scan8[0]][1] - mvp[1] );
553                     }
554                     if( b_list[i_list][1] )
555                     {
556                         x264_mb_predict_mv( h, i_list, 8, 4, mvp );
557                         bs_write_se( s, h->mb.cache.mv[i_list][x264_scan8[8]][0] - mvp[0] );
558                         bs_write_se( s, h->mb.cache.mv[i_list][x264_scan8[8]][1] - mvp[1] );
559                     }
560                     break;
561                 case D_8x16:
562                     if( b_list[i_list][0] )
563                     {
564                         x264_mb_predict_mv( h, i_list, 0, 2, mvp );
565                         bs_write_se( s, h->mb.cache.mv[i_list][x264_scan8[0]][0] - mvp[0] );
566                         bs_write_se( s, h->mb.cache.mv[i_list][x264_scan8[0]][1] - mvp[1] );
567                     }
568                     if( b_list[i_list][1] )
569                     {
570                         x264_mb_predict_mv( h, i_list, 4, 2, mvp );
571                         bs_write_se( s, h->mb.cache.mv[i_list][x264_scan8[4]][0] - mvp[0] );
572                         bs_write_se( s, h->mb.cache.mv[i_list][x264_scan8[4]][1] - mvp[1] );
573                     }
574                     break;
575             }
576         }
577     }
578     else if( i_mb_type == B_DIRECT )
579         bs_write_ue( s, 0 );
580     else
581     {
582         x264_log(h, X264_LOG_ERROR, "invalid/unhandled mb_type\n" );
583         return;
584     }
585
586 #if !RDO_SKIP_BS
587     i_mb_pos_tex = bs_pos( s );
588     h->stat.frame.i_mv_bits += i_mb_pos_tex - i_mb_pos_start;
589 #endif
590
591     /* Coded block patern */
592     if( i_mb_type == I_4x4 || i_mb_type == I_8x8 )
593         bs_write_ue( s, intra4x4_cbp_to_golomb[( h->mb.i_cbp_chroma << 4 )|h->mb.i_cbp_luma] );
594     else if( i_mb_type != I_16x16 )
595         bs_write_ue( s, inter_cbp_to_golomb[( h->mb.i_cbp_chroma << 4 )|h->mb.i_cbp_luma] );
596
597     /* transform size 8x8 flag */
598     if( x264_mb_transform_8x8_allowed( h ) && h->mb.i_cbp_luma )
599         bs_write1( s, h->mb.b_transform_8x8 );
600
601     /* write residual */
602     if( i_mb_type == I_16x16 )
603     {
604         cavlc_qp_delta( h, s );
605
606         /* DC Luma */
607         block_residual_write_cavlc( h, s, BLOCK_INDEX_LUMA_DC , h->dct.luma16x16_dc, 16 );
608
609         /* AC Luma */
610         if( h->mb.i_cbp_luma )
611             for( i = 0; i < 16; i++ )
612             {
613                 h->mb.cache.non_zero_count[x264_scan8[i]] = array_non_zero_count( h->dct.luma4x4[i] );
614                 block_residual_write_cavlc( h, s, i, h->dct.luma4x4[i]+1, 15 );
615             }
616     }
617     else if( h->mb.i_cbp_luma | h->mb.i_cbp_chroma )
618     {
619         cavlc_qp_delta( h, s );
620         x264_macroblock_luma_write_cavlc( h, s, 0, 3 );
621     }
622     if( h->mb.i_cbp_chroma )
623     {
624         /* Chroma DC residual present */
625         block_residual_write_cavlc( h, s, BLOCK_INDEX_CHROMA_DC, h->dct.chroma_dc[0], 4 );
626         block_residual_write_cavlc( h, s, BLOCK_INDEX_CHROMA_DC, h->dct.chroma_dc[1], 4 );
627         if( h->mb.i_cbp_chroma&0x02 ) /* Chroma AC residual present */
628             for( i = 16; i < 24; i++ )
629             {
630                 h->mb.cache.non_zero_count[x264_scan8[i]] = array_non_zero_count( h->dct.luma4x4[i] );
631                 block_residual_write_cavlc( h, s, i, h->dct.luma4x4[i]+1, 15 );
632             }
633     }
634
635 #if !RDO_SKIP_BS
636     h->stat.frame.i_tex_bits += bs_pos(s) - i_mb_pos_tex;
637 #endif
638 }
639
640 #if RDO_SKIP_BS
641 /*****************************************************************************
642  * RD only; doesn't generate a valid bitstream
643  * doesn't write cbp or chroma dc (I don't know how much this matters)
644  * doesn't write ref or subpartition (never varies between calls, so no point in doing so)
645  * works on all partition sizes except 16x16
646  * for sub8x8, call once per 8x8 block
647  *****************************************************************************/
648 static int x264_partition_size_cavlc( x264_t *h, int i8, int i_pixel )
649 {
650     bs_t s;
651     const int i_mb_type = h->mb.i_type;
652     int b_8x16 = h->mb.i_partition == D_8x16;
653     int j;
654
655     s.i_bits_encoded = 0;
656
657     if( i_mb_type == P_8x8 )
658         cavlc_mb8x8_mvd( h, &s, 0, i8 );
659     else if( i_mb_type == P_L0 )
660         cavlc_mb_mvd( h, &s, 0, 4*i8, 4>>b_8x16 );
661     else if( i_mb_type > B_DIRECT && i_mb_type < B_8x8 )
662     {
663         if( x264_mb_type_list0_table[ i_mb_type ][!!i8] ) cavlc_mb_mvd( h, &s, 0, 4*i8, 4>>b_8x16 );
664         if( x264_mb_type_list1_table[ i_mb_type ][!!i8] ) cavlc_mb_mvd( h, &s, 1, 4*i8, 4>>b_8x16 );
665     }
666     else if( i_mb_type == B_8x8 )
667     {
668         cavlc_mb8x8_mvd( h, &s, 0, i8 );
669         cavlc_mb8x8_mvd( h, &s, 1, i8 );
670     }
671     else
672     {
673         x264_log(h, X264_LOG_ERROR, "invalid/unhandled mb_type\n" );
674         return 0;
675     }
676
677     for( j = (i_pixel < PIXEL_8x8); j >= 0; j-- )
678     {
679         x264_macroblock_luma_write_cavlc( h, &s, i8, i8 );
680         h->mb.cache.non_zero_count[x264_scan8[16+i8]] = array_non_zero_count( h->dct.luma4x4[16+i8] );
681         block_residual_write_cavlc( h, &s, 16+i8, h->dct.luma4x4[16+i8]+1, 15 );
682         h->mb.cache.non_zero_count[x264_scan8[20+i8]] = array_non_zero_count( h->dct.luma4x4[20+i8] );
683         block_residual_write_cavlc( h, &s, 20+i8, h->dct.luma4x4[20+i8]+1, 15 );
684         i8 += x264_pixel_size[i_pixel].h >> 3;
685     }
686
687     return s.i_bits_encoded;
688 }
689
690 static int x264_subpartition_size_cavlc( x264_t *h, int i4, int i_pixel )
691 {
692     bs_t s;
693     int b_8x4 = i_pixel == PIXEL_8x4;
694     s.i_bits_encoded = 0;
695     cavlc_mb_mvd( h, &s, 0, i4, 1+b_8x4 );
696     h->mb.cache.non_zero_count[x264_scan8[i4]] = array_non_zero_count( h->dct.luma4x4[i4] );
697     block_residual_write_cavlc( h, &s, i4, h->dct.luma4x4[i4], 16 );
698     if( i_pixel != PIXEL_4x4 )
699     {
700         i4 += 2-b_8x4;
701         h->mb.cache.non_zero_count[x264_scan8[i4]] = array_non_zero_count( h->dct.luma4x4[i4] );
702         block_residual_write_cavlc( h, &s, i4, h->dct.luma4x4[i4], 16 );
703     }
704
705     return s.i_bits_encoded;
706 }
707
708 static int cavlc_intra4x4_pred_size( x264_t *h, int i4, int i_mode )
709 {
710     if( x264_mb_predict_intra4x4_mode( h, i4 ) == x264_mb_pred_mode4x4_fix( i_mode ) )
711         return 1;
712     else
713         return 4;
714 }
715
716 static int x264_partition_i8x8_size_cavlc( x264_t *h, int i8, int i_mode )
717 {
718     int i4, i;
719     h->out.bs.i_bits_encoded = cavlc_intra4x4_pred_size( h, 4*i8, i_mode );
720     for( i4 = 0; i4 < 4; i4++ )
721     {
722         for( i = 0; i < 16; i++ )
723             h->dct.luma4x4[i4+i8*4][i] = h->dct.luma8x8[i8][i4+i*4];
724         h->mb.cache.non_zero_count[x264_scan8[i4+i8*4]] = array_non_zero_count( h->dct.luma4x4[i4+i8*4] );
725         block_residual_write_cavlc( h, &h->out.bs, i4+i8*4, h->dct.luma4x4[i4+i8*4], 16 );
726     }
727     return h->out.bs.i_bits_encoded;
728 }
729
730 static int x264_partition_i4x4_size_cavlc( x264_t *h, int i4, int i_mode )
731 {
732     h->out.bs.i_bits_encoded = cavlc_intra4x4_pred_size( h, i4, i_mode );
733     h->mb.cache.non_zero_count[x264_scan8[i4]] = array_non_zero_count( h->dct.luma4x4[i4] );
734     block_residual_write_cavlc( h, &h->out.bs, i4, h->dct.luma4x4[i4], 16 );
735     return h->out.bs.i_bits_encoded;
736 }
737
738 static int x264_i8x8_chroma_size_cavlc( x264_t *h )
739 {
740     h->out.bs.i_bits_encoded = bs_size_ue( x264_mb_pred_mode8x8c_fix[ h->mb.i_chroma_pred_mode ] );
741     if( h->mb.i_cbp_chroma )
742     {
743         block_residual_write_cavlc( h, &h->out.bs, BLOCK_INDEX_CHROMA_DC, h->dct.chroma_dc[0], 4 );
744         block_residual_write_cavlc( h, &h->out.bs, BLOCK_INDEX_CHROMA_DC, h->dct.chroma_dc[1], 4 );
745
746         if( h->mb.i_cbp_chroma == 2 )
747         {
748             int i;
749             for( i = 16; i < 24; i++ )
750             {
751                 h->mb.cache.non_zero_count[x264_scan8[i]] = array_non_zero_count( h->dct.luma4x4[i] );
752                 block_residual_write_cavlc( h, &h->out.bs, i, h->dct.luma4x4[i]+1, 15 );
753             }
754         }
755     }
756     return h->out.bs.i_bits_encoded;
757 }
758 #endif