Fix regression in r1450
[x264/x264-sandbox.git] / encoder / cavlc.c
1 /*****************************************************************************
2  * cavlc.c: h264 encoder library
3  *****************************************************************************
4  * Copyright (C) 2003-2008 x264 project
5  *
6  * Authors: Laurent Aimar <fenrir@via.ecp.fr>
7  *          Loren Merritt <lorenm@u.washington.edu>
8  *          Fiona Glaser <fiona@x264.com>
9  *
10  * This program is free software; you can redistribute it and/or modify
11  * it under the terms of the GNU General Public License as published by
12  * the Free Software Foundation; either version 2 of the License, or
13  * (at your option) any later version.
14  *
15  * This program is distributed in the hope that it will be useful,
16  * but WITHOUT ANY WARRANTY; without even the implied warranty of
17  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
18  * GNU General Public License for more details.
19  *
20  * You should have received a copy of the GNU General Public License
21  * along with this program; if not, write to the Free Software
22  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02111, USA.
23  *****************************************************************************/
24
25 #include "common/common.h"
26 #include "macroblock.h"
27
28 #ifndef RDO_SKIP_BS
29 #define RDO_SKIP_BS 0
30 #endif
31
32 static const uint8_t intra4x4_cbp_to_golomb[48]=
33 {
34   3, 29, 30, 17, 31, 18, 37,  8, 32, 38, 19,  9, 20, 10, 11,  2,
35  16, 33, 34, 21, 35, 22, 39,  4, 36, 40, 23,  5, 24,  6,  7,  1,
36  41, 42, 43, 25, 44, 26, 46, 12, 45, 47, 27, 13, 28, 14, 15,  0
37 };
38 static const uint8_t inter_cbp_to_golomb[48]=
39 {
40   0,  2,  3,  7,  4,  8, 17, 13,  5, 18,  9, 14, 10, 15, 16, 11,
41   1, 32, 33, 36, 34, 37, 44, 40, 35, 45, 38, 41, 39, 42, 43, 19,
42   6, 24, 25, 20, 26, 21, 46, 28, 27, 47, 22, 29, 23, 30, 31, 12
43 };
44 static const uint8_t mb_type_b_to_golomb[3][9]=
45 {
46     { 4,  8, 12, 10,  6, 14, 16, 18, 20 }, /* D_16x8 */
47     { 5,  9, 13, 11,  7, 15, 17, 19, 21 }, /* D_8x16 */
48     { 1, -1, -1, -1,  2, -1, -1, -1,  3 }  /* D_16x16 */
49 };
50 static const uint8_t sub_mb_type_p_to_golomb[4]=
51 {
52     3, 1, 2, 0
53 };
54 static const uint8_t sub_mb_type_b_to_golomb[13]=
55 {
56     10,  4,  5,  1, 11,  6,  7,  2, 12,  8,  9,  3,  0
57 };
58
59 #define bs_write_vlc(s,v) bs_write( s, (v).i_size, (v).i_bits )
60
61 /****************************************************************************
62  * block_residual_write_cavlc:
63  ****************************************************************************/
64 static inline int block_residual_write_cavlc_escape( x264_t *h, int i_suffix_length, int level )
65 {
66     bs_t *s = &h->out.bs;
67     static const uint16_t next_suffix[7] = { 0, 3, 6, 12, 24, 48, 0xffff };
68     int i_level_prefix = 15;
69     int mask = level >> 15;
70     int abs_level = (level^mask)-mask;
71     int i_level_code = abs_level*2-mask-2;
72     if( ( i_level_code >> i_suffix_length ) < 15 )
73     {
74         bs_write( s, (i_level_code >> i_suffix_length) + 1 + i_suffix_length,
75                  (1<<i_suffix_length) + (i_level_code & ((1<<i_suffix_length)-1)) );
76     }
77     else
78     {
79         i_level_code -= 15 << i_suffix_length;
80         if( i_suffix_length == 0 )
81             i_level_code -= 15;
82
83         /* If the prefix size exceeds 15, High Profile is required. */
84         if( i_level_code >= 1<<12 )
85         {
86             if( h->sps->i_profile_idc >= PROFILE_HIGH )
87             {
88                 while( i_level_code > 1<<(i_level_prefix-3) )
89                 {
90                     i_level_code -= 1<<(i_level_prefix-3);
91                     i_level_prefix++;
92                 }
93             }
94             else
95             {
96 #if RDO_SKIP_BS
97                 /* Weight highly against overflows. */
98                 s->i_bits_encoded += 1000000;
99 #else
100                 x264_log(h, X264_LOG_WARNING, "OVERFLOW levelcode=%d is only allowed in High Profile\n", i_level_code );
101                 /* clip level, preserving sign */
102                 i_level_code = (1<<12) - 2 + (i_level_code & 1);
103 #endif
104             }
105         }
106         bs_write( s, i_level_prefix + 1, 1 );
107         bs_write( s, i_level_prefix - 3, i_level_code & ((1<<(i_level_prefix-3))-1) );
108     }
109     if( i_suffix_length == 0 )
110         i_suffix_length++;
111     if( abs_level > next_suffix[i_suffix_length] )
112         i_suffix_length++;
113     return i_suffix_length;
114 }
115
116 static int block_residual_write_cavlc( x264_t *h, int i_ctxBlockCat, int16_t *l, int nC )
117 {
118     bs_t *s = &h->out.bs;
119     static const uint8_t ctz_index[8] = {3,0,1,0,2,0,1,0};
120     static const int count_cat[5] = {16, 15, 16, 4, 15};
121     x264_run_level_t runlevel;
122     int i_trailing, i_total_zero, i_suffix_length, i;
123     int i_total = 0;
124     unsigned int i_sign;
125
126     /* level and run and total */
127     /* set these to 2 to allow branchless i_trailing calculation */
128     runlevel.level[1] = 2;
129     runlevel.level[2] = 2;
130     i_total = h->quantf.coeff_level_run[i_ctxBlockCat]( l, &runlevel );
131     i_total_zero = runlevel.last + 1 - i_total;
132
133     i_trailing = ((((runlevel.level[0]+1) | (1-runlevel.level[0])) >> 31) & 1) // abs(runlevel.level[0])>1
134                | ((((runlevel.level[1]+1) | (1-runlevel.level[1])) >> 31) & 2)
135                | ((((runlevel.level[2]+1) | (1-runlevel.level[2])) >> 31) & 4);
136     i_trailing = ctz_index[i_trailing];
137     i_sign = ((runlevel.level[2] >> 31) & 1)
138            | ((runlevel.level[1] >> 31) & 2)
139            | ((runlevel.level[0] >> 31) & 4);
140     i_sign >>= 3-i_trailing;
141
142     /* total/trailing */
143     bs_write_vlc( s, x264_coeff_token[nC][i_total*4+i_trailing-4] );
144
145     i_suffix_length = i_total > 10 && i_trailing < 3;
146     bs_write( s, i_trailing, i_sign );
147
148     if( i_trailing < i_total )
149     {
150         int val = runlevel.level[i_trailing];
151         int val_original = runlevel.level[i_trailing]+LEVEL_TABLE_SIZE/2;
152         val -= ((val>>31)|1) & -(i_trailing < 3); /* as runlevel.level[i] can't be 1 for the first one if i_trailing < 3 */
153         val += LEVEL_TABLE_SIZE/2;
154
155         if( (unsigned)val_original < LEVEL_TABLE_SIZE )
156         {
157             bs_write_vlc( s, x264_level_token[i_suffix_length][val] );
158             i_suffix_length = x264_level_token[i_suffix_length][val_original].i_next;
159         }
160         else
161             i_suffix_length = block_residual_write_cavlc_escape( h, i_suffix_length, val-LEVEL_TABLE_SIZE/2 );
162         for( i = i_trailing+1; i < i_total; i++ )
163         {
164             val = runlevel.level[i] + LEVEL_TABLE_SIZE/2;
165             if( (unsigned)val < LEVEL_TABLE_SIZE )
166             {
167                 bs_write_vlc( s, x264_level_token[i_suffix_length][val] );
168                 i_suffix_length = x264_level_token[i_suffix_length][val].i_next;
169             }
170             else
171                 i_suffix_length = block_residual_write_cavlc_escape( h, i_suffix_length, val-LEVEL_TABLE_SIZE/2 );
172         }
173     }
174
175     if( i_total < count_cat[i_ctxBlockCat] )
176     {
177         if( i_ctxBlockCat == DCT_CHROMA_DC )
178             bs_write_vlc( s, x264_total_zeros_dc[i_total-1][i_total_zero] );
179         else
180             bs_write_vlc( s, x264_total_zeros[i_total-1][i_total_zero] );
181     }
182
183     for( i = 0; i < i_total-1 && i_total_zero > 0; i++ )
184     {
185         int i_zl = X264_MIN( i_total_zero, 7 );
186         bs_write_vlc( s, x264_run_before[i_zl-1][runlevel.run[i]] );
187         i_total_zero -= runlevel.run[i];
188     }
189
190     return i_total;
191 }
192
193 static const uint8_t ct_index[17] = {0,0,1,1,2,2,2,2,3,3,3,3,3,3,3,3,3};
194
195 #define block_residual_write_cavlc(h,cat,idx,l)\
196 {\
197     int nC = cat == DCT_CHROMA_DC ? 4 : ct_index[x264_mb_predict_non_zero_code( h, cat == DCT_LUMA_DC ? 0 : idx )];\
198     uint8_t *nnz = &h->mb.cache.non_zero_count[x264_scan8[idx]];\
199     if( !*nnz )\
200         bs_write_vlc( &h->out.bs, x264_coeff0_token[nC] );\
201     else\
202         *nnz = block_residual_write_cavlc(h,cat,l,nC);\
203 }
204
205 static void cavlc_qp_delta( x264_t *h )
206 {
207     bs_t *s = &h->out.bs;
208     int i_dqp = h->mb.i_qp - h->mb.i_last_qp;
209
210     /* Avoid writing a delta quant if we have an empty i16x16 block, e.g. in a completely flat background area */
211     if( h->mb.i_type == I_16x16 && !(h->mb.i_cbp_luma | h->mb.i_cbp_chroma)
212         && !h->mb.cache.non_zero_count[x264_scan8[24]] )
213     {
214 #if !RDO_SKIP_BS
215         h->mb.i_qp = h->mb.i_last_qp;
216 #endif
217         i_dqp = 0;
218     }
219
220     if( i_dqp )
221     {
222         if( i_dqp < -26 )
223             i_dqp += 52;
224         else if( i_dqp > 25 )
225             i_dqp -= 52;
226     }
227     bs_write_se( s, i_dqp );
228 }
229
230 static void cavlc_mb_mvd( x264_t *h, int i_list, int idx, int width )
231 {
232     bs_t *s = &h->out.bs;
233     ALIGNED_4( int16_t mvp[2] );
234     x264_mb_predict_mv( h, i_list, idx, width, mvp );
235     bs_write_se( s, h->mb.cache.mv[i_list][x264_scan8[idx]][0] - mvp[0] );
236     bs_write_se( s, h->mb.cache.mv[i_list][x264_scan8[idx]][1] - mvp[1] );
237 }
238
239 static inline void cavlc_mb8x8_mvd( x264_t *h, int i )
240 {
241     switch( h->mb.i_sub_partition[i] )
242     {
243         case D_L0_8x8:
244             cavlc_mb_mvd( h, 0, 4*i, 2 );
245             break;
246         case D_L0_8x4:
247             cavlc_mb_mvd( h, 0, 4*i+0, 2 );
248             cavlc_mb_mvd( h, 0, 4*i+2, 2 );
249             break;
250         case D_L0_4x8:
251             cavlc_mb_mvd( h, 0, 4*i+0, 1 );
252             cavlc_mb_mvd( h, 0, 4*i+1, 1 );
253             break;
254         case D_L0_4x4:
255             cavlc_mb_mvd( h, 0, 4*i+0, 1 );
256             cavlc_mb_mvd( h, 0, 4*i+1, 1 );
257             cavlc_mb_mvd( h, 0, 4*i+2, 1 );
258             cavlc_mb_mvd( h, 0, 4*i+3, 1 );
259             break;
260     }
261 }
262
263 static inline void x264_macroblock_luma_write_cavlc( x264_t *h, int i8start, int i8end )
264 {
265     int i8, i4;
266     if( h->mb.b_transform_8x8 )
267     {
268         /* shuffle 8x8 dct coeffs into 4x4 lists */
269         for( i8 = i8start; i8 <= i8end; i8++ )
270             if( h->mb.i_cbp_luma & (1 << i8) )
271                 h->zigzagf.interleave_8x8_cavlc( h->dct.luma4x4[i8*4], h->dct.luma8x8[i8], &h->mb.cache.non_zero_count[x264_scan8[i8*4]] );
272     }
273
274     for( i8 = i8start; i8 <= i8end; i8++ )
275         if( h->mb.i_cbp_luma & (1 << i8) )
276             for( i4 = 0; i4 < 4; i4++ )
277                 block_residual_write_cavlc( h, DCT_LUMA_4x4, i4+i8*4, h->dct.luma4x4[i4+i8*4] );
278 }
279
280 /*****************************************************************************
281  * x264_macroblock_write:
282  *****************************************************************************/
283 void x264_macroblock_write_cavlc( x264_t *h )
284 {
285     bs_t *s = &h->out.bs;
286     const int i_mb_type = h->mb.i_type;
287     static const uint8_t i_offsets[3] = {5,23,0};
288     int i_mb_i_offset = i_offsets[h->sh.i_type];
289     int i;
290
291 #if RDO_SKIP_BS
292     s->i_bits_encoded = 0;
293 #else
294     const int i_mb_pos_start = bs_pos( s );
295     int       i_mb_pos_tex;
296 #endif
297
298     if( h->sh.b_mbaff
299         && (!(h->mb.i_mb_y & 1) || IS_SKIP(h->mb.type[h->mb.i_mb_xy - h->mb.i_mb_stride])) )
300     {
301         bs_write1( s, h->mb.b_interlaced );
302     }
303
304 #if !RDO_SKIP_BS
305     if( i_mb_type == I_PCM )
306     {
307         uint8_t *p_start = s->p_start;
308         bs_write_ue( s, i_mb_i_offset + 25 );
309         i_mb_pos_tex = bs_pos( s );
310         h->stat.frame.i_mv_bits += i_mb_pos_tex - i_mb_pos_start;
311
312         bs_align_0( s );
313
314         memcpy( s->p, h->mb.pic.p_fenc[0], 256 );
315         s->p += 256;
316         for( i = 0; i < 8; i++ )
317             memcpy( s->p + i*8, h->mb.pic.p_fenc[1] + i*FENC_STRIDE, 8 );
318         s->p += 64;
319         for( i = 0; i < 8; i++ )
320             memcpy( s->p + i*8, h->mb.pic.p_fenc[2] + i*FENC_STRIDE, 8 );
321         s->p += 64;
322
323         bs_init( s, s->p, s->p_end - s->p );
324         s->p_start = p_start;
325
326         h->stat.frame.i_tex_bits += bs_pos(s) - i_mb_pos_tex;
327         return;
328     }
329 #endif
330
331     /* Write:
332       - type
333       - prediction
334       - mv */
335     if( i_mb_type == I_4x4 || i_mb_type == I_8x8 )
336     {
337         int di = i_mb_type == I_8x8 ? 4 : 1;
338         bs_write_ue( s, i_mb_i_offset + 0 );
339         if( h->pps->b_transform_8x8_mode )
340             bs_write1( s, h->mb.b_transform_8x8 );
341
342         /* Prediction: Luma */
343         for( i = 0; i < 16; i += di )
344         {
345             int i_pred = x264_mb_predict_intra4x4_mode( h, i );
346             int i_mode = x264_mb_pred_mode4x4_fix( h->mb.cache.intra4x4_pred_mode[x264_scan8[i]] );
347
348             if( i_pred == i_mode )
349                 bs_write1( s, 1 );  /* b_prev_intra4x4_pred_mode */
350             else
351                 bs_write( s, 4, i_mode - (i_mode > i_pred) );
352         }
353         bs_write_ue( s, x264_mb_pred_mode8x8c_fix[ h->mb.i_chroma_pred_mode ] );
354     }
355     else if( i_mb_type == I_16x16 )
356     {
357         bs_write_ue( s, i_mb_i_offset + 1 + x264_mb_pred_mode16x16_fix[h->mb.i_intra16x16_pred_mode] +
358                         h->mb.i_cbp_chroma * 4 + ( h->mb.i_cbp_luma == 0 ? 0 : 12 ) );
359         bs_write_ue( s, x264_mb_pred_mode8x8c_fix[ h->mb.i_chroma_pred_mode ] );
360     }
361     else if( i_mb_type == P_L0 )
362     {
363         if( h->mb.i_partition == D_16x16 )
364         {
365             bs_write1( s, 1 );
366
367             if( h->mb.pic.i_fref[0] > 1 )
368                 bs_write_te( s, h->mb.pic.i_fref[0] - 1, h->mb.cache.ref[0][x264_scan8[0]] );
369             cavlc_mb_mvd( h, 0, 0, 4 );
370         }
371         else if( h->mb.i_partition == D_16x8 )
372         {
373             bs_write_ue( s, 1 );
374             if( h->mb.pic.i_fref[0] > 1 )
375             {
376                 bs_write_te( s, h->mb.pic.i_fref[0] - 1, h->mb.cache.ref[0][x264_scan8[0]] );
377                 bs_write_te( s, h->mb.pic.i_fref[0] - 1, h->mb.cache.ref[0][x264_scan8[8]] );
378             }
379             cavlc_mb_mvd( h, 0, 0, 4 );
380             cavlc_mb_mvd( h, 0, 8, 4 );
381         }
382         else if( h->mb.i_partition == D_8x16 )
383         {
384             bs_write_ue( s, 2 );
385             if( h->mb.pic.i_fref[0] > 1 )
386             {
387                 bs_write_te( s, h->mb.pic.i_fref[0] - 1, h->mb.cache.ref[0][x264_scan8[0]] );
388                 bs_write_te( s, h->mb.pic.i_fref[0] - 1, h->mb.cache.ref[0][x264_scan8[4]] );
389             }
390             cavlc_mb_mvd( h, 0, 0, 2 );
391             cavlc_mb_mvd( h, 0, 4, 2 );
392         }
393     }
394     else if( i_mb_type == P_8x8 )
395     {
396         int b_sub_ref;
397         if( (h->mb.cache.ref[0][x264_scan8[0]] | h->mb.cache.ref[0][x264_scan8[ 4]] |
398              h->mb.cache.ref[0][x264_scan8[8]] | h->mb.cache.ref[0][x264_scan8[12]]) == 0 )
399         {
400             bs_write_ue( s, 4 );
401             b_sub_ref = 0;
402         }
403         else
404         {
405             bs_write_ue( s, 3 );
406             b_sub_ref = 1;
407         }
408
409         /* sub mb type */
410         if( h->param.analyse.inter & X264_ANALYSE_PSUB8x8 )
411             for( i = 0; i < 4; i++ )
412                 bs_write_ue( s, sub_mb_type_p_to_golomb[ h->mb.i_sub_partition[i] ] );
413         else
414             bs_write( s, 4, 0xf );
415
416         /* ref0 */
417         if( b_sub_ref )
418         {
419             bs_write_te( s, h->mb.pic.i_fref[0] - 1, h->mb.cache.ref[0][x264_scan8[0]] );
420             bs_write_te( s, h->mb.pic.i_fref[0] - 1, h->mb.cache.ref[0][x264_scan8[4]] );
421             bs_write_te( s, h->mb.pic.i_fref[0] - 1, h->mb.cache.ref[0][x264_scan8[8]] );
422             bs_write_te( s, h->mb.pic.i_fref[0] - 1, h->mb.cache.ref[0][x264_scan8[12]] );
423         }
424
425         for( i = 0; i < 4; i++ )
426             cavlc_mb8x8_mvd( h, i );
427     }
428     else if( i_mb_type == B_8x8 )
429     {
430         bs_write_ue( s, 22 );
431
432         /* sub mb type */
433         for( i = 0; i < 4; i++ )
434             bs_write_ue( s, sub_mb_type_b_to_golomb[ h->mb.i_sub_partition[i] ] );
435
436         /* ref */
437         if( h->mb.pic.i_fref[0] > 1 )
438             for( i = 0; i < 4; i++ )
439                 if( x264_mb_partition_listX_table[0][ h->mb.i_sub_partition[i] ] )
440                     bs_write_te( s, h->mb.pic.i_fref[0] - 1, h->mb.cache.ref[0][x264_scan8[i*4]] );
441         if( h->mb.pic.i_fref[1] > 1 )
442             for( i = 0; i < 4; i++ )
443                 if( x264_mb_partition_listX_table[1][ h->mb.i_sub_partition[i] ] )
444                     bs_write_te( s, h->mb.pic.i_fref[1] - 1, h->mb.cache.ref[1][x264_scan8[i*4]] );
445
446         /* mvd */
447         for( i = 0; i < 4; i++ )
448             if( x264_mb_partition_listX_table[0][ h->mb.i_sub_partition[i] ] )
449                 cavlc_mb_mvd( h, 0, 4*i, 2 );
450         for( i = 0; i < 4; i++ )
451             if( x264_mb_partition_listX_table[1][ h->mb.i_sub_partition[i] ] )
452                 cavlc_mb_mvd( h, 1, 4*i, 2 );
453     }
454     else if( i_mb_type != B_DIRECT )
455     {
456         /* All B mode */
457         /* Motion Vector */
458         const uint8_t (*b_list)[2] = x264_mb_type_list_table[i_mb_type];
459         const int i_ref0_max = h->mb.pic.i_fref[0] - 1;
460         const int i_ref1_max = h->mb.pic.i_fref[1] - 1;
461
462         bs_write_ue( s, mb_type_b_to_golomb[ h->mb.i_partition - D_16x8 ][ i_mb_type - B_L0_L0 ] );
463         if( h->mb.i_partition == D_16x16 )
464         {
465             if( i_ref0_max && b_list[0][0] ) bs_write_te( s, i_ref0_max, h->mb.cache.ref[0][x264_scan8[0]] );
466             if( i_ref1_max && b_list[1][0] ) bs_write_te( s, i_ref1_max, h->mb.cache.ref[1][x264_scan8[0]] );
467             if( b_list[0][0] ) cavlc_mb_mvd( h, 0, 0, 4 );
468             if( b_list[1][0] ) cavlc_mb_mvd( h, 1, 0, 4 );
469         }
470         else
471         {
472             if( i_ref0_max && b_list[0][0] ) bs_write_te( s, i_ref0_max, h->mb.cache.ref[0][x264_scan8[ 0]] );
473             if( i_ref0_max && b_list[0][1] ) bs_write_te( s, i_ref0_max, h->mb.cache.ref[0][x264_scan8[12]] );
474             if( i_ref1_max && b_list[1][0] ) bs_write_te( s, i_ref1_max, h->mb.cache.ref[1][x264_scan8[ 0]] );
475             if( i_ref1_max && b_list[1][1] ) bs_write_te( s, i_ref1_max, h->mb.cache.ref[1][x264_scan8[12]] );
476             if( h->mb.i_partition == D_16x8 )
477             {
478                 if( b_list[0][0] ) cavlc_mb_mvd( h, 0, 0, 4 );
479                 if( b_list[0][1] ) cavlc_mb_mvd( h, 0, 8, 4 );
480                 if( b_list[1][0] ) cavlc_mb_mvd( h, 1, 0, 4 );
481                 if( b_list[1][1] ) cavlc_mb_mvd( h, 1, 8, 4 );
482             }
483             else //if( h->mb.i_partition == D_8x16 )
484             {
485                 if( b_list[0][0] ) cavlc_mb_mvd( h, 0, 0, 2 );
486                 if( b_list[0][1] ) cavlc_mb_mvd( h, 0, 4, 2 );
487                 if( b_list[1][0] ) cavlc_mb_mvd( h, 1, 0, 2 );
488                 if( b_list[1][1] ) cavlc_mb_mvd( h, 1, 4, 2 );
489             }
490         }
491     }
492     else //if( i_mb_type == B_DIRECT )
493         bs_write1( s, 1 );
494
495 #if !RDO_SKIP_BS
496     i_mb_pos_tex = bs_pos( s );
497     h->stat.frame.i_mv_bits += i_mb_pos_tex - i_mb_pos_start;
498 #endif
499
500     /* Coded block patern */
501     if( i_mb_type == I_4x4 || i_mb_type == I_8x8 )
502         bs_write_ue( s, intra4x4_cbp_to_golomb[( h->mb.i_cbp_chroma << 4 )|h->mb.i_cbp_luma] );
503     else if( i_mb_type != I_16x16 )
504         bs_write_ue( s, inter_cbp_to_golomb[( h->mb.i_cbp_chroma << 4 )|h->mb.i_cbp_luma] );
505
506     /* transform size 8x8 flag */
507     if( x264_mb_transform_8x8_allowed( h ) && h->mb.i_cbp_luma )
508         bs_write1( s, h->mb.b_transform_8x8 );
509
510     /* write residual */
511     if( i_mb_type == I_16x16 )
512     {
513         cavlc_qp_delta( h );
514
515         /* DC Luma */
516         block_residual_write_cavlc( h, DCT_LUMA_DC, 24 , h->dct.luma16x16_dc );
517
518         /* AC Luma */
519         if( h->mb.i_cbp_luma )
520             for( i = 0; i < 16; i++ )
521                 block_residual_write_cavlc( h, DCT_LUMA_AC, i, h->dct.luma4x4[i]+1 );
522     }
523     else if( h->mb.i_cbp_luma | h->mb.i_cbp_chroma )
524     {
525         cavlc_qp_delta( h );
526         x264_macroblock_luma_write_cavlc( h, 0, 3 );
527     }
528     if( h->mb.i_cbp_chroma )
529     {
530         /* Chroma DC residual present */
531         block_residual_write_cavlc( h, DCT_CHROMA_DC, 25, h->dct.chroma_dc[0] );
532         block_residual_write_cavlc( h, DCT_CHROMA_DC, 26, h->dct.chroma_dc[1] );
533         if( h->mb.i_cbp_chroma&0x02 ) /* Chroma AC residual present */
534             for( i = 16; i < 24; i++ )
535                 block_residual_write_cavlc( h, DCT_CHROMA_AC, i, h->dct.luma4x4[i]+1 );
536     }
537
538 #if !RDO_SKIP_BS
539     h->stat.frame.i_tex_bits += bs_pos(s) - i_mb_pos_tex;
540 #endif
541 }
542
543 #if RDO_SKIP_BS
544 /*****************************************************************************
545  * RD only; doesn't generate a valid bitstream
546  * doesn't write cbp or chroma dc (I don't know how much this matters)
547  * doesn't write ref (never varies between calls, so no point in doing so)
548  * only writes subpartition for p8x8, needed for sub-8x8 mode decision RDO
549  * works on all partition sizes except 16x16
550  *****************************************************************************/
551 static int x264_partition_size_cavlc( x264_t *h, int i8, int i_pixel )
552 {
553     bs_t *s = &h->out.bs;
554     const int i_mb_type = h->mb.i_type;
555     int b_8x16 = h->mb.i_partition == D_8x16;
556     int j;
557
558     if( i_mb_type == P_8x8 )
559     {
560         cavlc_mb8x8_mvd( h, i8 );
561         bs_write_ue( s, sub_mb_type_p_to_golomb[ h->mb.i_sub_partition[i8] ] );
562     }
563     else if( i_mb_type == P_L0 )
564         cavlc_mb_mvd( h, 0, 4*i8, 4>>b_8x16 );
565     else if( i_mb_type > B_DIRECT && i_mb_type < B_8x8 )
566     {
567         if( x264_mb_type_list_table[ i_mb_type ][0][!!i8] ) cavlc_mb_mvd( h, 0, 4*i8, 4>>b_8x16 );
568         if( x264_mb_type_list_table[ i_mb_type ][1][!!i8] ) cavlc_mb_mvd( h, 1, 4*i8, 4>>b_8x16 );
569     }
570     else //if( i_mb_type == B_8x8 )
571     {
572         if( x264_mb_partition_listX_table[0][ h->mb.i_sub_partition[i8] ] )
573             cavlc_mb_mvd( h, 0, 4*i8, 2 );
574         if( x264_mb_partition_listX_table[1][ h->mb.i_sub_partition[i8] ] )
575             cavlc_mb_mvd( h, 1, 4*i8, 2 );
576     }
577
578     for( j = (i_pixel < PIXEL_8x8); j >= 0; j-- )
579     {
580         x264_macroblock_luma_write_cavlc( h, i8, i8 );
581         block_residual_write_cavlc( h, DCT_CHROMA_AC, 16+i8, h->dct.luma4x4[16+i8]+1 );
582         block_residual_write_cavlc( h, DCT_CHROMA_AC, 20+i8, h->dct.luma4x4[20+i8]+1 );
583         i8 += x264_pixel_size[i_pixel].h >> 3;
584     }
585
586     return h->out.bs.i_bits_encoded;
587 }
588
589 static int x264_subpartition_size_cavlc( x264_t *h, int i4, int i_pixel )
590 {
591     int b_8x4 = i_pixel == PIXEL_8x4;
592     h->out.bs.i_bits_encoded = 0;
593     cavlc_mb_mvd( h, 0, i4, 1+b_8x4 );
594     block_residual_write_cavlc( h, DCT_LUMA_4x4, i4, h->dct.luma4x4[i4] );
595     if( i_pixel != PIXEL_4x4 )
596     {
597         i4 += 2-b_8x4;
598         block_residual_write_cavlc( h, DCT_LUMA_4x4, i4, h->dct.luma4x4[i4] );
599     }
600
601     return h->out.bs.i_bits_encoded;
602 }
603
604 static int cavlc_intra4x4_pred_size( x264_t *h, int i4, int i_mode )
605 {
606     if( x264_mb_predict_intra4x4_mode( h, i4 ) == x264_mb_pred_mode4x4_fix( i_mode ) )
607         return 1;
608     else
609         return 4;
610 }
611
612 static int x264_partition_i8x8_size_cavlc( x264_t *h, int i8, int i_mode )
613 {
614     h->out.bs.i_bits_encoded = cavlc_intra4x4_pred_size( h, 4*i8, i_mode );
615     bs_write_ue( &h->out.bs, intra4x4_cbp_to_golomb[( h->mb.i_cbp_chroma << 4 )|h->mb.i_cbp_luma] );
616     x264_macroblock_luma_write_cavlc( h, i8, i8 );
617     return h->out.bs.i_bits_encoded;
618 }
619
620 static int x264_partition_i4x4_size_cavlc( x264_t *h, int i4, int i_mode )
621 {
622     h->out.bs.i_bits_encoded = cavlc_intra4x4_pred_size( h, i4, i_mode );
623     block_residual_write_cavlc( h, DCT_LUMA_4x4, i4, h->dct.luma4x4[i4] );
624     return h->out.bs.i_bits_encoded;
625 }
626
627 static int x264_i8x8_chroma_size_cavlc( x264_t *h )
628 {
629     h->out.bs.i_bits_encoded = bs_size_ue( x264_mb_pred_mode8x8c_fix[ h->mb.i_chroma_pred_mode ] );
630     if( h->mb.i_cbp_chroma )
631     {
632         block_residual_write_cavlc( h, DCT_CHROMA_DC, 25, h->dct.chroma_dc[0] );
633         block_residual_write_cavlc( h, DCT_CHROMA_DC, 26, h->dct.chroma_dc[1] );
634
635         if( h->mb.i_cbp_chroma == 2 )
636         {
637             int i;
638             for( i = 16; i < 24; i++ )
639                 block_residual_write_cavlc( h, DCT_CHROMA_AC, i, h->dct.luma4x4[i]+1 );
640         }
641     }
642     return h->out.bs.i_bits_encoded;
643 }
644 #endif