Significantly faster CABAC and CAVLC residual coding and bit cost calculation
[x264/x264-sandbox.git] / encoder / cavlc.c
1 /*****************************************************************************
2  * cavlc.c: h264 encoder library
3  *****************************************************************************
4  * Copyright (C) 2003-2008 x264 project
5  *
6  * Authors: Laurent Aimar <fenrir@via.ecp.fr>
7  *          Loren Merritt <lorenm@u.washington.edu>
8  *
9  * This program is free software; you can redistribute it and/or modify
10  * it under the terms of the GNU General Public License as published by
11  * the Free Software Foundation; either version 2 of the License, or
12  * (at your option) any later version.
13  *
14  * This program is distributed in the hope that it will be useful,
15  * but WITHOUT ANY WARRANTY; without even the implied warranty of
16  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
17  * GNU General Public License for more details.
18  *
19  * You should have received a copy of the GNU General Public License
20  * along with this program; if not, write to the Free Software
21  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02111, USA.
22  *****************************************************************************/
23
24 #include "common/common.h"
25 #include "macroblock.h"
26
27 #ifndef RDO_SKIP_BS
28 #define RDO_SKIP_BS 0
29 #endif
30
31 static const uint8_t intra4x4_cbp_to_golomb[48]=
32 {
33   3, 29, 30, 17, 31, 18, 37,  8, 32, 38, 19,  9, 20, 10, 11,  2,
34  16, 33, 34, 21, 35, 22, 39,  4, 36, 40, 23,  5, 24,  6,  7,  1,
35  41, 42, 43, 25, 44, 26, 46, 12, 45, 47, 27, 13, 28, 14, 15,  0
36 };
37 static const uint8_t inter_cbp_to_golomb[48]=
38 {
39   0,  2,  3,  7,  4,  8, 17, 13,  5, 18,  9, 14, 10, 15, 16, 11,
40   1, 32, 33, 36, 34, 37, 44, 40, 35, 45, 38, 41, 39, 42, 43, 19,
41   6, 24, 25, 20, 26, 21, 46, 28, 27, 47, 22, 29, 23, 30, 31, 12
42 };
43 static const uint8_t mb_type_b_to_golomb[3][9]=
44 {
45     { 4,  8, 12, 10,  6, 14, 16, 18, 20 }, /* D_16x8 */
46     { 5,  9, 13, 11,  7, 15, 17, 19, 21 }, /* D_8x16 */
47     { 1, -1, -1, -1,  2, -1, -1, -1,  3 }  /* D_16x16 */
48 };
49 static const uint8_t sub_mb_type_p_to_golomb[4]=
50 {
51     3, 1, 2, 0
52 };
53 static const uint8_t sub_mb_type_b_to_golomb[13]=
54 {
55     10,  4,  5,  1, 11,  6,  7,  2, 12,  8,  9,  3,  0
56 };
57
58 static inline void bs_write_vlc( bs_t *s, vlc_t v )
59 {
60     bs_write( s, v.i_size, v.i_bits );
61 }
62
63 /****************************************************************************
64  * block_residual_write_cavlc:
65  ****************************************************************************/
66 static void block_residual_write_cavlc( x264_t *h, bs_t *s, int i_ctxBlockCat, int i_idx, int16_t *l, int i_count )
67 {
68     static const int ct_index[17] = {0,0,1,1,2,2,2,2,3,3,3,3,3,3,3,3,3};
69     int level[16], run[16];
70     int i_total, i_trailing;
71     int i_total_zero;
72     int i_last;
73     unsigned int i_sign;
74     int i;
75     int idx = 0;
76     int i_suffix_length;
77     /* x264_mb_predict_non_zero_code return 0 <-> (16+16+1)>>1 = 16 */
78     int nC = i_idx >= 25 ? 4 : ct_index[x264_mb_predict_non_zero_code( h, i_idx == 24 ? 0 : i_idx )];
79
80     if( !h->mb.cache.non_zero_count[x264_scan8[i_idx]] )
81     {
82         bs_write_vlc( s, x264_coeff_token[nC][0] );
83         return;
84     }
85
86     i_last = h->quantf.coeff_last[i_ctxBlockCat](l);
87     i_sign = 0;
88     i_total = 0;
89     i_trailing = 0;
90     i_total_zero = i_last + 1;
91
92     /* level and run and total */
93     while( i_last >= 0 )
94     {
95         int r = 0;
96         level[idx] = l[i_last];
97         while( --i_last >= 0 && l[i_last] == 0 )
98             r++;
99         run[idx++] = r;
100     }
101
102     i_total = idx;
103     i_total_zero -= idx;
104
105     i_trailing = X264_MIN(3, idx);
106     for( idx = 0; idx < i_trailing; idx++ )
107     {
108         if( (unsigned)(level[idx]+1) > 2 )
109         {
110             i_trailing = idx;
111             break;
112         }
113         i_sign <<= 1;
114         i_sign |= level[idx] < 0;
115     }
116
117     /* total/trailing */
118     bs_write_vlc( s, x264_coeff_token[nC][i_total*4+i_trailing] );
119
120     i_suffix_length = i_total > 10 && i_trailing < 3 ? 1 : 0;
121     if( i_trailing > 0 )
122         bs_write( s, i_trailing, i_sign );
123     for( i = i_trailing; i < i_total; i++ )
124     {
125         int mask = level[i] >> 15;
126         int abs_level = (level[i]^mask)-mask;
127         int i_level_code = abs_level*2-mask-2;
128
129         if( i == i_trailing && i_trailing < 3 )
130             i_level_code -= 2; /* as level[i] can't be 1 for the first one if i_trailing < 3 */
131
132         if( ( i_level_code >> i_suffix_length ) < 14 )
133             bs_write( s, (i_level_code >> i_suffix_length) + 1 + i_suffix_length,
134                      (1<<i_suffix_length) + (i_level_code & ((1<<i_suffix_length)-1)) );
135         else if( i_suffix_length == 0 && i_level_code < 30 )
136             bs_write( s, 19, (1<<4) + (i_level_code - 14) );
137         else if( i_suffix_length > 0 && ( i_level_code >> i_suffix_length ) == 14 )
138             bs_write( s, 15 + i_suffix_length,
139                       (1<<i_suffix_length) + (i_level_code & ((1<<i_suffix_length)-1)) );
140         else
141         {
142             int i_level_prefix = 15;
143             i_level_code -= 15 << i_suffix_length;
144             if( i_suffix_length == 0 )
145                 i_level_code -= 15;
146
147             /* If the prefix size exceeds 15, High Profile is required. */
148             if( i_level_code >= 1<<12 )
149             {
150                 if( h->sps->i_profile_idc >= PROFILE_HIGH )
151                 {
152                     while( i_level_code > 1<<(i_level_prefix-3) )
153                     {
154                         i_level_code -= 1<<(i_level_prefix-3);
155                         i_level_prefix++;
156                     }
157                 }
158                 else
159                 {
160 #if RDO_SKIP_BS
161                     /* Weight highly against overflows. */
162                     s->i_bits_encoded += 1000000;
163 #else
164                     x264_log(h, X264_LOG_WARNING, "OVERFLOW levelcode=%d is only allowed in High Profile", i_level_code );
165                     /* clip level, preserving sign */
166                     i_level_code = (1<<12) - 2 + (i_level_code & 1);
167 #endif
168                 }
169             }
170             bs_write( s, i_level_prefix + 1, 1 );
171             bs_write( s, i_level_prefix - 3, i_level_code & ((1<<(i_level_prefix-3))-1) );
172         }
173
174         if( i_suffix_length == 0 )
175             i_suffix_length++;
176         if( abs_level > (3 << (i_suffix_length-1)) && i_suffix_length < 6 )
177             i_suffix_length++;
178     }
179
180     if( i_total < i_count )
181     {
182         if( i_idx >= 25 )
183             bs_write_vlc( s, x264_total_zeros_dc[i_total-1][i_total_zero] );
184         else
185             bs_write_vlc( s, x264_total_zeros[i_total-1][i_total_zero] );
186     }
187
188     for( i = 0; i < i_total-1 && i_total_zero > 0; i++ )
189     {
190         int i_zl = X264_MIN( i_total_zero - 1, 6 );
191         bs_write_vlc( s, x264_run_before[i_zl][run[i]] );
192         i_total_zero -= run[i];
193     }
194 }
195
196 static void cavlc_qp_delta( x264_t *h, bs_t *s )
197 {
198     int i_dqp = h->mb.i_qp - h->mb.i_last_qp;
199
200     /* Avoid writing a delta quant if we have an empty i16x16 block, e.g. in a completely flat background area */
201     if( h->mb.i_type == I_16x16 && !(h->mb.i_cbp_luma | h->mb.i_cbp_chroma)
202         && !h->mb.cache.non_zero_count[x264_scan8[24]] )
203     {
204 #if !RDO_SKIP_BS
205         h->mb.i_qp = h->mb.i_last_qp;
206 #endif
207         i_dqp = 0;
208     }
209
210     if( i_dqp )
211     {
212         if( i_dqp < -26 )
213             i_dqp += 52;
214         else if( i_dqp > 25 )
215             i_dqp -= 52;
216     }
217     bs_write_se( s, i_dqp );
218 }
219
220 static void cavlc_mb_mvd( x264_t *h, bs_t *s, int i_list, int idx, int width )
221 {
222     DECLARE_ALIGNED_4( int16_t mvp[2] );
223     x264_mb_predict_mv( h, i_list, idx, width, mvp );
224     bs_write_se( s, h->mb.cache.mv[i_list][x264_scan8[idx]][0] - mvp[0] );
225     bs_write_se( s, h->mb.cache.mv[i_list][x264_scan8[idx]][1] - mvp[1] );
226 }
227
228 static void cavlc_mb8x8_mvd( x264_t *h, bs_t *s, int i_list, int i )
229 {
230     if( !x264_mb_partition_listX_table[i_list][ h->mb.i_sub_partition[i] ] )
231         return;
232
233     switch( h->mb.i_sub_partition[i] )
234     {
235         case D_L0_8x8:
236         case D_L1_8x8:
237         case D_BI_8x8:
238             cavlc_mb_mvd( h, s, i_list, 4*i, 2 );
239             break;
240         case D_L0_8x4:
241         case D_L1_8x4:
242         case D_BI_8x4:
243             cavlc_mb_mvd( h, s, i_list, 4*i+0, 2 );
244             cavlc_mb_mvd( h, s, i_list, 4*i+2, 2 );
245             break;
246         case D_L0_4x8:
247         case D_L1_4x8:
248         case D_BI_4x8:
249             cavlc_mb_mvd( h, s, i_list, 4*i+0, 1 );
250             cavlc_mb_mvd( h, s, i_list, 4*i+1, 1 );
251             break;
252         case D_L0_4x4:
253         case D_L1_4x4:
254         case D_BI_4x4:
255             cavlc_mb_mvd( h, s, i_list, 4*i+0, 1 );
256             cavlc_mb_mvd( h, s, i_list, 4*i+1, 1 );
257             cavlc_mb_mvd( h, s, i_list, 4*i+2, 1 );
258             cavlc_mb_mvd( h, s, i_list, 4*i+3, 1 );
259             break;
260     }
261 }
262
263 static inline void x264_macroblock_luma_write_cavlc( x264_t *h, bs_t *s, int i8start, int i8end )
264 {
265     int i8, i4;
266     if( h->mb.b_transform_8x8 )
267     {
268         /* shuffle 8x8 dct coeffs into 4x4 lists */
269         for( i8 = i8start; i8 <= i8end; i8++ )
270             if( h->mb.i_cbp_luma & (1 << i8) )
271                 h->zigzagf.interleave_8x8_cavlc( h->dct.luma4x4[i8*4], h->dct.luma8x8[i8] );
272     }
273
274     for( i8 = i8start; i8 <= i8end; i8++ )
275         if( h->mb.i_cbp_luma & (1 << i8) )
276             for( i4 = 0; i4 < 4; i4++ )
277             {
278                 h->mb.cache.non_zero_count[x264_scan8[i4+i8*4]] = array_non_zero_count( h->dct.luma4x4[i4+i8*4] );
279                 block_residual_write_cavlc( h, s, DCT_LUMA_4x4, i4+i8*4, h->dct.luma4x4[i4+i8*4], 16 );
280             }
281 }
282
283 /*****************************************************************************
284  * x264_macroblock_write:
285  *****************************************************************************/
286 void x264_macroblock_write_cavlc( x264_t *h, bs_t *s )
287 {
288     const int i_mb_type = h->mb.i_type;
289     int i_mb_i_offset;
290     int i;
291
292 #if !RDO_SKIP_BS
293     const int i_mb_pos_start = bs_pos( s );
294     int       i_mb_pos_tex;
295 #endif
296
297     switch( h->sh.i_type )
298     {
299         case SLICE_TYPE_I:
300             i_mb_i_offset = 0;
301             break;
302         case SLICE_TYPE_P:
303             i_mb_i_offset = 5;
304             break;
305         case SLICE_TYPE_B:
306             i_mb_i_offset = 23;
307             break;
308         default:
309             x264_log(h, X264_LOG_ERROR, "internal error or slice unsupported\n" );
310             return;
311     }
312
313     if( h->sh.b_mbaff
314         && (!(h->mb.i_mb_y & 1) || IS_SKIP(h->mb.type[h->mb.i_mb_xy - h->mb.i_mb_stride])) )
315     {
316         bs_write1( s, h->mb.b_interlaced );
317     }
318
319 #if !RDO_SKIP_BS
320     if( i_mb_type == I_PCM)
321     {
322         bs_write_ue( s, i_mb_i_offset + 25 );
323         i_mb_pos_tex = bs_pos( s );
324         h->stat.frame.i_mv_bits += i_mb_pos_tex - i_mb_pos_start;
325
326         bs_align_0( s );
327
328         memcpy( s->p, h->mb.pic.p_fenc[0], 256 );
329         s->p += 256;
330         for( i = 0; i < 8; i++ )
331             memcpy( s->p + i*8, h->mb.pic.p_fenc[1] + i*FENC_STRIDE, 8 );
332         s->p += 64;
333         for( i = 0; i < 8; i++ )
334             memcpy( s->p + i*8, h->mb.pic.p_fenc[2] + i*FENC_STRIDE, 8 );
335         s->p += 64;
336
337         /* if PCM is chosen, we need to store reconstructed frame data */
338         h->mc.copy[PIXEL_16x16]( h->mb.pic.p_fdec[0], FDEC_STRIDE, h->mb.pic.p_fenc[0], FENC_STRIDE, 16 );
339         h->mc.copy[PIXEL_8x8]  ( h->mb.pic.p_fdec[1], FDEC_STRIDE, h->mb.pic.p_fenc[1], FENC_STRIDE, 8 );
340         h->mc.copy[PIXEL_8x8]  ( h->mb.pic.p_fdec[2], FDEC_STRIDE, h->mb.pic.p_fenc[2], FENC_STRIDE, 8 );
341
342         h->stat.frame.i_tex_bits += bs_pos(s) - i_mb_pos_tex;
343         return;
344     }
345 #endif
346
347     /* Write:
348       - type
349       - prediction
350       - mv */
351     if( i_mb_type == I_4x4 || i_mb_type == I_8x8 )
352     {
353         int di = i_mb_type == I_8x8 ? 4 : 1;
354         bs_write_ue( s, i_mb_i_offset + 0 );
355         if( h->pps->b_transform_8x8_mode )
356             bs_write1( s, h->mb.b_transform_8x8 );
357
358         /* Prediction: Luma */
359         for( i = 0; i < 16; i += di )
360         {
361             int i_pred = x264_mb_predict_intra4x4_mode( h, i );
362             int i_mode = x264_mb_pred_mode4x4_fix( h->mb.cache.intra4x4_pred_mode[x264_scan8[i]] );
363
364             if( i_pred == i_mode )
365                 bs_write1( s, 1 );  /* b_prev_intra4x4_pred_mode */
366             else
367                 bs_write( s, 4, i_mode - (i_mode > i_pred) );
368         }
369         bs_write_ue( s, x264_mb_pred_mode8x8c_fix[ h->mb.i_chroma_pred_mode ] );
370     }
371     else if( i_mb_type == I_16x16 )
372     {
373         bs_write_ue( s, i_mb_i_offset + 1 + x264_mb_pred_mode16x16_fix[h->mb.i_intra16x16_pred_mode] +
374                         h->mb.i_cbp_chroma * 4 + ( h->mb.i_cbp_luma == 0 ? 0 : 12 ) );
375         bs_write_ue( s, x264_mb_pred_mode8x8c_fix[ h->mb.i_chroma_pred_mode ] );
376     }
377     else if( i_mb_type == P_L0 )
378     {
379         DECLARE_ALIGNED_4( int16_t mvp[2] );
380
381         if( h->mb.i_partition == D_16x16 )
382         {
383             bs_write_ue( s, 0 );
384
385             if( h->mb.pic.i_fref[0] > 1 )
386                 bs_write_te( s, h->mb.pic.i_fref[0] - 1, h->mb.cache.ref[0][x264_scan8[0]] );
387             x264_mb_predict_mv( h, 0, 0, 4, mvp );
388             bs_write_se( s, h->mb.cache.mv[0][x264_scan8[0]][0] - mvp[0] );
389             bs_write_se( s, h->mb.cache.mv[0][x264_scan8[0]][1] - mvp[1] );
390         }
391         else if( h->mb.i_partition == D_16x8 )
392         {
393             bs_write_ue( s, 1 );
394             if( h->mb.pic.i_fref[0] > 1 )
395             {
396                 bs_write_te( s, h->mb.pic.i_fref[0] - 1, h->mb.cache.ref[0][x264_scan8[0]] );
397                 bs_write_te( s, h->mb.pic.i_fref[0] - 1, h->mb.cache.ref[0][x264_scan8[8]] );
398             }
399
400             x264_mb_predict_mv( h, 0, 0, 4, mvp );
401             bs_write_se( s, h->mb.cache.mv[0][x264_scan8[0]][0] - mvp[0] );
402             bs_write_se( s, h->mb.cache.mv[0][x264_scan8[0]][1] - mvp[1] );
403
404             x264_mb_predict_mv( h, 0, 8, 4, mvp );
405             bs_write_se( s, h->mb.cache.mv[0][x264_scan8[8]][0] - mvp[0] );
406             bs_write_se( s, h->mb.cache.mv[0][x264_scan8[8]][1] - mvp[1] );
407         }
408         else if( h->mb.i_partition == D_8x16 )
409         {
410             bs_write_ue( s, 2 );
411             if( h->mb.pic.i_fref[0] > 1 )
412             {
413                 bs_write_te( s, h->mb.pic.i_fref[0] - 1, h->mb.cache.ref[0][x264_scan8[0]] );
414                 bs_write_te( s, h->mb.pic.i_fref[0] - 1, h->mb.cache.ref[0][x264_scan8[4]] );
415             }
416
417             x264_mb_predict_mv( h, 0, 0, 2, mvp );
418             bs_write_se( s, h->mb.cache.mv[0][x264_scan8[0]][0] - mvp[0] );
419             bs_write_se( s, h->mb.cache.mv[0][x264_scan8[0]][1] - mvp[1] );
420
421             x264_mb_predict_mv( h, 0, 4, 2, mvp );
422             bs_write_se( s, h->mb.cache.mv[0][x264_scan8[4]][0] - mvp[0] );
423             bs_write_se( s, h->mb.cache.mv[0][x264_scan8[4]][1] - mvp[1] );
424         }
425     }
426     else if( i_mb_type == P_8x8 )
427     {
428         int b_sub_ref0;
429         if( (h->mb.cache.ref[0][x264_scan8[0]] | h->mb.cache.ref[0][x264_scan8[ 4]] |
430              h->mb.cache.ref[0][x264_scan8[8]] | h->mb.cache.ref[0][x264_scan8[12]]) == 0 )
431         {
432             bs_write_ue( s, 4 );
433             b_sub_ref0 = 0;
434         }
435         else
436         {
437             bs_write_ue( s, 3 );
438             b_sub_ref0 = 1;
439         }
440
441         /* sub mb type */
442         if( h->param.analyse.inter & X264_ANALYSE_PSUB8x8 )
443             for( i = 0; i < 4; i++ )
444                 bs_write_ue( s, sub_mb_type_p_to_golomb[ h->mb.i_sub_partition[i] ] );
445         else
446             bs_write( s, 4, 0xf );
447
448         /* ref0 */
449         if( h->mb.pic.i_fref[0] > 1 && b_sub_ref0 )
450         {
451             bs_write_te( s, h->mb.pic.i_fref[0] - 1, h->mb.cache.ref[0][x264_scan8[0]] );
452             bs_write_te( s, h->mb.pic.i_fref[0] - 1, h->mb.cache.ref[0][x264_scan8[4]] );
453             bs_write_te( s, h->mb.pic.i_fref[0] - 1, h->mb.cache.ref[0][x264_scan8[8]] );
454             bs_write_te( s, h->mb.pic.i_fref[0] - 1, h->mb.cache.ref[0][x264_scan8[12]] );
455         }
456
457         for( i = 0; i < 4; i++ )
458             cavlc_mb8x8_mvd( h, s, 0, i );
459     }
460     else if( i_mb_type == B_8x8 )
461     {
462         bs_write_ue( s, 22 );
463
464         /* sub mb type */
465         for( i = 0; i < 4; i++ )
466             bs_write_ue( s, sub_mb_type_b_to_golomb[ h->mb.i_sub_partition[i] ] );
467
468         /* ref */
469         for( i = 0; i < 4; i++ )
470             if( x264_mb_partition_listX_table[0][ h->mb.i_sub_partition[i] ] )
471                 bs_write_te( s, h->mb.pic.i_fref[0] - 1, h->mb.cache.ref[0][x264_scan8[i*4]] );
472         for( i = 0; i < 4; i++ )
473             if( x264_mb_partition_listX_table[1][ h->mb.i_sub_partition[i] ] )
474                 bs_write_te( s, h->mb.pic.i_fref[1] - 1, h->mb.cache.ref[1][x264_scan8[i*4]] );
475
476         /* mvd */
477         for( i = 0; i < 4; i++ )
478             cavlc_mb8x8_mvd( h, s, 0, i );
479         for( i = 0; i < 4; i++ )
480             cavlc_mb8x8_mvd( h, s, 1, i );
481     }
482     else if( i_mb_type != B_DIRECT )
483     {
484         /* All B mode */
485         /* Motion Vector */
486         int i_list;
487         DECLARE_ALIGNED_4( int16_t mvp[2] );
488
489         int b_list[2][2];
490
491         /* init ref list utilisations */
492         for( i = 0; i < 2; i++ )
493         {
494             b_list[0][i] = x264_mb_type_list0_table[i_mb_type][i];
495             b_list[1][i] = x264_mb_type_list1_table[i_mb_type][i];
496         }
497
498         bs_write_ue( s, mb_type_b_to_golomb[ h->mb.i_partition - D_16x8 ][ i_mb_type - B_L0_L0 ] );
499
500         for( i_list = 0; i_list < 2; i_list++ )
501         {
502             const int i_ref_max = (i_list == 0 ? h->mb.pic.i_fref[0] : h->mb.pic.i_fref[1]) - 1;
503
504             if( i_ref_max )
505                 switch( h->mb.i_partition )
506                 {
507                     case D_16x16:
508                         if( b_list[i_list][0] ) bs_write_te( s, i_ref_max, h->mb.cache.ref[i_list][x264_scan8[0]] );
509                         break;
510                     case D_16x8:
511                         if( b_list[i_list][0] ) bs_write_te( s, i_ref_max, h->mb.cache.ref[i_list][x264_scan8[0]] );
512                         if( b_list[i_list][1] ) bs_write_te( s, i_ref_max, h->mb.cache.ref[i_list][x264_scan8[8]] );
513                         break;
514                     case D_8x16:
515                         if( b_list[i_list][0] ) bs_write_te( s, i_ref_max, h->mb.cache.ref[i_list][x264_scan8[0]] );
516                         if( b_list[i_list][1] ) bs_write_te( s, i_ref_max, h->mb.cache.ref[i_list][x264_scan8[4]] );
517                         break;
518                 }
519         }
520         for( i_list = 0; i_list < 2; i_list++ )
521         {
522             switch( h->mb.i_partition )
523             {
524                 case D_16x16:
525                     if( b_list[i_list][0] )
526                     {
527                         x264_mb_predict_mv( h, i_list, 0, 4, mvp );
528                         bs_write_se( s, h->mb.cache.mv[i_list][x264_scan8[0]][0] - mvp[0] );
529                         bs_write_se( s, h->mb.cache.mv[i_list][x264_scan8[0]][1] - mvp[1] );
530                     }
531                     break;
532                 case D_16x8:
533                     if( b_list[i_list][0] )
534                     {
535                         x264_mb_predict_mv( h, i_list, 0, 4, mvp );
536                         bs_write_se( s, h->mb.cache.mv[i_list][x264_scan8[0]][0] - mvp[0] );
537                         bs_write_se( s, h->mb.cache.mv[i_list][x264_scan8[0]][1] - mvp[1] );
538                     }
539                     if( b_list[i_list][1] )
540                     {
541                         x264_mb_predict_mv( h, i_list, 8, 4, mvp );
542                         bs_write_se( s, h->mb.cache.mv[i_list][x264_scan8[8]][0] - mvp[0] );
543                         bs_write_se( s, h->mb.cache.mv[i_list][x264_scan8[8]][1] - mvp[1] );
544                     }
545                     break;
546                 case D_8x16:
547                     if( b_list[i_list][0] )
548                     {
549                         x264_mb_predict_mv( h, i_list, 0, 2, mvp );
550                         bs_write_se( s, h->mb.cache.mv[i_list][x264_scan8[0]][0] - mvp[0] );
551                         bs_write_se( s, h->mb.cache.mv[i_list][x264_scan8[0]][1] - mvp[1] );
552                     }
553                     if( b_list[i_list][1] )
554                     {
555                         x264_mb_predict_mv( h, i_list, 4, 2, mvp );
556                         bs_write_se( s, h->mb.cache.mv[i_list][x264_scan8[4]][0] - mvp[0] );
557                         bs_write_se( s, h->mb.cache.mv[i_list][x264_scan8[4]][1] - mvp[1] );
558                     }
559                     break;
560             }
561         }
562     }
563     else if( i_mb_type == B_DIRECT )
564         bs_write_ue( s, 0 );
565     else
566     {
567         x264_log(h, X264_LOG_ERROR, "invalid/unhandled mb_type\n" );
568         return;
569     }
570
571 #if !RDO_SKIP_BS
572     i_mb_pos_tex = bs_pos( s );
573     h->stat.frame.i_mv_bits += i_mb_pos_tex - i_mb_pos_start;
574 #endif
575
576     /* Coded block patern */
577     if( i_mb_type == I_4x4 || i_mb_type == I_8x8 )
578         bs_write_ue( s, intra4x4_cbp_to_golomb[( h->mb.i_cbp_chroma << 4 )|h->mb.i_cbp_luma] );
579     else if( i_mb_type != I_16x16 )
580         bs_write_ue( s, inter_cbp_to_golomb[( h->mb.i_cbp_chroma << 4 )|h->mb.i_cbp_luma] );
581
582     /* transform size 8x8 flag */
583     if( x264_mb_transform_8x8_allowed( h ) && h->mb.i_cbp_luma )
584         bs_write1( s, h->mb.b_transform_8x8 );
585
586     /* write residual */
587     if( i_mb_type == I_16x16 )
588     {
589         cavlc_qp_delta( h, s );
590
591         /* DC Luma */
592         block_residual_write_cavlc( h, s, DCT_LUMA_DC, 24 , h->dct.luma16x16_dc, 16 );
593
594         /* AC Luma */
595         if( h->mb.i_cbp_luma )
596             for( i = 0; i < 16; i++ )
597             {
598                 h->mb.cache.non_zero_count[x264_scan8[i]] = array_non_zero_count( h->dct.luma4x4[i] );
599                 block_residual_write_cavlc( h, s, DCT_LUMA_AC, i, h->dct.luma4x4[i]+1, 15 );
600             }
601     }
602     else if( h->mb.i_cbp_luma | h->mb.i_cbp_chroma )
603     {
604         cavlc_qp_delta( h, s );
605         x264_macroblock_luma_write_cavlc( h, s, 0, 3 );
606     }
607     if( h->mb.i_cbp_chroma )
608     {
609         /* Chroma DC residual present */
610         block_residual_write_cavlc( h, s, DCT_CHROMA_DC, 25, h->dct.chroma_dc[0], 4 );
611         block_residual_write_cavlc( h, s, DCT_CHROMA_DC, 26, h->dct.chroma_dc[1], 4 );
612         if( h->mb.i_cbp_chroma&0x02 ) /* Chroma AC residual present */
613             for( i = 16; i < 24; i++ )
614             {
615                 h->mb.cache.non_zero_count[x264_scan8[i]] = array_non_zero_count( h->dct.luma4x4[i] );
616                 block_residual_write_cavlc( h, s, DCT_CHROMA_AC, i, h->dct.luma4x4[i]+1, 15 );
617             }
618     }
619
620 #if !RDO_SKIP_BS
621     h->stat.frame.i_tex_bits += bs_pos(s) - i_mb_pos_tex;
622 #endif
623 }
624
625 #if RDO_SKIP_BS
626 /*****************************************************************************
627  * RD only; doesn't generate a valid bitstream
628  * doesn't write cbp or chroma dc (I don't know how much this matters)
629  * doesn't write ref or subpartition (never varies between calls, so no point in doing so)
630  * works on all partition sizes except 16x16
631  * for sub8x8, call once per 8x8 block
632  *****************************************************************************/
633 static int x264_partition_size_cavlc( x264_t *h, int i8, int i_pixel )
634 {
635     bs_t s;
636     const int i_mb_type = h->mb.i_type;
637     int b_8x16 = h->mb.i_partition == D_8x16;
638     int j;
639
640     s.i_bits_encoded = 0;
641
642     if( i_mb_type == P_8x8 )
643         cavlc_mb8x8_mvd( h, &s, 0, i8 );
644     else if( i_mb_type == P_L0 )
645         cavlc_mb_mvd( h, &s, 0, 4*i8, 4>>b_8x16 );
646     else if( i_mb_type > B_DIRECT && i_mb_type < B_8x8 )
647     {
648         if( x264_mb_type_list0_table[ i_mb_type ][!!i8] ) cavlc_mb_mvd( h, &s, 0, 4*i8, 4>>b_8x16 );
649         if( x264_mb_type_list1_table[ i_mb_type ][!!i8] ) cavlc_mb_mvd( h, &s, 1, 4*i8, 4>>b_8x16 );
650     }
651     else if( i_mb_type == B_8x8 )
652     {
653         cavlc_mb8x8_mvd( h, &s, 0, i8 );
654         cavlc_mb8x8_mvd( h, &s, 1, i8 );
655     }
656     else
657     {
658         x264_log(h, X264_LOG_ERROR, "invalid/unhandled mb_type\n" );
659         return 0;
660     }
661
662     for( j = (i_pixel < PIXEL_8x8); j >= 0; j-- )
663     {
664         x264_macroblock_luma_write_cavlc( h, &s, i8, i8 );
665         h->mb.cache.non_zero_count[x264_scan8[16+i8]] = array_non_zero_count( h->dct.luma4x4[16+i8] );
666         block_residual_write_cavlc( h, &s, DCT_CHROMA_AC, 16+i8, h->dct.luma4x4[16+i8]+1, 15 );
667         h->mb.cache.non_zero_count[x264_scan8[20+i8]] = array_non_zero_count( h->dct.luma4x4[20+i8] );
668         block_residual_write_cavlc( h, &s, DCT_CHROMA_AC, 20+i8, h->dct.luma4x4[20+i8]+1, 15 );
669         i8 += x264_pixel_size[i_pixel].h >> 3;
670     }
671
672     return s.i_bits_encoded;
673 }
674
675 static int x264_subpartition_size_cavlc( x264_t *h, int i4, int i_pixel )
676 {
677     bs_t s;
678     int b_8x4 = i_pixel == PIXEL_8x4;
679     s.i_bits_encoded = 0;
680     cavlc_mb_mvd( h, &s, 0, i4, 1+b_8x4 );
681     h->mb.cache.non_zero_count[x264_scan8[i4]] = array_non_zero_count( h->dct.luma4x4[i4] );
682     block_residual_write_cavlc( h, &s, DCT_LUMA_4x4, i4, h->dct.luma4x4[i4], 16 );
683     if( i_pixel != PIXEL_4x4 )
684     {
685         i4 += 2-b_8x4;
686         h->mb.cache.non_zero_count[x264_scan8[i4]] = array_non_zero_count( h->dct.luma4x4[i4] );
687         block_residual_write_cavlc( h, &s, DCT_LUMA_4x4, i4, h->dct.luma4x4[i4], 16 );
688     }
689
690     return s.i_bits_encoded;
691 }
692
693 static int cavlc_intra4x4_pred_size( x264_t *h, int i4, int i_mode )
694 {
695     if( x264_mb_predict_intra4x4_mode( h, i4 ) == x264_mb_pred_mode4x4_fix( i_mode ) )
696         return 1;
697     else
698         return 4;
699 }
700
701 static int x264_partition_i8x8_size_cavlc( x264_t *h, int i8, int i_mode )
702 {
703     int i4;
704     h->out.bs.i_bits_encoded = cavlc_intra4x4_pred_size( h, 4*i8, i_mode );
705     h->zigzagf.interleave_8x8_cavlc( h->dct.luma4x4[i8*4], h->dct.luma8x8[i8] );
706     for( i4 = 0; i4 < 4; i4++ )
707     {
708         h->mb.cache.non_zero_count[x264_scan8[i4+i8*4]] = array_non_zero_count( h->dct.luma4x4[i4+i8*4] );
709         block_residual_write_cavlc( h, &h->out.bs, DCT_LUMA_4x4, i4+i8*4, h->dct.luma4x4[i4+i8*4], 16 );
710     }
711     return h->out.bs.i_bits_encoded;
712 }
713
714 static int x264_partition_i4x4_size_cavlc( x264_t *h, int i4, int i_mode )
715 {
716     h->out.bs.i_bits_encoded = cavlc_intra4x4_pred_size( h, i4, i_mode );
717     h->mb.cache.non_zero_count[x264_scan8[i4]] = array_non_zero_count( h->dct.luma4x4[i4] );
718     block_residual_write_cavlc( h, &h->out.bs, DCT_LUMA_4x4, i4, h->dct.luma4x4[i4], 16 );
719     return h->out.bs.i_bits_encoded;
720 }
721
722 static int x264_i8x8_chroma_size_cavlc( x264_t *h )
723 {
724     h->out.bs.i_bits_encoded = bs_size_ue( x264_mb_pred_mode8x8c_fix[ h->mb.i_chroma_pred_mode ] );
725     if( h->mb.i_cbp_chroma )
726     {
727         block_residual_write_cavlc( h, &h->out.bs, DCT_CHROMA_DC, 25, h->dct.chroma_dc[0], 4 );
728         block_residual_write_cavlc( h, &h->out.bs, DCT_CHROMA_DC, 26, h->dct.chroma_dc[1], 4 );
729
730         if( h->mb.i_cbp_chroma == 2 )
731         {
732             int i;
733             for( i = 16; i < 24; i++ )
734             {
735                 h->mb.cache.non_zero_count[x264_scan8[i]] = array_non_zero_count( h->dct.luma4x4[i] );
736                 block_residual_write_cavlc( h, &h->out.bs, DCT_CHROMA_AC, i, h->dct.luma4x4[i]+1, 15 );
737             }
738         }
739     }
740     return h->out.bs.i_bits_encoded;
741 }
742 #endif