de-duplicate vlc tables
[x264/x264-sandbox.git] / encoder / cavlc.c
1 /*****************************************************************************
2  * cavlc.c: h264 encoder library
3  *****************************************************************************
4  * Copyright (C) 2003-2008 x264 project
5  *
6  * Authors: Laurent Aimar <fenrir@via.ecp.fr>
7  *          Loren Merritt <lorenm@u.washington.edu>
8  *
9  * This program is free software; you can redistribute it and/or modify
10  * it under the terms of the GNU General Public License as published by
11  * the Free Software Foundation; either version 2 of the License, or
12  * (at your option) any later version.
13  *
14  * This program is distributed in the hope that it will be useful,
15  * but WITHOUT ANY WARRANTY; without even the implied warranty of
16  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
17  * GNU General Public License for more details.
18  *
19  * You should have received a copy of the GNU General Public License
20  * along with this program; if not, write to the Free Software
21  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02111, USA.
22  *****************************************************************************/
23
24 #include "common/common.h"
25 #include "macroblock.h"
26
27 static const uint8_t intra4x4_cbp_to_golomb[48]=
28 {
29   3, 29, 30, 17, 31, 18, 37,  8, 32, 38, 19,  9, 20, 10, 11,  2,
30  16, 33, 34, 21, 35, 22, 39,  4, 36, 40, 23,  5, 24,  6,  7,  1,
31  41, 42, 43, 25, 44, 26, 46, 12, 45, 47, 27, 13, 28, 14, 15,  0
32 };
33 static const uint8_t inter_cbp_to_golomb[48]=
34 {
35   0,  2,  3,  7,  4,  8, 17, 13,  5, 18,  9, 14, 10, 15, 16, 11,
36   1, 32, 33, 36, 34, 37, 44, 40, 35, 45, 38, 41, 39, 42, 43, 19,
37   6, 24, 25, 20, 26, 21, 46, 28, 27, 47, 22, 29, 23, 30, 31, 12
38 };
39 static const uint8_t mb_type_b_to_golomb[3][9]=
40 {
41     { 4,  8, 12, 10,  6, 14, 16, 18, 20 }, /* D_16x8 */
42     { 5,  9, 13, 11,  7, 15, 17, 19, 21 }, /* D_8x16 */
43     { 1, -1, -1, -1,  2, -1, -1, -1,  3 }  /* D_16x16 */
44 };
45 static const uint8_t sub_mb_type_p_to_golomb[4]=
46 {
47     3, 1, 2, 0
48 };
49 static const uint8_t sub_mb_type_b_to_golomb[13]=
50 {
51     10,  4,  5,  1, 11,  6,  7,  2, 12,  8,  9,  3,  0
52 };
53
54 #define BLOCK_INDEX_CHROMA_DC   (-1)
55 #define BLOCK_INDEX_LUMA_DC     (-2)
56
57 static inline void bs_write_vlc( bs_t *s, vlc_t v )
58 {
59     bs_write( s, v.i_size, v.i_bits );
60 }
61
62 /****************************************************************************
63  * block_residual_write_cavlc:
64  ****************************************************************************/
65 static void block_residual_write_cavlc( x264_t *h, bs_t *s, int i_idx, int16_t *l, int i_count )
66 {
67     int level[16], run[16];
68     int i_total, i_trailing;
69     int i_total_zero;
70     int i_last;
71     unsigned int i_sign;
72     int i;
73     int i_suffix_length;
74
75     /* first find i_last */
76     for( i_last = i_count-1; i_last >= 3; i_last -= 4 )
77         if( *(uint64_t*)(l+i_last-3) )
78             break;
79     while( i_last >= 0 && l[i_last] == 0 )
80         i_last--;
81
82     i_sign = 0;
83     i_total = 0;
84     i_trailing = 0;
85     i_total_zero = i_last + 1;
86
87     if( i_last >= 0 )
88     {
89         int idx = 0;
90
91         /* level and run and total */
92         while( i_last >= 0 )
93         {
94             int r = 0;
95             level[idx] = l[i_last];
96             while( --i_last >= 0 && l[i_last] == 0 )
97                 r++;
98             run[idx++] = r;
99         }
100
101         i_total = idx;
102         i_total_zero -= idx;
103
104         i_trailing = X264_MIN(3, idx);
105         for( idx = 0; idx < i_trailing; idx++ )
106         {
107             if( (unsigned)(level[idx]+1) > 2 )
108             {
109                 i_trailing = idx;
110                 break;
111             }
112             i_sign <<= 1;
113             i_sign |= level[idx] < 0;
114         }
115     }
116
117     /* total/trailing */
118     if( i_idx == BLOCK_INDEX_CHROMA_DC )
119     {
120         bs_write_vlc( s, x264_coeff_token[4][i_total*4+i_trailing] );
121     }
122     else
123     {
124         /* x264_mb_predict_non_zero_code return 0 <-> (16+16+1)>>1 = 16 */
125         static const int ct_index[17] = {0,0,1,1,2,2,2,2,3,3,3,3,3,3,3,3,3 };
126         int nC = x264_mb_predict_non_zero_code( h, i_idx == BLOCK_INDEX_LUMA_DC ? 0 : i_idx );
127         bs_write_vlc( s, x264_coeff_token[ct_index[nC]][i_total*4+i_trailing] );
128     }
129
130     if( i_total <= 0 )
131         return;
132
133     i_suffix_length = i_total > 10 && i_trailing < 3 ? 1 : 0;
134     if( i_trailing > 0 )
135     {
136         bs_write( s, i_trailing, i_sign );
137     }
138     for( i = i_trailing; i < i_total; i++ )
139     {
140         int mask = level[i] >> 15;
141         int abs_level = (level[i]^mask)-mask;
142         int i_level_code = abs_level*2-mask-2;
143
144         if( i == i_trailing && i_trailing < 3 )
145             i_level_code -= 2; /* as level[i] can't be 1 for the first one if i_trailing < 3 */
146
147         if( ( i_level_code >> i_suffix_length ) < 14 )
148         {
149             bs_write( s, (i_level_code >> i_suffix_length) + 1 + i_suffix_length,
150                      (1<<i_suffix_length) + (i_level_code & ((1<<i_suffix_length)-1)) );
151         }
152         else if( i_suffix_length == 0 && i_level_code < 30 )
153         {
154             bs_write( s, 19, (1<<4) + (i_level_code - 14) );
155         }
156         else if( i_suffix_length > 0 && ( i_level_code >> i_suffix_length ) == 14 )
157         {
158             bs_write( s, 15 + i_suffix_length,
159                       (1<<i_suffix_length) + (i_level_code & ((1<<i_suffix_length)-1)) );
160         }
161         else
162         {
163             int i_level_prefix = 15;
164             i_level_code -= 15 << i_suffix_length;
165             if( i_suffix_length == 0 )
166                 i_level_code -= 15;
167
168             /* If the prefix size exceeds 15, High Profile is required. */
169             if( i_level_code >= 1<<12 )
170             {
171                 if( h->sps->i_profile_idc >= PROFILE_HIGH )
172                 {
173                     while( i_level_code > 1<<(i_level_prefix-3) )
174                     {
175                         i_level_code -= 1<<(i_level_prefix-3);
176                         i_level_prefix++;
177                     }
178                 }
179                 else
180                 {
181 #ifdef RDO_SKIP_BS
182                     /* Weight highly against overflows. */
183                     s->i_bits_encoded += 1000000;
184 #else
185                     x264_log(h, X264_LOG_WARNING, "OVERFLOW levelcode=%d is only allowed in High Profile", i_level_code );
186                     /* clip level, preserving sign */
187                     i_level_code = (1<<12) - 2 + (i_level_code & 1);
188 #endif
189                 }
190             }
191             bs_write( s, i_level_prefix + 1, 1 );
192             bs_write( s, i_level_prefix - 3, i_level_code & ((1<<(i_level_prefix-3))-1) );
193         }
194
195         if( i_suffix_length == 0 )
196             i_suffix_length++;
197         if( abs_level > (3 << (i_suffix_length-1)) && i_suffix_length < 6 )
198             i_suffix_length++;
199     }
200
201     if( i_total < i_count )
202     {
203         if( i_idx == BLOCK_INDEX_CHROMA_DC )
204             bs_write_vlc( s, x264_total_zeros_dc[i_total-1][i_total_zero] );
205         else
206             bs_write_vlc( s, x264_total_zeros[i_total-1][i_total_zero] );
207     }
208
209     for( i = 0; i < i_total-1 && i_total_zero > 0; i++ )
210     {
211         int i_zl = X264_MIN( i_total_zero - 1, 6 );
212         bs_write_vlc( s, x264_run_before[i_zl][run[i]] );
213         i_total_zero -= run[i];
214     }
215 }
216
217 static void cavlc_qp_delta( x264_t *h, bs_t *s )
218 {
219     int i_dqp = h->mb.i_qp - h->mb.i_last_qp;
220
221     /* Avoid writing a delta quant if we have an empty i16x16 block, e.g. in a completely flat background area */
222     if( h->mb.i_type == I_16x16 && !(h->mb.i_cbp_luma | h->mb.i_cbp_chroma)
223         && !array_non_zero(h->dct.luma16x16_dc) )
224     {
225 #ifndef RDO_SKIP_BS
226         h->mb.i_qp = h->mb.i_last_qp;
227 #endif
228         i_dqp = 0;
229     }
230
231     if( i_dqp )
232     {
233         if( i_dqp < -26 )
234             i_dqp += 52;
235         else if( i_dqp > 25 )
236             i_dqp -= 52;
237     }
238     bs_write_se( s, i_dqp );
239 }
240
241 static void cavlc_mb_mvd( x264_t *h, bs_t *s, int i_list, int idx, int width )
242 {
243     DECLARE_ALIGNED_4( int16_t mvp[2] );
244     x264_mb_predict_mv( h, i_list, idx, width, mvp );
245     bs_write_se( s, h->mb.cache.mv[i_list][x264_scan8[idx]][0] - mvp[0] );
246     bs_write_se( s, h->mb.cache.mv[i_list][x264_scan8[idx]][1] - mvp[1] );
247 }
248
249 static void cavlc_mb8x8_mvd( x264_t *h, bs_t *s, int i_list, int i )
250 {
251     if( !x264_mb_partition_listX_table[i_list][ h->mb.i_sub_partition[i] ] )
252         return;
253
254     switch( h->mb.i_sub_partition[i] )
255     {
256         case D_L0_8x8:
257         case D_L1_8x8:
258         case D_BI_8x8:
259             cavlc_mb_mvd( h, s, i_list, 4*i, 2 );
260             break;
261         case D_L0_8x4:
262         case D_L1_8x4:
263         case D_BI_8x4:
264             cavlc_mb_mvd( h, s, i_list, 4*i+0, 2 );
265             cavlc_mb_mvd( h, s, i_list, 4*i+2, 2 );
266             break;
267         case D_L0_4x8:
268         case D_L1_4x8:
269         case D_BI_4x8:
270             cavlc_mb_mvd( h, s, i_list, 4*i+0, 1 );
271             cavlc_mb_mvd( h, s, i_list, 4*i+1, 1 );
272             break;
273         case D_L0_4x4:
274         case D_L1_4x4:
275         case D_BI_4x4:
276             cavlc_mb_mvd( h, s, i_list, 4*i+0, 1 );
277             cavlc_mb_mvd( h, s, i_list, 4*i+1, 1 );
278             cavlc_mb_mvd( h, s, i_list, 4*i+2, 1 );
279             cavlc_mb_mvd( h, s, i_list, 4*i+3, 1 );
280             break;
281     }
282 }
283
284 static inline void x264_macroblock_luma_write_cavlc( x264_t *h, bs_t *s, int i8start, int i8end )
285 {
286     int i8, i4, i;
287     if( h->mb.b_transform_8x8 )
288     {
289         /* shuffle 8x8 dct coeffs into 4x4 lists */
290         for( i8 = i8start; i8 <= i8end; i8++ )
291             if( h->mb.i_cbp_luma & (1 << i8) )
292                 for( i4 = 0; i4 < 4; i4++ )
293                     for( i = 0; i < 16; i++ )
294                         h->dct.luma4x4[i4+i8*4][i] = h->dct.luma8x8[i8][i4+i*4];
295     }
296
297     for( i8 = i8start; i8 <= i8end; i8++ )
298         if( h->mb.i_cbp_luma & (1 << i8) )
299             for( i4 = 0; i4 < 4; i4++ )
300             {
301                 h->mb.cache.non_zero_count[x264_scan8[i4+i8*4]] = array_non_zero_count( h->dct.luma4x4[i4+i8*4] );
302                 block_residual_write_cavlc( h, s, i4+i8*4, h->dct.luma4x4[i4+i8*4], 16 );
303             }
304 }
305
306 /*****************************************************************************
307  * x264_macroblock_write:
308  *****************************************************************************/
309 void x264_macroblock_write_cavlc( x264_t *h, bs_t *s )
310 {
311     const int i_mb_type = h->mb.i_type;
312     int i_mb_i_offset;
313     int i;
314
315 #ifndef RDO_SKIP_BS
316     const int i_mb_pos_start = bs_pos( s );
317     int       i_mb_pos_tex;
318 #endif
319
320     switch( h->sh.i_type )
321     {
322         case SLICE_TYPE_I:
323             i_mb_i_offset = 0;
324             break;
325         case SLICE_TYPE_P:
326             i_mb_i_offset = 5;
327             break;
328         case SLICE_TYPE_B:
329             i_mb_i_offset = 23;
330             break;
331         default:
332             x264_log(h, X264_LOG_ERROR, "internal error or slice unsupported\n" );
333             return;
334     }
335
336     if( h->sh.b_mbaff
337         && (!(h->mb.i_mb_y & 1) || IS_SKIP(h->mb.type[h->mb.i_mb_xy - h->mb.i_mb_stride])) )
338     {
339         bs_write1( s, h->mb.b_interlaced );
340     }
341
342     /* Write:
343       - type
344       - prediction
345       - mv */
346     if( i_mb_type == I_PCM )
347     {
348         /* Untested */
349         bs_write_ue( s, i_mb_i_offset + 25 );
350
351 #ifdef RDO_SKIP_BS
352         s->i_bits_encoded += 384*8;
353 #else
354         bs_align_0( s );
355         /* Luma */
356         for( i = 0; i < 16*16; i++ )
357         {
358             const int x = 16 * h->mb.i_mb_x + (i % 16);
359             const int y = 16 * h->mb.i_mb_y + (i / 16);
360             bs_write( s, 8, h->fenc->plane[0][y*h->mb.pic.i_stride[0]+x] );
361         }
362         /* Cb */
363         for( i = 0; i < 8*8; i++ )
364         {
365             const int x = 8 * h->mb.i_mb_x + (i % 8);
366             const int y = 8 * h->mb.i_mb_y + (i / 8);
367             bs_write( s, 8, h->fenc->plane[1][y*h->mb.pic.i_stride[1]+x] );
368         }
369         /* Cr */
370         for( i = 0; i < 8*8; i++ )
371         {
372             const int x = 8 * h->mb.i_mb_x + (i % 8);
373             const int y = 8 * h->mb.i_mb_y + (i / 8);
374             bs_write( s, 8, h->fenc->plane[2][y*h->mb.pic.i_stride[2]+x] );
375         }
376 #endif
377         return;
378     }
379     else if( i_mb_type == I_4x4 || i_mb_type == I_8x8 )
380     {
381         int di = i_mb_type == I_8x8 ? 4 : 1;
382         bs_write_ue( s, i_mb_i_offset + 0 );
383         if( h->pps->b_transform_8x8_mode )
384             bs_write1( s, h->mb.b_transform_8x8 );
385
386         /* Prediction: Luma */
387         for( i = 0; i < 16; i += di )
388         {
389             int i_pred = x264_mb_predict_intra4x4_mode( h, i );
390             int i_mode = x264_mb_pred_mode4x4_fix( h->mb.cache.intra4x4_pred_mode[x264_scan8[i]] );
391
392             if( i_pred == i_mode)
393             {
394                 bs_write1( s, 1 );  /* b_prev_intra4x4_pred_mode */
395             }
396             else
397             {
398                 if( i_mode >= i_pred )
399                     i_mode--;
400                 bs_write( s, 4, i_mode );
401             }
402         }
403         bs_write_ue( s, x264_mb_pred_mode8x8c_fix[ h->mb.i_chroma_pred_mode ] );
404     }
405     else if( i_mb_type == I_16x16 )
406     {
407         bs_write_ue( s, i_mb_i_offset + 1 + x264_mb_pred_mode16x16_fix[h->mb.i_intra16x16_pred_mode] +
408                         h->mb.i_cbp_chroma * 4 + ( h->mb.i_cbp_luma == 0 ? 0 : 12 ) );
409         bs_write_ue( s, x264_mb_pred_mode8x8c_fix[ h->mb.i_chroma_pred_mode ] );
410     }
411     else if( i_mb_type == P_L0 )
412     {
413         DECLARE_ALIGNED_4( int16_t mvp[2] );
414
415         if( h->mb.i_partition == D_16x16 )
416         {
417             bs_write_ue( s, 0 );
418
419             if( h->mb.pic.i_fref[0] > 1 )
420             {
421                 bs_write_te( s, h->mb.pic.i_fref[0] - 1, h->mb.cache.ref[0][x264_scan8[0]] );
422             }
423             x264_mb_predict_mv( h, 0, 0, 4, mvp );
424             bs_write_se( s, h->mb.cache.mv[0][x264_scan8[0]][0] - mvp[0] );
425             bs_write_se( s, h->mb.cache.mv[0][x264_scan8[0]][1] - mvp[1] );
426         }
427         else if( h->mb.i_partition == D_16x8 )
428         {
429             bs_write_ue( s, 1 );
430             if( h->mb.pic.i_fref[0] > 1 )
431             {
432                 bs_write_te( s, h->mb.pic.i_fref[0] - 1, h->mb.cache.ref[0][x264_scan8[0]] );
433                 bs_write_te( s, h->mb.pic.i_fref[0] - 1, h->mb.cache.ref[0][x264_scan8[8]] );
434             }
435
436             x264_mb_predict_mv( h, 0, 0, 4, mvp );
437             bs_write_se( s, h->mb.cache.mv[0][x264_scan8[0]][0] - mvp[0] );
438             bs_write_se( s, h->mb.cache.mv[0][x264_scan8[0]][1] - mvp[1] );
439
440             x264_mb_predict_mv( h, 0, 8, 4, mvp );
441             bs_write_se( s, h->mb.cache.mv[0][x264_scan8[8]][0] - mvp[0] );
442             bs_write_se( s, h->mb.cache.mv[0][x264_scan8[8]][1] - mvp[1] );
443         }
444         else if( h->mb.i_partition == D_8x16 )
445         {
446             bs_write_ue( s, 2 );
447             if( h->mb.pic.i_fref[0] > 1 )
448             {
449                 bs_write_te( s, h->mb.pic.i_fref[0] - 1, h->mb.cache.ref[0][x264_scan8[0]] );
450                 bs_write_te( s, h->mb.pic.i_fref[0] - 1, h->mb.cache.ref[0][x264_scan8[4]] );
451             }
452
453             x264_mb_predict_mv( h, 0, 0, 2, mvp );
454             bs_write_se( s, h->mb.cache.mv[0][x264_scan8[0]][0] - mvp[0] );
455             bs_write_se( s, h->mb.cache.mv[0][x264_scan8[0]][1] - mvp[1] );
456
457             x264_mb_predict_mv( h, 0, 4, 2, mvp );
458             bs_write_se( s, h->mb.cache.mv[0][x264_scan8[4]][0] - mvp[0] );
459             bs_write_se( s, h->mb.cache.mv[0][x264_scan8[4]][1] - mvp[1] );
460         }
461     }
462     else if( i_mb_type == P_8x8 )
463     {
464         int b_sub_ref0;
465
466         if( h->mb.cache.ref[0][x264_scan8[0]] == 0 && h->mb.cache.ref[0][x264_scan8[4]] == 0 &&
467             h->mb.cache.ref[0][x264_scan8[8]] == 0 && h->mb.cache.ref[0][x264_scan8[12]] == 0 )
468         {
469             bs_write_ue( s, 4 );
470             b_sub_ref0 = 0;
471         }
472         else
473         {
474             bs_write_ue( s, 3 );
475             b_sub_ref0 = 1;
476         }
477         /* sub mb type */
478         for( i = 0; i < 4; i++ )
479         {
480             bs_write_ue( s, sub_mb_type_p_to_golomb[ h->mb.i_sub_partition[i] ] );
481         }
482         /* ref0 */
483         if( h->mb.pic.i_fref[0] > 1 && b_sub_ref0 )
484         {
485             bs_write_te( s, h->mb.pic.i_fref[0] - 1, h->mb.cache.ref[0][x264_scan8[0]] );
486             bs_write_te( s, h->mb.pic.i_fref[0] - 1, h->mb.cache.ref[0][x264_scan8[4]] );
487             bs_write_te( s, h->mb.pic.i_fref[0] - 1, h->mb.cache.ref[0][x264_scan8[8]] );
488             bs_write_te( s, h->mb.pic.i_fref[0] - 1, h->mb.cache.ref[0][x264_scan8[12]] );
489         }
490
491         for( i = 0; i < 4; i++ )
492             cavlc_mb8x8_mvd( h, s, 0, i );
493     }
494     else if( i_mb_type == B_8x8 )
495     {
496         bs_write_ue( s, 22 );
497
498         /* sub mb type */
499         for( i = 0; i < 4; i++ )
500         {
501             bs_write_ue( s, sub_mb_type_b_to_golomb[ h->mb.i_sub_partition[i] ] );
502         }
503         /* ref */
504         for( i = 0; i < 4; i++ )
505         {
506             if( x264_mb_partition_listX_table[0][ h->mb.i_sub_partition[i] ] )
507             {
508                 bs_write_te( s, h->mb.pic.i_fref[0] - 1, h->mb.cache.ref[0][x264_scan8[i*4]] );
509             }
510         }
511         for( i = 0; i < 4; i++ )
512         {
513             if( x264_mb_partition_listX_table[1][ h->mb.i_sub_partition[i] ] )
514             {
515                 bs_write_te( s, h->mb.pic.i_fref[1] - 1, h->mb.cache.ref[1][x264_scan8[i*4]] );
516             }
517         }
518         /* mvd */
519         for( i = 0; i < 4; i++ )
520             cavlc_mb8x8_mvd( h, s, 0, i );
521         for( i = 0; i < 4; i++ )
522             cavlc_mb8x8_mvd( h, s, 1, i );
523     }
524     else if( i_mb_type != B_DIRECT )
525     {
526         /* All B mode */
527         /* Motion Vector */
528         int i_list;
529         DECLARE_ALIGNED_4( int16_t mvp[2] );
530
531         int b_list[2][2];
532
533         /* init ref list utilisations */
534         for( i = 0; i < 2; i++ )
535         {
536             b_list[0][i] = x264_mb_type_list0_table[i_mb_type][i];
537             b_list[1][i] = x264_mb_type_list1_table[i_mb_type][i];
538         }
539
540
541         bs_write_ue( s, mb_type_b_to_golomb[ h->mb.i_partition - D_16x8 ][ i_mb_type - B_L0_L0 ] );
542
543         for( i_list = 0; i_list < 2; i_list++ )
544         {
545             const int i_ref_max = i_list == 0 ? h->mb.pic.i_fref[0] : h->mb.pic.i_fref[1];
546
547             if( i_ref_max > 1 )
548             {
549                 switch( h->mb.i_partition )
550                 {
551                     case D_16x16:
552                         if( b_list[i_list][0] ) bs_write_te( s, i_ref_max - 1, h->mb.cache.ref[i_list][x264_scan8[0]] );
553                         break;
554                     case D_16x8:
555                         if( b_list[i_list][0] ) bs_write_te( s, i_ref_max - 1, h->mb.cache.ref[i_list][x264_scan8[0]] );
556                         if( b_list[i_list][1] ) bs_write_te( s, i_ref_max - 1, h->mb.cache.ref[i_list][x264_scan8[8]] );
557                         break;
558                     case D_8x16:
559                         if( b_list[i_list][0] ) bs_write_te( s, i_ref_max - 1, h->mb.cache.ref[i_list][x264_scan8[0]] );
560                         if( b_list[i_list][1] ) bs_write_te( s, i_ref_max - 1, h->mb.cache.ref[i_list][x264_scan8[4]] );
561                         break;
562                 }
563             }
564         }
565         for( i_list = 0; i_list < 2; i_list++ )
566         {
567             switch( h->mb.i_partition )
568             {
569                 case D_16x16:
570                     if( b_list[i_list][0] )
571                     {
572                         x264_mb_predict_mv( h, i_list, 0, 4, mvp );
573                         bs_write_se( s, h->mb.cache.mv[i_list][x264_scan8[0]][0] - mvp[0] );
574                         bs_write_se( s, h->mb.cache.mv[i_list][x264_scan8[0]][1] - mvp[1] );
575                     }
576                     break;
577                 case D_16x8:
578                     if( b_list[i_list][0] )
579                     {
580                         x264_mb_predict_mv( h, i_list, 0, 4, mvp );
581                         bs_write_se( s, h->mb.cache.mv[i_list][x264_scan8[0]][0] - mvp[0] );
582                         bs_write_se( s, h->mb.cache.mv[i_list][x264_scan8[0]][1] - mvp[1] );
583                     }
584                     if( b_list[i_list][1] )
585                     {
586                         x264_mb_predict_mv( h, i_list, 8, 4, mvp );
587                         bs_write_se( s, h->mb.cache.mv[i_list][x264_scan8[8]][0] - mvp[0] );
588                         bs_write_se( s, h->mb.cache.mv[i_list][x264_scan8[8]][1] - mvp[1] );
589                     }
590                     break;
591                 case D_8x16:
592                     if( b_list[i_list][0] )
593                     {
594                         x264_mb_predict_mv( h, i_list, 0, 2, mvp );
595                         bs_write_se( s, h->mb.cache.mv[i_list][x264_scan8[0]][0] - mvp[0] );
596                         bs_write_se( s, h->mb.cache.mv[i_list][x264_scan8[0]][1] - mvp[1] );
597                     }
598                     if( b_list[i_list][1] )
599                     {
600                         x264_mb_predict_mv( h, i_list, 4, 2, mvp );
601                         bs_write_se( s, h->mb.cache.mv[i_list][x264_scan8[4]][0] - mvp[0] );
602                         bs_write_se( s, h->mb.cache.mv[i_list][x264_scan8[4]][1] - mvp[1] );
603                     }
604                     break;
605             }
606         }
607     }
608     else if( i_mb_type == B_DIRECT )
609     {
610         bs_write_ue( s, 0 );
611     }
612     else
613     {
614         x264_log(h, X264_LOG_ERROR, "invalid/unhandled mb_type\n" );
615         return;
616     }
617
618 #ifndef RDO_SKIP_BS
619     i_mb_pos_tex = bs_pos( s );
620     h->stat.frame.i_hdr_bits += i_mb_pos_tex - i_mb_pos_start;
621 #endif
622
623     /* Coded block patern */
624     if( i_mb_type == I_4x4 || i_mb_type == I_8x8 )
625     {
626         bs_write_ue( s, intra4x4_cbp_to_golomb[( h->mb.i_cbp_chroma << 4 )|h->mb.i_cbp_luma] );
627     }
628     else if( i_mb_type != I_16x16 )
629     {
630         bs_write_ue( s, inter_cbp_to_golomb[( h->mb.i_cbp_chroma << 4 )|h->mb.i_cbp_luma] );
631     }
632
633     /* transform size 8x8 flag */
634     if( x264_mb_transform_8x8_allowed( h ) && h->mb.i_cbp_luma )
635     {
636         bs_write1( s, h->mb.b_transform_8x8 );
637     }
638
639     /* write residual */
640     if( i_mb_type == I_16x16 )
641     {
642         cavlc_qp_delta( h, s );
643
644         /* DC Luma */
645         block_residual_write_cavlc( h, s, BLOCK_INDEX_LUMA_DC , h->dct.luma16x16_dc, 16 );
646
647         /* AC Luma */
648         if( h->mb.i_cbp_luma != 0 )
649             for( i = 0; i < 16; i++ )
650             {
651                 h->mb.cache.non_zero_count[x264_scan8[i]] = array_non_zero_count( h->dct.luma4x4[i] );
652                 block_residual_write_cavlc( h, s, i, h->dct.luma4x4[i]+1, 15 );
653             }
654     }
655     else if( h->mb.i_cbp_luma != 0 || h->mb.i_cbp_chroma != 0 )
656     {
657         cavlc_qp_delta( h, s );
658         x264_macroblock_luma_write_cavlc( h, s, 0, 3 );
659     }
660     if( h->mb.i_cbp_chroma != 0 )
661     {
662         /* Chroma DC residual present */
663         block_residual_write_cavlc( h, s, BLOCK_INDEX_CHROMA_DC, h->dct.chroma_dc[0], 4 );
664         block_residual_write_cavlc( h, s, BLOCK_INDEX_CHROMA_DC, h->dct.chroma_dc[1], 4 );
665         if( h->mb.i_cbp_chroma&0x02 ) /* Chroma AC residual present */
666             for( i = 16; i < 24; i++ )
667             {
668                 h->mb.cache.non_zero_count[x264_scan8[i]] = array_non_zero_count( h->dct.luma4x4[i] );
669                 block_residual_write_cavlc( h, s, i, h->dct.luma4x4[i]+1, 15 );
670             }
671     }
672
673 #ifndef RDO_SKIP_BS
674     if( IS_INTRA( i_mb_type ) )
675         h->stat.frame.i_itex_bits += bs_pos(s) - i_mb_pos_tex;
676     else
677         h->stat.frame.i_ptex_bits += bs_pos(s) - i_mb_pos_tex;
678 #endif
679 }
680
681 #ifdef RDO_SKIP_BS
682 /*****************************************************************************
683  * RD only; doesn't generate a valid bitstream
684  * doesn't write cbp or chroma dc (I don't know how much this matters)
685  * works on all partition sizes except 16x16
686  * for sub8x8, call once per 8x8 block
687  *****************************************************************************/
688 int x264_partition_size_cavlc( x264_t *h, int i8, int i_pixel )
689 {
690     bs_t s;
691     const int i_mb_type = h->mb.i_type;
692     int j;
693
694     s.i_bits_encoded = 0;
695
696     if( i_mb_type == P_8x8 )
697     {
698         bs_write_ue( &s, sub_mb_type_p_to_golomb[ h->mb.i_sub_partition[i8] ] );
699         if( h->mb.pic.i_fref[0] > 1 )
700             bs_write_te( &s, h->mb.pic.i_fref[0] - 1, h->mb.cache.ref[0][x264_scan8[4*i8]] );
701         cavlc_mb8x8_mvd( h, &s, 0, i8 );
702     }
703     else if( i_mb_type == P_L0 )
704     {
705         if( h->mb.pic.i_fref[0] > 1 )
706             bs_write_te( &s, h->mb.pic.i_fref[0] - 1, h->mb.cache.ref[0][x264_scan8[4*i8]] );
707         if( h->mb.i_partition == D_16x8 )
708             cavlc_mb_mvd( h, &s, 0, 4*i8, 4 );
709         else //8x16
710             cavlc_mb_mvd( h, &s, 0, 4*i8, 2 );
711     }
712     else if( i_mb_type == B_8x8 )
713     {
714         bs_write_ue( &s, sub_mb_type_b_to_golomb[ h->mb.i_sub_partition[i8] ] );
715
716         if( h->mb.pic.i_fref[0] > 1
717             && x264_mb_partition_listX_table[0][ h->mb.i_sub_partition[i8] ] )
718             bs_write_te( &s, h->mb.pic.i_fref[0] - 1, h->mb.cache.ref[0][x264_scan8[4*i8]] );
719         if( h->mb.pic.i_fref[1] > 1
720             && x264_mb_partition_listX_table[1][ h->mb.i_sub_partition[i8] ] )
721             bs_write_te( &s, h->mb.pic.i_fref[1] - 1, h->mb.cache.ref[1][x264_scan8[4*i8]] );
722
723         cavlc_mb8x8_mvd( h, &s, 0, i8 );
724         cavlc_mb8x8_mvd( h, &s, 1, i8 );
725     }
726     else
727     {
728         x264_log(h, X264_LOG_ERROR, "invalid/unhandled mb_type\n" );
729         return 0;
730     }
731
732     for( j = (i_pixel < PIXEL_8x8); j >= 0; j-- )
733     {
734         x264_macroblock_luma_write_cavlc( h, &s, i8, i8 );
735         h->mb.cache.non_zero_count[x264_scan8[16+i8]] = array_non_zero_count( h->dct.luma4x4[16+i8] );
736         block_residual_write_cavlc( h, &s, 16+i8, h->dct.luma4x4[16+i8]+1, 15 );
737         h->mb.cache.non_zero_count[x264_scan8[20+i8]] = array_non_zero_count( h->dct.luma4x4[20+i8] );
738         block_residual_write_cavlc( h, &s, 20+i8, h->dct.luma4x4[20+i8]+1, 15 );
739         i8 += x264_pixel_size[i_pixel].h >> 3;
740     }
741
742     return s.i_bits_encoded;
743 }
744
745 static int cavlc_intra4x4_pred_size( x264_t *h, int i4, int i_mode )
746 {
747     if( x264_mb_predict_intra4x4_mode( h, i4 ) == x264_mb_pred_mode4x4_fix( i_mode ) )
748         return 1;
749     else
750         return 4;
751 }
752
753 static int x264_partition_i8x8_size_cavlc( x264_t *h, int i8, int i_mode )
754 {
755     int i4, i;
756     h->out.bs.i_bits_encoded = cavlc_intra4x4_pred_size( h, 4*i8, i_mode );
757     for( i4 = 0; i4 < 4; i4++ )
758     {
759         for( i = 0; i < 16; i++ )
760             h->dct.luma4x4[i4+i8*4][i] = h->dct.luma8x8[i8][i4+i*4];
761         h->mb.cache.non_zero_count[x264_scan8[i4+i8*4]] =
762             array_non_zero_count( h->dct.luma4x4[i4+i8*4] );
763         block_residual_write_cavlc( h, &h->out.bs, i4+i8*4, h->dct.luma4x4[i4+i8*4], 16 );
764     }
765     return h->out.bs.i_bits_encoded;
766 }
767
768 static int x264_partition_i4x4_size_cavlc( x264_t *h, int i4, int i_mode )
769 {
770     h->out.bs.i_bits_encoded = cavlc_intra4x4_pred_size( h, i4, i_mode );
771     block_residual_write_cavlc( h, &h->out.bs, i4, h->dct.luma4x4[i4], 16 );
772     return h->out.bs.i_bits_encoded;
773 }
774
775 static int x264_i8x8_chroma_size_cavlc( x264_t *h )
776 {
777     h->out.bs.i_bits_encoded = bs_size_ue( x264_mb_pred_mode8x8c_fix[ h->mb.i_chroma_pred_mode ] );
778     if( h->mb.i_cbp_chroma != 0 )
779     {
780         block_residual_write_cavlc( h, &h->out.bs, BLOCK_INDEX_CHROMA_DC, h->dct.chroma_dc[0], 4 );
781         block_residual_write_cavlc( h, &h->out.bs, BLOCK_INDEX_CHROMA_DC, h->dct.chroma_dc[1], 4 );
782
783         if( h->mb.i_cbp_chroma == 2 )
784         {
785             int i;
786             for( i = 16; i < 24; i++ )
787             {
788                 h->mb.cache.non_zero_count[x264_scan8[i]] = array_non_zero_count( h->dct.luma4x4[i] );
789                 block_residual_write_cavlc( h, &h->out.bs, i, h->dct.luma4x4[i]+1, 15 );
790             }
791         }
792     }
793     return h->out.bs.i_bits_encoded;
794 }
795 #endif