cabac test: match encode and decode side
[ffmpeg.git] / libavcodec / cabac.c
1 /*
2  * H.26L/H.264/AVC/JVT/14496-10/... encoder/decoder
3  * Copyright (c) 2003 Michael Niedermayer <michaelni@gmx.at>
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with FFmpeg; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 /**
23  * @file
24  * Context Adaptive Binary Arithmetic Coder.
25  */
26
27 #include <string.h>
28
29 #include "libavutil/common.h"
30 #include "get_bits.h"
31 #include "cabac.h"
32
33 static const uint8_t lps_range[64][4]= {
34 {128,176,208,240}, {128,167,197,227}, {128,158,187,216}, {123,150,178,205},
35 {116,142,169,195}, {111,135,160,185}, {105,128,152,175}, {100,122,144,166},
36 { 95,116,137,158}, { 90,110,130,150}, { 85,104,123,142}, { 81, 99,117,135},
37 { 77, 94,111,128}, { 73, 89,105,122}, { 69, 85,100,116}, { 66, 80, 95,110},
38 { 62, 76, 90,104}, { 59, 72, 86, 99}, { 56, 69, 81, 94}, { 53, 65, 77, 89},
39 { 51, 62, 73, 85}, { 48, 59, 69, 80}, { 46, 56, 66, 76}, { 43, 53, 63, 72},
40 { 41, 50, 59, 69}, { 39, 48, 56, 65}, { 37, 45, 54, 62}, { 35, 43, 51, 59},
41 { 33, 41, 48, 56}, { 32, 39, 46, 53}, { 30, 37, 43, 50}, { 29, 35, 41, 48},
42 { 27, 33, 39, 45}, { 26, 31, 37, 43}, { 24, 30, 35, 41}, { 23, 28, 33, 39},
43 { 22, 27, 32, 37}, { 21, 26, 30, 35}, { 20, 24, 29, 33}, { 19, 23, 27, 31},
44 { 18, 22, 26, 30}, { 17, 21, 25, 28}, { 16, 20, 23, 27}, { 15, 19, 22, 25},
45 { 14, 18, 21, 24}, { 14, 17, 20, 23}, { 13, 16, 19, 22}, { 12, 15, 18, 21},
46 { 12, 14, 17, 20}, { 11, 14, 16, 19}, { 11, 13, 15, 18}, { 10, 12, 15, 17},
47 { 10, 12, 14, 16}, {  9, 11, 13, 15}, {  9, 11, 12, 14}, {  8, 10, 12, 14},
48 {  8,  9, 11, 13}, {  7,  9, 11, 12}, {  7,  9, 10, 12}, {  7,  8, 10, 11},
49 {  6,  8,  9, 11}, {  6,  7,  9, 10}, {  6,  7,  8,  9}, {  2,  2,  2,  2},
50 };
51
52 uint8_t ff_h264_mlps_state[4*64];
53 uint8_t ff_h264_lps_range[4*2*64];
54 uint8_t ff_h264_lps_state[2*64];
55 uint8_t ff_h264_mps_state[2*64];
56
57 static const uint8_t mps_state[64]= {
58   1, 2, 3, 4, 5, 6, 7, 8,
59   9,10,11,12,13,14,15,16,
60  17,18,19,20,21,22,23,24,
61  25,26,27,28,29,30,31,32,
62  33,34,35,36,37,38,39,40,
63  41,42,43,44,45,46,47,48,
64  49,50,51,52,53,54,55,56,
65  57,58,59,60,61,62,62,63,
66 };
67
68 static const uint8_t lps_state[64]= {
69   0, 0, 1, 2, 2, 4, 4, 5,
70   6, 7, 8, 9, 9,11,11,12,
71  13,13,15,15,16,16,18,18,
72  19,19,21,21,22,22,23,24,
73  24,25,26,26,27,27,28,29,
74  29,30,30,30,31,32,32,33,
75  33,33,34,34,35,35,35,36,
76  36,36,37,37,37,38,38,63,
77 };
78
79 const uint8_t ff_h264_norm_shift[512]= {
80  9,8,7,7,6,6,6,6,5,5,5,5,5,5,5,5,
81  4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,
82  3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,
83  3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,
84  2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,
85  2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,
86  2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,
87  2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,
88  1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,
89  1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,
90  1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,
91  1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,
92  0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
93  0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
94  0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
95  0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
96  0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
97  0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
98  0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
99  0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
100 };
101
102 /**
103  *
104  * @param buf_size size of buf in bits
105  */
106 void ff_init_cabac_encoder(CABACContext *c, uint8_t *buf, int buf_size){
107     init_put_bits(&c->pb, buf, buf_size);
108
109     c->low= 0;
110     c->range= 0x1FE;
111     c->outstanding_count= 0;
112 #ifdef STRICT_LIMITS
113     c->sym_count =0;
114 #endif
115
116     c->pb.bit_left++; //avoids firstBitFlag
117 }
118
119 /**
120  *
121  * @param buf_size size of buf in bits
122  */
123 void ff_init_cabac_decoder(CABACContext *c, const uint8_t *buf, int buf_size){
124     c->bytestream_start=
125     c->bytestream= buf;
126     c->bytestream_end= buf + buf_size;
127
128 #if CABAC_BITS == 16
129     c->low =  (*c->bytestream++)<<18;
130     c->low+=  (*c->bytestream++)<<10;
131 #else
132     c->low =  (*c->bytestream++)<<10;
133 #endif
134     c->low+= ((*c->bytestream++)<<2) + 2;
135     c->range= 0x1FE;
136 }
137
138 void ff_init_cabac_states(CABACContext *c){
139     int i, j;
140
141     for(i=0; i<64; i++){
142         for(j=0; j<4; j++){ //FIXME check if this is worth the 1 shift we save
143             ff_h264_lps_range[j*2*64+2*i+0]=
144             ff_h264_lps_range[j*2*64+2*i+1]= lps_range[i][j];
145         }
146
147         ff_h264_mlps_state[128+2*i+0]=
148         ff_h264_mps_state[2*i+0]= 2*mps_state[i]+0;
149         ff_h264_mlps_state[128+2*i+1]=
150         ff_h264_mps_state[2*i+1]= 2*mps_state[i]+1;
151
152         if( i ){
153             ff_h264_lps_state[2*i+0]=
154             ff_h264_mlps_state[128-2*i-1]= 2*lps_state[i]+0;
155             ff_h264_lps_state[2*i+1]=
156             ff_h264_mlps_state[128-2*i-2]= 2*lps_state[i]+1;
157         }else{
158             ff_h264_lps_state[2*i+0]=
159             ff_h264_mlps_state[128-2*i-1]= 1;
160             ff_h264_lps_state[2*i+1]=
161             ff_h264_mlps_state[128-2*i-2]= 0;
162         }
163     }
164 }
165
166 #ifdef TEST
167 #define SIZE 10240
168
169 #include "libavutil/lfg.h"
170 #include "avcodec.h"
171 #include "cabac.h"
172
173 static void put_cabac(CABACContext *c, uint8_t * const state, int bit){
174     int RangeLPS= ff_h264_lps_range[2*(c->range&0xC0) + *state];
175
176     if(bit == ((*state)&1)){
177         c->range -= RangeLPS;
178         *state= ff_h264_mps_state[*state];
179     }else{
180         c->low += c->range - RangeLPS;
181         c->range = RangeLPS;
182         *state= ff_h264_lps_state[*state];
183     }
184
185     renorm_cabac_encoder(c);
186
187 #ifdef STRICT_LIMITS
188     c->symCount++;
189 #endif
190 }
191
192 /**
193  * @param bit 0 -> write zero bit, !=0 write one bit
194  */
195 static void put_cabac_bypass(CABACContext *c, int bit){
196     c->low += c->low;
197
198     if(bit){
199         c->low += c->range;
200     }
201 //FIXME optimize
202     if(c->low<0x200){
203         put_cabac_bit(c, 0);
204     }else if(c->low<0x400){
205         c->outstanding_count++;
206         c->low -= 0x200;
207     }else{
208         put_cabac_bit(c, 1);
209         c->low -= 0x400;
210     }
211
212 #ifdef STRICT_LIMITS
213     c->symCount++;
214 #endif
215 }
216
217 /**
218  *
219  * @return the number of bytes written
220  */
221 static int put_cabac_terminate(CABACContext *c, int bit){
222     c->range -= 2;
223
224     if(!bit){
225         renorm_cabac_encoder(c);
226     }else{
227         c->low += c->range;
228         c->range= 2;
229
230         renorm_cabac_encoder(c);
231
232         assert(c->low <= 0x1FF);
233         put_cabac_bit(c, c->low>>9);
234         put_bits(&c->pb, 2, ((c->low>>7)&3)|1);
235
236         flush_put_bits(&c->pb); //FIXME FIXME FIXME XXX wrong
237     }
238
239 #ifdef STRICT_LIMITS
240     c->symCount++;
241 #endif
242
243     return (put_bits_count(&c->pb)+7)>>3;
244 }
245
246 /**
247  * put (truncated) unary binarization.
248  */
249 static void put_cabac_u(CABACContext *c, uint8_t * state, int v, int max, int max_index, int truncated){
250     int i;
251
252     assert(v <= max);
253
254     for(i=0; i<v; i++){
255         put_cabac(c, state, 1);
256         if(i < max_index) state++;
257     }
258     if(truncated==0 || v<max)
259         put_cabac(c, state, 0);
260 }
261
262 /**
263  * put unary exp golomb k-th order binarization.
264  */
265 static void put_cabac_ueg(CABACContext *c, uint8_t * state, int v, int max, int is_signed, int k, int max_index){
266     int i;
267
268     if(v==0)
269         put_cabac(c, state, 0);
270     else{
271         const int sign= v < 0;
272
273         if(is_signed) v= FFABS(v);
274
275         if(v<max){
276             for(i=0; i<v; i++){
277                 put_cabac(c, state, 1);
278                 if(i < max_index) state++;
279             }
280
281             put_cabac(c, state, 0);
282         }else{
283             int m= 1<<k;
284
285             for(i=0; i<max; i++){
286                 put_cabac(c, state, 1);
287                 if(i < max_index) state++;
288             }
289
290             v -= max;
291             while(v >= m){ //FIXME optimize
292                 put_cabac_bypass(c, 1);
293                 v-= m;
294                 m+= m;
295             }
296             put_cabac_bypass(c, 0);
297             while(m>>=1){
298                 put_cabac_bypass(c, v&m);
299             }
300         }
301
302         if(is_signed)
303             put_cabac_bypass(c, sign);
304     }
305 }
306
307 int main(void){
308     CABACContext c;
309     uint8_t b[9*SIZE];
310     uint8_t r[9*SIZE];
311     int i;
312     uint8_t state[10]= {0};
313     AVLFG prng;
314
315     av_lfg_init(&prng, 1);
316     ff_init_cabac_encoder(&c, b, SIZE);
317     ff_init_cabac_states(&c);
318
319     for(i=0; i<SIZE; i++){
320         r[i] = av_lfg_get(&prng) % 7;
321     }
322
323     for(i=0; i<SIZE; i++){
324 START_TIMER
325         put_cabac_bypass(&c, r[i]&1);
326 STOP_TIMER("put_cabac_bypass")
327     }
328
329     for(i=0; i<SIZE; i++){
330 START_TIMER
331         put_cabac(&c, state, r[i]&1);
332 STOP_TIMER("put_cabac")
333     }
334
335 #if 0
336     for(i=0; i<SIZE; i++){
337 START_TIMER
338         put_cabac_u(&c, state, r[i], 6, 3, i&1);
339 STOP_TIMER("put_cabac_u")
340     }
341
342     for(i=0; i<SIZE; i++){
343 START_TIMER
344         put_cabac_ueg(&c, state, r[i], 3, 0, 1, 2);
345 STOP_TIMER("put_cabac_ueg")
346     }
347 #endif
348     put_cabac_terminate(&c, 1);
349
350     ff_init_cabac_decoder(&c, b, SIZE);
351
352     memset(state, 0, sizeof(state));
353
354     for(i=0; i<SIZE; i++){
355 START_TIMER
356         if( (r[i]&1) != get_cabac_bypass(&c) )
357             av_log(NULL, AV_LOG_ERROR, "CABAC bypass failure at %d\n", i);
358 STOP_TIMER("get_cabac_bypass")
359     }
360
361     for(i=0; i<SIZE; i++){
362 START_TIMER
363         if( (r[i]&1) != get_cabac(&c, state) )
364             av_log(NULL, AV_LOG_ERROR, "CABAC failure at %d\n", i);
365 STOP_TIMER("get_cabac")
366     }
367 #if 0
368     for(i=0; i<SIZE; i++){
369 START_TIMER
370         if( r[i] != get_cabac_u(&c, state, (i&1) ? 6 : 7, 3, i&1) )
371             av_log(NULL, AV_LOG_ERROR, "CABAC unary (truncated) binarization failure at %d\n", i);
372 STOP_TIMER("get_cabac_u")
373     }
374
375     for(i=0; i<SIZE; i++){
376 START_TIMER
377         if( r[i] != get_cabac_ueg(&c, state, 3, 0, 1, 2))
378             av_log(NULL, AV_LOG_ERROR, "CABAC unary (truncated) binarization failure at %d\n", i);
379 STOP_TIMER("get_cabac_ueg")
380     }
381 #endif
382     if(!get_cabac_terminate(&c))
383         av_log(NULL, AV_LOG_ERROR, "where's the Terminator?\n");
384
385     return 0;
386 }
387
388 #endif /* TEST */