Bump dates to 2011
[x262.git] / common / set.c
1 /*****************************************************************************
2  * set.c: quantization init
3  *****************************************************************************
4  * Copyright (C) 2005-2011 x264 project
5  *
6  * Authors: Loren Merritt <lorenm@u.washington.edu>
7  *
8  * This program is free software; you can redistribute it and/or modify
9  * it under the terms of the GNU General Public License as published by
10  * the Free Software Foundation; either version 2 of the License, or
11  * (at your option) any later version.
12  *
13  * This program is distributed in the hope that it will be useful,
14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
16  * GNU General Public License for more details.
17  *
18  * You should have received a copy of the GNU General Public License
19  * along with this program; if not, write to the Free Software
20  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02111, USA.
21  *
22  * This program is also available under a commercial proprietary license.
23  * For more information, contact us at licensing@x264.com.
24  *****************************************************************************/
25
26 #include "common.h"
27
28 #define SHIFT(x,s) ((s)<=0 ? (x)<<-(s) : ((x)+(1<<((s)-1)))>>(s))
29 #define DIV(n,d) (((n) + ((d)>>1)) / (d))
30
31 static const uint8_t dequant4_scale[6][3] =
32 {
33     { 10, 13, 16 },
34     { 11, 14, 18 },
35     { 13, 16, 20 },
36     { 14, 18, 23 },
37     { 16, 20, 25 },
38     { 18, 23, 29 }
39 };
40 static const uint16_t quant4_scale[6][3] =
41 {
42     { 13107, 8066, 5243 },
43     { 11916, 7490, 4660 },
44     { 10082, 6554, 4194 },
45     {  9362, 5825, 3647 },
46     {  8192, 5243, 3355 },
47     {  7282, 4559, 2893 },
48 };
49
50 static const uint8_t quant8_scan[16] =
51 {
52     0,3,4,3, 3,1,5,1, 4,5,2,5, 3,1,5,1
53 };
54 static const uint8_t dequant8_scale[6][6] =
55 {
56     { 20, 18, 32, 19, 25, 24 },
57     { 22, 19, 35, 21, 28, 26 },
58     { 26, 23, 42, 24, 33, 31 },
59     { 28, 25, 45, 26, 35, 33 },
60     { 32, 28, 51, 30, 40, 38 },
61     { 36, 32, 58, 34, 46, 43 },
62 };
63 static const uint16_t quant8_scale[6][6] =
64 {
65     { 13107, 11428, 20972, 12222, 16777, 15481 },
66     { 11916, 10826, 19174, 11058, 14980, 14290 },
67     { 10082,  8943, 15978,  9675, 12710, 11985 },
68     {  9362,  8228, 14913,  8931, 11984, 11259 },
69     {  8192,  7346, 13159,  7740, 10486,  9777 },
70     {  7282,  6428, 11570,  6830,  9118,  8640 }
71 };
72
73 int x264_cqm_init( x264_t *h )
74 {
75     int def_quant4[6][16];
76     int def_quant8[6][64];
77     int def_dequant4[6][16];
78     int def_dequant8[6][64];
79     int quant4_mf[4][6][16];
80     int quant8_mf[2][6][64];
81     int deadzone[4] = { 32 - h->param.analyse.i_luma_deadzone[1],
82                         32 - h->param.analyse.i_luma_deadzone[0],
83                         32 - 11, 32 - 21 };
84     int max_qp_err = -1;
85     int max_chroma_qp_err = -1;
86     int min_qp_err = QP_MAX+1;
87
88     for( int i = 0; i < 6; i++ )
89     {
90         int size = i<4 ? 16 : 64;
91         int j;
92         for( j = (i<4 ? 0 : 4); j < i; j++ )
93             if( !memcmp( h->pps->scaling_list[i], h->pps->scaling_list[j], size*sizeof(uint8_t) ) )
94                 break;
95         if( j < i )
96         {
97             h->  quant4_mf[i] = h->  quant4_mf[j];
98             h->dequant4_mf[i] = h->dequant4_mf[j];
99             h->unquant4_mf[i] = h->unquant4_mf[j];
100         }
101         else
102         {
103             CHECKED_MALLOC( h->  quant4_mf[i], (QP_MAX+1)*size*sizeof(udctcoef) );
104             CHECKED_MALLOC( h->dequant4_mf[i],  6*size*sizeof(int) );
105             CHECKED_MALLOC( h->unquant4_mf[i], (QP_MAX+1)*size*sizeof(int) );
106         }
107
108         for( j = (i<4 ? 0 : 4); j < i; j++ )
109             if( deadzone[j&3] == deadzone[i&3] &&
110                 !memcmp( h->pps->scaling_list[i], h->pps->scaling_list[j], size*sizeof(uint8_t) ) )
111                 break;
112         if( j < i )
113             h->quant4_bias[i] = h->quant4_bias[j];
114         else
115             CHECKED_MALLOC( h->quant4_bias[i], (QP_MAX+1)*size*sizeof(udctcoef) );
116     }
117
118     for( int q = 0; q < 6; q++ )
119     {
120         for( int i = 0; i < 16; i++ )
121         {
122             int j = (i&1) + ((i>>2)&1);
123             def_dequant4[q][i] = dequant4_scale[q][j];
124             def_quant4[q][i]   =   quant4_scale[q][j];
125         }
126         for( int i = 0; i < 64; i++ )
127         {
128             int j = quant8_scan[((i>>1)&12) | (i&3)];
129             def_dequant8[q][i] = dequant8_scale[q][j];
130             def_quant8[q][i]   =   quant8_scale[q][j];
131         }
132     }
133
134     for( int q = 0; q < 6; q++ )
135     {
136         for( int i_list = 0; i_list < 4; i_list++ )
137             for( int i = 0; i < 16; i++ )
138             {
139                 h->dequant4_mf[i_list][q][i] = def_dequant4[q][i] * h->pps->scaling_list[i_list][i];
140                      quant4_mf[i_list][q][i] = DIV(def_quant4[q][i] * 16, h->pps->scaling_list[i_list][i]);
141             }
142         for( int i_list = 0; i_list < 2; i_list++ )
143             for( int i = 0; i < 64; i++ )
144             {
145                 h->dequant8_mf[i_list][q][i] = def_dequant8[q][i] * h->pps->scaling_list[4+i_list][i];
146                      quant8_mf[i_list][q][i] = DIV(def_quant8[q][i] * 16, h->pps->scaling_list[4+i_list][i]);
147             }
148     }
149     for( int q = 0; q < QP_MAX+1; q++ )
150     {
151         int j;
152         for( int i_list = 0; i_list < 4; i_list++ )
153             for( int i = 0; i < 16; i++ )
154             {
155                 h->unquant4_mf[i_list][q][i] = (1ULL << (q/6 + 15 + 8)) / quant4_mf[i_list][q%6][i];
156                 h->quant4_mf[i_list][q][i] = j = SHIFT(quant4_mf[i_list][q%6][i], q/6 - 1);
157                 if( !j )
158                 {
159                     min_qp_err = X264_MIN( min_qp_err, q );
160                     continue;
161                 }
162                 // round to nearest, unless that would cause the deadzone to be negative
163                 h->quant4_bias[i_list][q][i] = X264_MIN( DIV(deadzone[i_list]<<10, j), (1<<15)/j );
164                 if( j > 0xffff && q > max_qp_err && (i_list == CQM_4IY || i_list == CQM_4PY) )
165                     max_qp_err = q;
166                 if( j > 0xffff && q > max_chroma_qp_err && (i_list == CQM_4IC || i_list == CQM_4PC) )
167                     max_chroma_qp_err = q;
168             }
169         if( h->param.analyse.b_transform_8x8 )
170             for( int i_list = 0; i_list < 2; i_list++ )
171                 for( int i = 0; i < 64; i++ )
172                 {
173                     h->unquant8_mf[i_list][q][i] = (1ULL << (q/6 + 16 + 8)) / quant8_mf[i_list][q%6][i];
174                     j = SHIFT(quant8_mf[i_list][q%6][i], q/6);
175                     h->quant8_mf[i_list][q][i] = (uint16_t)j;
176
177                     if( !j )
178                     {
179                         min_qp_err = X264_MIN( min_qp_err, q );
180                         continue;
181                     }
182                     h->quant8_bias[i_list][q][i] = X264_MIN( DIV(deadzone[i_list]<<10, j), (1<<15)/j );
183                     if( j > 0xffff && q > max_qp_err )
184                         max_qp_err = q;
185                 }
186     }
187
188     if( !h->mb.b_lossless )
189     {
190         while( h->chroma_qp_table[h->param.rc.i_qp_min] <= max_chroma_qp_err )
191             h->param.rc.i_qp_min++;
192         if( min_qp_err <= h->param.rc.i_qp_max )
193             h->param.rc.i_qp_max = min_qp_err-1;
194         if( max_qp_err >= h->param.rc.i_qp_min )
195             h->param.rc.i_qp_min = max_qp_err+1;
196         if( h->param.rc.i_qp_min > h->param.rc.i_qp_max )
197         {
198             x264_log( h, X264_LOG_ERROR, "Impossible QP constraints for CQM (min=%d, max=%d)\n", h->param.rc.i_qp_min, h->param.rc.i_qp_max );
199             return -1;
200         }
201     }
202     return 0;
203 fail:
204     x264_cqm_delete( h );
205     return -1;
206 }
207
208 #define CQM_DELETE( n, max )\
209     for( int i = 0; i < max; i++ )\
210     {\
211         int j;\
212         for( j = 0; j < i; j++ )\
213             if( h->quant##n##_mf[i] == h->quant##n##_mf[j] )\
214                 break;\
215         if( j == i )\
216         {\
217             x264_free( h->  quant##n##_mf[i] );\
218             x264_free( h->dequant##n##_mf[i] );\
219             x264_free( h->unquant##n##_mf[i] );\
220         }\
221         for( j = 0; j < i; j++ )\
222             if( h->quant##n##_bias[i] == h->quant##n##_bias[j] )\
223                 break;\
224         if( j == i )\
225             x264_free( h->quant##n##_bias[i] );\
226     }
227
228 void x264_cqm_delete( x264_t *h )
229 {
230     CQM_DELETE( 4, 4 );
231     CQM_DELETE( 8, 2 );
232 }
233
234 static int x264_cqm_parse_jmlist( x264_t *h, const char *buf, const char *name,
235                            uint8_t *cqm, const uint8_t *jvt, int length )
236 {
237     int i;
238
239     char *p = strstr( buf, name );
240     if( !p )
241     {
242         memset( cqm, 16, length );
243         return 0;
244     }
245
246     p += strlen( name );
247     if( *p == 'U' || *p == 'V' )
248         p++;
249
250     char *nextvar = strstr( p, "INT" );
251
252     for( i = 0; i < length && (p = strpbrk( p, " \t\n," )) && (p = strpbrk( p, "0123456789" )); i++ )
253     {
254         int coef = -1;
255         sscanf( p, "%d", &coef );
256         if( i == 0 && coef == 0 )
257         {
258             memcpy( cqm, jvt, length );
259             return 0;
260         }
261         if( coef < 1 || coef > 255 )
262         {
263             x264_log( h, X264_LOG_ERROR, "bad coefficient in list '%s'\n", name );
264             return -1;
265         }
266         cqm[i] = coef;
267     }
268
269     if( (nextvar && p > nextvar) || i != length )
270     {
271         x264_log( h, X264_LOG_ERROR, "not enough coefficients in list '%s'\n", name );
272         return -1;
273     }
274
275     return 0;
276 }
277
278 int x264_cqm_parse_file( x264_t *h, const char *filename )
279 {
280     char *p;
281     int b_error = 0;
282
283     h->param.i_cqm_preset = X264_CQM_CUSTOM;
284
285     char *buf = x264_slurp_file( filename );
286     if( !buf )
287     {
288         x264_log( h, X264_LOG_ERROR, "can't open file '%s'\n", filename );
289         return -1;
290     }
291
292     while( (p = strchr( buf, '#' )) != NULL )
293         memset( p, ' ', strcspn( p, "\n" ) );
294
295     b_error |= x264_cqm_parse_jmlist( h, buf, "INTRA4X4_LUMA",   h->param.cqm_4iy, x264_cqm_jvt4i, 16 );
296     b_error |= x264_cqm_parse_jmlist( h, buf, "INTRA4X4_CHROMA", h->param.cqm_4ic, x264_cqm_jvt4i, 16 );
297     b_error |= x264_cqm_parse_jmlist( h, buf, "INTER4X4_LUMA",   h->param.cqm_4py, x264_cqm_jvt4p, 16 );
298     b_error |= x264_cqm_parse_jmlist( h, buf, "INTER4X4_CHROMA", h->param.cqm_4pc, x264_cqm_jvt4p, 16 );
299     b_error |= x264_cqm_parse_jmlist( h, buf, "INTRA8X8_LUMA",   h->param.cqm_8iy, x264_cqm_jvt8i, 64 );
300     b_error |= x264_cqm_parse_jmlist( h, buf, "INTER8X8_LUMA",   h->param.cqm_8py, x264_cqm_jvt8p, 64 );
301
302     x264_free( buf );
303     return b_error;
304 }
305