cosmetics
[x262.git] / common / set.c
1 /*****************************************************************************
2  * set.c: h264 encoder library
3  *****************************************************************************
4  * Copyright (C) 2005-2008 Loren Merritt <lorenm@u.washington.edu>
5  *
6  * This program is free software; you can redistribute it and/or modify
7  * it under the terms of the GNU General Public License as published by
8  * the Free Software Foundation; either version 2 of the License, or
9  * (at your option) any later version.
10  *
11  * This program is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14  * GNU General Public License for more details.
15  *
16  * You should have received a copy of the GNU General Public License
17  * along with this program; if not, write to the Free Software
18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02111, USA.
19  *****************************************************************************/
20
21 #include "common.h"
22
23 #define SHIFT(x,s) ((s)<=0 ? (x)<<-(s) : ((x)+(1<<((s)-1)))>>(s))
24 #define DIV(n,d) (((n) + ((d)>>1)) / (d))
25
26 static const int dequant4_scale[6][3] =
27 {
28     { 10, 13, 16 },
29     { 11, 14, 18 },
30     { 13, 16, 20 },
31     { 14, 18, 23 },
32     { 16, 20, 25 },
33     { 18, 23, 29 }
34 };
35 static const int quant4_scale[6][3] =
36 {
37     { 13107, 8066, 5243 },
38     { 11916, 7490, 4660 },
39     { 10082, 6554, 4194 },
40     {  9362, 5825, 3647 },
41     {  8192, 5243, 3355 },
42     {  7282, 4559, 2893 },
43 };
44
45 static const int quant8_scan[16] =
46 {
47     0,3,4,3, 3,1,5,1, 4,5,2,5, 3,1,5,1
48 };
49 static const int dequant8_scale[6][6] =
50 {
51     { 20, 18, 32, 19, 25, 24 },
52     { 22, 19, 35, 21, 28, 26 },
53     { 26, 23, 42, 24, 33, 31 },
54     { 28, 25, 45, 26, 35, 33 },
55     { 32, 28, 51, 30, 40, 38 },
56     { 36, 32, 58, 34, 46, 43 },
57 };
58 static const int quant8_scale[6][6] =
59 {
60     { 13107, 11428, 20972, 12222, 16777, 15481 },
61     { 11916, 10826, 19174, 11058, 14980, 14290 },
62     { 10082,  8943, 15978,  9675, 12710, 11985 },
63     {  9362,  8228, 14913,  8931, 11984, 11259 },
64     {  8192,  7346, 13159,  7740, 10486,  9777 },
65     {  7282,  6428, 11570,  6830,  9118,  8640 }
66 };
67
68 int x264_cqm_init( x264_t *h )
69 {
70     int def_quant4[6][16];
71     int def_quant8[6][64];
72     int def_dequant4[6][16];
73     int def_dequant8[6][64];
74     int quant4_mf[4][6][16];
75     int quant8_mf[2][6][64];
76     int q, i, j, i_list;
77     int deadzone[4] = { 32 - h->param.analyse.i_luma_deadzone[1],
78                         32 - h->param.analyse.i_luma_deadzone[0],
79                         32 - 11, 32 - 21 };
80     int max_qp_err = -1;
81     int max_chroma_qp_err = -1;
82
83     for( i = 0; i < 6; i++ )
84     {
85         int size = i<4 ? 16 : 64;
86         for( j = (i<4 ? 0 : 4); j < i; j++ )
87             if( !memcmp( h->pps->scaling_list[i], h->pps->scaling_list[j], size*sizeof(uint8_t) ) )
88                 break;
89         if( j < i )
90         {
91             h->  quant4_mf[i] = h->  quant4_mf[j];
92             h->dequant4_mf[i] = h->dequant4_mf[j];
93             h->unquant4_mf[i] = h->unquant4_mf[j];
94         }
95         else
96         {
97             CHECKED_MALLOC( h->  quant4_mf[i], 52*size*sizeof(uint16_t) );
98             CHECKED_MALLOC( h->dequant4_mf[i],  6*size*sizeof(int) );
99             CHECKED_MALLOC( h->unquant4_mf[i], 52*size*sizeof(int) );
100         }
101
102         for( j = (i<4 ? 0 : 4); j < i; j++ )
103             if( deadzone[j&3] == deadzone[i&3] &&
104                 !memcmp( h->pps->scaling_list[i], h->pps->scaling_list[j], size*sizeof(uint8_t) ) )
105                 break;
106         if( j < i )
107             h->quant4_bias[i] = h->quant4_bias[j];
108         else
109             CHECKED_MALLOC( h->quant4_bias[i], 52*size*sizeof(uint16_t) );
110     }
111
112     for( q = 0; q < 6; q++ )
113     {
114         for( i = 0; i < 16; i++ )
115         {
116             int j = (i&1) + ((i>>2)&1);
117             def_dequant4[q][i] = dequant4_scale[q][j];
118             def_quant4[q][i]   =   quant4_scale[q][j];
119         }
120         for( i = 0; i < 64; i++ )
121         {
122             int j = quant8_scan[((i>>1)&12) | (i&3)];
123             def_dequant8[q][i] = dequant8_scale[q][j];
124             def_quant8[q][i]   =   quant8_scale[q][j];
125         }
126     }
127
128     for( q = 0; q < 6; q++ )
129     {
130         for( i_list = 0; i_list < 4; i_list++ )
131             for( i = 0; i < 16; i++ )
132             {
133                 h->dequant4_mf[i_list][q][i] = def_dequant4[q][i] * h->pps->scaling_list[i_list][i];
134                      quant4_mf[i_list][q][i] = DIV(def_quant4[q][i] * 16, h->pps->scaling_list[i_list][i]);
135             }
136         for( i_list = 0; i_list < 2; i_list++ )
137             for( i = 0; i < 64; i++ )
138             {
139                 h->dequant8_mf[i_list][q][i] = def_dequant8[q][i] * h->pps->scaling_list[4+i_list][i];
140                      quant8_mf[i_list][q][i] = DIV(def_quant8[q][i] * 16, h->pps->scaling_list[4+i_list][i]);
141             }
142     }
143     for( q = 0; q < 52; q++ )
144     {
145         for( i_list = 0; i_list < 4; i_list++ )
146             for( i = 0; i < 16; i++ )
147             {
148                 h->unquant4_mf[i_list][q][i] = (1ULL << (q/6 + 15 + 8)) / quant4_mf[i_list][q%6][i];
149                 h->  quant4_mf[i_list][q][i] = j = SHIFT(quant4_mf[i_list][q%6][i], q/6 - 1);
150                 // round to nearest, unless that would cause the deadzone to be negative
151                 h->quant4_bias[i_list][q][i] = X264_MIN( DIV(deadzone[i_list]<<10, j), (1<<15)/j );
152                 if( j > 0xffff && q > max_qp_err && (i_list == CQM_4IY || i_list == CQM_4PY) )
153                     max_qp_err = q;
154                 if( j > 0xffff && q > max_chroma_qp_err && (i_list == CQM_4IC || i_list == CQM_4PC) )
155                     max_chroma_qp_err = q;
156             }
157         if( h->param.analyse.b_transform_8x8 )
158         for( i_list = 0; i_list < 2; i_list++ )
159             for( i = 0; i < 64; i++ )
160             {
161                 h->unquant8_mf[i_list][q][i] = (1ULL << (q/6 + 16 + 8)) / quant8_mf[i_list][q%6][i];
162                 h->  quant8_mf[i_list][q][i] = j = SHIFT(quant8_mf[i_list][q%6][i], q/6);
163                 h->quant8_bias[i_list][q][i] = X264_MIN( DIV(deadzone[i_list]<<10, j), (1<<15)/j );
164                 if( j > 0xffff && q > max_qp_err )
165                     max_qp_err = q;
166             }
167     }
168
169     if( !h->mb.b_lossless && max_qp_err >= h->param.rc.i_qp_min )
170     {
171         x264_log( h, X264_LOG_ERROR, "Quantization overflow.  Your CQM is incompatible with QP < %d,\n", max_qp_err+1 );
172         x264_log( h, X264_LOG_ERROR, "but min QP is set to %d.\n", h->param.rc.i_qp_min );
173         return -1;
174     }
175     if( !h->mb.b_lossless && max_chroma_qp_err >= h->chroma_qp_table[h->param.rc.i_qp_min] )
176     {
177         x264_log( h, X264_LOG_ERROR, "Quantization overflow.  Your CQM is incompatible with QP < %d,\n", max_chroma_qp_err+1 );
178         x264_log( h, X264_LOG_ERROR, "but min chroma QP is implied to be %d.\n", h->chroma_qp_table[h->param.rc.i_qp_min] );
179         return -1;
180     }
181     return 0;
182 fail:
183     x264_cqm_delete( h );
184     return -1;
185 }
186
187 void x264_cqm_delete( x264_t *h )
188 {
189     int i, j;
190     for( i = 0; i < 6; i++ )
191     {
192         for( j = 0; j < i; j++ )
193             if( h->quant4_mf[i] == h->quant4_mf[j] )
194                 break;
195         if( j == i )
196         {
197             x264_free( h->  quant4_mf[i] );
198             x264_free( h->dequant4_mf[i] );
199             x264_free( h->unquant4_mf[i] );
200         }
201         for( j = 0; j < i; j++ )
202             if( h->quant4_bias[i] == h->quant4_bias[j] )
203                 break;
204         if( j == i )
205             x264_free( h->quant4_bias[i] );
206     }
207 }
208
209 static int x264_cqm_parse_jmlist( x264_t *h, const char *buf, const char *name,
210                            uint8_t *cqm, const uint8_t *jvt, int length )
211 {
212     char *p;
213     char *nextvar;
214     int i;
215
216     p = strstr( buf, name );
217     if( !p )
218     {
219         memset( cqm, 16, length );
220         return 0;
221     }
222
223     p += strlen( name );
224     if( *p == 'U' || *p == 'V' )
225         p++;
226
227     nextvar = strstr( p, "INT" );
228
229     for( i = 0; i < length && (p = strpbrk( p, " \t\n," )) && (p = strpbrk( p, "0123456789" )); i++ )
230     {
231         int coef = -1;
232         sscanf( p, "%d", &coef );
233         if( i == 0 && coef == 0 )
234         {
235             memcpy( cqm, jvt, length );
236             return 0;
237         }
238         if( coef < 1 || coef > 255 )
239         {
240             x264_log( h, X264_LOG_ERROR, "bad coefficient in list '%s'\n", name );
241             return -1;
242         }
243         cqm[i] = coef;
244     }
245
246     if( (nextvar && p > nextvar) || i != length )
247     {
248         x264_log( h, X264_LOG_ERROR, "not enough coefficients in list '%s'\n", name );
249         return -1;
250     }
251
252     return 0;
253 }
254
255 int x264_cqm_parse_file( x264_t *h, const char *filename )
256 {
257     char *buf, *p;
258     int b_error = 0;
259
260     h->param.i_cqm_preset = X264_CQM_CUSTOM;
261
262     buf = x264_slurp_file( filename );
263     if( !buf )
264     {
265         x264_log( h, X264_LOG_ERROR, "can't open file '%s'\n", filename );
266         return -1;
267     }
268
269     while( (p = strchr( buf, '#' )) != NULL )
270         memset( p, ' ', strcspn( p, "\n" ) );
271
272     b_error |= x264_cqm_parse_jmlist( h, buf, "INTRA4X4_LUMA",   h->param.cqm_4iy, x264_cqm_jvt4i, 16 );
273     b_error |= x264_cqm_parse_jmlist( h, buf, "INTRA4X4_CHROMA", h->param.cqm_4ic, x264_cqm_jvt4i, 16 );
274     b_error |= x264_cqm_parse_jmlist( h, buf, "INTER4X4_LUMA",   h->param.cqm_4py, x264_cqm_jvt4p, 16 );
275     b_error |= x264_cqm_parse_jmlist( h, buf, "INTER4X4_CHROMA", h->param.cqm_4pc, x264_cqm_jvt4p, 16 );
276     b_error |= x264_cqm_parse_jmlist( h, buf, "INTRA8X8_LUMA",   h->param.cqm_8iy, x264_cqm_jvt8i, 64 );
277     b_error |= x264_cqm_parse_jmlist( h, buf, "INTER8X8_LUMA",   h->param.cqm_8py, x264_cqm_jvt8p, 64 );
278
279     x264_free( buf );
280     return b_error;
281 }
282