Add partially accelerated mc_luma
[x262.git] / common / set.c
1 /*****************************************************************************
2  * set.c: quantization init
3  *****************************************************************************
4  * Copyright (C) 2005-2014 x264 project
5  *
6  * Authors: Loren Merritt <lorenm@u.washington.edu>
7  *
8  * This program is free software; you can redistribute it and/or modify
9  * it under the terms of the GNU General Public License as published by
10  * the Free Software Foundation; either version 2 of the License, or
11  * (at your option) any later version.
12  *
13  * This program is distributed in the hope that it will be useful,
14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
16  * GNU General Public License for more details.
17  *
18  * You should have received a copy of the GNU General Public License
19  * along with this program; if not, write to the Free Software
20  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02111, USA.
21  *
22  * This program is also available under a commercial proprietary license.
23  * For more information, contact us at licensing@x264.com.
24  *****************************************************************************/
25
26 #define _ISOC99_SOURCE
27 #include "common.h"
28
29 #define SHIFT(x,s) ((s)<=0 ? (x)<<-(s) : ((x)+(1<<((s)-1)))>>(s))
30 #define DIV(n,d) (((n) + ((d)>>1)) / (d))
31
32 static const uint8_t dequant4_scale[6][3] =
33 {
34     { 10, 13, 16 },
35     { 11, 14, 18 },
36     { 13, 16, 20 },
37     { 14, 18, 23 },
38     { 16, 20, 25 },
39     { 18, 23, 29 }
40 };
41 static const uint16_t quant4_scale[6][3] =
42 {
43     { 13107, 8066, 5243 },
44     { 11916, 7490, 4660 },
45     { 10082, 6554, 4194 },
46     {  9362, 5825, 3647 },
47     {  8192, 5243, 3355 },
48     {  7282, 4559, 2893 },
49 };
50
51 static const uint8_t quant8_scan[16] =
52 {
53     0,3,4,3, 3,1,5,1, 4,5,2,5, 3,1,5,1
54 };
55 static const uint8_t dequant8_scale[6][6] =
56 {
57     { 20, 18, 32, 19, 25, 24 },
58     { 22, 19, 35, 21, 28, 26 },
59     { 26, 23, 42, 24, 33, 31 },
60     { 28, 25, 45, 26, 35, 33 },
61     { 32, 28, 51, 30, 40, 38 },
62     { 36, 32, 58, 34, 46, 43 },
63 };
64 static const uint16_t quant8_scale[6][6] =
65 {
66     { 13107, 11428, 20972, 12222, 16777, 15481 },
67     { 11916, 10826, 19174, 11058, 14980, 14290 },
68     { 10082,  8943, 15978,  9675, 12710, 11985 },
69     {  9362,  8228, 14913,  8931, 11984, 11259 },
70     {  8192,  7346, 13159,  7740, 10486,  9777 },
71     {  7282,  6428, 11570,  6830,  9118,  8640 }
72 };
73
74 /* MPEG-2 */
75 static const uint8_t qscale_linear_mpeg2[32] =
76 {
77       0,   2,   4,   6,   8,  10,  12,  14,
78      16,  18,  20,  22,  24,  26,  28,  30,
79      32,  34,  36,  38,  40,  42,  44,  46,
80      48,  50,  52,  54,  56,  58,  60,  62
81 };
82 static const uint8_t qscale_nonlinear_mpeg2[32] =
83 {
84       0,   1,   2,   3,   4,   5,   6,   7,
85       8,  10,  12,  14,  16,  18,  20,  22,
86      24,  28,  32,  36,  40,  44,  48,  52,
87      56,  64,  72,  80,  88,  96, 104, 112
88 };
89 static const uint8_t * x264_qscale_mpeg2[2] =
90 {
91     qscale_linear_mpeg2, qscale_nonlinear_mpeg2
92 };
93
94 int x264_cqm_init( x264_t *h )
95 {
96     int def_quant4[6][16];
97     int def_quant8[6][64];
98     int def_dequant4[6][16];
99     int def_dequant8[6][64];
100     int quant4_mf[4][6][16];
101     int quant8_mf[4][6][64];
102     int deadzone[4] = { 32 - h->param.analyse.i_luma_deadzone[1],
103                         32 - h->param.analyse.i_luma_deadzone[0],
104                         32 - 11, 32 - 21 };
105     int max_qp_err = -1;
106     int max_chroma_qp_err = -1;
107     int min_qp_err = QP_MAX+1;
108     int num_8x8_lists = h->sps->i_chroma_format_idc == CHROMA_444 ? 4
109                       : h->param.analyse.b_transform_8x8 ? 2 : 0; /* Checkasm may segfault if optimized out by --chroma-format */
110
111 #define CQM_ALLOC( w, count )\
112     for( int i = 0; i < count; i++ )\
113     {\
114         int size = w*w;\
115         int start = w == 8 ? 4 : 0;\
116         int j;\
117         for( j = 0; j < i; j++ )\
118             if( !memcmp( h->pps->scaling_list[i+start], h->pps->scaling_list[j+start], size*sizeof(uint8_t) ) )\
119                 break;\
120         if( j < i )\
121         {\
122             h->  quant##w##_mf[i] = h->  quant##w##_mf[j];\
123             h->dequant##w##_mf[i] = h->dequant##w##_mf[j];\
124             h->unquant##w##_mf[i] = h->unquant##w##_mf[j];\
125         }\
126         else\
127         {\
128             CHECKED_MALLOC( h->  quant##w##_mf[i], (QP_MAX_SPEC+1)*size*sizeof(udctcoef) );\
129             CHECKED_MALLOC( h->dequant##w##_mf[i],  6*size*sizeof(int) );\
130             CHECKED_MALLOC( h->unquant##w##_mf[i], (QP_MAX_SPEC+1)*size*sizeof(int) );\
131         }\
132         for( j = 0; j < i; j++ )\
133             if( deadzone[j] == deadzone[i] &&\
134                 !memcmp( h->pps->scaling_list[i+start], h->pps->scaling_list[j+start], size*sizeof(uint8_t) ) )\
135                 break;\
136         if( j < i )\
137         {\
138             h->quant##w##_bias[i] = h->quant##w##_bias[j];\
139             h->quant##w##_bias0[i] = h->quant##w##_bias0[j];\
140         }\
141         else\
142         {\
143             CHECKED_MALLOC( h->quant##w##_bias[i], (QP_MAX_SPEC+1)*size*sizeof(udctcoef) );\
144             CHECKED_MALLOC( h->quant##w##_bias0[i], (QP_MAX_SPEC+1)*size*sizeof(udctcoef) );\
145         }\
146     }
147
148     CQM_ALLOC( 4, 4 )
149     CQM_ALLOC( 8, num_8x8_lists )
150
151     for( int q = 0; q < 6; q++ )
152     {
153         for( int i = 0; i < 16; i++ )
154         {
155             int j = (i&1) + ((i>>2)&1);
156             def_dequant4[q][i] = dequant4_scale[q][j];
157             def_quant4[q][i]   =   quant4_scale[q][j];
158         }
159         for( int i = 0; i < 64; i++ )
160         {
161             int j = quant8_scan[((i>>1)&12) | (i&3)];
162             def_dequant8[q][i] = dequant8_scale[q][j];
163             def_quant8[q][i]   =   quant8_scale[q][j];
164         }
165     }
166
167     for( int q = 0; q < 6; q++ )
168     {
169         for( int i_list = 0; i_list < 4; i_list++ )
170             for( int i = 0; i < 16; i++ )
171             {
172                 h->dequant4_mf[i_list][q][i] = def_dequant4[q][i] * h->pps->scaling_list[i_list][i];
173                      quant4_mf[i_list][q][i] = DIV(def_quant4[q][i] * 16, h->pps->scaling_list[i_list][i]);
174             }
175         for( int i_list = 0; i_list < num_8x8_lists; i_list++ )
176             for( int i = 0; i < 64; i++ )
177             {
178                 h->dequant8_mf[i_list][q][i] = def_dequant8[q][i] * h->pps->scaling_list[4+i_list][i];
179                      quant8_mf[i_list][q][i] = DIV(def_quant8[q][i] * 16, h->pps->scaling_list[4+i_list][i]);
180             }
181     }
182     for( int q = 0; q <= QP_MAX_SPEC; q++ )
183     {
184         int j;
185         for( int i_list = 0; i_list < 4; i_list++ )
186             for( int i = 0; i < 16; i++ )
187             {
188                 h->unquant4_mf[i_list][q][i] = (1ULL << (q/6 + 15 + 8)) / quant4_mf[i_list][q%6][i];
189                 h->quant4_mf[i_list][q][i] = j = SHIFT(quant4_mf[i_list][q%6][i], q/6 - 1);
190                 if( !j )
191                 {
192                     min_qp_err = X264_MIN( min_qp_err, q );
193                     continue;
194                 }
195                 // round to nearest, unless that would cause the deadzone to be negative
196                 h->quant4_bias[i_list][q][i] = X264_MIN( DIV(deadzone[i_list]<<10, j), (1<<15)/j );
197                 h->quant4_bias0[i_list][q][i] = (1<<15)/j;
198                 if( j > 0xffff && q > max_qp_err && (i_list == CQM_4IY || i_list == CQM_4PY) )
199                     max_qp_err = q;
200                 if( j > 0xffff && q > max_chroma_qp_err && (i_list == CQM_4IC || i_list == CQM_4PC) )
201                     max_chroma_qp_err = q;
202             }
203         if( h->param.analyse.b_transform_8x8 )
204             for( int i_list = 0; i_list < num_8x8_lists; i_list++ )
205                 for( int i = 0; i < 64; i++ )
206                 {
207                     h->unquant8_mf[i_list][q][i] = (1ULL << (q/6 + 16 + 8)) / quant8_mf[i_list][q%6][i];
208                     j = SHIFT(quant8_mf[i_list][q%6][i], q/6);
209                     h->quant8_mf[i_list][q][i] = (uint16_t)j;
210
211                     if( !j )
212                     {
213                         min_qp_err = X264_MIN( min_qp_err, q );
214                         continue;
215                     }
216                     h->quant8_bias[i_list][q][i] = X264_MIN( DIV(deadzone[i_list]<<10, j), (1<<15)/j );
217                     h->quant8_bias0[i_list][q][i] = (1<<15)/j;
218                     if( j > 0xffff && q > max_qp_err && (i_list == CQM_8IY || i_list == CQM_8PY) )
219                         max_qp_err = q;
220                     if( j > 0xffff && q > max_chroma_qp_err && (i_list == CQM_8IC || i_list == CQM_8PC) )
221                         max_chroma_qp_err = q;
222                 }
223     }
224
225     /* Emergency mode denoising. */
226     x264_emms();
227     CHECKED_MALLOC( h->nr_offset_emergency, sizeof(*h->nr_offset_emergency)*(QP_MAX-QP_MAX_SPEC) );
228     for( int q = 0; q < QP_MAX - QP_MAX_SPEC; q++ )
229         for( int cat = 0; cat < 3 + CHROMA444; cat++ )
230         {
231             int dct8x8 = cat&1;
232             if( !h->param.analyse.b_transform_8x8 && dct8x8 )
233                 continue;
234
235             int size = dct8x8 ? 64 : 16;
236             udctcoef *nr_offset = h->nr_offset_emergency[q][cat];
237             /* Denoise chroma first (due to h264's chroma QP offset), then luma, then DC. */
238             int dc_threshold =    (QP_MAX-QP_MAX_SPEC)*2/3;
239             int luma_threshold =  (QP_MAX-QP_MAX_SPEC)*2/3;
240             int chroma_threshold = 0;
241
242             for( int i = 0; i < size; i++ )
243             {
244                 int max = (1 << (7 + BIT_DEPTH)) - 1;
245                 /* True "emergency mode": remove all DCT coefficients */
246                 if( q == QP_MAX - QP_MAX_SPEC - 1 )
247                 {
248                     nr_offset[i] = max;
249                     continue;
250                 }
251
252                 int thresh = i == 0 ? dc_threshold : cat >= 2 ? chroma_threshold : luma_threshold;
253                 if( q < thresh )
254                 {
255                     nr_offset[i] = 0;
256                     continue;
257                 }
258                 double pos = (double)(q-thresh+1) / (QP_MAX - QP_MAX_SPEC - thresh);
259
260                 /* XXX: this math is largely tuned for /dev/random input. */
261                 double start = dct8x8 ? h->unquant8_mf[CQM_8PY][QP_MAX_SPEC][i]
262                                       : h->unquant4_mf[CQM_4PY][QP_MAX_SPEC][i];
263                 /* Formula chosen as an exponential scale to vaguely mimic the effects
264                  * of a higher quantizer. */
265                 double bias = (pow( 2, pos*(QP_MAX - QP_MAX_SPEC)/10. )*0.003-0.003) * start;
266                 nr_offset[i] = X264_MIN( bias + 0.5, max );
267             }
268         }
269
270     if( !h->mb.b_lossless )
271     {
272         while( h->chroma_qp_table[SPEC_QP(h->param.rc.i_qp_min)] <= max_chroma_qp_err )
273             h->param.rc.i_qp_min++;
274         if( min_qp_err <= h->param.rc.i_qp_max )
275             h->param.rc.i_qp_max = min_qp_err-1;
276         if( max_qp_err >= h->param.rc.i_qp_min )
277             h->param.rc.i_qp_min = max_qp_err+1;
278         /* If long level-codes aren't allowed, we need to allow QP high enough to avoid them. */
279         if( !h->param.b_cabac && h->sps->i_profile_idc < PROFILE_HIGH )
280             while( h->chroma_qp_table[SPEC_QP(h->param.rc.i_qp_max)] <= 12 || h->param.rc.i_qp_max <= 12 )
281                 h->param.rc.i_qp_max++;
282         if( h->param.rc.i_qp_min > h->param.rc.i_qp_max )
283         {
284             x264_log( h, X264_LOG_ERROR, "Impossible QP constraints for CQM (min=%d, max=%d)\n", h->param.rc.i_qp_min, h->param.rc.i_qp_max );
285             return -1;
286         }
287     }
288     return 0;
289 fail:
290     x264_cqm_delete( h );
291     return -1;
292 }
293
294 int x264_cqm_init_mpeg2( x264_t *h )
295 {
296     const uint8_t *qscale = x264_qscale_mpeg2[h->param.b_nonlinear_quant];
297     int j;
298     int matrices = CHROMA_FORMAT == CHROMA_422 ? 4 : 2;
299     int deadzone[2] = { 32 - h->param.analyse.i_luma_deadzone[1],
300                         32 - h->param.analyse.i_luma_deadzone[0] };
301     int intra_mf = j = 1 << ( 10 + h->param.i_intra_dc_precision );
302     int intra_bias = X264_MIN( DIV(deadzone[0]<<10, j), (1<<15)/j );
303
304     for( int i = 0; i < matrices; i++ )
305     {
306         CHECKED_MALLOC( h->quant8_bias[i], (QP_MAX_SPEC_MPEG2+1)*64*sizeof(udctcoef) );
307         CHECKED_MALLOC( h->  quant8_mf[i], (QP_MAX_SPEC_MPEG2+1)*64*sizeof(udctcoef) );
308         CHECKED_MALLOC( h->dequant8_mf[i], (QP_MAX_SPEC_MPEG2+1)*64*sizeof(int) );
309     }
310     for( int q = 1; q < QP_MAX_SPEC_MPEG2+1; q++ )
311     {
312         for( int m = 0; m < matrices; m++ )
313         {
314             for( int i = 0; i < 64; i++ )
315             {
316                 h->  quant8_mf[m][q][i] = j = ( 1 << 17 ) / ( qscale[q] * h->pps->scaling_list[m][i] );
317                 h->dequant8_mf[m][q][i] = 2 * qscale[q] * h->pps->scaling_list[m][i];
318                 h->quant8_bias[m][q][i] = X264_MIN( DIV(deadzone[m&1]<<10, j), (1<<15)/j );
319             }
320             if( !( m & 1 ) ) // intra dc
321             {
322                 h->  quant8_mf[m][q][0] = intra_mf;
323                 h->quant8_bias[m][q][0] = intra_bias;
324             }
325         }
326     }
327     return 0;
328 fail:
329     x264_cqm_delete( h );
330     return -1;
331 }
332
333 #define CQM_DELETE( n, max )\
334     for( int i = 0; i < (max); i++ )\
335     {\
336         int j;\
337         for( j = 0; j < i; j++ )\
338             if( h->quant##n##_mf[i] == h->quant##n##_mf[j] )\
339                 break;\
340         if( j == i )\
341         {\
342             x264_free( h->  quant##n##_mf[i] );\
343             x264_free( h->dequant##n##_mf[i] );\
344             x264_free( h->unquant##n##_mf[i] );\
345         }\
346         for( j = 0; j < i; j++ )\
347             if( h->quant##n##_bias[i] == h->quant##n##_bias[j] )\
348                 break;\
349         if( j == i )\
350         {\
351             x264_free( h->quant##n##_bias[i] );\
352             x264_free( h->quant##n##_bias0[i] );\
353         }\
354     }
355
356 void x264_cqm_delete( x264_t *h )
357 {
358     if( !MPEG2 )
359         CQM_DELETE( 4, 4 );
360     CQM_DELETE( 8, CHROMA444 || ( MPEG2 && CHROMA_FORMAT == CHROMA_422 ) ? 4 : 2 );
361     x264_free( h->nr_offset_emergency );
362 }
363
364 static int x264_cqm_parse_jmlist( x264_t *h, const char *buf, const char *name,
365                                   uint8_t *cqm, const uint8_t *jvt, int length )
366 {
367     int i;
368     int min = MPEG2 ? 4 : 1;
369
370     char *p = strstr( buf, name );
371     if( !p )
372     {
373         memset( cqm, 16, length );
374         return 0;
375     }
376
377     p += strlen( name );
378     if( *p == 'U' || *p == 'V' )
379         p++;
380
381     char *nextvar = strstr( p, "INT" );
382
383     for( i = 0; i < length && (p = strpbrk( p, " \t\n," )) && (p = strpbrk( p, "0123456789" )); i++ )
384     {
385         int coef = -1;
386         sscanf( p, "%d", &coef );
387         if( i == 0 && coef == 0 )
388         {
389             memcpy( cqm, jvt, length );
390             return 0;
391         }
392         if( coef < min || coef > 255 )
393         {
394             x264_log( h, X264_LOG_ERROR, "bad coefficient in list '%s'\n", name );
395             return -1;
396         }
397         cqm[i] = coef;
398     }
399
400     if( (nextvar && p > nextvar) || i != length )
401     {
402         x264_log( h, X264_LOG_ERROR, "not enough coefficients in list '%s'\n", name );
403         return -1;
404     }
405
406     return 0;
407 }
408
409 int x264_cqm_parse_file( x264_t *h, const char *filename )
410 {
411     char *p;
412     int b_error = 0;
413
414     h->param.i_cqm_preset = X264_CQM_CUSTOM;
415
416     char *buf = x264_slurp_file( filename );
417     if( !buf )
418     {
419         x264_log( h, X264_LOG_ERROR, "can't open file '%s'\n", filename );
420         return -1;
421     }
422
423     while( (p = strchr( buf, '#' )) != NULL )
424         memset( p, ' ', strcspn( p, "\n" ) );
425
426     if( MPEG2 )
427     {
428         // x264_cqm_intra_mpeg2 is transposed, but param.cqm_8i* is not
429         uint8_t intra[64];
430         for( int i = 0; i < 8; i++ )
431             for( int j = 0; j < 8; j++ )
432                 intra[8*i+j] = x264_cqm_intra_mpeg2[8*j+i];
433
434         b_error |= x264_cqm_parse_jmlist( h, buf, "INTRA_LUMA", h->param.cqm_8iy, intra, 64 );
435         b_error |= x264_cqm_parse_jmlist( h, buf, "INTER_LUMA", h->param.cqm_8py, x264_cqm_flat16, 64 );
436         if( CHROMA_FORMAT == CHROMA_422 )
437         {
438             b_error |= x264_cqm_parse_jmlist( h, buf, "INTRA_CHROMA", h->param.cqm_8ic, h->param.cqm_8iy, 64 );
439             b_error |= x264_cqm_parse_jmlist( h, buf, "INTER_CHROMA", h->param.cqm_8pc, h->param.cqm_8py, 64 );
440         }
441     }
442     else
443     {
444         b_error |= x264_cqm_parse_jmlist( h, buf, "INTRA4X4_LUMA",   h->param.cqm_4iy, x264_cqm_jvt4i, 16 );
445         b_error |= x264_cqm_parse_jmlist( h, buf, "INTER4X4_LUMA",   h->param.cqm_4py, x264_cqm_jvt4p, 16 );
446         b_error |= x264_cqm_parse_jmlist( h, buf, "INTRA4X4_CHROMA", h->param.cqm_4ic, x264_cqm_jvt4i, 16 );
447         b_error |= x264_cqm_parse_jmlist( h, buf, "INTER4X4_CHROMA", h->param.cqm_4pc, x264_cqm_jvt4p, 16 );
448         b_error |= x264_cqm_parse_jmlist( h, buf, "INTRA8X8_LUMA",   h->param.cqm_8iy, x264_cqm_jvt8i, 64 );
449         b_error |= x264_cqm_parse_jmlist( h, buf, "INTER8X8_LUMA",   h->param.cqm_8py, x264_cqm_jvt8p, 64 );
450         if( CHROMA444 )
451         {
452             b_error |= x264_cqm_parse_jmlist( h, buf, "INTRA8X8_CHROMA", h->param.cqm_8ic, x264_cqm_jvt8i, 64 );
453             b_error |= x264_cqm_parse_jmlist( h, buf, "INTER8X8_CHROMA", h->param.cqm_8pc, x264_cqm_jvt8p, 64 );
454         }
455     }
456
457     x264_free( buf );
458     return b_error;
459 }
460