--cqmfile reads quant matrices in a JM-compatible format.
[x262.git] / common / set.c
1 /*****************************************************************************
2  * set.c: h264 encoder library
3  *****************************************************************************
4  * Copyright (C) 2005 x264 project
5  *
6  * Authors: Loren Merritt <lorenm@u.washington.edu>
7  *
8  * This program is free software; you can redistribute it and/or modify
9  * it under the terms of the GNU General Public License as published by
10  * the Free Software Foundation; either version 2 of the License, or
11  * (at your option) any later version.
12  *
13  * This program is distributed in the hope that it will be useful,
14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
16  * GNU General Public License for more details.
17  *
18  * You should have received a copy of the GNU General Public License
19  * along with this program; if not, write to the Free Software
20  * Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA  02111, USA.
21  *****************************************************************************/
22
23 #include "common.h"
24 #include <stdio.h>
25 #include <string.h>
26
27 static const int dequant4_scale[6][3] =
28 {
29     { 10, 13, 16 },
30     { 11, 14, 18 },
31     { 13, 16, 20 },
32     { 14, 18, 23 },
33     { 16, 20, 25 },
34     { 18, 23, 29 }
35 };
36 static const int quant4_scale[6][3] =
37 {
38     { 13107, 8066, 5243 },
39     { 11916, 7490, 4660 },
40     { 10082, 6554, 4194 },
41     {  9362, 5825, 3647 },
42     {  8192, 5243, 3355 },
43     {  7282, 4559, 2893 },
44 };
45
46 static const int quant8_scan[16] =
47 {
48     0,3,4,3, 3,1,5,1, 4,5,2,5, 3,1,5,1
49 };
50 static const int dequant8_scale[6][6] =
51 {
52     { 20, 18, 32, 19, 25, 24 },
53     { 22, 19, 35, 21, 28, 26 },
54     { 26, 23, 42, 24, 33, 31 },
55     { 28, 25, 45, 26, 35, 33 },
56     { 32, 28, 51, 30, 40, 38 },
57     { 36, 32, 58, 34, 46, 43 },
58 };
59 static const int quant8_scale[6][6] =
60 {
61     { 13107, 11428, 20972, 12222, 16777, 15481 },
62     { 11916, 10826, 19174, 11058, 14980, 14290 },
63     { 10082,  8943, 15978,  9675, 12710, 11985 },
64     {  9362,  8228, 14913,  8931, 11984, 11259 },
65     {  8192,  7346, 13159,  7740, 10486,  9777 },
66     {  7282,  6428, 11570,  6830,  9118,  8640 }
67 };
68
69 void x264_cqm_init( x264_t *h )
70 {
71     int def_quant4[6][16];
72     int def_quant8[6][64];
73     int def_dequant4[6][16];
74     int def_dequant8[6][64];
75     int q, i, i_list;
76
77     for( q = 0; q < 6; q++ )
78     {
79         for( i = 0; i < 16; i++ )
80         {
81             int j = (i&1) + ((i>>2)&1);
82             def_dequant4[q][i] = dequant4_scale[q][j];
83             def_quant4[q][i]   =   quant4_scale[q][j];
84         }
85         for( i = 0; i < 64; i++ )
86         {
87             int j = quant8_scan[((i>>1)&12) | (i&3)];
88             def_dequant8[q][i] = dequant8_scale[q][j];
89             def_quant8[q][i]   =   quant8_scale[q][j];
90         }
91     }
92
93     for( q = 0; q < 6; q++ )
94     {
95         for( i_list = 0; i_list < 4; i_list++ )
96             for( i = 0; i < 16; i++ )
97             {
98                 h->dequant4_mf[i_list][q][0][i] = def_dequant4[q][i] * h->pps->scaling_list[i_list][i];
99                 h->  quant4_mf[i_list][q][0][i] = def_quant4[q][i] * 16 / h->pps->scaling_list[i_list][i];
100             }
101         for( i_list = 0; i_list < 2; i_list++ )
102             for( i = 0; i < 64; i++ )
103             {
104                 h->dequant8_mf[i_list][q][0][i] = def_dequant8[q][i] * h->pps->scaling_list[4+i_list][i];
105                 h->  quant8_mf[i_list][q][0][i] = def_quant8[q][i] * 16 / h->pps->scaling_list[4+i_list][i];
106             }
107     }
108 }
109
110 int x264_cqm_parse_jmlist( x264_t *h, const char *buf, const char *name,
111                            uint8_t *cqm, const uint8_t *jvt, int length )
112 {
113     char *p;
114     char *nextvar;
115     int i;
116
117     p = strstr( buf, name );
118     if( !p )
119     {
120         memset( cqm, 16, length );
121         return 0;
122     }
123
124     p += strlen( name );
125     if( *p == 'U' || *p == 'V' )
126         p++;
127
128     nextvar = strstr( p, "INT" );
129
130     for( i = 0; i < length && (p = strpbrk( p, " \t\n," )) && (p = strpbrk( p, "0123456789" )); i++ )
131     {
132         int coef = -1;
133         sscanf( p, "%d", &coef );
134         if( i == 0 && coef == 0 )
135         {
136             memcpy( cqm, jvt, length );
137             return 0;
138         }
139         if( coef < 1 || coef > 255 )
140         {
141             x264_log( h, X264_LOG_ERROR, "bad coefficient in list '%s'\n", name );
142             return -1;
143         }
144         cqm[i] = coef;
145     }
146
147     if( (nextvar && p > nextvar) || i != length )
148     {
149         x264_log( h, X264_LOG_ERROR, "not enough coefficients in list '%s'\n", name );
150         return -1;
151     }
152
153     return 0;
154 }
155
156 int x264_cqm_parse_file( x264_t *h, const char *filename )
157 {
158     char *buf, *p;
159     int b_error = 0;
160
161     h->param.i_cqm_preset = X264_CQM_CUSTOM;
162     
163     buf = x264_slurp_file( filename );
164     if( !buf )
165     {
166         x264_log( h, X264_LOG_ERROR, "can't open file '%s'\n", filename );
167         return -1;
168     }
169
170     while( (p = strchr( buf, '#' )) != NULL )
171         memset( p, ' ', strcspn( p, "\n" ) );
172
173     b_error |= x264_cqm_parse_jmlist( h, buf, "INTRA4X4_LUMA",   h->param.cqm_4iy, x264_cqm_jvt4i, 16 );
174     b_error |= x264_cqm_parse_jmlist( h, buf, "INTRA4X4_CHROMA", h->param.cqm_4ic, x264_cqm_jvt4i, 16 );
175     b_error |= x264_cqm_parse_jmlist( h, buf, "INTER4X4_LUMA",   h->param.cqm_4py, x264_cqm_jvt4p, 16 );
176     b_error |= x264_cqm_parse_jmlist( h, buf, "INTER4X4_CHROMA", h->param.cqm_4pc, x264_cqm_jvt4p, 16 );
177     b_error |= x264_cqm_parse_jmlist( h, buf, "INTRA8X8_LUMA",   h->param.cqm_8iy, x264_cqm_jvt8i, 64 );
178     b_error |= x264_cqm_parse_jmlist( h, buf, "INTER8X8_LUMA",   h->param.cqm_8py, x264_cqm_jvt8p, 64 );
179
180     x264_free( buf );
181     return b_error;
182 }
183