make install
[x262.git] / encoder / slicetype_decision.c
1 /*****************************************************************************
2  * slicetype_decision.c: h264 encoder library
3  *****************************************************************************
4  * Copyright (C) 2005 Loren Merritt
5  *
6  * Authors: Loren Merritt <lorenm@u.washington.edu>
7  *
8  * This program is free software; you can redistribute it and/or modify
9  * it under the terms of the GNU General Public License as published by
10  * the Free Software Foundation; either version 2 of the License, or
11  * (at your option) any later version.
12  *
13  * This program is distributed in the hope that it will be useful,
14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
16  * GNU General Public License for more details.
17  *
18  * You should have received a copy of the GNU General Public License
19  * along with this program; if not, write to the Free Software
20  * Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA  02111, USA.
21  *****************************************************************************/
22
23 #include <stdlib.h>
24 #include <string.h>
25 #include <math.h>
26 #include <limits.h>
27
28 #include "common/common.h"
29 #include "common/macroblock.h"
30 #include "common/cpu.h"
31 #include "macroblock.h"
32 #include "me.h"
33
34
35 static void x264_mb_analyse_load_costs_lowres( x264_t *h, x264_mb_analysis_t *a )
36 {
37     static int16_t *p_cost_mv;
38
39     if( !p_cost_mv )
40     {
41         int i;
42         x264_cpu_restore( h->param.cpu );
43         p_cost_mv = x264_malloc( (2*2*h->param.analyse.i_mv_range + 1) * sizeof(int16_t) );
44         p_cost_mv += 2*h->param.analyse.i_mv_range;
45         for( i = 0; i <= 2*h->param.analyse.i_mv_range; i++ )
46             p_cost_mv[-i] =
47             p_cost_mv[i]  = (int)( a->i_lambda * (1 + 2*log(2*i+1)/log(2)) );
48     }
49
50     a->p_cost_mv = p_cost_mv;
51 }
52
53
54 int x264_slicetype_mb_cost( x264_t *h, x264_mb_analysis_t *a,
55                           x264_frame_t **frames, int p0, int p1, int b )
56 {
57     x264_frame_t *fref0 = frames[p0];
58     x264_frame_t *fref1 = frames[p1];
59     x264_frame_t *fenc  = frames[b];
60     const int b_bidir = (b < p1);
61     const int i_mb_x = h->mb.i_mb_x;
62     const int i_mb_y = h->mb.i_mb_y;
63     const int i_mb_stride = h->sps->i_mb_width;
64     const int i_mb_xy = i_mb_x + i_mb_y * i_mb_stride;
65     const int i_stride = fenc->i_stride_lowres;
66     const int i_pel_offset = 8 * ( i_mb_x + i_mb_y * i_stride );
67     const int dist_scale_factor = ( ((b-p0) << 8) + ((p1-p0) >> 1) ) / (p1-p0);
68
69     uint8_t pix1[9*9], pix2[8*8];
70     x264_me_t m[2];
71     int mvc[4][2], i_mvc;
72     int i_bcost = INT_MAX;
73     int i_cost_bak;
74     int l, i;
75
76 #define LOAD_HPELS_LUMA(dst, src) \
77     { \
78         (dst)[0] = &(src)[0][i_pel_offset]; \
79         (dst)[1] = &(src)[1][i_pel_offset]; \
80         (dst)[2] = &(src)[2][i_pel_offset]; \
81         (dst)[3] = &(src)[3][i_pel_offset]; \
82     }
83 #define SAVE_MVS( mv0, mv1 ) \
84     { \
85         fenc->mv[0][i_mb_xy][0] = mv0[0]; \
86         fenc->mv[0][i_mb_xy][1] = mv0[1]; \
87         fenc->mv[1][i_mb_xy][0] = mv1[0]; \
88         fenc->mv[1][i_mb_xy][1] = mv1[1]; \
89     }
90 #define TRY_BIDIR( mv0, mv1, penalty ) \
91     { \
92         int stride2 = 8; \
93         uint8_t *src2; \
94         int i_cost; \
95         h->mc.mc_luma( m[0].p_fref, m[0].i_stride[0], pix1, 8, \
96                        (mv0)[0], (mv0)[1], 8, 8 ); \
97         src2 = h->mc.get_ref( m[1].p_fref, m[1].i_stride[0], pix2, &stride2, \
98                        (mv1)[0], (mv1)[1], 8, 8 ); \
99         h->pixf.avg[PIXEL_8x8]( pix1, 8, src2, stride2 ); \
100         i_cost = penalty + h->pixf.satd[PIXEL_8x8]( \
101                            m[0].p_fenc[0], m[0].i_stride[0], pix1, 8 ); \
102         if( i_bcost > i_cost ) \
103         { \
104             i_bcost = i_cost; \
105             SAVE_MVS( mv0, mv1 ); \
106         } \
107     }
108
109     m[0].i_pixel = PIXEL_8x8;
110     m[0].p_cost_mv = a->p_cost_mv;
111     m[0].i_stride[0] = i_stride;
112     m[0].p_fenc[0] = &fenc->lowres[0][ i_pel_offset ];
113     LOAD_HPELS_LUMA( m[0].p_fref, fref0->lowres );
114
115     if( b_bidir )
116     {
117         int16_t *mvr = fref1->mv[0][i_mb_xy];
118         int dmv[2][2];
119         int mv0[2] = {0,0};
120
121         m[1] = m[0];
122         LOAD_HPELS_LUMA( m[1].p_fref, fref1->lowres );
123
124         dmv[0][0] = ( mvr[0] * dist_scale_factor + 128 ) >> 8;
125         dmv[0][1] = ( mvr[1] * dist_scale_factor + 128 ) >> 8;
126         dmv[1][0] = dmv[0][0] - mvr[0];
127         dmv[1][1] = dmv[0][1] - mvr[1];
128
129         TRY_BIDIR( dmv[0], dmv[1], 0 );
130         TRY_BIDIR( mv0, mv0, 0 );
131 //      if( i_bcost < 60 ) // arbitrary threshold
132 //          return i_bcost;
133     }
134
135     i_cost_bak = i_bcost;
136     for( l = 0; l < 1 + b_bidir; l++ )
137     {
138         int16_t (*fenc_mv)[2] = &fenc->mv[0][i_mb_xy];
139         mvc[0][0] = fenc_mv[-1][0];
140         mvc[0][1] = fenc_mv[-1][1];
141         mvc[1][0] = fenc_mv[-i_mb_stride][0];
142         mvc[1][1] = fenc_mv[-i_mb_stride][1];
143         mvc[2][0] = fenc_mv[-i_mb_stride+1][0];
144         mvc[2][1] = fenc_mv[-i_mb_stride+1][1];
145         mvc[3][0] = fenc_mv[-i_mb_stride-1][0];
146         mvc[3][1] = fenc_mv[-i_mb_stride-1][1];
147         m[l].mvp[0] = x264_median( mvc[0][0], mvc[1][0], mvc[2][0] );
148         m[l].mvp[1] = x264_median( mvc[0][1], mvc[1][1], mvc[2][1] );
149         i_mvc = 4;
150
151         x264_me_search( h, &m[l], mvc, i_mvc );
152
153         i_bcost = X264_MIN( i_bcost, m[l].cost + 3 );
154     }
155
156     if( b_bidir )
157         TRY_BIDIR( m[0].mv, m[1].mv, 5 );
158
159     if( i_bcost < i_cost_bak )
160         SAVE_MVS( m[0].mv, m[1].mv );
161
162     /* intra */
163 //  if( i_bcost > 100 ) // arbitrary threshold
164     {
165         uint8_t *src = &fenc->lowres[0][ i_pel_offset - i_stride - 1 ];
166         int intra_penalty = 5 + 10 * b_bidir;
167         i_cost_bak = i_bcost;
168
169         memcpy( pix1, src, 9 );
170         for( i=1; i<9; i++, src += i_stride )
171             pix1[i*9] = src[0];
172         src = &fenc->lowres[0][ i_pel_offset ];
173
174         for( i = I_PRED_CHROMA_DC; i <= I_PRED_CHROMA_P; i++ )
175         {
176             int i_cost;
177             h->predict_8x8[i]( &pix1[10], 9 );
178             i_cost = h->pixf.satd[PIXEL_8x8]( &pix1[10], 9, src, i_stride ) + intra_penalty;
179             i_bcost = X264_MIN( i_bcost, i_cost );
180         }
181         if( i_bcost != i_cost_bak )
182         {
183             if( !b_bidir )
184                 fenc->i_intra_mbs[b-p0]++;
185             if( p1 > p0+1 )
186                 i_bcost = i_bcost * 9 / 8; // arbitray penalty for I-blocks in and after B-frames
187         }
188     }
189
190     return i_bcost;
191 }
192 #undef TRY_BIDIR
193 #undef SAVE_MVS
194
195 int x264_slicetype_frame_cost( x264_t *h, x264_mb_analysis_t *a,
196                              x264_frame_t **frames, int p0, int p1, int b )
197 {
198     int i_score = 0;
199
200     /* Init MVs so that we don't have to check edge conditions when loading predictors. */
201     /* FIXME: not needed every time */
202     memset( frames[p1]->mv[0], 0, h->sps->i_mb_height * h->sps->i_mb_width * 2*sizeof(int) );
203     memset( frames[p1]->mv[1], 0, h->sps->i_mb_height * h->sps->i_mb_width * 2*sizeof(int) );
204
205     /* Skip the outermost ring of macroblocks, to simplify mv range and intra prediction. */
206
207     /* Check whether we already evaluated this frame
208      * If we have tried this frame as P, then we have also tried
209      * the preceding frames as B. (is this still true?) */
210     if( frames[b]->i_cost_est[b-p0][p1-b] >= 0 )
211         return frames[b]->i_cost_est[b-p0][p1-b];
212
213     if( b == p1 )
214         frames[b]->i_intra_mbs[b-p0] = 0;
215
216     for( h->mb.i_mb_y = 1; h->mb.i_mb_y < h->sps->i_mb_height - 1; h->mb.i_mb_y++ )
217         for( h->mb.i_mb_x = 1; h->mb.i_mb_x < h->sps->i_mb_width - 1; h->mb.i_mb_x++ )
218             i_score += x264_slicetype_mb_cost( h, a, frames, p0, p1, b );
219
220     if( b != p1 )
221         i_score = i_score * 100 / (120 + h->param.i_bframe_bias);
222
223     frames[b]->i_cost_est[b-p0][p1-b] = i_score;
224     return i_score;
225 //  fprintf( stderr, "frm %d %c(%d,%d): %6lld I:%d  \n", frames[b]->i_frame,
226 //           (b<p1?'B':'P'), b-p0, p1-b, i_score, frames[b]->i_intra_mbs[b-p0] );
227 }
228
229 void x264_slicetype_analyse( x264_t *h )
230 {
231     x264_mb_analysis_t a;
232     x264_frame_t *frames[X264_BFRAME_MAX+3] = { NULL, };
233     int num_frames;
234     int keyint_limit;
235     int j;
236
237     if( !h->frames.last_nonb )
238         return;
239     frames[0] = h->frames.last_nonb;
240     for( j = 0; h->frames.next[j]; j++ )
241         frames[j+1] = h->frames.next[j];
242     keyint_limit = h->param.i_keyint_max - frames[0]->i_frame + h->frames.i_last_idr - 1;
243     num_frames = X264_MIN( j, keyint_limit );
244     if( num_frames == 0 )
245         return;
246     if( num_frames == 1 )
247     {
248 no_b_frames:
249         frames[1]->i_type = X264_TYPE_P;
250         return;
251     }
252
253     a.i_qp = 12; // arbitrary, but low because SATD scores are 1/4 normal
254     a.i_lambda = i_qp0_cost_table[ a.i_qp ];
255     x264_mb_analyse_load_costs_lowres( h, &a );
256     h->mb.i_subpel_refine = 4; // 3 should be enough, but not tweaking for speed now
257     h->mb.b_chroma_me = 0;
258
259     h->mb.mv_min_fpel[0] =
260     h->mb.mv_min_fpel[1] = -16;
261     h->mb.mv_max_fpel[0] =
262     h->mb.mv_max_fpel[1] = 16;
263     h->mb.mv_min[0] =
264     h->mb.mv_min[1] = -4*32;
265     h->mb.mv_max[0] =
266     h->mb.mv_max[1] = 4*32;
267
268 #if 0
269     /* BFS over possible frame types for minimum total SATD cost.
270      * requires higher encoding delay to be effective. */
271     {
272         int p0, p1, b;
273         struct {
274             int64_t score;
275             char path[X264_BFRAME_MAX+1];
276         } paths[X264_BFRAME_MAX+1];
277
278         for( p1 = 1; frames[p1]; p1++ )
279             for( p0 = X264_MAX(0, p1 - h->param.i_bframe - 1); p0 < p1; p0++ )
280                 for( b = p0+1; b <= p1; b++ )
281                     x264_slicetype_frame_cost( h, &a, frames, p0, p1, b );
282         p1--;
283
284         paths[0].score = 0;
285
286         for( j = 1; j <= p1; j++ )
287         {
288             int k, i;
289             paths[j].score = INT_MAX;
290             
291             for( k = 1; k <= X264_MIN( j, h->param.i_bframe + 1 ); k++ )
292             {
293                 int64_t sum = paths[j-k].score;
294                 for( i = 0; i < k; i++ )
295                     sum += frames[j-k+i+1]->i_cost_est[(j-k+i+1) - (j-k)][j - (j-k+i+1)];
296                 if( sum < paths[j].score )
297                 {
298                     paths[j].score = sum;
299                     for( i = 0; i < j-k; i++ )
300                         paths[j].path[i] = paths[j-k].path[i];
301                     for( i = j-k; i < j-1; i++ )
302                         paths[j].path[i] = 'B';
303                     paths[j].path[j-1] = 'P';
304                     paths[j].path[j] = 0;
305                     fprintf( stderr, "path: %-8s %7lld \n", paths[j].path, sum );
306                 }
307             }
308         }
309
310         for( j = 0; paths[p1].path[j] == 'B'; j++ )
311             frames[j+1]->i_type = X264_TYPE_B;
312         frames[j+1]->i_type = X264_TYPE_P;
313     }
314 #else
315     {
316         int i_mb_count = (h->sps->i_mb_width - 2) * (h->sps->i_mb_height - 2);
317         int cost1p0, cost2p0, cost1b1, cost2p1;
318
319         cost2p1 = x264_slicetype_frame_cost( h, &a, frames, 0, 2, 2 );
320         if( frames[2]->i_intra_mbs[2] > i_mb_count / 2 )
321             goto no_b_frames;
322
323         cost2p0 = x264_slicetype_frame_cost( h, &a, frames, 1, 2, 2 );
324         cost1p0 = x264_slicetype_frame_cost( h, &a, frames, 0, 1, 1 );
325         cost1b1 = x264_slicetype_frame_cost( h, &a, frames, 0, 2, 1 );
326 //      fprintf( stderr, "PP: %d + %d <=> BP: %d + %d \n",
327 //               cost1p0, cost2p0, cost1b1, cost2p1 );
328         if( cost1p0 + cost2p0 < cost1b1 + cost2p1 )
329             goto no_b_frames;
330
331 // arbitrary and untuned
332 #define INTER_THRESH 300
333 #define P_SENS_BIAS (50 - h->param.i_bframe_bias)
334         frames[1]->i_type = X264_TYPE_B;
335
336         for( j = 2; j <= X264_MIN( h->param.i_bframe, num_frames-1 ); j++ )
337         {
338             int pthresh = X264_MAX(INTER_THRESH - P_SENS_BIAS * (j-1), INTER_THRESH/10);
339             int pcost = x264_slicetype_frame_cost( h, &a, frames, 0, j+1, j+1 );
340 //          fprintf( stderr, "frm%d+%d: %d <=> %d, I:%d/%d \n",
341 //                   frames[0]->i_frame, j-1, pthresh, pcost/i_mb_count,
342 //                   frames[j+1]->i_intra_mbs[j+1], i_mb_count );
343             if( pcost > pthresh*i_mb_count || frames[j+1]->i_intra_mbs[j+1] > i_mb_count/3 )
344             {
345                 frames[j]->i_type = X264_TYPE_P;
346                 break;
347             }
348             else
349                 frames[j]->i_type = X264_TYPE_B;
350         }
351     }
352 #endif
353 }
354
355 void x264_slicetype_decide( x264_t *h )
356 {
357     x264_frame_t *frm;
358     int bframes;
359     int i;
360
361     if( h->frames.next[0] == NULL )
362         return;
363
364     if( h->param.rc.b_stat_read )
365     {
366         /* Use the frame types from the first pass */
367         for( i = 0; h->frames.next[i] != NULL; i++ )
368             h->frames.next[i]->i_type =
369                 x264_ratecontrol_slice_type( h, h->frames.next[i]->i_frame );
370     }
371     else if( h->param.i_bframe && h->param.b_bframe_adaptive )
372         x264_slicetype_analyse( h );
373
374     for( bframes = 0;; bframes++ )
375     {
376         frm = h->frames.next[bframes];
377
378         /* Limit GOP size */
379         if( frm->i_frame - h->frames.i_last_idr >= h->param.i_keyint_max )
380         {
381             if( frm->i_type == X264_TYPE_AUTO )
382                 frm->i_type = X264_TYPE_IDR;
383             if( frm->i_type != X264_TYPE_IDR )
384                 x264_log( h, X264_LOG_ERROR, "specified frame type (%d) is not compatible with keyframe interval\n", frm->i_type );
385         }
386         if( frm->i_type == X264_TYPE_IDR )
387         {
388             /* Close GOP */
389             if( bframes > 0 )
390             {
391                 bframes--;
392                 h->frames.next[bframes]->i_type = X264_TYPE_P;
393             }
394             else
395             {
396                 h->i_frame_num = 0;
397             }
398         }
399
400         if( bframes == h->param.i_bframe
401             || h->frames.next[bframes+1] == NULL )
402         {
403             if( IS_X264_TYPE_B( frm->i_type ) )
404                 x264_log( h, X264_LOG_ERROR, "specified frame type is not compatible with max B-frames\n" );
405             if( frm->i_type == X264_TYPE_AUTO
406                 || IS_X264_TYPE_B( frm->i_type ) )
407                 frm->i_type = X264_TYPE_P;
408         }
409
410         if( frm->i_type != X264_TYPE_AUTO && frm->i_type != X264_TYPE_B && frm->i_type != X264_TYPE_BREF )
411             break;
412
413         frm->i_type = X264_TYPE_B;
414     }
415 }