e5bdfe64146918f110726e94ba74dab7be4b7226
[x264/x264-sandbox.git] / filters / video / resize.c
1 /*****************************************************************************
2  * resize.c: resize video filter
3  *****************************************************************************
4  * Copyright (C) 2010-2011 x264 project
5  *
6  * Authors: Steven Walters <kemuri9@gmail.com>
7  *
8  * This program is free software; you can redistribute it and/or modify
9  * it under the terms of the GNU General Public License as published by
10  * the Free Software Foundation; either version 2 of the License, or
11  * (at your option) any later version.
12  *
13  * This program is distributed in the hope that it will be useful,
14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
16  * GNU General Public License for more details.
17  *
18  * You should have received a copy of the GNU General Public License
19  * along with this program; if not, write to the Free Software
20  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02111, USA.
21  *
22  * This program is also available under a commercial proprietary license.
23  * For more information, contact us at licensing@x264.com.
24  *****************************************************************************/
25
26 #include "video.h"
27 #define NAME "resize"
28 #define FAIL_IF_ERROR( cond, ... ) FAIL_IF_ERR( cond, NAME, __VA_ARGS__ )
29
30 cli_vid_filter_t resize_filter;
31
32 static int full_check( video_info_t *info, x264_param_t *param )
33 {
34     int required = 0;
35     required |= info->csp    != param->i_csp;
36     required |= info->width  != param->i_width;
37     required |= info->height != param->i_height;
38     return required;
39 }
40
41 #if HAVE_SWSCALE
42 #undef DECLARE_ALIGNED
43 #include <libswscale/swscale.h>
44
45 /* this function is not a part of the swscale API but is defined in swscale_internal.h */
46 const char *sws_format_name( enum PixelFormat format );
47
48 typedef struct
49 {
50     int width;
51     int height;
52     int pix_fmt;
53 } frame_prop_t;
54
55 typedef struct
56 {
57     hnd_t prev_hnd;
58     cli_vid_filter_t prev_filter;
59
60     cli_pic_t buffer;
61     int buffer_allocated;
62     int dst_csp;
63     struct SwsContext *ctx;
64     int ctx_flags;
65     /* state of swapping chroma planes pre and post resize */
66     int pre_swap_chroma;
67     int post_swap_chroma;
68     frame_prop_t dst;   /* desired output properties */
69     frame_prop_t scale; /* properties of the SwsContext input */
70 } resizer_hnd_t;
71
72 static void help( int longhelp )
73 {
74     printf( "      "NAME":[width,height][,sar][,fittobox][,csp][,method]\n" );
75     if( !longhelp )
76         return;
77     printf( "            resizes frames based on the given criteria:\n"
78             "            - resolution only: resizes and adapts sar to avoid stretching\n"
79             "            - sar only: sets the sar and resizes to avoid stretching\n"
80             "            - resolution and sar: resizes to given resolution and sets the sar\n"
81             "            - fittobox: resizes the video based on the desired contraints\n"
82             "               - width, height, both\n"
83             "            - fittobox and sar: same as above except with specified sar\n"
84             "            - csp: convert to the given csp. syntax: [name][:depth]\n"
85             "               - valid csp names [keep current]: " );
86
87     for( int i = X264_CSP_NONE+1; i < X264_CSP_CLI_MAX; i++ )
88     {
89         printf( "%s", x264_cli_csps[i].name );
90         if( i+1 < X264_CSP_CLI_MAX )
91             printf( ", " );
92     }
93     printf( "\n"
94             "               - depth: 8 or 16 bits per pixel [keep current]\n"
95             "            note: not all depths are supported by all csps.\n"
96             "            - method: use resizer method [\"bicubic\"]\n"
97             "               - fastbilinear, bilinear, bicubic, experimental, point,\n"
98             "               - area, bicublin, gauss, sinc, lanczos, spline\n" );
99 }
100
101 static uint32_t convert_cpu_to_flag( uint32_t cpu )
102 {
103     uint32_t swscale_cpu = 0;
104     if( cpu & X264_CPU_ALTIVEC )
105         swscale_cpu |= SWS_CPU_CAPS_ALTIVEC;
106     if( cpu & X264_CPU_MMXEXT )
107         swscale_cpu |= SWS_CPU_CAPS_MMX | SWS_CPU_CAPS_MMX2;
108     return swscale_cpu;
109 }
110
111 static uint32_t convert_method_to_flag( const char *name )
112 {
113     uint32_t flag = 0;
114     if( !strcasecmp( name, "fastbilinear" ) )
115         flag = SWS_FAST_BILINEAR;
116     else if( !strcasecmp( name, "bilinear" ) )
117         flag = SWS_BILINEAR;
118     else if( !strcasecmp( name, "bicubic" ) )
119         flag = SWS_BICUBIC;
120     else if( !strcasecmp( name, "experimental" ) )
121         flag = SWS_X;
122     else if( !strcasecmp( name, "point" ) )
123         flag = SWS_POINT;
124     else if( !strcasecmp( name, "area" ) )
125         flag = SWS_AREA;
126     else if( !strcasecmp( name, "bicublin" ) )
127         flag = SWS_BICUBLIN;
128     else if( !strcasecmp( name, "guass" ) )
129         flag = SWS_GAUSS;
130     else if( !strcasecmp( name, "sinc" ) )
131         flag = SWS_SINC;
132     else if( !strcasecmp( name, "lanczos" ) )
133         flag = SWS_LANCZOS;
134     else if( !strcasecmp( name, "spline" ) )
135         flag = SWS_SPLINE;
136     else // default
137         flag = SWS_BICUBIC;
138     return flag;
139 }
140
141 static int convert_csp_to_pix_fmt( int csp )
142 {
143     if( csp&X264_CSP_OTHER )
144         return csp&X264_CSP_MASK;
145     switch( csp&X264_CSP_MASK )
146     {
147         case X264_CSP_YV12: /* specially handled via swapping chroma */
148         case X264_CSP_I420: return csp&X264_CSP_HIGH_DEPTH ? PIX_FMT_YUV420P16 : PIX_FMT_YUV420P;
149         case X264_CSP_I422: return csp&X264_CSP_HIGH_DEPTH ? PIX_FMT_YUV422P16 : PIX_FMT_YUV422P;
150         case X264_CSP_I444: return csp&X264_CSP_HIGH_DEPTH ? PIX_FMT_YUV444P16 : PIX_FMT_YUV444P;
151         case X264_CSP_RGB:  return csp&X264_CSP_HIGH_DEPTH ? PIX_FMT_RGB48     : PIX_FMT_RGB24;
152         /* the next 3 csps have no equivalent 16bit depth in swscale */
153         case X264_CSP_NV12: return csp&X264_CSP_HIGH_DEPTH ? PIX_FMT_NONE      : PIX_FMT_NV12;
154         case X264_CSP_BGR:  return csp&X264_CSP_HIGH_DEPTH ? PIX_FMT_NONE      : PIX_FMT_BGR24;
155         case X264_CSP_BGRA: return csp&X264_CSP_HIGH_DEPTH ? PIX_FMT_NONE      : PIX_FMT_BGRA;
156         default:            return PIX_FMT_NONE;
157     }
158 }
159
160 static int pick_closest_supported_csp( int csp )
161 {
162     int pix_fmt = convert_csp_to_pix_fmt( csp );
163     switch( pix_fmt )
164     {
165         case PIX_FMT_YUV420P16LE:
166         case PIX_FMT_YUV420P16BE:
167             return X264_CSP_I420 | X264_CSP_HIGH_DEPTH;
168         case PIX_FMT_YUV422P:
169         case PIX_FMT_YUYV422:
170         case PIX_FMT_UYVY422:
171             return X264_CSP_I422;
172         case PIX_FMT_YUV422P16LE:
173         case PIX_FMT_YUV422P16BE:
174             return X264_CSP_I422 | X264_CSP_HIGH_DEPTH;
175         case PIX_FMT_YUV444P:
176             return X264_CSP_I444;
177         case PIX_FMT_YUV444P16LE:
178         case PIX_FMT_YUV444P16BE:
179             return X264_CSP_I444 | X264_CSP_HIGH_DEPTH;
180         case PIX_FMT_RGB24:
181         case PIX_FMT_RGB565BE:
182         case PIX_FMT_RGB565LE:
183         case PIX_FMT_RGB555BE:
184         case PIX_FMT_RGB555LE:
185             return X264_CSP_RGB;
186         case PIX_FMT_RGB48BE:
187         case PIX_FMT_RGB48LE:
188             return X264_CSP_RGB | X264_CSP_HIGH_DEPTH;
189         case PIX_FMT_BGR24:
190         case PIX_FMT_BGR565BE:
191         case PIX_FMT_BGR565LE:
192         case PIX_FMT_BGR555BE:
193         case PIX_FMT_BGR555LE:
194             return X264_CSP_BGR;
195         case PIX_FMT_ARGB:
196         case PIX_FMT_RGBA:
197         case PIX_FMT_ABGR:
198         case PIX_FMT_BGRA:
199             return X264_CSP_BGRA;
200         case PIX_FMT_NV12:
201         case PIX_FMT_NV21:
202              return X264_CSP_NV12;
203         default:
204             return X264_CSP_I420;
205     }
206 }
207
208 static int handle_opts( const char **optlist, char **opts, video_info_t *info, resizer_hnd_t *h )
209 {
210     uint32_t out_sar_w, out_sar_h;
211
212     char *str_width  = x264_get_option( optlist[0], opts );
213     char *str_height = x264_get_option( optlist[1], opts );
214     char *str_sar    = x264_get_option( optlist[2], opts );
215     char *fittobox   = x264_get_option( optlist[3], opts );
216     char *str_csp    = x264_get_option( optlist[4], opts );
217     int width        = x264_otoi( str_width, -1 );
218     int height       = x264_otoi( str_height, -1 );
219
220     int csp_only = 0;
221     uint32_t in_sar_w = info->sar_width;
222     uint32_t in_sar_h = info->sar_height;
223
224     if( str_csp )
225     {
226         /* output csp was specified, first check if optional depth was provided */
227         char *str_depth = strchr( str_csp, ':' );
228         int depth = x264_cli_csp_depth_factor( info->csp ) * 8;
229         if( str_depth )
230         {
231             /* csp bit depth was specified */
232             *str_depth++ = '\0';
233             depth = x264_otoi( str_depth, -1 );
234             FAIL_IF_ERROR( depth != 8 && depth != 16, "unsupported bit depth %d\n", depth );
235         }
236         /* now lookup against the list of valid csps */
237         int csp;
238         if( strlen( str_csp ) == 0 )
239             csp = info->csp & X264_CSP_MASK;
240         else
241             for( csp = X264_CSP_CLI_MAX-1; x264_cli_csps[csp].name && strcasecmp( x264_cli_csps[csp].name, str_csp ); )
242                 csp--;
243         FAIL_IF_ERROR( csp == X264_CSP_NONE, "unsupported colorspace `%s'\n", str_csp );
244         h->dst_csp = csp;
245         if( depth == 16 )
246             h->dst_csp |= X264_CSP_HIGH_DEPTH;
247     }
248
249     /* if the input sar is currently invalid, set it to 1:1 so it can be used in math */
250     if( !in_sar_w || !in_sar_h )
251         in_sar_w = in_sar_h = 1;
252     if( str_sar )
253     {
254         FAIL_IF_ERROR( 2 != sscanf( str_sar, "%u:%u", &out_sar_w, &out_sar_h ) &&
255                        2 != sscanf( str_sar, "%u/%u", &out_sar_w, &out_sar_h ),
256                        "invalid sar `%s'\n", str_sar )
257     }
258     else
259         out_sar_w = out_sar_h = 1;
260     if( fittobox )
261     {
262         /* resize the video to fit the box as much as possible */
263         if( !strcasecmp( fittobox, "both" ) )
264         {
265             FAIL_IF_ERROR( width <= 0 || height <= 0, "invalid box resolution %sx%s\n",
266                            x264_otos( str_width, "<unset>" ), x264_otos( str_height, "<unset>" ) )
267         }
268         else if( !strcasecmp( fittobox, "width" ) )
269         {
270             FAIL_IF_ERROR( width <= 0, "invalid box width `%s'\n", x264_otos( str_width, "<unset>" ) )
271             height = INT_MAX;
272         }
273         else if( !strcasecmp( fittobox, "height" ) )
274         {
275             FAIL_IF_ERROR( height <= 0, "invalid box height `%s'\n", x264_otos( str_height, "<unset>" ) )
276             width = INT_MAX;
277         }
278         else FAIL_IF_ERROR( 1, "invalid fittobox mode `%s'\n", fittobox )
279
280         /* maximally fit the new coded resolution to the box */
281         const x264_cli_csp_t *csp = x264_cli_get_csp( h->dst_csp );
282         double width_units = (double)info->height * in_sar_h * out_sar_w;
283         double height_units = (double)info->width * in_sar_w * out_sar_h;
284         width = width / csp->mod_width * csp->mod_width;
285         height = height / csp->mod_height * csp->mod_height;
286         if( width * width_units > height * height_units )
287         {
288             int new_width = round( height * height_units / (width_units * csp->mod_width) );
289             new_width *= csp->mod_width;
290             width = X264_MIN( new_width, width );
291         }
292         else
293         {
294             int new_height = round( width * width_units / (height_units * csp->mod_height) );
295             new_height *= csp->mod_height;
296             height = X264_MIN( new_height, height );
297         }
298     }
299     else
300     {
301         if( str_width || str_height )
302         {
303             FAIL_IF_ERROR( width <= 0 || height <= 0, "invalid resolution %sx%s\n",
304                            x264_otos( str_width, "<unset>" ), x264_otos( str_height, "<unset>" ) )
305             if( !str_sar ) /* res only -> adjust sar */
306             {
307                 /* new_sar = (new_h * old_w * old_sar_w) / (old_h * new_w * old_sar_h) */
308                 uint64_t num = (uint64_t)info->width  * height;
309                 uint64_t den = (uint64_t)info->height * width;
310                 x264_reduce_fraction64( &num, &den );
311                 out_sar_w = num * in_sar_w;
312                 out_sar_h = den * in_sar_h;
313                 x264_reduce_fraction( &out_sar_w, &out_sar_h );
314             }
315         }
316         else if( str_sar ) /* sar only -> adjust res */
317         {
318              const x264_cli_csp_t *csp = x264_cli_get_csp( h->dst_csp );
319              double width_units = (double)in_sar_h * out_sar_w;
320              double height_units = (double)in_sar_w * out_sar_h;
321              width  = info->width;
322              height = info->height;
323              if( width_units > height_units ) // SAR got wider, decrease width
324              {
325                  width = round( info->width * height_units / (width_units * csp->mod_width) );
326                  width *= csp->mod_width;
327              }
328              else // SAR got thinner, decrease height
329              {
330                  height = round( info->height * width_units / (height_units * csp->mod_height) );
331                  height *= csp->mod_height;
332              }
333         }
334         else /* csp only */
335         {
336             h->dst.width  = info->width;
337             h->dst.height = info->height;
338             csp_only = 1;
339         }
340     }
341     if( !csp_only )
342     {
343         info->sar_width  = out_sar_w;
344         info->sar_height = out_sar_h;
345         h->dst.width  = width;
346         h->dst.height = height;
347     }
348     return 0;
349 }
350
351 static int init( hnd_t *handle, cli_vid_filter_t *filter, video_info_t *info, x264_param_t *param, char *opt_string )
352 {
353     /* if called for normalizing the csp to known formats and the format is not unknown, exit */
354     if( opt_string && !strcmp( opt_string, "normcsp" ) && !(info->csp&X264_CSP_OTHER) )
355         return 0;
356     /* if called by x264cli and nothing needs to be done, exit */
357     if( !opt_string && !full_check( info, param ) )
358         return 0;
359
360     static const char *optlist[] = { "width", "height", "sar", "fittobox", "csp", "method", NULL };
361     char **opts = x264_split_options( opt_string, optlist );
362     if( !opts && opt_string )
363         return -1;
364
365     resizer_hnd_t *h = calloc( 1, sizeof(resizer_hnd_t) );
366     if( !h )
367         return -1;
368     if( opts )
369     {
370         h->dst_csp    = info->csp;
371         h->dst.width  = info->width;
372         h->dst.height = info->height;
373         if( !strcmp( opt_string, "normcsp" ) )
374         {
375             h->dst_csp = pick_closest_supported_csp( info->csp );
376             /* now fix the catch-all i420 choice if it does not allow for the current input resolution dimensions. */
377             if( h->dst_csp == X264_CSP_I420 && info->width&1 )
378                 h->dst_csp = X264_CSP_I444;
379             if( h->dst_csp == X264_CSP_I420 && info->height&1 )
380                 h->dst_csp = X264_CSP_I422;
381         }
382         else if( handle_opts( optlist, opts, info, h ) )
383             return -1;
384     }
385     else
386     {
387         h->dst_csp    = param->i_csp;
388         h->dst.width  = param->i_width;
389         h->dst.height = param->i_height;
390     }
391     uint32_t method = convert_method_to_flag( x264_otos( x264_get_option( optlist[5], opts ), "" ) );
392     x264_free_string_array( opts );
393
394     h->ctx_flags = convert_cpu_to_flag( param->cpu ) | method;
395     if( method != SWS_FAST_BILINEAR )
396         h->ctx_flags |= SWS_FULL_CHR_H_INT | SWS_FULL_CHR_H_INP | SWS_ACCURATE_RND;
397     h->dst.pix_fmt = convert_csp_to_pix_fmt( h->dst_csp );
398     h->scale = h->dst;
399
400     /* swap chroma planes if YV12 is involved, as libswscale works with I420 */
401     h->pre_swap_chroma = (info->csp & X264_CSP_MASK) == X264_CSP_YV12;
402     h->post_swap_chroma = (h->dst_csp & X264_CSP_MASK) == X264_CSP_YV12;
403
404     int src_pix_fmt = convert_csp_to_pix_fmt( info->csp );
405
406     int src_pix_fmt_inv = convert_csp_to_pix_fmt( info->csp ^ X264_CSP_HIGH_DEPTH );
407     int dst_pix_fmt_inv = convert_csp_to_pix_fmt( h->dst_csp ^ X264_CSP_HIGH_DEPTH );
408
409     /* confirm swscale can support this conversion */
410     FAIL_IF_ERROR( src_pix_fmt == PIX_FMT_NONE && src_pix_fmt_inv != PIX_FMT_NONE,
411                    "input colorspace %s with bit depth %d is not supported\n", sws_format_name( src_pix_fmt_inv ),
412                    info->csp & X264_CSP_HIGH_DEPTH ? 16 : 8 );
413     FAIL_IF_ERROR( !sws_isSupportedInput( src_pix_fmt ), "input colorspace %s is not supported\n", sws_format_name( src_pix_fmt ) )
414     FAIL_IF_ERROR( h->dst.pix_fmt == PIX_FMT_NONE && dst_pix_fmt_inv != PIX_FMT_NONE,
415                    "input colorspace %s with bit depth %d is not supported\n", sws_format_name( dst_pix_fmt_inv ),
416                    h->dst_csp & X264_CSP_HIGH_DEPTH ? 16 : 8 );
417     FAIL_IF_ERROR( !sws_isSupportedOutput( h->dst.pix_fmt ), "output colorspace %s is not supported\n", sws_format_name( h->dst.pix_fmt ) )
418     FAIL_IF_ERROR( h->dst.height != info->height && info->interlaced,
419                    "swscale is not compatible with interlaced vertical resizing\n" )
420     /* confirm that the desired resolution meets the colorspace requirements */
421     const x264_cli_csp_t *csp = x264_cli_get_csp( h->dst_csp );
422     FAIL_IF_ERROR( h->dst.width % csp->mod_width || h->dst.height % csp->mod_height,
423                    "resolution %dx%d is not compliant with colorspace %s\n", h->dst.width, h->dst.height, csp->name )
424
425     if( h->dst.width != info->width || h->dst.height != info->height )
426         x264_cli_log( NAME, X264_LOG_INFO, "resizing to %dx%d\n", h->dst.width, h->dst.height );
427     if( h->dst.pix_fmt != src_pix_fmt )
428         x264_cli_log( NAME, X264_LOG_WARNING, "converting from %s to %s\n",
429                       sws_format_name( src_pix_fmt ), sws_format_name( h->dst.pix_fmt ) );
430     h->dst_csp |= info->csp & X264_CSP_VFLIP; // preserve vflip
431     /* finished initing, overwrite values */
432     info->csp    = h->dst_csp;
433     info->width  = h->dst.width;
434     info->height = h->dst.height;
435
436     h->prev_filter = *filter;
437     h->prev_hnd = *handle;
438     *handle = h;
439     *filter = resize_filter;
440
441     return 0;
442 }
443
444 static int check_resizer( resizer_hnd_t *h, cli_pic_t *in )
445 {
446     frame_prop_t input_prop = { in->img.width, in->img.height, convert_csp_to_pix_fmt( in->img.csp ) };
447     if( !memcmp( &input_prop, &h->scale, sizeof(frame_prop_t) ) )
448         return 0;
449     if( h->ctx )
450     {
451         sws_freeContext( h->ctx );
452         x264_cli_log( NAME, X264_LOG_WARNING, "stream properties changed at pts %"PRId64"\n", in->pts );
453     }
454     h->scale = input_prop;
455     if( !h->buffer_allocated )
456     {
457         if( x264_cli_pic_alloc( &h->buffer, h->dst_csp, h->dst.width, h->dst.height ) )
458             return -1;
459         h->buffer_allocated = 1;
460     }
461     h->ctx = sws_getContext( h->scale.width, h->scale.height, h->scale.pix_fmt, h->dst.width,
462                              h->dst.height, h->dst.pix_fmt, h->ctx_flags, NULL, NULL, NULL );
463     FAIL_IF_ERROR( !h->ctx, "swscale init failed\n" )
464     return 0;
465 }
466
467 static int get_frame( hnd_t handle, cli_pic_t *output, int frame )
468 {
469     resizer_hnd_t *h = handle;
470     if( h->prev_filter.get_frame( h->prev_hnd, output, frame ) )
471         return -1;
472     if( check_resizer( h, output ) )
473         return -1;
474     if( h->pre_swap_chroma )
475         XCHG( uint8_t*, output->img.plane[1], output->img.plane[2] );
476     if( h->ctx )
477     {
478         sws_scale( h->ctx, (const uint8_t* const*)output->img.plane, output->img.stride,
479                    0, output->img.height, h->buffer.img.plane, h->buffer.img.stride );
480         output->img = h->buffer.img; /* copy img data */
481     }
482     else
483         output->img.csp = h->dst_csp;
484     if( h->post_swap_chroma )
485         XCHG( uint8_t*, output->img.plane[1], output->img.plane[2] );
486
487     return 0;
488 }
489
490 static int release_frame( hnd_t handle, cli_pic_t *pic, int frame )
491 {
492     resizer_hnd_t *h = handle;
493     return h->prev_filter.release_frame( h->prev_hnd, pic, frame );
494 }
495
496 static void free_filter( hnd_t handle )
497 {
498     resizer_hnd_t *h = handle;
499     h->prev_filter.free( h->prev_hnd );
500     if( h->ctx )
501         sws_freeContext( h->ctx );
502     if( h->buffer_allocated )
503         x264_cli_pic_clean( &h->buffer );
504     free( h );
505 }
506
507 #else /* no swscale */
508 static int init( hnd_t *handle, cli_vid_filter_t *filter, video_info_t *info, x264_param_t *param, char *opt_string )
509 {
510     int ret = 0;
511
512     if( !opt_string )
513         ret = full_check( info, param );
514     else
515     {
516         if( !strcmp( opt_string, "normcsp" ) )
517             ret = info->csp & X264_CSP_OTHER;
518         else
519             ret = -1;
520     }
521
522     /* pass if nothing needs to be done, otherwise fail */
523     FAIL_IF_ERROR( ret, "not compiled with swscale support\n" )
524     return 0;
525 }
526
527 #define help NULL
528 #define get_frame NULL
529 #define release_frame NULL
530 #define free_filter NULL
531 #define convert_csp_to_pix_fmt(x) (x & X264_CSP_MASK)
532
533 #endif
534
535 cli_vid_filter_t resize_filter = { NAME, help, init, get_frame, release_frame, free_filter, NULL };