LAVF/FFMS input support, native VFR timestamp handling
[x262.git] / input / lavf.c
1 /*****************************************************************************
2  * lavf.c: x264 libavformat input module
3  *****************************************************************************
4  * Copyright (C) 2009 x264 project
5  *
6  * Authors: Mike Gurlitz <mike.gurlitz@gmail.com>
7  *          Steven Walters <kemuri9@gmail.com>
8  *
9  * This program is free software; you can redistribute it and/or modify
10  * it under the terms of the GNU General Public License as published by
11  * the Free Software Foundation; either version 2 of the License, or
12  * (at your option) any later version.
13  *
14  * This program is distributed in the hope that it will be useful,
15  * but WITHOUT ANY WARRANTY; without even the implied warranty of
16  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
17  * GNU General Public License for more details.
18  *
19  * You should have received a copy of the GNU General Public License
20  * along with this program; if not, write to the Free Software
21  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02111, USA.
22  *****************************************************************************/
23
24 #include "muxers.h"
25 #undef DECLARE_ALIGNED
26 #include <libavformat/avformat.h>
27 #include <libswscale/swscale.h>
28
29 typedef struct
30 {
31     AVFormatContext *lavf;
32     int stream_id;
33     int next_frame;
34     int vfr_input;
35     int vertical_flip;
36     struct SwsContext *scaler;
37     int pts_offset_flag;
38     int64_t pts_offset;
39     x264_picture_t *first_pic;
40
41     int init_width;
42     int init_height;
43
44     int cur_width;
45     int cur_height;
46     enum PixelFormat cur_pix_fmt;
47 } lavf_hnd_t;
48
49 typedef struct
50 {
51     AVFrame frame;
52     AVPacket packet;
53 } lavf_pic_t;
54
55 static int check_swscale( lavf_hnd_t *h, AVCodecContext *c, int i_frame )
56 {
57     if( h->scaler && (h->cur_width == c->width) && (h->cur_height == c->height) && (h->cur_pix_fmt == c->pix_fmt) )
58         return 0;
59     if( h->scaler )
60     {
61         sws_freeContext( h->scaler );
62         fprintf( stderr, "lavf [warning]: stream properties changed to %dx%d, %s at frame %d  \n",
63                  c->width, c->height, avcodec_get_pix_fmt_name( c->pix_fmt ), i_frame );
64         h->cur_width   = c->width;
65         h->cur_height  = c->height;
66         h->cur_pix_fmt = c->pix_fmt;
67     }
68     h->scaler = sws_getContext( h->cur_width, h->cur_height, h->cur_pix_fmt, h->init_width, h->init_height,
69                                 PIX_FMT_YUV420P, SWS_BICUBIC, NULL, NULL, NULL );
70     if( !h->scaler )
71     {
72         fprintf( stderr, "lavf [error]: could not open swscale context\n" );
73         return -1;
74     }
75     return 0;
76 }
77
78 static int read_frame_internal( x264_picture_t *p_pic, lavf_hnd_t *h, int i_frame, video_info_t *info )
79 {
80     if( h->first_pic && !info )
81     {
82         /* see if the frame we are requesting is the frame we have already read and stored.
83          * if so, retrieve the pts and image data before freeing it. */
84         if( !i_frame )
85         {
86             XCHG( x264_image_t, p_pic->img, h->first_pic->img );
87             p_pic->i_pts = h->first_pic->i_pts;
88         }
89         lavf_input.picture_clean( h->first_pic );
90         free( h->first_pic );
91         h->first_pic = NULL;
92         if( !i_frame )
93             return 0;
94     }
95
96     AVCodecContext *c = h->lavf->streams[h->stream_id]->codec;
97     lavf_pic_t *pic_h = p_pic->opaque;
98     AVPacket *pkt = &pic_h->packet;
99     AVFrame *frame = &pic_h->frame;
100
101     while( i_frame >= h->next_frame )
102     {
103         int finished = 0;
104         while( !finished && av_read_frame( h->lavf, pkt ) >= 0 )
105             if( pkt->stream_index == h->stream_id )
106             {
107                 c->reordered_opaque = pkt->pts;
108                 if( avcodec_decode_video2( c, frame, &finished, pkt ) < 0 )
109                     fprintf( stderr, "lavf [warning]: video decoding failed on frame %d\n", h->next_frame );
110             }
111         if( !finished )
112         {
113             if( avcodec_decode_video2( c, frame, &finished, pkt ) < 0 )
114                 fprintf( stderr, "lavf [warning]: video decoding failed on frame %d\n", h->next_frame );
115             if( !finished )
116                 return -1;
117         }
118         h->next_frame++;
119     }
120
121     if( check_swscale( h, c, i_frame ) )
122         return -1;
123     /* FIXME: avoid sws_scale where possible (no colorspace conversion). */
124     sws_scale( h->scaler, frame->data, frame->linesize, 0, c->height, p_pic->img.plane, p_pic->img.i_stride );
125
126     if( info )
127         info->interlaced = frame->interlaced_frame;
128
129     if( h->vfr_input )
130     {
131         p_pic->i_pts = 0;
132         if( frame->reordered_opaque != AV_NOPTS_VALUE )
133             p_pic->i_pts = frame->reordered_opaque;
134         else if( pkt->dts != AV_NOPTS_VALUE )
135             p_pic->i_pts = pkt->dts; // for AVI files
136         else if( info )
137         {
138             h->vfr_input = info->vfr = 0;
139             goto exit;
140         }
141         if( !h->pts_offset_flag )
142         {
143             h->pts_offset = p_pic->i_pts;
144             h->pts_offset_flag = 1;
145         }
146         p_pic->i_pts -= h->pts_offset;
147     }
148
149 exit:
150     if( pkt->destruct )
151         pkt->destruct( pkt );
152     avcodec_get_frame_defaults( frame );
153     return 0;
154 }
155
156 static int open_file( char *psz_filename, hnd_t *p_handle, video_info_t *info, cli_input_opt_t *opt )
157 {
158     lavf_hnd_t *h = malloc( sizeof(lavf_hnd_t) );
159     if( !h )
160         return -1;
161     av_register_all();
162     h->scaler = NULL;
163     if( !strcmp( psz_filename, "-" ) )
164         psz_filename = "pipe:";
165
166     if( av_open_input_file( &h->lavf, psz_filename, NULL, 0, NULL ) )
167     {
168         fprintf( stderr, "lavf [error]: could not open input file\n" );
169         return -1;
170     }
171
172     if( av_find_stream_info( h->lavf ) < 0 )
173     {
174         fprintf( stderr, "lavf [error]: could not find input stream info\n" );
175         return -1;
176     }
177
178     int i = 0;
179     while( i < h->lavf->nb_streams && h->lavf->streams[i]->codec->codec_type != CODEC_TYPE_VIDEO )
180         i++;
181     if( i == h->lavf->nb_streams )
182     {
183         fprintf( stderr, "lavf [error]: could not find video stream\n" );
184         return -1;
185     }
186     h->stream_id       = i;
187     h->next_frame      = 0;
188     h->pts_offset_flag = 0;
189     h->pts_offset      = 0;
190     AVCodecContext *c  = h->lavf->streams[i]->codec;
191     h->init_width      = h->cur_width  = info->width  = c->width;
192     h->init_height     = h->cur_height = info->height = c->height;
193     h->cur_pix_fmt     = c->pix_fmt;
194     info->fps_num      = h->lavf->streams[i]->r_frame_rate.num;
195     info->fps_den      = h->lavf->streams[i]->r_frame_rate.den;
196     info->timebase_num = h->lavf->streams[i]->time_base.num;
197     info->timebase_den = h->lavf->streams[i]->time_base.den;
198     h->vfr_input       = info->vfr;
199     h->vertical_flip   = 0;
200
201     /* avisynth stores rgb data vertically flipped. */
202     if( !strcasecmp( get_filename_extension( psz_filename ), "avs" ) &&
203         (h->cur_pix_fmt == PIX_FMT_BGRA || h->cur_pix_fmt == PIX_FMT_BGR24) )
204         info->csp |= X264_CSP_VFLIP;
205
206     if( h->cur_pix_fmt != PIX_FMT_YUV420P )
207         fprintf( stderr, "lavf [warning]: converting from %s to YV12\n",
208                  avcodec_get_pix_fmt_name( h->cur_pix_fmt ) );
209
210     if( avcodec_open( c, avcodec_find_decoder( c->codec_id ) ) )
211     {
212         fprintf( stderr, "lavf [error]: could not find decoder for video stream\n" );
213         return -1;
214     }
215
216     /* prefetch the first frame and set/confirm flags */
217     h->first_pic = malloc( sizeof(x264_picture_t) );
218     if( !h->first_pic || lavf_input.picture_alloc( h->first_pic, info->csp, info->width, info->height ) )
219     {
220         fprintf( stderr, "lavf [error]: malloc failed\n" );
221         return -1;
222     }
223     else if( read_frame_internal( h->first_pic, h, 0, info ) )
224         return -1;
225
226     info->sar_height = c->sample_aspect_ratio.den;
227     info->sar_width  = c->sample_aspect_ratio.num;
228     *p_handle = h;
229
230     return 0;
231 }
232
233 static int picture_alloc( x264_picture_t *pic, int i_csp, int i_width, int i_height )
234 {
235     if( x264_picture_alloc( pic, i_csp, i_width, i_height ) )
236         return -1;
237     lavf_pic_t *pic_h = pic->opaque = malloc( sizeof(lavf_pic_t) );
238     if( !pic_h )
239         return -1;
240     avcodec_get_frame_defaults( &pic_h->frame );
241     av_init_packet( &pic_h->packet );
242     return 0;
243 }
244
245 /* FIXME */
246 static int get_frame_total( hnd_t handle )
247 {
248     return 0;
249 }
250
251 static int read_frame( x264_picture_t *p_pic, hnd_t handle, int i_frame )
252 {
253     return read_frame_internal( p_pic, handle, i_frame, NULL );
254 }
255
256 static void picture_clean( x264_picture_t *pic )
257 {
258     free( pic->opaque );
259     x264_picture_clean( pic );
260 }
261
262 static int close_file( hnd_t handle )
263 {
264     lavf_hnd_t *h = handle;
265     sws_freeContext( h->scaler );
266     avcodec_close( h->lavf->streams[h->stream_id]->codec );
267     av_close_input_file( h->lavf );
268     free( h );
269     return 0;
270 }
271
272 cli_input_t lavf_input = { open_file, get_frame_total, picture_alloc, read_frame, NULL, picture_clean, close_file };