avconv: Check that muxing_queue exists before reading from it
[ffmpeg.git] / avconv.c
1 /*
2  * avconv main
3  * Copyright (c) 2000-2011 The Libav developers
4  *
5  * This file is part of Libav.
6  *
7  * Libav is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * Libav is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with Libav; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 #include "config.h"
23 #include <ctype.h>
24 #include <string.h>
25 #include <math.h>
26 #include <stdlib.h>
27 #include <errno.h>
28 #include <signal.h>
29 #include <limits.h>
30 #include <stdint.h>
31
32 #include "libavformat/avformat.h"
33 #include "libavdevice/avdevice.h"
34 #include "libswscale/swscale.h"
35 #include "libavresample/avresample.h"
36 #include "libavutil/opt.h"
37 #include "libavutil/channel_layout.h"
38 #include "libavutil/parseutils.h"
39 #include "libavutil/samplefmt.h"
40 #include "libavutil/fifo.h"
41 #include "libavutil/internal.h"
42 #include "libavutil/intreadwrite.h"
43 #include "libavutil/dict.h"
44 #include "libavutil/mathematics.h"
45 #include "libavutil/pixdesc.h"
46 #include "libavutil/avstring.h"
47 #include "libavutil/libm.h"
48 #include "libavutil/imgutils.h"
49 #include "libavutil/time.h"
50 #include "libavformat/os_support.h"
51
52 # include "libavfilter/avfilter.h"
53 # include "libavfilter/buffersrc.h"
54 # include "libavfilter/buffersink.h"
55
56 #if HAVE_SYS_RESOURCE_H
57 #include <sys/time.h>
58 #include <sys/types.h>
59 #include <sys/resource.h>
60 #elif HAVE_GETPROCESSTIMES
61 #include <windows.h>
62 #endif
63 #if HAVE_GETPROCESSMEMORYINFO
64 #include <windows.h>
65 #include <psapi.h>
66 #endif
67
68 #if HAVE_SYS_SELECT_H
69 #include <sys/select.h>
70 #endif
71
72 #if HAVE_PTHREADS
73 #include <pthread.h>
74 #endif
75
76 #include <time.h>
77
78 #include "avconv.h"
79 #include "cmdutils.h"
80
81 #include "libavutil/avassert.h"
82
83 const char program_name[] = "avconv";
84 const int program_birth_year = 2000;
85
86 static FILE *vstats_file;
87
88 static int nb_frames_drop = 0;
89
90 static int want_sdp = 1;
91
92 #if HAVE_PTHREADS
93 /* signal to input threads that they should exit; set by the main thread */
94 static int transcoding_finished;
95 #endif
96
97 InputStream **input_streams = NULL;
98 int        nb_input_streams = 0;
99 InputFile   **input_files   = NULL;
100 int        nb_input_files   = 0;
101
102 OutputStream **output_streams = NULL;
103 int         nb_output_streams = 0;
104 OutputFile   **output_files   = NULL;
105 int         nb_output_files   = 0;
106
107 FilterGraph **filtergraphs;
108 int        nb_filtergraphs;
109
110 static void term_exit(void)
111 {
112     av_log(NULL, AV_LOG_QUIET, "");
113 }
114
115 static volatile int received_sigterm = 0;
116 static volatile int received_nb_signals = 0;
117
118 static void
119 sigterm_handler(int sig)
120 {
121     received_sigterm = sig;
122     received_nb_signals++;
123     term_exit();
124 }
125
126 static void term_init(void)
127 {
128     signal(SIGINT , sigterm_handler); /* Interrupt (ANSI).    */
129     signal(SIGTERM, sigterm_handler); /* Termination (ANSI).  */
130 #ifdef SIGXCPU
131     signal(SIGXCPU, sigterm_handler);
132 #endif
133 }
134
135 static int decode_interrupt_cb(void *ctx)
136 {
137     return received_nb_signals > 1;
138 }
139
140 const AVIOInterruptCB int_cb = { decode_interrupt_cb, NULL };
141
142 static void avconv_cleanup(int ret)
143 {
144     int i, j;
145
146     for (i = 0; i < nb_filtergraphs; i++) {
147         FilterGraph *fg = filtergraphs[i];
148         avfilter_graph_free(&fg->graph);
149         for (j = 0; j < fg->nb_inputs; j++) {
150             while (av_fifo_size(fg->inputs[j]->frame_queue)) {
151                 AVFrame *frame;
152                 av_fifo_generic_read(fg->inputs[j]->frame_queue, &frame,
153                                      sizeof(frame), NULL);
154                 av_frame_free(&frame);
155             }
156             av_fifo_free(fg->inputs[j]->frame_queue);
157             av_buffer_unref(&fg->inputs[j]->hw_frames_ctx);
158             av_freep(&fg->inputs[j]->name);
159             av_freep(&fg->inputs[j]);
160         }
161         av_freep(&fg->inputs);
162         for (j = 0; j < fg->nb_outputs; j++) {
163             av_freep(&fg->outputs[j]->name);
164             av_freep(&fg->outputs[j]->formats);
165             av_freep(&fg->outputs[j]->channel_layouts);
166             av_freep(&fg->outputs[j]->sample_rates);
167             av_freep(&fg->outputs[j]);
168         }
169         av_freep(&fg->outputs);
170         av_freep(&fg->graph_desc);
171
172         av_freep(&filtergraphs[i]);
173     }
174     av_freep(&filtergraphs);
175
176     /* close files */
177     for (i = 0; i < nb_output_files; i++) {
178         OutputFile *of = output_files[i];
179         AVFormatContext *s = of->ctx;
180         if (s && s->oformat && !(s->oformat->flags & AVFMT_NOFILE) && s->pb)
181             avio_close(s->pb);
182         avformat_free_context(s);
183         av_dict_free(&of->opts);
184
185         av_freep(&output_files[i]);
186     }
187     for (i = 0; i < nb_output_streams; i++) {
188         OutputStream *ost = output_streams[i];
189
190         for (j = 0; j < ost->nb_bitstream_filters; j++)
191             av_bsf_free(&ost->bsf_ctx[j]);
192         av_freep(&ost->bsf_ctx);
193         av_freep(&ost->bitstream_filters);
194
195         av_frame_free(&ost->filtered_frame);
196
197         av_parser_close(ost->parser);
198         avcodec_free_context(&ost->parser_avctx);
199
200         av_freep(&ost->forced_keyframes);
201         av_freep(&ost->avfilter);
202         av_freep(&ost->logfile_prefix);
203
204         avcodec_free_context(&ost->enc_ctx);
205
206         if (ost->muxing_queue) {
207             while (av_fifo_size(ost->muxing_queue)) {
208                 AVPacket pkt;
209                 av_log(NULL, AV_LOG_INFO, "after av_fifo_size()\n");
210                 av_fifo_generic_read(ost->muxing_queue, &pkt, sizeof(pkt), NULL);
211                 av_packet_unref(&pkt);
212             }
213             av_fifo_free(ost->muxing_queue);
214         }
215         av_freep(&output_streams[i]);
216     }
217     for (i = 0; i < nb_input_files; i++) {
218         avformat_close_input(&input_files[i]->ctx);
219         av_freep(&input_files[i]);
220     }
221     for (i = 0; i < nb_input_streams; i++) {
222         InputStream *ist = input_streams[i];
223
224         av_frame_free(&ist->decoded_frame);
225         av_frame_free(&ist->filter_frame);
226         av_dict_free(&ist->decoder_opts);
227         av_freep(&ist->filters);
228         av_freep(&ist->hwaccel_device);
229
230         avcodec_free_context(&ist->dec_ctx);
231
232         av_freep(&input_streams[i]);
233     }
234
235     if (vstats_file)
236         fclose(vstats_file);
237     av_free(vstats_filename);
238
239     av_freep(&input_streams);
240     av_freep(&input_files);
241     av_freep(&output_streams);
242     av_freep(&output_files);
243
244     uninit_opts();
245
246     avformat_network_deinit();
247
248     if (received_sigterm) {
249         av_log(NULL, AV_LOG_INFO, "Received signal %d: terminating.\n",
250                (int) received_sigterm);
251         exit (255);
252     }
253 }
254
255 void assert_avoptions(AVDictionary *m)
256 {
257     AVDictionaryEntry *t;
258     if ((t = av_dict_get(m, "", NULL, AV_DICT_IGNORE_SUFFIX))) {
259         av_log(NULL, AV_LOG_FATAL, "Option %s not found.\n", t->key);
260         exit_program(1);
261     }
262 }
263
264 static void abort_codec_experimental(AVCodec *c, int encoder)
265 {
266     const char *codec_string = encoder ? "encoder" : "decoder";
267     AVCodec *codec;
268     av_log(NULL, AV_LOG_FATAL, "%s '%s' is experimental and might produce bad "
269             "results.\nAdd '-strict experimental' if you want to use it.\n",
270             codec_string, c->name);
271     codec = encoder ? avcodec_find_encoder(c->id) : avcodec_find_decoder(c->id);
272     if (!(codec->capabilities & AV_CODEC_CAP_EXPERIMENTAL))
273         av_log(NULL, AV_LOG_FATAL, "Or use the non experimental %s '%s'.\n",
274                codec_string, codec->name);
275     exit_program(1);
276 }
277
278 static void write_packet(OutputFile *of, AVPacket *pkt, OutputStream *ost)
279 {
280     AVFormatContext *s = of->ctx;
281     AVStream *st = ost->st;
282     int ret;
283
284     if (!of->header_written) {
285         AVPacket tmp_pkt;
286         /* the muxer is not initialized yet, buffer the packet */
287         if (!av_fifo_space(ost->muxing_queue)) {
288             int new_size = FFMIN(2 * av_fifo_size(ost->muxing_queue),
289                                  ost->max_muxing_queue_size);
290             if (new_size <= av_fifo_size(ost->muxing_queue)) {
291                 av_log(NULL, AV_LOG_ERROR,
292                        "Too many packets buffered for output stream %d:%d.\n",
293                        ost->file_index, ost->st->index);
294                 exit_program(1);
295             }
296             ret = av_fifo_realloc2(ost->muxing_queue, new_size);
297             if (ret < 0)
298                 exit_program(1);
299         }
300         av_packet_move_ref(&tmp_pkt, pkt);
301         av_fifo_generic_write(ost->muxing_queue, &tmp_pkt, sizeof(tmp_pkt), NULL);
302         return;
303     }
304
305     /*
306      * Audio encoders may split the packets --  #frames in != #packets out.
307      * But there is no reordering, so we can limit the number of output packets
308      * by simply dropping them here.
309      * Counting encoded video frames needs to be done separately because of
310      * reordering, see do_video_out()
311      */
312     if (!(st->codecpar->codec_type == AVMEDIA_TYPE_VIDEO && ost->encoding_needed)) {
313         if (ost->frame_number >= ost->max_frames) {
314             av_packet_unref(pkt);
315             return;
316         }
317         ost->frame_number++;
318     }
319     if (st->codecpar->codec_type == AVMEDIA_TYPE_VIDEO) {
320         uint8_t *sd = av_packet_get_side_data(pkt, AV_PKT_DATA_QUALITY_FACTOR,
321                                               NULL);
322         ost->quality = sd ? *(int *)sd : -1;
323
324         if (ost->frame_rate.num) {
325             pkt->duration = av_rescale_q(1, av_inv_q(ost->frame_rate),
326                                          ost->mux_timebase);
327         }
328     }
329
330     if (!(s->oformat->flags & AVFMT_NOTIMESTAMPS) &&
331         ost->last_mux_dts != AV_NOPTS_VALUE &&
332         pkt->dts < ost->last_mux_dts + !(s->oformat->flags & AVFMT_TS_NONSTRICT)) {
333         av_log(NULL, AV_LOG_WARNING, "Non-monotonous DTS in output stream "
334                "%d:%d; previous: %"PRId64", current: %"PRId64"; ",
335                ost->file_index, ost->st->index, ost->last_mux_dts, pkt->dts);
336         if (exit_on_error) {
337             av_log(NULL, AV_LOG_FATAL, "aborting.\n");
338             exit_program(1);
339         }
340         av_log(NULL, AV_LOG_WARNING, "changing to %"PRId64". This may result "
341                "in incorrect timestamps in the output file.\n",
342                ost->last_mux_dts + 1);
343         pkt->dts = ost->last_mux_dts + 1;
344         if (pkt->pts != AV_NOPTS_VALUE)
345             pkt->pts = FFMAX(pkt->pts, pkt->dts);
346     }
347     ost->last_mux_dts = pkt->dts;
348
349     ost->data_size += pkt->size;
350     ost->packets_written++;
351
352     pkt->stream_index = ost->index;
353     av_packet_rescale_ts(pkt, ost->mux_timebase, ost->st->time_base);
354
355     ret = av_interleaved_write_frame(s, pkt);
356     if (ret < 0) {
357         print_error("av_interleaved_write_frame()", ret);
358         exit_program(1);
359     }
360 }
361
362 static void output_packet(OutputFile *of, AVPacket *pkt, OutputStream *ost)
363 {
364     int ret = 0;
365
366     /* apply the output bitstream filters, if any */
367     if (ost->nb_bitstream_filters) {
368         int idx;
369
370         ret = av_bsf_send_packet(ost->bsf_ctx[0], pkt);
371         if (ret < 0)
372             goto finish;
373
374         idx = 1;
375         while (idx) {
376             /* get a packet from the previous filter up the chain */
377             ret = av_bsf_receive_packet(ost->bsf_ctx[idx - 1], pkt);
378             if (ret == AVERROR(EAGAIN)) {
379                 ret = 0;
380                 idx--;
381                 continue;
382             } else if (ret < 0)
383                 goto finish;
384
385             /* send it to the next filter down the chain or to the muxer */
386             if (idx < ost->nb_bitstream_filters) {
387                 ret = av_bsf_send_packet(ost->bsf_ctx[idx], pkt);
388                 if (ret < 0)
389                     goto finish;
390                 idx++;
391             } else
392                 write_packet(of, pkt, ost);
393         }
394     } else
395         write_packet(of, pkt, ost);
396
397 finish:
398     if (ret < 0 && ret != AVERROR_EOF) {
399         av_log(NULL, AV_LOG_FATAL, "Error applying bitstream filters to an output "
400                "packet for stream #%d:%d.\n", ost->file_index, ost->index);
401         exit_program(1);
402     }
403 }
404
405 static int check_recording_time(OutputStream *ost)
406 {
407     OutputFile *of = output_files[ost->file_index];
408
409     if (of->recording_time != INT64_MAX &&
410         av_compare_ts(ost->sync_opts - ost->first_pts, ost->enc_ctx->time_base, of->recording_time,
411                       AV_TIME_BASE_Q) >= 0) {
412         ost->finished = 1;
413         return 0;
414     }
415     return 1;
416 }
417
418 static void do_audio_out(OutputFile *of, OutputStream *ost,
419                          AVFrame *frame)
420 {
421     AVCodecContext *enc = ost->enc_ctx;
422     AVPacket pkt;
423     int ret;
424
425     av_init_packet(&pkt);
426     pkt.data = NULL;
427     pkt.size = 0;
428
429     if (frame->pts == AV_NOPTS_VALUE || audio_sync_method < 0)
430         frame->pts = ost->sync_opts;
431     ost->sync_opts = frame->pts + frame->nb_samples;
432
433     ost->samples_encoded += frame->nb_samples;
434     ost->frames_encoded++;
435
436     ret = avcodec_send_frame(enc, frame);
437     if (ret < 0)
438         goto error;
439
440     while (1) {
441         ret = avcodec_receive_packet(enc, &pkt);
442         if (ret == AVERROR(EAGAIN))
443             break;
444         if (ret < 0)
445             goto error;
446
447         output_packet(of, &pkt, ost);
448     }
449
450     return;
451 error:
452     av_log(NULL, AV_LOG_FATAL, "Audio encoding failed\n");
453     exit_program(1);
454 }
455
456 static void do_subtitle_out(OutputFile *of,
457                             OutputStream *ost,
458                             InputStream *ist,
459                             AVSubtitle *sub,
460                             int64_t pts)
461 {
462     static uint8_t *subtitle_out = NULL;
463     int subtitle_out_max_size = 1024 * 1024;
464     int subtitle_out_size, nb, i;
465     AVCodecContext *enc;
466     AVPacket pkt;
467
468     if (pts == AV_NOPTS_VALUE) {
469         av_log(NULL, AV_LOG_ERROR, "Subtitle packets must have a pts\n");
470         if (exit_on_error)
471             exit_program(1);
472         return;
473     }
474
475     enc = ost->enc_ctx;
476
477     if (!subtitle_out) {
478         subtitle_out = av_malloc(subtitle_out_max_size);
479     }
480
481     /* Note: DVB subtitle need one packet to draw them and one other
482        packet to clear them */
483     /* XXX: signal it in the codec context ? */
484     if (enc->codec_id == AV_CODEC_ID_DVB_SUBTITLE)
485         nb = 2;
486     else
487         nb = 1;
488
489     for (i = 0; i < nb; i++) {
490         ost->sync_opts = av_rescale_q(pts, ist->st->time_base, enc->time_base);
491         if (!check_recording_time(ost))
492             return;
493
494         sub->pts = av_rescale_q(pts, ist->st->time_base, AV_TIME_BASE_Q);
495         // start_display_time is required to be 0
496         sub->pts               += av_rescale_q(sub->start_display_time, (AVRational){ 1, 1000 }, AV_TIME_BASE_Q);
497         sub->end_display_time  -= sub->start_display_time;
498         sub->start_display_time = 0;
499
500         ost->frames_encoded++;
501
502         subtitle_out_size = avcodec_encode_subtitle(enc, subtitle_out,
503                                                     subtitle_out_max_size, sub);
504         if (subtitle_out_size < 0) {
505             av_log(NULL, AV_LOG_FATAL, "Subtitle encoding failed\n");
506             exit_program(1);
507         }
508
509         av_init_packet(&pkt);
510         pkt.data = subtitle_out;
511         pkt.size = subtitle_out_size;
512         pkt.pts  = av_rescale_q(sub->pts, AV_TIME_BASE_Q, ost->mux_timebase);
513         if (enc->codec_id == AV_CODEC_ID_DVB_SUBTITLE) {
514             /* XXX: the pts correction is handled here. Maybe handling
515                it in the codec would be better */
516             if (i == 0)
517                 pkt.pts += 90 * sub->start_display_time;
518             else
519                 pkt.pts += 90 * sub->end_display_time;
520         }
521         output_packet(of, &pkt, ost);
522     }
523 }
524
525 static void do_video_out(OutputFile *of,
526                          OutputStream *ost,
527                          AVFrame *in_picture,
528                          int *frame_size)
529 {
530     int ret, format_video_sync;
531     AVPacket pkt;
532     AVCodecContext *enc = ost->enc_ctx;
533
534     *frame_size = 0;
535
536     format_video_sync = video_sync_method;
537     if (format_video_sync == VSYNC_AUTO)
538         format_video_sync = (of->ctx->oformat->flags & AVFMT_NOTIMESTAMPS) ? VSYNC_PASSTHROUGH :
539                             (of->ctx->oformat->flags & AVFMT_VARIABLE_FPS) ? VSYNC_VFR : VSYNC_CFR;
540     if (format_video_sync != VSYNC_PASSTHROUGH &&
541         ost->frame_number &&
542         in_picture->pts != AV_NOPTS_VALUE &&
543         in_picture->pts < ost->sync_opts) {
544         nb_frames_drop++;
545         av_log(NULL, AV_LOG_WARNING,
546                "*** dropping frame %d from stream %d at ts %"PRId64"\n",
547                ost->frame_number, ost->st->index, in_picture->pts);
548         return;
549     }
550
551     if (in_picture->pts == AV_NOPTS_VALUE)
552         in_picture->pts = ost->sync_opts;
553     ost->sync_opts = in_picture->pts;
554
555
556     if (!ost->frame_number)
557         ost->first_pts = in_picture->pts;
558
559     av_init_packet(&pkt);
560     pkt.data = NULL;
561     pkt.size = 0;
562
563     if (ost->frame_number >= ost->max_frames)
564         return;
565
566     if (enc->flags & (AV_CODEC_FLAG_INTERLACED_DCT | AV_CODEC_FLAG_INTERLACED_ME) &&
567         ost->top_field_first >= 0)
568         in_picture->top_field_first = !!ost->top_field_first;
569
570     in_picture->quality = enc->global_quality;
571     in_picture->pict_type = 0;
572     if (ost->forced_kf_index < ost->forced_kf_count &&
573         in_picture->pts >= ost->forced_kf_pts[ost->forced_kf_index]) {
574         in_picture->pict_type = AV_PICTURE_TYPE_I;
575         ost->forced_kf_index++;
576     }
577
578     ost->frames_encoded++;
579
580     ret = avcodec_send_frame(enc, in_picture);
581     if (ret < 0)
582         goto error;
583
584     /*
585      * For video, there may be reordering, so we can't throw away frames on
586      * encoder flush, we need to limit them here, before they go into encoder.
587      */
588     ost->frame_number++;
589
590     while (1) {
591         ret = avcodec_receive_packet(enc, &pkt);
592         if (ret == AVERROR(EAGAIN))
593             break;
594         if (ret < 0)
595             goto error;
596
597         output_packet(of, &pkt, ost);
598         *frame_size = pkt.size;
599
600         /* if two pass, output log */
601         if (ost->logfile && enc->stats_out) {
602             fprintf(ost->logfile, "%s", enc->stats_out);
603         }
604
605         ost->sync_opts++;
606     }
607
608     return;
609 error:
610     av_assert0(ret != AVERROR(EAGAIN) && ret != AVERROR_EOF);
611     av_log(NULL, AV_LOG_FATAL, "Video encoding failed\n");
612     exit_program(1);
613 }
614
615 #if FF_API_CODED_FRAME && FF_API_ERROR_FRAME
616 static double psnr(double d)
617 {
618     return -10.0 * log(d) / log(10.0);
619 }
620 #endif
621
622 static void do_video_stats(OutputStream *ost, int frame_size)
623 {
624     AVCodecContext *enc;
625     int frame_number;
626     double ti1, bitrate, avg_bitrate;
627
628     /* this is executed just the first time do_video_stats is called */
629     if (!vstats_file) {
630         vstats_file = fopen(vstats_filename, "w");
631         if (!vstats_file) {
632             perror("fopen");
633             exit_program(1);
634         }
635     }
636
637     enc = ost->enc_ctx;
638     if (enc->codec_type == AVMEDIA_TYPE_VIDEO) {
639         frame_number = ost->frame_number;
640         fprintf(vstats_file, "frame= %5d q= %2.1f ", frame_number,
641                 ost->quality / (float)FF_QP2LAMBDA);
642
643 #if FF_API_CODED_FRAME && FF_API_ERROR_FRAME
644 FF_DISABLE_DEPRECATION_WARNINGS
645         if (enc->flags & AV_CODEC_FLAG_PSNR)
646             fprintf(vstats_file, "PSNR= %6.2f ", psnr(enc->coded_frame->error[0] / (enc->width * enc->height * 255.0 * 255.0)));
647 FF_ENABLE_DEPRECATION_WARNINGS
648 #endif
649
650         fprintf(vstats_file,"f_size= %6d ", frame_size);
651         /* compute pts value */
652         ti1 = ost->sync_opts * av_q2d(enc->time_base);
653         if (ti1 < 0.01)
654             ti1 = 0.01;
655
656         bitrate     = (frame_size * 8) / av_q2d(enc->time_base) / 1000.0;
657         avg_bitrate = (double)(ost->data_size * 8) / ti1 / 1000.0;
658         fprintf(vstats_file, "s_size= %8.0fkB time= %0.3f br= %7.1fkbits/s avg_br= %7.1fkbits/s ",
659                (double)ost->data_size / 1024, ti1, bitrate, avg_bitrate);
660 #if FF_API_CODED_FRAME
661 FF_DISABLE_DEPRECATION_WARNINGS
662         fprintf(vstats_file, "type= %c\n", av_get_picture_type_char(enc->coded_frame->pict_type));
663 FF_ENABLE_DEPRECATION_WARNINGS
664 #endif
665     }
666 }
667
668 static int init_output_stream(OutputStream *ost, char *error, int error_len);
669
670 /*
671  * Read one frame for lavfi output for ost and encode it.
672  */
673 static int poll_filter(OutputStream *ost)
674 {
675     OutputFile    *of = output_files[ost->file_index];
676     AVFrame *filtered_frame = NULL;
677     int frame_size, ret;
678
679     if (!ost->filtered_frame && !(ost->filtered_frame = av_frame_alloc())) {
680         return AVERROR(ENOMEM);
681     }
682     filtered_frame = ost->filtered_frame;
683
684     if (!ost->initialized) {
685         char error[1024];
686         ret = init_output_stream(ost, error, sizeof(error));
687         if (ret < 0) {
688             av_log(NULL, AV_LOG_ERROR, "Error initializing output stream %d:%d -- %s\n",
689                    ost->file_index, ost->index, error);
690             exit_program(1);
691         }
692     }
693
694     if (ost->enc->type == AVMEDIA_TYPE_AUDIO &&
695         !(ost->enc->capabilities & AV_CODEC_CAP_VARIABLE_FRAME_SIZE))
696         ret = av_buffersink_get_samples(ost->filter->filter, filtered_frame,
697                                          ost->enc_ctx->frame_size);
698     else
699         ret = av_buffersink_get_frame(ost->filter->filter, filtered_frame);
700
701     if (ret < 0)
702         return ret;
703
704     if (filtered_frame->pts != AV_NOPTS_VALUE) {
705         int64_t start_time = (of->start_time == AV_NOPTS_VALUE) ? 0 : of->start_time;
706         filtered_frame->pts = av_rescale_q(filtered_frame->pts,
707                                            ost->filter->filter->inputs[0]->time_base,
708                                            ost->enc_ctx->time_base) -
709                               av_rescale_q(start_time,
710                                            AV_TIME_BASE_Q,
711                                            ost->enc_ctx->time_base);
712     }
713
714     switch (ost->filter->filter->inputs[0]->type) {
715     case AVMEDIA_TYPE_VIDEO:
716         if (!ost->frame_aspect_ratio)
717             ost->enc_ctx->sample_aspect_ratio = filtered_frame->sample_aspect_ratio;
718
719         do_video_out(of, ost, filtered_frame, &frame_size);
720         if (vstats_filename && frame_size)
721             do_video_stats(ost, frame_size);
722         break;
723     case AVMEDIA_TYPE_AUDIO:
724         do_audio_out(of, ost, filtered_frame);
725         break;
726     default:
727         // TODO support subtitle filters
728         av_assert0(0);
729     }
730
731     av_frame_unref(filtered_frame);
732
733     return 0;
734 }
735
736 static void finish_output_stream(OutputStream *ost)
737 {
738     OutputFile *of = output_files[ost->file_index];
739     int i;
740
741     ost->finished = 1;
742
743     if (of->shortest) {
744         for (i = 0; i < of->ctx->nb_streams; i++)
745             output_streams[of->ost_index + i]->finished = 1;
746     }
747 }
748
749 /*
750  * Read as many frames from possible from lavfi and encode them.
751  *
752  * Always read from the active stream with the lowest timestamp. If no frames
753  * are available for it then return EAGAIN and wait for more input. This way we
754  * can use lavfi sources that generate unlimited amount of frames without memory
755  * usage exploding.
756  */
757 static int poll_filters(void)
758 {
759     int i, ret = 0;
760
761     while (ret >= 0 && !received_sigterm) {
762         OutputStream *ost = NULL;
763         int64_t min_pts = INT64_MAX;
764
765         /* choose output stream with the lowest timestamp */
766         for (i = 0; i < nb_output_streams; i++) {
767             int64_t pts = output_streams[i]->sync_opts;
768
769             if (!output_streams[i]->filter || output_streams[i]->finished ||
770                 !output_streams[i]->filter->graph->graph)
771                 continue;
772
773             pts = av_rescale_q(pts, output_streams[i]->enc_ctx->time_base,
774                                AV_TIME_BASE_Q);
775             if (pts < min_pts) {
776                 min_pts = pts;
777                 ost = output_streams[i];
778             }
779         }
780
781         if (!ost)
782             break;
783
784         ret = poll_filter(ost);
785
786         if (ret == AVERROR_EOF) {
787             finish_output_stream(ost);
788             ret = 0;
789         } else if (ret == AVERROR(EAGAIN))
790             return 0;
791     }
792
793     return ret;
794 }
795
796 static void print_final_stats(int64_t total_size)
797 {
798     uint64_t video_size = 0, audio_size = 0, extra_size = 0, other_size = 0;
799     uint64_t data_size = 0;
800     float percent = -1.0;
801     int i, j;
802
803     for (i = 0; i < nb_output_streams; i++) {
804         OutputStream *ost = output_streams[i];
805         switch (ost->enc_ctx->codec_type) {
806             case AVMEDIA_TYPE_VIDEO: video_size += ost->data_size; break;
807             case AVMEDIA_TYPE_AUDIO: audio_size += ost->data_size; break;
808             default:                 other_size += ost->data_size; break;
809         }
810         extra_size += ost->enc_ctx->extradata_size;
811         data_size  += ost->data_size;
812     }
813
814     if (data_size && total_size >= data_size)
815         percent = 100.0 * (total_size - data_size) / data_size;
816
817     av_log(NULL, AV_LOG_INFO, "\n");
818     av_log(NULL, AV_LOG_INFO, "video:%1.0fkB audio:%1.0fkB other streams:%1.0fkB global headers:%1.0fkB muxing overhead: ",
819            video_size / 1024.0,
820            audio_size / 1024.0,
821            other_size / 1024.0,
822            extra_size / 1024.0);
823     if (percent >= 0.0)
824         av_log(NULL, AV_LOG_INFO, "%f%%", percent);
825     else
826         av_log(NULL, AV_LOG_INFO, "unknown");
827     av_log(NULL, AV_LOG_INFO, "\n");
828
829     /* print verbose per-stream stats */
830     for (i = 0; i < nb_input_files; i++) {
831         InputFile *f = input_files[i];
832         uint64_t total_packets = 0, total_size = 0;
833
834         av_log(NULL, AV_LOG_VERBOSE, "Input file #%d (%s):\n",
835                i, f->ctx->filename);
836
837         for (j = 0; j < f->nb_streams; j++) {
838             InputStream *ist = input_streams[f->ist_index + j];
839             enum AVMediaType type = ist->dec_ctx->codec_type;
840
841             total_size    += ist->data_size;
842             total_packets += ist->nb_packets;
843
844             av_log(NULL, AV_LOG_VERBOSE, "  Input stream #%d:%d (%s): ",
845                    i, j, media_type_string(type));
846             av_log(NULL, AV_LOG_VERBOSE, "%"PRIu64" packets read (%"PRIu64" bytes); ",
847                    ist->nb_packets, ist->data_size);
848
849             if (ist->decoding_needed) {
850                 av_log(NULL, AV_LOG_VERBOSE, "%"PRIu64" frames decoded",
851                        ist->frames_decoded);
852                 if (type == AVMEDIA_TYPE_AUDIO)
853                     av_log(NULL, AV_LOG_VERBOSE, " (%"PRIu64" samples)", ist->samples_decoded);
854                 av_log(NULL, AV_LOG_VERBOSE, "; ");
855             }
856
857             av_log(NULL, AV_LOG_VERBOSE, "\n");
858         }
859
860         av_log(NULL, AV_LOG_VERBOSE, "  Total: %"PRIu64" packets (%"PRIu64" bytes) demuxed\n",
861                total_packets, total_size);
862     }
863
864     for (i = 0; i < nb_output_files; i++) {
865         OutputFile *of = output_files[i];
866         uint64_t total_packets = 0, total_size = 0;
867
868         av_log(NULL, AV_LOG_VERBOSE, "Output file #%d (%s):\n",
869                i, of->ctx->filename);
870
871         for (j = 0; j < of->ctx->nb_streams; j++) {
872             OutputStream *ost = output_streams[of->ost_index + j];
873             enum AVMediaType type = ost->enc_ctx->codec_type;
874
875             total_size    += ost->data_size;
876             total_packets += ost->packets_written;
877
878             av_log(NULL, AV_LOG_VERBOSE, "  Output stream #%d:%d (%s): ",
879                    i, j, media_type_string(type));
880             if (ost->encoding_needed) {
881                 av_log(NULL, AV_LOG_VERBOSE, "%"PRIu64" frames encoded",
882                        ost->frames_encoded);
883                 if (type == AVMEDIA_TYPE_AUDIO)
884                     av_log(NULL, AV_LOG_VERBOSE, " (%"PRIu64" samples)", ost->samples_encoded);
885                 av_log(NULL, AV_LOG_VERBOSE, "; ");
886             }
887
888             av_log(NULL, AV_LOG_VERBOSE, "%"PRIu64" packets muxed (%"PRIu64" bytes); ",
889                    ost->packets_written, ost->data_size);
890
891             av_log(NULL, AV_LOG_VERBOSE, "\n");
892         }
893
894         av_log(NULL, AV_LOG_VERBOSE, "  Total: %"PRIu64" packets (%"PRIu64" bytes) muxed\n",
895                total_packets, total_size);
896     }
897 }
898
899 static void print_report(int is_last_report, int64_t timer_start)
900 {
901     char buf[1024];
902     OutputStream *ost;
903     AVFormatContext *oc;
904     int64_t total_size;
905     AVCodecContext *enc;
906     int frame_number, vid, i;
907     double bitrate, ti1, pts;
908     static int64_t last_time = -1;
909     static int qp_histogram[52];
910
911     if (!print_stats && !is_last_report)
912         return;
913
914     if (!is_last_report) {
915         int64_t cur_time;
916         /* display the report every 0.5 seconds */
917         cur_time = av_gettime_relative();
918         if (last_time == -1) {
919             last_time = cur_time;
920             return;
921         }
922         if ((cur_time - last_time) < 500000)
923             return;
924         last_time = cur_time;
925     }
926
927
928     oc = output_files[0]->ctx;
929
930     total_size = avio_size(oc->pb);
931     if (total_size <= 0) // FIXME improve avio_size() so it works with non seekable output too
932         total_size = avio_tell(oc->pb);
933     if (total_size < 0) {
934         char errbuf[128];
935         av_strerror(total_size, errbuf, sizeof(errbuf));
936         av_log(NULL, AV_LOG_VERBOSE, "Bitrate not available, "
937                "avio_tell() failed: %s\n", errbuf);
938         total_size = 0;
939     }
940
941     buf[0] = '\0';
942     ti1 = 1e10;
943     vid = 0;
944     for (i = 0; i < nb_output_streams; i++) {
945         float q = -1;
946         ost = output_streams[i];
947         enc = ost->enc_ctx;
948         if (!ost->stream_copy)
949             q = ost->quality / (float) FF_QP2LAMBDA;
950
951         if (vid && enc->codec_type == AVMEDIA_TYPE_VIDEO) {
952             snprintf(buf + strlen(buf), sizeof(buf) - strlen(buf), "q=%2.1f ", q);
953         }
954         if (!vid && enc->codec_type == AVMEDIA_TYPE_VIDEO) {
955             float t = (av_gettime_relative() - timer_start) / 1000000.0;
956
957             frame_number = ost->frame_number;
958             snprintf(buf + strlen(buf), sizeof(buf) - strlen(buf), "frame=%5d fps=%3d q=%3.1f ",
959                      frame_number, (t > 1) ? (int)(frame_number / t + 0.5) : 0, q);
960             if (is_last_report)
961                 snprintf(buf + strlen(buf), sizeof(buf) - strlen(buf), "L");
962             if (qp_hist) {
963                 int j;
964                 int qp = lrintf(q);
965                 if (qp >= 0 && qp < FF_ARRAY_ELEMS(qp_histogram))
966                     qp_histogram[qp]++;
967                 for (j = 0; j < 32; j++)
968                     snprintf(buf + strlen(buf), sizeof(buf) - strlen(buf), "%X", (int)lrintf(log2(qp_histogram[j] + 1)));
969             }
970
971 #if FF_API_CODED_FRAME && FF_API_ERROR_FRAME
972 FF_DISABLE_DEPRECATION_WARNINGS
973             if (enc->flags & AV_CODEC_FLAG_PSNR) {
974                 int j;
975                 double error, error_sum = 0;
976                 double scale, scale_sum = 0;
977                 char type[3] = { 'Y','U','V' };
978                 snprintf(buf + strlen(buf), sizeof(buf) - strlen(buf), "PSNR=");
979                 for (j = 0; j < 3; j++) {
980                     if (is_last_report) {
981                         error = enc->error[j];
982                         scale = enc->width * enc->height * 255.0 * 255.0 * frame_number;
983                     } else {
984                         error = enc->coded_frame->error[j];
985                         scale = enc->width * enc->height * 255.0 * 255.0;
986                     }
987                     if (j)
988                         scale /= 4;
989                     error_sum += error;
990                     scale_sum += scale;
991                     snprintf(buf + strlen(buf), sizeof(buf) - strlen(buf), "%c:%2.2f ", type[j], psnr(error / scale));
992                 }
993                 snprintf(buf + strlen(buf), sizeof(buf) - strlen(buf), "*:%2.2f ", psnr(error_sum / scale_sum));
994             }
995 FF_ENABLE_DEPRECATION_WARNINGS
996 #endif
997             vid = 1;
998         }
999         /* compute min output value */
1000         pts = (double)ost->last_mux_dts * av_q2d(ost->mux_timebase);
1001         if ((pts < ti1) && (pts > 0))
1002             ti1 = pts;
1003     }
1004     if (ti1 < 0.01)
1005         ti1 = 0.01;
1006
1007     bitrate = (double)(total_size * 8) / ti1 / 1000.0;
1008
1009     snprintf(buf + strlen(buf), sizeof(buf) - strlen(buf),
1010             "size=%8.0fkB time=%0.2f bitrate=%6.1fkbits/s",
1011             (double)total_size / 1024, ti1, bitrate);
1012
1013     if (nb_frames_drop)
1014         snprintf(buf + strlen(buf), sizeof(buf) - strlen(buf), " drop=%d",
1015                  nb_frames_drop);
1016
1017     av_log(NULL, AV_LOG_INFO, "%s    \r", buf);
1018
1019     fflush(stderr);
1020
1021     if (is_last_report)
1022         print_final_stats(total_size);
1023
1024 }
1025
1026 static void flush_encoders(void)
1027 {
1028     int i, ret;
1029
1030     for (i = 0; i < nb_output_streams; i++) {
1031         OutputStream   *ost = output_streams[i];
1032         AVCodecContext *enc = ost->enc_ctx;
1033         OutputFile      *of = output_files[ost->file_index];
1034         int stop_encoding = 0;
1035
1036         if (!ost->encoding_needed)
1037             continue;
1038
1039         if (enc->codec_type == AVMEDIA_TYPE_AUDIO && enc->frame_size <= 1)
1040             continue;
1041
1042         if (enc->codec_type != AVMEDIA_TYPE_VIDEO && enc->codec_type != AVMEDIA_TYPE_AUDIO)
1043             continue;
1044
1045         avcodec_send_frame(enc, NULL);
1046
1047         for (;;) {
1048             const char *desc = NULL;
1049
1050             switch (enc->codec_type) {
1051             case AVMEDIA_TYPE_AUDIO:
1052                 desc   = "Audio";
1053                 break;
1054             case AVMEDIA_TYPE_VIDEO:
1055                 desc   = "Video";
1056                 break;
1057             default:
1058                 av_assert0(0);
1059             }
1060
1061             if (1) {
1062                 AVPacket pkt;
1063                 av_init_packet(&pkt);
1064                 pkt.data = NULL;
1065                 pkt.size = 0;
1066
1067                 ret = avcodec_receive_packet(enc, &pkt);
1068                 if (ret < 0 && ret != AVERROR_EOF) {
1069                     av_log(NULL, AV_LOG_FATAL, "%s encoding failed\n", desc);
1070                     exit_program(1);
1071                 }
1072                 if (ost->logfile && enc->stats_out) {
1073                     fprintf(ost->logfile, "%s", enc->stats_out);
1074                 }
1075                 if (ret == AVERROR_EOF) {
1076                     stop_encoding = 1;
1077                     break;
1078                 }
1079                 output_packet(of, &pkt, ost);
1080             }
1081
1082             if (stop_encoding)
1083                 break;
1084         }
1085     }
1086 }
1087
1088 /*
1089  * Check whether a packet from ist should be written into ost at this time
1090  */
1091 static int check_output_constraints(InputStream *ist, OutputStream *ost)
1092 {
1093     OutputFile *of = output_files[ost->file_index];
1094     int ist_index  = input_files[ist->file_index]->ist_index + ist->st->index;
1095
1096     if (ost->source_index != ist_index)
1097         return 0;
1098
1099     if (of->start_time != AV_NOPTS_VALUE && ist->last_dts < of->start_time)
1100         return 0;
1101
1102     return 1;
1103 }
1104
1105 static void do_streamcopy(InputStream *ist, OutputStream *ost, const AVPacket *pkt)
1106 {
1107     OutputFile *of = output_files[ost->file_index];
1108     InputFile   *f = input_files [ist->file_index];
1109     int64_t start_time = (of->start_time == AV_NOPTS_VALUE) ? 0 : of->start_time;
1110     int64_t ost_tb_start_time = av_rescale_q(start_time, AV_TIME_BASE_Q, ost->mux_timebase);
1111     AVPacket opkt;
1112
1113     av_init_packet(&opkt);
1114
1115     if ((!ost->frame_number && !(pkt->flags & AV_PKT_FLAG_KEY)) &&
1116         !ost->copy_initial_nonkeyframes)
1117         return;
1118
1119     if (of->recording_time != INT64_MAX &&
1120         ist->last_dts >= of->recording_time + start_time) {
1121         ost->finished = 1;
1122         return;
1123     }
1124
1125     if (f->recording_time != INT64_MAX) {
1126         start_time = f->ctx->start_time;
1127         if (f->start_time != AV_NOPTS_VALUE)
1128             start_time += f->start_time;
1129         if (ist->last_dts >= f->recording_time + start_time) {
1130             ost->finished = 1;
1131             return;
1132         }
1133     }
1134
1135     /* force the input stream PTS */
1136     if (ost->enc_ctx->codec_type == AVMEDIA_TYPE_VIDEO)
1137         ost->sync_opts++;
1138
1139     if (pkt->pts != AV_NOPTS_VALUE)
1140         opkt.pts = av_rescale_q(pkt->pts, ist->st->time_base, ost->mux_timebase) - ost_tb_start_time;
1141     else
1142         opkt.pts = AV_NOPTS_VALUE;
1143
1144     if (pkt->dts == AV_NOPTS_VALUE)
1145         opkt.dts = av_rescale_q(ist->last_dts, AV_TIME_BASE_Q, ost->mux_timebase);
1146     else
1147         opkt.dts = av_rescale_q(pkt->dts, ist->st->time_base, ost->mux_timebase);
1148     opkt.dts -= ost_tb_start_time;
1149
1150     opkt.duration = av_rescale_q(pkt->duration, ist->st->time_base, ost->mux_timebase);
1151     opkt.flags    = pkt->flags;
1152
1153     // FIXME remove the following 2 lines they shall be replaced by the bitstream filters
1154     if (  ost->enc_ctx->codec_id != AV_CODEC_ID_H264
1155        && ost->enc_ctx->codec_id != AV_CODEC_ID_MPEG1VIDEO
1156        && ost->enc_ctx->codec_id != AV_CODEC_ID_MPEG2VIDEO
1157        && ost->enc_ctx->codec_id != AV_CODEC_ID_VC1
1158        ) {
1159         if (av_parser_change(ost->parser, ost->parser_avctx,
1160                              &opkt.data, &opkt.size,
1161                              pkt->data, pkt->size,
1162                              pkt->flags & AV_PKT_FLAG_KEY)) {
1163             opkt.buf = av_buffer_create(opkt.data, opkt.size, av_buffer_default_free, NULL, 0);
1164             if (!opkt.buf)
1165                 exit_program(1);
1166         }
1167     } else {
1168         opkt.data = pkt->data;
1169         opkt.size = pkt->size;
1170     }
1171
1172     output_packet(of, &opkt, ost);
1173 }
1174
1175 static int ifilter_send_frame(InputFilter *ifilter, AVFrame *frame)
1176 {
1177     FilterGraph *fg = ifilter->graph;
1178     int need_reinit, ret, i;
1179
1180     /* determine if the parameters for this input changed */
1181     need_reinit = ifilter->format != frame->format;
1182     if (!!ifilter->hw_frames_ctx != !!frame->hw_frames_ctx ||
1183         (ifilter->hw_frames_ctx && ifilter->hw_frames_ctx->data != frame->hw_frames_ctx->data))
1184         need_reinit = 1;
1185
1186     switch (ifilter->ist->st->codecpar->codec_type) {
1187     case AVMEDIA_TYPE_AUDIO:
1188         need_reinit |= ifilter->sample_rate    != frame->sample_rate ||
1189                        ifilter->channel_layout != frame->channel_layout;
1190         break;
1191     case AVMEDIA_TYPE_VIDEO:
1192         need_reinit |= ifilter->width  != frame->width ||
1193                        ifilter->height != frame->height;
1194         break;
1195     }
1196
1197     if (need_reinit) {
1198         ret = ifilter_parameters_from_frame(ifilter, frame);
1199         if (ret < 0)
1200             return ret;
1201     }
1202
1203     /* (re)init the graph if possible, otherwise buffer the frame and return */
1204     if (need_reinit || !fg->graph) {
1205         for (i = 0; i < fg->nb_inputs; i++) {
1206             if (fg->inputs[i]->format < 0) {
1207                 AVFrame *tmp = av_frame_clone(frame);
1208                 if (!tmp)
1209                     return AVERROR(ENOMEM);
1210                 av_frame_unref(frame);
1211
1212                 if (!av_fifo_space(ifilter->frame_queue)) {
1213                     ret = av_fifo_realloc2(ifilter->frame_queue, 2 * av_fifo_size(ifilter->frame_queue));
1214                     if (ret < 0)
1215                         return ret;
1216                 }
1217                 av_fifo_generic_write(ifilter->frame_queue, &tmp, sizeof(tmp), NULL);
1218                 return 0;
1219             }
1220         }
1221
1222         ret = poll_filters();
1223         if (ret < 0 && ret != AVERROR_EOF) {
1224             char errbuf[128];
1225             av_strerror(ret, errbuf, sizeof(errbuf));
1226
1227             av_log(NULL, AV_LOG_ERROR, "Error while filtering: %s\n", errbuf);
1228             return ret;
1229         }
1230
1231         ret = configure_filtergraph(fg);
1232         if (ret < 0) {
1233             av_log(NULL, AV_LOG_ERROR, "Error reinitializing filters!\n");
1234             return ret;
1235         }
1236     }
1237
1238     ret = av_buffersrc_add_frame(ifilter->filter, frame);
1239     if (ret < 0) {
1240         av_log(NULL, AV_LOG_ERROR, "Error while filtering\n");
1241         return ret;
1242     }
1243
1244     return 0;
1245 }
1246
1247 static int ifilter_send_eof(InputFilter *ifilter)
1248 {
1249     int i, j, ret;
1250
1251     ifilter->eof = 1;
1252
1253     if (ifilter->filter) {
1254         ret = av_buffersrc_add_frame(ifilter->filter, NULL);
1255         if (ret < 0)
1256             return ret;
1257     } else {
1258         // the filtergraph was never configured
1259         FilterGraph *fg = ifilter->graph;
1260         for (i = 0; i < fg->nb_inputs; i++)
1261             if (!fg->inputs[i]->eof)
1262                 break;
1263         if (i == fg->nb_inputs) {
1264             // All the input streams have finished without the filtergraph
1265             // ever being configured.
1266             // Mark the output streams as finished.
1267             for (j = 0; j < fg->nb_outputs; j++)
1268                 finish_output_stream(fg->outputs[j]->ost);
1269         }
1270     }
1271
1272     return 0;
1273 }
1274
1275 // This does not quite work like avcodec_decode_audio4/avcodec_decode_video2.
1276 // There is the following difference: if you got a frame, you must call
1277 // it again with pkt=NULL. pkt==NULL is treated differently from pkt.size==0
1278 // (pkt==NULL means get more output, pkt.size==0 is a flush/drain packet)
1279 static int decode(AVCodecContext *avctx, AVFrame *frame, int *got_frame, AVPacket *pkt)
1280 {
1281     int ret;
1282
1283     *got_frame = 0;
1284
1285     if (pkt) {
1286         ret = avcodec_send_packet(avctx, pkt);
1287         // In particular, we don't expect AVERROR(EAGAIN), because we read all
1288         // decoded frames with avcodec_receive_frame() until done.
1289         if (ret < 0)
1290             return ret == AVERROR_EOF ? 0 : ret;
1291     }
1292
1293     ret = avcodec_receive_frame(avctx, frame);
1294     if (ret < 0 && ret != AVERROR(EAGAIN) && ret != AVERROR_EOF)
1295         return ret;
1296     if (ret >= 0)
1297         *got_frame = 1;
1298
1299     return 0;
1300 }
1301
1302 int guess_input_channel_layout(InputStream *ist)
1303 {
1304     AVCodecContext *dec = ist->dec_ctx;
1305
1306     if (!dec->channel_layout) {
1307         char layout_name[256];
1308
1309         dec->channel_layout = av_get_default_channel_layout(dec->channels);
1310         if (!dec->channel_layout)
1311             return 0;
1312         av_get_channel_layout_string(layout_name, sizeof(layout_name),
1313                                      dec->channels, dec->channel_layout);
1314         av_log(NULL, AV_LOG_WARNING, "Guessed Channel Layout for Input Stream "
1315                "#%d.%d : %s\n", ist->file_index, ist->st->index, layout_name);
1316     }
1317     return 1;
1318 }
1319
1320 static int decode_audio(InputStream *ist, AVPacket *pkt, int *got_output)
1321 {
1322     AVFrame *decoded_frame, *f;
1323     AVCodecContext *avctx = ist->dec_ctx;
1324     int i, ret, err = 0;
1325
1326     if (!ist->decoded_frame && !(ist->decoded_frame = av_frame_alloc()))
1327         return AVERROR(ENOMEM);
1328     if (!ist->filter_frame && !(ist->filter_frame = av_frame_alloc()))
1329         return AVERROR(ENOMEM);
1330     decoded_frame = ist->decoded_frame;
1331
1332     ret = decode(avctx, decoded_frame, got_output, pkt);
1333     if (!*got_output || ret < 0)
1334         return ret;
1335
1336     ist->samples_decoded += decoded_frame->nb_samples;
1337     ist->frames_decoded++;
1338
1339     /* if the decoder provides a pts, use it instead of the last packet pts.
1340        the decoder could be delaying output by a packet or more. */
1341     if (decoded_frame->pts != AV_NOPTS_VALUE)
1342         ist->next_dts = decoded_frame->pts;
1343     else if (pkt && pkt->pts != AV_NOPTS_VALUE) {
1344         decoded_frame->pts = pkt->pts;
1345     }
1346
1347     if (decoded_frame->pts != AV_NOPTS_VALUE)
1348         decoded_frame->pts = av_rescale_q(decoded_frame->pts,
1349                                           ist->st->time_base,
1350                                           (AVRational){1, avctx->sample_rate});
1351     ist->nb_samples = decoded_frame->nb_samples;
1352     for (i = 0; i < ist->nb_filters; i++) {
1353         if (i < ist->nb_filters - 1) {
1354             f = ist->filter_frame;
1355             err = av_frame_ref(f, decoded_frame);
1356             if (err < 0)
1357                 break;
1358         } else
1359             f = decoded_frame;
1360
1361         err = ifilter_send_frame(ist->filters[i], f);
1362         if (err < 0)
1363             break;
1364     }
1365
1366     av_frame_unref(ist->filter_frame);
1367     av_frame_unref(decoded_frame);
1368     return err < 0 ? err : ret;
1369 }
1370
1371 static int decode_video(InputStream *ist, AVPacket *pkt, int *got_output)
1372 {
1373     AVFrame *decoded_frame, *f;
1374     int i, ret = 0, err = 0;
1375
1376     if (!ist->decoded_frame && !(ist->decoded_frame = av_frame_alloc()))
1377         return AVERROR(ENOMEM);
1378     if (!ist->filter_frame && !(ist->filter_frame = av_frame_alloc()))
1379         return AVERROR(ENOMEM);
1380     decoded_frame = ist->decoded_frame;
1381
1382     ret = decode(ist->dec_ctx, decoded_frame, got_output, pkt);
1383     if (!*got_output || ret < 0)
1384         return ret;
1385
1386     ist->frames_decoded++;
1387
1388     if (ist->hwaccel_retrieve_data && decoded_frame->format == ist->hwaccel_pix_fmt) {
1389         err = ist->hwaccel_retrieve_data(ist->dec_ctx, decoded_frame);
1390         if (err < 0)
1391             goto fail;
1392     }
1393     ist->hwaccel_retrieved_pix_fmt = decoded_frame->format;
1394
1395     decoded_frame->pts = guess_correct_pts(&ist->pts_ctx, decoded_frame->pts,
1396                                            decoded_frame->pkt_dts);
1397     if (ist->framerate.num)
1398         decoded_frame->pts = ist->cfr_next_pts++;
1399
1400     if (ist->st->sample_aspect_ratio.num)
1401         decoded_frame->sample_aspect_ratio = ist->st->sample_aspect_ratio;
1402
1403     for (i = 0; i < ist->nb_filters; i++) {
1404         if (i < ist->nb_filters - 1) {
1405             f = ist->filter_frame;
1406             err = av_frame_ref(f, decoded_frame);
1407             if (err < 0)
1408                 break;
1409         } else
1410             f = decoded_frame;
1411
1412         err = ifilter_send_frame(ist->filters[i], f);
1413         if (err < 0)
1414             break;
1415     }
1416
1417 fail:
1418     av_frame_unref(ist->filter_frame);
1419     av_frame_unref(decoded_frame);
1420     return err < 0 ? err : ret;
1421 }
1422
1423 static int transcode_subtitles(InputStream *ist, AVPacket *pkt, int *got_output)
1424 {
1425     AVSubtitle subtitle;
1426     int i, ret = avcodec_decode_subtitle2(ist->dec_ctx,
1427                                           &subtitle, got_output, pkt);
1428     if (ret < 0)
1429         return ret;
1430     if (!*got_output)
1431         return ret;
1432
1433     ist->frames_decoded++;
1434
1435     for (i = 0; i < nb_output_streams; i++) {
1436         OutputStream *ost = output_streams[i];
1437
1438         if (!check_output_constraints(ist, ost) || !ost->encoding_needed)
1439             continue;
1440
1441         do_subtitle_out(output_files[ost->file_index], ost, ist, &subtitle, pkt->pts);
1442     }
1443
1444     avsubtitle_free(&subtitle);
1445     return ret;
1446 }
1447
1448 static int send_filter_eof(InputStream *ist)
1449 {
1450     int i, ret;
1451     for (i = 0; i < ist->nb_filters; i++) {
1452         ret = ifilter_send_eof(ist->filters[i]);
1453         if (ret < 0)
1454             return ret;
1455     }
1456     return 0;
1457 }
1458
1459 /* pkt = NULL means EOF (needed to flush decoder buffers) */
1460 static void process_input_packet(InputStream *ist, const AVPacket *pkt, int no_eof)
1461 {
1462     int i;
1463     int repeating = 0;
1464     AVPacket avpkt;
1465
1466     if (ist->next_dts == AV_NOPTS_VALUE)
1467         ist->next_dts = ist->last_dts;
1468
1469     if (!pkt) {
1470         /* EOF handling */
1471         av_init_packet(&avpkt);
1472         avpkt.data = NULL;
1473         avpkt.size = 0;
1474     } else {
1475         avpkt = *pkt;
1476     }
1477
1478     if (pkt && pkt->dts != AV_NOPTS_VALUE)
1479         ist->next_dts = ist->last_dts = av_rescale_q(pkt->dts, ist->st->time_base, AV_TIME_BASE_Q);
1480
1481     // while we have more to decode or while the decoder did output something on EOF
1482     while (ist->decoding_needed && (!pkt || avpkt.size > 0)) {
1483         int ret = 0;
1484         int got_output = 0;
1485
1486         if (!repeating)
1487             ist->last_dts = ist->next_dts;
1488
1489         switch (ist->dec_ctx->codec_type) {
1490         case AVMEDIA_TYPE_AUDIO:
1491             ret = decode_audio    (ist, repeating ? NULL : &avpkt, &got_output);
1492             break;
1493         case AVMEDIA_TYPE_VIDEO:
1494             ret = decode_video    (ist, repeating ? NULL : &avpkt, &got_output);
1495             if (repeating && !got_output)
1496                 ;
1497             else if (pkt && pkt->duration)
1498                 ist->next_dts += av_rescale_q(pkt->duration, ist->st->time_base, AV_TIME_BASE_Q);
1499             else if (ist->st->avg_frame_rate.num)
1500                 ist->next_dts += av_rescale_q(1, av_inv_q(ist->st->avg_frame_rate),
1501                                               AV_TIME_BASE_Q);
1502             else if (ist->dec_ctx->framerate.num != 0) {
1503                 int ticks      = ist->st->parser ? ist->st->parser->repeat_pict + 1 :
1504                                                    ist->dec_ctx->ticks_per_frame;
1505                 ist->next_dts += av_rescale_q(ticks, ist->dec_ctx->framerate, AV_TIME_BASE_Q);
1506             }
1507             break;
1508         case AVMEDIA_TYPE_SUBTITLE:
1509             if (repeating)
1510                 break;
1511             ret = transcode_subtitles(ist, &avpkt, &got_output);
1512             break;
1513         default:
1514             return;
1515         }
1516
1517         if (ret < 0) {
1518             av_log(NULL, AV_LOG_ERROR, "Error while decoding stream #%d:%d\n",
1519                    ist->file_index, ist->st->index);
1520             if (exit_on_error)
1521                 exit_program(1);
1522             break;
1523         }
1524
1525         if (!got_output)
1526             break;
1527
1528         repeating = 1;
1529     }
1530
1531     /* after flushing, send an EOF on all the filter inputs attached to the stream */
1532     /* except when looping we need to flush but not to send an EOF */
1533     if (!pkt && ist->decoding_needed && !no_eof) {
1534         int ret = send_filter_eof(ist);
1535         if (ret < 0) {
1536             av_log(NULL, AV_LOG_FATAL, "Error marking filters as finished\n");
1537             exit_program(1);
1538         }
1539     }
1540
1541     /* handle stream copy */
1542     if (!ist->decoding_needed) {
1543         ist->last_dts = ist->next_dts;
1544         switch (ist->dec_ctx->codec_type) {
1545         case AVMEDIA_TYPE_AUDIO:
1546             ist->next_dts += ((int64_t)AV_TIME_BASE * ist->dec_ctx->frame_size) /
1547                              ist->dec_ctx->sample_rate;
1548             break;
1549         case AVMEDIA_TYPE_VIDEO:
1550             if (ist->dec_ctx->framerate.num != 0) {
1551                 int ticks = ist->st->parser ? ist->st->parser->repeat_pict + 1 : ist->dec_ctx->ticks_per_frame;
1552                 ist->next_dts += ((int64_t)AV_TIME_BASE *
1553                                   ist->dec_ctx->framerate.den * ticks) /
1554                                   ist->dec_ctx->framerate.num;
1555             }
1556             break;
1557         }
1558     }
1559     for (i = 0; pkt && i < nb_output_streams; i++) {
1560         OutputStream *ost = output_streams[i];
1561
1562         if (!check_output_constraints(ist, ost) || ost->encoding_needed)
1563             continue;
1564
1565         do_streamcopy(ist, ost, pkt);
1566     }
1567
1568     return;
1569 }
1570
1571 static void print_sdp(void)
1572 {
1573     char sdp[16384];
1574     int i;
1575     AVFormatContext **avc;
1576
1577     for (i = 0; i < nb_output_files; i++) {
1578         if (!output_files[i]->header_written)
1579             return;
1580     }
1581
1582     avc = av_malloc(sizeof(*avc) * nb_output_files);
1583     if (!avc)
1584         exit_program(1);
1585     for (i = 0; i < nb_output_files; i++)
1586         avc[i] = output_files[i]->ctx;
1587
1588     av_sdp_create(avc, nb_output_files, sdp, sizeof(sdp));
1589     printf("SDP:\n%s\n", sdp);
1590     fflush(stdout);
1591     av_freep(&avc);
1592 }
1593
1594 static const HWAccel *get_hwaccel(enum AVPixelFormat pix_fmt)
1595 {
1596     int i;
1597     for (i = 0; hwaccels[i].name; i++)
1598         if (hwaccels[i].pix_fmt == pix_fmt)
1599             return &hwaccels[i];
1600     return NULL;
1601 }
1602
1603 static enum AVPixelFormat get_format(AVCodecContext *s, const enum AVPixelFormat *pix_fmts)
1604 {
1605     InputStream *ist = s->opaque;
1606     const enum AVPixelFormat *p;
1607     int ret;
1608
1609     for (p = pix_fmts; *p != -1; p++) {
1610         const AVPixFmtDescriptor *desc = av_pix_fmt_desc_get(*p);
1611         const HWAccel *hwaccel;
1612
1613         if (!(desc->flags & AV_PIX_FMT_FLAG_HWACCEL))
1614             break;
1615
1616         hwaccel = get_hwaccel(*p);
1617         if (!hwaccel ||
1618             (ist->active_hwaccel_id && ist->active_hwaccel_id != hwaccel->id) ||
1619             (ist->hwaccel_id != HWACCEL_AUTO && ist->hwaccel_id != hwaccel->id))
1620             continue;
1621
1622         ret = hwaccel->init(s);
1623         if (ret < 0) {
1624             if (ist->hwaccel_id == hwaccel->id) {
1625                 av_log(NULL, AV_LOG_FATAL,
1626                        "%s hwaccel requested for input stream #%d:%d, "
1627                        "but cannot be initialized.\n", hwaccel->name,
1628                        ist->file_index, ist->st->index);
1629                 return AV_PIX_FMT_NONE;
1630             }
1631             continue;
1632         }
1633
1634         if (ist->hw_frames_ctx) {
1635             s->hw_frames_ctx = av_buffer_ref(ist->hw_frames_ctx);
1636             if (!s->hw_frames_ctx)
1637                 return AV_PIX_FMT_NONE;
1638         }
1639
1640         ist->active_hwaccel_id = hwaccel->id;
1641         ist->hwaccel_pix_fmt   = *p;
1642         break;
1643     }
1644
1645     return *p;
1646 }
1647
1648 static int get_buffer(AVCodecContext *s, AVFrame *frame, int flags)
1649 {
1650     InputStream *ist = s->opaque;
1651
1652     if (ist->hwaccel_get_buffer && frame->format == ist->hwaccel_pix_fmt)
1653         return ist->hwaccel_get_buffer(s, frame, flags);
1654
1655     return avcodec_default_get_buffer2(s, frame, flags);
1656 }
1657
1658 static int init_input_stream(int ist_index, char *error, int error_len)
1659 {
1660     int ret;
1661     InputStream *ist = input_streams[ist_index];
1662
1663     if (ist->decoding_needed) {
1664         AVCodec *codec = ist->dec;
1665         if (!codec) {
1666             snprintf(error, error_len, "Decoder (codec id %d) not found for input stream #%d:%d",
1667                     ist->dec_ctx->codec_id, ist->file_index, ist->st->index);
1668             return AVERROR(EINVAL);
1669         }
1670
1671         ist->dec_ctx->opaque                = ist;
1672         ist->dec_ctx->get_format            = get_format;
1673         ist->dec_ctx->get_buffer2           = get_buffer;
1674         ist->dec_ctx->thread_safe_callbacks = 1;
1675
1676         av_opt_set_int(ist->dec_ctx, "refcounted_frames", 1, 0);
1677
1678         if (!av_dict_get(ist->decoder_opts, "threads", NULL, 0))
1679             av_dict_set(&ist->decoder_opts, "threads", "auto", 0);
1680         if ((ret = avcodec_open2(ist->dec_ctx, codec, &ist->decoder_opts)) < 0) {
1681             char errbuf[128];
1682             if (ret == AVERROR_EXPERIMENTAL)
1683                 abort_codec_experimental(codec, 0);
1684
1685             av_strerror(ret, errbuf, sizeof(errbuf));
1686
1687             snprintf(error, error_len,
1688                      "Error while opening decoder for input stream "
1689                      "#%d:%d : %s",
1690                      ist->file_index, ist->st->index, errbuf);
1691             return ret;
1692         }
1693         assert_avoptions(ist->decoder_opts);
1694     }
1695
1696     ist->last_dts = ist->st->avg_frame_rate.num ? - ist->dec_ctx->has_b_frames * AV_TIME_BASE / av_q2d(ist->st->avg_frame_rate) : 0;
1697     ist->next_dts = AV_NOPTS_VALUE;
1698     init_pts_correction(&ist->pts_ctx);
1699
1700     return 0;
1701 }
1702
1703 static InputStream *get_input_stream(OutputStream *ost)
1704 {
1705     if (ost->source_index >= 0)
1706         return input_streams[ost->source_index];
1707
1708     if (ost->filter) {
1709         FilterGraph *fg = ost->filter->graph;
1710         int i;
1711
1712         for (i = 0; i < fg->nb_inputs; i++)
1713             if (fg->inputs[i]->ist->dec_ctx->codec_type == ost->enc_ctx->codec_type)
1714                 return fg->inputs[i]->ist;
1715     }
1716
1717     return NULL;
1718 }
1719
1720 /* open the muxer when all the streams are initialized */
1721 static int check_init_output_file(OutputFile *of, int file_index)
1722 {
1723     int ret, i;
1724
1725     for (i = 0; i < of->ctx->nb_streams; i++) {
1726         OutputStream *ost = output_streams[of->ost_index + i];
1727         if (!ost->initialized)
1728             return 0;
1729     }
1730
1731     of->ctx->interrupt_callback = int_cb;
1732
1733     ret = avformat_write_header(of->ctx, &of->opts);
1734     if (ret < 0) {
1735         char errbuf[128];
1736
1737         av_strerror(ret, errbuf, sizeof(errbuf));
1738
1739         av_log(NULL, AV_LOG_ERROR,
1740                "Could not write header for output file #%d "
1741                "(incorrect codec parameters ?): %s",
1742                file_index, errbuf);
1743         return ret;
1744     }
1745     assert_avoptions(of->opts);
1746     of->header_written = 1;
1747
1748     av_dump_format(of->ctx, file_index, of->ctx->filename, 1);
1749
1750     if (want_sdp)
1751         print_sdp();
1752
1753     /* flush the muxing queues */
1754     for (i = 0; i < of->ctx->nb_streams; i++) {
1755         OutputStream *ost = output_streams[of->ost_index + i];
1756
1757         while (av_fifo_size(ost->muxing_queue)) {
1758             AVPacket pkt;
1759             av_fifo_generic_read(ost->muxing_queue, &pkt, sizeof(pkt), NULL);
1760             write_packet(of, &pkt, ost);
1761         }
1762     }
1763
1764     return 0;
1765 }
1766
1767 static int init_output_bsfs(OutputStream *ost)
1768 {
1769     AVBSFContext *ctx;
1770     int i, ret;
1771
1772     if (!ost->nb_bitstream_filters)
1773         return 0;
1774
1775     ost->bsf_ctx = av_mallocz_array(ost->nb_bitstream_filters, sizeof(*ost->bsf_ctx));
1776     if (!ost->bsf_ctx)
1777         return AVERROR(ENOMEM);
1778
1779     for (i = 0; i < ost->nb_bitstream_filters; i++) {
1780         ret = av_bsf_alloc(ost->bitstream_filters[i], &ctx);
1781         if (ret < 0) {
1782             av_log(NULL, AV_LOG_ERROR, "Error allocating a bitstream filter context\n");
1783             return ret;
1784         }
1785         ost->bsf_ctx[i] = ctx;
1786
1787         ret = avcodec_parameters_copy(ctx->par_in,
1788                                       i ? ost->bsf_ctx[i - 1]->par_out : ost->st->codecpar);
1789         if (ret < 0)
1790             return ret;
1791
1792         ctx->time_base_in = i ? ost->bsf_ctx[i - 1]->time_base_out : ost->st->time_base;
1793
1794         ret = av_bsf_init(ctx);
1795         if (ret < 0) {
1796             av_log(NULL, AV_LOG_ERROR, "Error initializing bitstream filter: %s\n",
1797                    ost->bitstream_filters[i]->name);
1798             return ret;
1799         }
1800     }
1801
1802     ctx = ost->bsf_ctx[ost->nb_bitstream_filters - 1];
1803     ret = avcodec_parameters_copy(ost->st->codecpar, ctx->par_out);
1804     if (ret < 0)
1805         return ret;
1806
1807     ost->st->time_base = ctx->time_base_out;
1808
1809     return 0;
1810 }
1811
1812 static int init_output_stream_streamcopy(OutputStream *ost)
1813 {
1814     OutputFile *of = output_files[ost->file_index];
1815     InputStream *ist = get_input_stream(ost);
1816     AVCodecParameters *par_dst = ost->st->codecpar;
1817     AVCodecParameters *par_src = ist->st->codecpar;
1818     AVRational sar;
1819     uint32_t codec_tag = par_dst->codec_tag;
1820     int i, ret;
1821
1822     if (!codec_tag) {
1823         if (!of->ctx->oformat->codec_tag ||
1824              av_codec_get_id (of->ctx->oformat->codec_tag, par_src->codec_tag) == par_src->codec_id ||
1825              av_codec_get_tag(of->ctx->oformat->codec_tag, par_src->codec_id) <= 0)
1826             codec_tag = par_src->codec_tag;
1827     }
1828
1829     ret = avcodec_parameters_copy(par_dst, par_src);
1830     if (ret < 0)
1831         return ret;
1832
1833     par_dst->codec_tag = codec_tag;
1834
1835     ost->st->disposition = ist->st->disposition;
1836
1837     ost->st->time_base = ist->st->time_base;
1838
1839     if (ist->st->nb_side_data) {
1840         ost->st->side_data = av_realloc_array(NULL, ist->st->nb_side_data,
1841                                               sizeof(*ist->st->side_data));
1842         if (!ost->st->side_data)
1843             return AVERROR(ENOMEM);
1844
1845         for (i = 0; i < ist->st->nb_side_data; i++) {
1846             const AVPacketSideData *sd_src = &ist->st->side_data[i];
1847             AVPacketSideData *sd_dst = &ost->st->side_data[i];
1848
1849             sd_dst->data = av_malloc(sd_src->size);
1850             if (!sd_dst->data)
1851                 return AVERROR(ENOMEM);
1852             memcpy(sd_dst->data, sd_src->data, sd_src->size);
1853             sd_dst->size = sd_src->size;
1854             sd_dst->type = sd_src->type;
1855             ost->st->nb_side_data++;
1856         }
1857     }
1858
1859     ost->parser = av_parser_init(par_dst->codec_id);
1860     ost->parser_avctx = avcodec_alloc_context3(NULL);
1861     if (!ost->parser_avctx)
1862         return AVERROR(ENOMEM);
1863
1864     if (par_dst->codec_type == AVMEDIA_TYPE_VIDEO) {
1865         if (ost->frame_aspect_ratio)
1866             sar = av_d2q(ost->frame_aspect_ratio * par_dst->height / par_dst->width, 255);
1867         else if (ist->st->sample_aspect_ratio.num)
1868             sar = ist->st->sample_aspect_ratio;
1869         else
1870             sar = par_src->sample_aspect_ratio;
1871         ost->st->sample_aspect_ratio = par_dst->sample_aspect_ratio = sar;
1872     }
1873
1874     return 0;
1875 }
1876
1877 static void set_encoder_id(OutputFile *of, OutputStream *ost)
1878 {
1879     AVDictionaryEntry *e;
1880
1881     uint8_t *encoder_string;
1882     int encoder_string_len;
1883     int format_flags = 0;
1884
1885     e = av_dict_get(of->opts, "fflags", NULL, 0);
1886     if (e) {
1887         const AVOption *o = av_opt_find(of->ctx, "fflags", NULL, 0, 0);
1888         if (!o)
1889             return;
1890         av_opt_eval_flags(of->ctx, o, e->value, &format_flags);
1891     }
1892
1893     encoder_string_len = sizeof(LIBAVCODEC_IDENT) + strlen(ost->enc->name) + 2;
1894     encoder_string     = av_mallocz(encoder_string_len);
1895     if (!encoder_string)
1896         exit_program(1);
1897
1898     if (!(format_flags & AVFMT_FLAG_BITEXACT))
1899         av_strlcpy(encoder_string, LIBAVCODEC_IDENT " ", encoder_string_len);
1900     av_strlcat(encoder_string, ost->enc->name, encoder_string_len);
1901     av_dict_set(&ost->st->metadata, "encoder",  encoder_string,
1902                 AV_DICT_DONT_STRDUP_VAL | AV_DICT_DONT_OVERWRITE);
1903 }
1904
1905 static void parse_forced_key_frames(char *kf, OutputStream *ost,
1906                                     AVCodecContext *avctx)
1907 {
1908     char *p;
1909     int n = 1, i;
1910     int64_t t;
1911
1912     for (p = kf; *p; p++)
1913         if (*p == ',')
1914             n++;
1915     ost->forced_kf_count = n;
1916     ost->forced_kf_pts   = av_malloc(sizeof(*ost->forced_kf_pts) * n);
1917     if (!ost->forced_kf_pts) {
1918         av_log(NULL, AV_LOG_FATAL, "Could not allocate forced key frames array.\n");
1919         exit_program(1);
1920     }
1921
1922     p = kf;
1923     for (i = 0; i < n; i++) {
1924         char *next = strchr(p, ',');
1925
1926         if (next)
1927             *next++ = 0;
1928
1929         t = parse_time_or_die("force_key_frames", p, 1);
1930         ost->forced_kf_pts[i] = av_rescale_q(t, AV_TIME_BASE_Q, avctx->time_base);
1931
1932         p = next;
1933     }
1934 }
1935
1936 static int init_output_stream_encode(OutputStream *ost)
1937 {
1938     InputStream *ist = get_input_stream(ost);
1939     AVCodecContext *enc_ctx = ost->enc_ctx;
1940     AVCodecContext *dec_ctx = NULL;
1941
1942     set_encoder_id(output_files[ost->file_index], ost);
1943
1944     if (ist) {
1945         ost->st->disposition = ist->st->disposition;
1946
1947         dec_ctx = ist->dec_ctx;
1948
1949         enc_ctx->bits_per_raw_sample    = dec_ctx->bits_per_raw_sample;
1950         enc_ctx->chroma_sample_location = dec_ctx->chroma_sample_location;
1951     }
1952
1953     switch (enc_ctx->codec_type) {
1954     case AVMEDIA_TYPE_AUDIO:
1955         enc_ctx->sample_fmt     = ost->filter->filter->inputs[0]->format;
1956         enc_ctx->sample_rate    = ost->filter->filter->inputs[0]->sample_rate;
1957         enc_ctx->channel_layout = ost->filter->filter->inputs[0]->channel_layout;
1958         enc_ctx->channels       = av_get_channel_layout_nb_channels(enc_ctx->channel_layout);
1959         enc_ctx->time_base      = (AVRational){ 1, enc_ctx->sample_rate };
1960         break;
1961     case AVMEDIA_TYPE_VIDEO:
1962         enc_ctx->time_base = ost->filter->filter->inputs[0]->time_base;
1963
1964         enc_ctx->width  = ost->filter->filter->inputs[0]->w;
1965         enc_ctx->height = ost->filter->filter->inputs[0]->h;
1966         enc_ctx->sample_aspect_ratio = ost->st->sample_aspect_ratio =
1967             ost->frame_aspect_ratio ? // overridden by the -aspect cli option
1968             av_d2q(ost->frame_aspect_ratio * enc_ctx->height/enc_ctx->width, 255) :
1969             ost->filter->filter->inputs[0]->sample_aspect_ratio;
1970         enc_ctx->pix_fmt = ost->filter->filter->inputs[0]->format;
1971
1972         ost->st->avg_frame_rate = ost->frame_rate;
1973
1974         if (dec_ctx &&
1975             (enc_ctx->width   != dec_ctx->width  ||
1976              enc_ctx->height  != dec_ctx->height ||
1977              enc_ctx->pix_fmt != dec_ctx->pix_fmt)) {
1978             enc_ctx->bits_per_raw_sample = 0;
1979         }
1980
1981         if (ost->forced_keyframes)
1982             parse_forced_key_frames(ost->forced_keyframes, ost,
1983                                     ost->enc_ctx);
1984         break;
1985     case AVMEDIA_TYPE_SUBTITLE:
1986         enc_ctx->time_base = (AVRational){1, 1000};
1987         break;
1988     default:
1989         abort();
1990         break;
1991     }
1992
1993     return 0;
1994 }
1995
1996 static int init_output_stream(OutputStream *ost, char *error, int error_len)
1997 {
1998     int ret = 0;
1999
2000     if (ost->encoding_needed) {
2001         AVCodec      *codec = ost->enc;
2002         AVCodecContext *dec = NULL;
2003         InputStream *ist;
2004
2005         ret = init_output_stream_encode(ost);
2006         if (ret < 0)
2007             return ret;
2008
2009         if ((ist = get_input_stream(ost)))
2010             dec = ist->dec_ctx;
2011         if (dec && dec->subtitle_header) {
2012             ost->enc_ctx->subtitle_header = av_malloc(dec->subtitle_header_size);
2013             if (!ost->enc_ctx->subtitle_header)
2014                 return AVERROR(ENOMEM);
2015             memcpy(ost->enc_ctx->subtitle_header, dec->subtitle_header, dec->subtitle_header_size);
2016             ost->enc_ctx->subtitle_header_size = dec->subtitle_header_size;
2017         }
2018         if (!av_dict_get(ost->encoder_opts, "threads", NULL, 0))
2019             av_dict_set(&ost->encoder_opts, "threads", "auto", 0);
2020
2021         if (ost->filter && ost->filter->filter->inputs[0]->hw_frames_ctx) {
2022             ost->enc_ctx->hw_frames_ctx = av_buffer_ref(ost->filter->filter->inputs[0]->hw_frames_ctx);
2023             if (!ost->enc_ctx->hw_frames_ctx)
2024                 return AVERROR(ENOMEM);
2025         }
2026
2027         if ((ret = avcodec_open2(ost->enc_ctx, codec, &ost->encoder_opts)) < 0) {
2028             if (ret == AVERROR_EXPERIMENTAL)
2029                 abort_codec_experimental(codec, 1);
2030             snprintf(error, error_len,
2031                      "Error while opening encoder for output stream #%d:%d - "
2032                      "maybe incorrect parameters such as bit_rate, rate, width or height",
2033                     ost->file_index, ost->index);
2034             return ret;
2035         }
2036         assert_avoptions(ost->encoder_opts);
2037         if (ost->enc_ctx->bit_rate && ost->enc_ctx->bit_rate < 1000)
2038             av_log(NULL, AV_LOG_WARNING, "The bitrate parameter is set too low."
2039                                          "It takes bits/s as argument, not kbits/s\n");
2040
2041         ret = avcodec_parameters_from_context(ost->st->codecpar, ost->enc_ctx);
2042         if (ret < 0) {
2043             av_log(NULL, AV_LOG_FATAL,
2044                    "Error initializing the output stream codec context.\n");
2045             exit_program(1);
2046         }
2047
2048         if (ost->enc_ctx->nb_coded_side_data) {
2049             int i;
2050
2051             ost->st->side_data = av_realloc_array(NULL, ost->enc_ctx->nb_coded_side_data,
2052                                                   sizeof(*ost->st->side_data));
2053             if (!ost->st->side_data)
2054                 return AVERROR(ENOMEM);
2055
2056             for (i = 0; i < ost->enc_ctx->nb_coded_side_data; i++) {
2057                 const AVPacketSideData *sd_src = &ost->enc_ctx->coded_side_data[i];
2058                 AVPacketSideData *sd_dst = &ost->st->side_data[i];
2059
2060                 sd_dst->data = av_malloc(sd_src->size);
2061                 if (!sd_dst->data)
2062                     return AVERROR(ENOMEM);
2063                 memcpy(sd_dst->data, sd_src->data, sd_src->size);
2064                 sd_dst->size = sd_src->size;
2065                 sd_dst->type = sd_src->type;
2066                 ost->st->nb_side_data++;
2067             }
2068         }
2069
2070         ost->st->time_base = ost->enc_ctx->time_base;
2071     } else if (ost->stream_copy) {
2072         ret = init_output_stream_streamcopy(ost);
2073         if (ret < 0)
2074             return ret;
2075
2076         /*
2077          * FIXME: will the codec context used by the parser during streamcopy
2078          * This should go away with the new parser API.
2079          */
2080         ret = avcodec_parameters_to_context(ost->parser_avctx, ost->st->codecpar);
2081         if (ret < 0)
2082             return ret;
2083     }
2084
2085     /* initialize bitstream filters for the output stream
2086      * needs to be done here, because the codec id for streamcopy is not
2087      * known until now */
2088     ret = init_output_bsfs(ost);
2089     if (ret < 0)
2090         return ret;
2091
2092     ost->mux_timebase = ost->st->time_base;
2093
2094     ost->initialized = 1;
2095
2096     ret = check_init_output_file(output_files[ost->file_index], ost->file_index);
2097     if (ret < 0)
2098         return ret;
2099
2100     return ret;
2101 }
2102
2103 static int transcode_init(void)
2104 {
2105     int ret = 0, i, j, k;
2106     OutputStream *ost;
2107     InputStream *ist;
2108     char error[1024];
2109
2110     /* init framerate emulation */
2111     for (i = 0; i < nb_input_files; i++) {
2112         InputFile *ifile = input_files[i];
2113         if (ifile->rate_emu)
2114             for (j = 0; j < ifile->nb_streams; j++)
2115                 input_streams[j + ifile->ist_index]->start = av_gettime_relative();
2116     }
2117
2118     /* init input streams */
2119     for (i = 0; i < nb_input_streams; i++)
2120         if ((ret = init_input_stream(i, error, sizeof(error))) < 0)
2121             goto dump_format;
2122
2123     /* open each encoder */
2124     for (i = 0; i < nb_output_streams; i++) {
2125         // skip streams fed from filtergraphs until we have a frame for them
2126         if (output_streams[i]->filter)
2127             continue;
2128
2129         ret = init_output_stream(output_streams[i], error, sizeof(error));
2130         if (ret < 0)
2131             goto dump_format;
2132     }
2133
2134
2135     /* discard unused programs */
2136     for (i = 0; i < nb_input_files; i++) {
2137         InputFile *ifile = input_files[i];
2138         for (j = 0; j < ifile->ctx->nb_programs; j++) {
2139             AVProgram *p = ifile->ctx->programs[j];
2140             int discard  = AVDISCARD_ALL;
2141
2142             for (k = 0; k < p->nb_stream_indexes; k++)
2143                 if (!input_streams[ifile->ist_index + p->stream_index[k]]->discard) {
2144                     discard = AVDISCARD_DEFAULT;
2145                     break;
2146                 }
2147             p->discard = discard;
2148         }
2149     }
2150
2151  dump_format:
2152     /* dump the stream mapping */
2153     av_log(NULL, AV_LOG_INFO, "Stream mapping:\n");
2154     for (i = 0; i < nb_input_streams; i++) {
2155         ist = input_streams[i];
2156
2157         for (j = 0; j < ist->nb_filters; j++) {
2158             if (!filtergraph_is_simple(ist->filters[j]->graph)) {
2159                 av_log(NULL, AV_LOG_INFO, "  Stream #%d:%d (%s) -> %s",
2160                        ist->file_index, ist->st->index, ist->dec ? ist->dec->name : "?",
2161                        ist->filters[j]->name);
2162                 if (nb_filtergraphs > 1)
2163                     av_log(NULL, AV_LOG_INFO, " (graph %d)", ist->filters[j]->graph->index);
2164                 av_log(NULL, AV_LOG_INFO, "\n");
2165             }
2166         }
2167     }
2168
2169     for (i = 0; i < nb_output_streams; i++) {
2170         ost = output_streams[i];
2171
2172         if (ost->attachment_filename) {
2173             /* an attached file */
2174             av_log(NULL, AV_LOG_INFO, "  File %s -> Stream #%d:%d\n",
2175                    ost->attachment_filename, ost->file_index, ost->index);
2176             continue;
2177         }
2178
2179         if (ost->filter && !filtergraph_is_simple(ost->filter->graph)) {
2180             /* output from a complex graph */
2181             av_log(NULL, AV_LOG_INFO, "  %s", ost->filter->name);
2182             if (nb_filtergraphs > 1)
2183                 av_log(NULL, AV_LOG_INFO, " (graph %d)", ost->filter->graph->index);
2184
2185             av_log(NULL, AV_LOG_INFO, " -> Stream #%d:%d (%s)\n", ost->file_index,
2186                    ost->index, ost->enc ? ost->enc->name : "?");
2187             continue;
2188         }
2189
2190         av_log(NULL, AV_LOG_INFO, "  Stream #%d:%d -> #%d:%d",
2191                input_streams[ost->source_index]->file_index,
2192                input_streams[ost->source_index]->st->index,
2193                ost->file_index,
2194                ost->index);
2195         if (ost->sync_ist != input_streams[ost->source_index])
2196             av_log(NULL, AV_LOG_INFO, " [sync #%d:%d]",
2197                    ost->sync_ist->file_index,
2198                    ost->sync_ist->st->index);
2199         if (ost->stream_copy)
2200             av_log(NULL, AV_LOG_INFO, " (copy)");
2201         else {
2202             const AVCodec *in_codec    = input_streams[ost->source_index]->dec;
2203             const AVCodec *out_codec   = ost->enc;
2204             const char *decoder_name   = "?";
2205             const char *in_codec_name  = "?";
2206             const char *encoder_name   = "?";
2207             const char *out_codec_name = "?";
2208             const AVCodecDescriptor *desc;
2209
2210             if (in_codec) {
2211                 decoder_name  = in_codec->name;
2212                 desc = avcodec_descriptor_get(in_codec->id);
2213                 if (desc)
2214                     in_codec_name = desc->name;
2215                 if (!strcmp(decoder_name, in_codec_name))
2216                     decoder_name = "native";
2217             }
2218
2219             if (out_codec) {
2220                 encoder_name   = out_codec->name;
2221                 desc = avcodec_descriptor_get(out_codec->id);
2222                 if (desc)
2223                     out_codec_name = desc->name;
2224                 if (!strcmp(encoder_name, out_codec_name))
2225                     encoder_name = "native";
2226             }
2227
2228             av_log(NULL, AV_LOG_INFO, " (%s (%s) -> %s (%s))",
2229                    in_codec_name, decoder_name,
2230                    out_codec_name, encoder_name);
2231         }
2232         av_log(NULL, AV_LOG_INFO, "\n");
2233     }
2234
2235     if (ret) {
2236         av_log(NULL, AV_LOG_ERROR, "%s\n", error);
2237         return ret;
2238     }
2239
2240     return 0;
2241 }
2242
2243 /* Return 1 if there remain streams where more output is wanted, 0 otherwise. */
2244 static int need_output(void)
2245 {
2246     int i;
2247
2248     for (i = 0; i < nb_output_streams; i++) {
2249         OutputStream *ost    = output_streams[i];
2250         OutputFile *of       = output_files[ost->file_index];
2251         AVFormatContext *os  = output_files[ost->file_index]->ctx;
2252
2253         if (ost->finished ||
2254             (os->pb && avio_tell(os->pb) >= of->limit_filesize))
2255             continue;
2256         if (ost->frame_number >= ost->max_frames) {
2257             int j;
2258             for (j = 0; j < of->ctx->nb_streams; j++)
2259                 output_streams[of->ost_index + j]->finished = 1;
2260             continue;
2261         }
2262
2263         return 1;
2264     }
2265
2266     return 0;
2267 }
2268
2269 static InputFile *select_input_file(void)
2270 {
2271     InputFile *ifile = NULL;
2272     int64_t ipts_min = INT64_MAX;
2273     int i;
2274
2275     for (i = 0; i < nb_input_streams; i++) {
2276         InputStream *ist = input_streams[i];
2277         int64_t ipts     = ist->last_dts;
2278
2279         if (ist->discard || input_files[ist->file_index]->eagain)
2280             continue;
2281         if (!input_files[ist->file_index]->eof_reached) {
2282             if (ipts < ipts_min) {
2283                 ipts_min = ipts;
2284                 ifile    = input_files[ist->file_index];
2285             }
2286         }
2287     }
2288
2289     return ifile;
2290 }
2291
2292 #if HAVE_PTHREADS
2293 static void *input_thread(void *arg)
2294 {
2295     InputFile *f = arg;
2296     int ret = 0;
2297
2298     while (!transcoding_finished && ret >= 0) {
2299         AVPacket pkt;
2300         ret = av_read_frame(f->ctx, &pkt);
2301
2302         if (ret == AVERROR(EAGAIN)) {
2303             av_usleep(10000);
2304             ret = 0;
2305             continue;
2306         } else if (ret < 0)
2307             break;
2308
2309         pthread_mutex_lock(&f->fifo_lock);
2310         while (!av_fifo_space(f->fifo))
2311             pthread_cond_wait(&f->fifo_cond, &f->fifo_lock);
2312
2313         av_fifo_generic_write(f->fifo, &pkt, sizeof(pkt), NULL);
2314
2315         pthread_mutex_unlock(&f->fifo_lock);
2316     }
2317
2318     f->finished = 1;
2319     return NULL;
2320 }
2321
2322 static void free_input_threads(void)
2323 {
2324     int i;
2325
2326     if (nb_input_files == 1)
2327         return;
2328
2329     transcoding_finished = 1;
2330
2331     for (i = 0; i < nb_input_files; i++) {
2332         InputFile *f = input_files[i];
2333         AVPacket pkt;
2334
2335         if (!f->fifo || f->joined)
2336             continue;
2337
2338         pthread_mutex_lock(&f->fifo_lock);
2339         while (av_fifo_size(f->fifo)) {
2340             av_fifo_generic_read(f->fifo, &pkt, sizeof(pkt), NULL);
2341             av_packet_unref(&pkt);
2342         }
2343         pthread_cond_signal(&f->fifo_cond);
2344         pthread_mutex_unlock(&f->fifo_lock);
2345
2346         pthread_join(f->thread, NULL);
2347         f->joined = 1;
2348
2349         while (av_fifo_size(f->fifo)) {
2350             av_fifo_generic_read(f->fifo, &pkt, sizeof(pkt), NULL);
2351             av_packet_unref(&pkt);
2352         }
2353         av_fifo_free(f->fifo);
2354     }
2355 }
2356
2357 static int init_input_threads(void)
2358 {
2359     int i, ret;
2360
2361     if (nb_input_files == 1)
2362         return 0;
2363
2364     for (i = 0; i < nb_input_files; i++) {
2365         InputFile *f = input_files[i];
2366
2367         if (!(f->fifo = av_fifo_alloc(8*sizeof(AVPacket))))
2368             return AVERROR(ENOMEM);
2369
2370         pthread_mutex_init(&f->fifo_lock, NULL);
2371         pthread_cond_init (&f->fifo_cond, NULL);
2372
2373         if ((ret = pthread_create(&f->thread, NULL, input_thread, f)))
2374             return AVERROR(ret);
2375     }
2376     return 0;
2377 }
2378
2379 static int get_input_packet_mt(InputFile *f, AVPacket *pkt)
2380 {
2381     int ret = 0;
2382
2383     pthread_mutex_lock(&f->fifo_lock);
2384
2385     if (av_fifo_size(f->fifo)) {
2386         av_fifo_generic_read(f->fifo, pkt, sizeof(*pkt), NULL);
2387         pthread_cond_signal(&f->fifo_cond);
2388     } else {
2389         if (f->finished)
2390             ret = AVERROR_EOF;
2391         else
2392             ret = AVERROR(EAGAIN);
2393     }
2394
2395     pthread_mutex_unlock(&f->fifo_lock);
2396
2397     return ret;
2398 }
2399 #endif
2400
2401 static int get_input_packet(InputFile *f, AVPacket *pkt)
2402 {
2403     if (f->rate_emu) {
2404         int i;
2405         for (i = 0; i < f->nb_streams; i++) {
2406             InputStream *ist = input_streams[f->ist_index + i];
2407             int64_t pts = av_rescale(ist->last_dts, 1000000, AV_TIME_BASE);
2408             int64_t now = av_gettime_relative() - ist->start;
2409             if (pts > now)
2410                 return AVERROR(EAGAIN);
2411         }
2412     }
2413
2414 #if HAVE_PTHREADS
2415     if (nb_input_files > 1)
2416         return get_input_packet_mt(f, pkt);
2417 #endif
2418     return av_read_frame(f->ctx, pkt);
2419 }
2420
2421 static int got_eagain(void)
2422 {
2423     int i;
2424     for (i = 0; i < nb_input_files; i++)
2425         if (input_files[i]->eagain)
2426             return 1;
2427     return 0;
2428 }
2429
2430 static void reset_eagain(void)
2431 {
2432     int i;
2433     for (i = 0; i < nb_input_files; i++)
2434         input_files[i]->eagain = 0;
2435 }
2436
2437 // set duration to max(tmp, duration) in a proper time base and return duration's time_base
2438 static AVRational duration_max(int64_t tmp, int64_t *duration, AVRational tmp_time_base,
2439                                 AVRational time_base)
2440 {
2441     int ret;
2442
2443     if (!*duration) {
2444         *duration = tmp;
2445         return tmp_time_base;
2446     }
2447
2448     ret = av_compare_ts(*duration, time_base, tmp, tmp_time_base);
2449     if (ret < 0) {
2450         *duration = tmp;
2451         return tmp_time_base;
2452     }
2453
2454     return time_base;
2455 }
2456
2457 static int seek_to_start(InputFile *ifile, AVFormatContext *is)
2458 {
2459     InputStream *ist;
2460     AVCodecContext *avctx;
2461     int i, ret, has_audio = 0;
2462     int64_t duration = 0;
2463
2464     ret = av_seek_frame(is, -1, is->start_time, 0);
2465     if (ret < 0)
2466         return ret;
2467
2468     for (i = 0; i < ifile->nb_streams; i++) {
2469         ist   = input_streams[ifile->ist_index + i];
2470         avctx = ist->dec_ctx;
2471
2472         // flush decoders
2473         if (ist->decoding_needed) {
2474             process_input_packet(ist, NULL, 1);
2475             avcodec_flush_buffers(avctx);
2476         }
2477
2478         /* duration is the length of the last frame in a stream
2479          * when audio stream is present we don't care about
2480          * last video frame length because it's not defined exactly */
2481         if (avctx->codec_type == AVMEDIA_TYPE_AUDIO && ist->nb_samples)
2482             has_audio = 1;
2483     }
2484
2485     for (i = 0; i < ifile->nb_streams; i++) {
2486         ist   = input_streams[ifile->ist_index + i];
2487         avctx = ist->dec_ctx;
2488
2489         if (has_audio) {
2490             if (avctx->codec_type == AVMEDIA_TYPE_AUDIO && ist->nb_samples) {
2491                 AVRational sample_rate = {1, avctx->sample_rate};
2492
2493                 duration = av_rescale_q(ist->nb_samples, sample_rate, ist->st->time_base);
2494             } else
2495                 continue;
2496         } else {
2497             if (ist->framerate.num) {
2498                 duration = av_rescale_q(1, ist->framerate, ist->st->time_base);
2499             } else if (ist->st->avg_frame_rate.num) {
2500                 duration = av_rescale_q(1, ist->st->avg_frame_rate, ist->st->time_base);
2501             } else duration = 1;
2502         }
2503         if (!ifile->duration)
2504             ifile->time_base = ist->st->time_base;
2505         /* the total duration of the stream, max_pts - min_pts is
2506          * the duration of the stream without the last frame */
2507         duration += ist->max_pts - ist->min_pts;
2508         ifile->time_base = duration_max(duration, &ifile->duration, ist->st->time_base,
2509                                         ifile->time_base);
2510     }
2511
2512     if (ifile->loop > 0)
2513         ifile->loop--;
2514
2515     return ret;
2516 }
2517
2518 /*
2519  * Read one packet from an input file and send it for
2520  * - decoding -> lavfi (audio/video)
2521  * - decoding -> encoding -> muxing (subtitles)
2522  * - muxing (streamcopy)
2523  *
2524  * Return
2525  * - 0 -- one packet was read and processed
2526  * - AVERROR(EAGAIN) -- no packets were available for selected file,
2527  *   this function should be called again
2528  * - AVERROR_EOF -- this function should not be called again
2529  */
2530 static int process_input(void)
2531 {
2532     InputFile *ifile;
2533     AVFormatContext *is;
2534     InputStream *ist;
2535     AVPacket pkt;
2536     int ret, i, j;
2537     int64_t duration;
2538
2539     /* select the stream that we must read now */
2540     ifile = select_input_file();
2541     /* if none, if is finished */
2542     if (!ifile) {
2543         if (got_eagain()) {
2544             reset_eagain();
2545             av_usleep(10000);
2546             return AVERROR(EAGAIN);
2547         }
2548         av_log(NULL, AV_LOG_VERBOSE, "No more inputs to read from.\n");
2549         return AVERROR_EOF;
2550     }
2551
2552     is  = ifile->ctx;
2553     ret = get_input_packet(ifile, &pkt);
2554
2555     if (ret == AVERROR(EAGAIN)) {
2556         ifile->eagain = 1;
2557         return ret;
2558     }
2559     if (ret < 0 && ifile->loop) {
2560         if ((ret = seek_to_start(ifile, is)) < 0)
2561             return ret;
2562         ret = get_input_packet(ifile, &pkt);
2563     }
2564     if (ret < 0) {
2565         if (ret != AVERROR_EOF) {
2566             print_error(is->filename, ret);
2567             if (exit_on_error)
2568                 exit_program(1);
2569         }
2570         ifile->eof_reached = 1;
2571
2572         for (i = 0; i < ifile->nb_streams; i++) {
2573             ist = input_streams[ifile->ist_index + i];
2574             if (ist->decoding_needed)
2575                 process_input_packet(ist, NULL, 0);
2576
2577             /* mark all outputs that don't go through lavfi as finished */
2578             for (j = 0; j < nb_output_streams; j++) {
2579                 OutputStream *ost = output_streams[j];
2580
2581                 if (ost->source_index == ifile->ist_index + i &&
2582                     (ost->stream_copy || ost->enc->type == AVMEDIA_TYPE_SUBTITLE))
2583                     finish_output_stream(ost);
2584             }
2585         }
2586
2587         return AVERROR(EAGAIN);
2588     }
2589
2590     reset_eagain();
2591
2592     if (do_pkt_dump) {
2593         av_pkt_dump_log2(NULL, AV_LOG_DEBUG, &pkt, do_hex_dump,
2594                          is->streams[pkt.stream_index]);
2595     }
2596     /* the following test is needed in case new streams appear
2597        dynamically in stream : we ignore them */
2598     if (pkt.stream_index >= ifile->nb_streams)
2599         goto discard_packet;
2600
2601     ist = input_streams[ifile->ist_index + pkt.stream_index];
2602
2603     ist->data_size += pkt.size;
2604     ist->nb_packets++;
2605
2606     if (ist->discard)
2607         goto discard_packet;
2608
2609     /* add the stream-global side data to the first packet */
2610     if (ist->nb_packets == 1)
2611         for (i = 0; i < ist->st->nb_side_data; i++) {
2612             AVPacketSideData *src_sd = &ist->st->side_data[i];
2613             uint8_t *dst_data;
2614
2615             if (av_packet_get_side_data(&pkt, src_sd->type, NULL))
2616                 continue;
2617             if (ist->autorotate && src_sd->type == AV_PKT_DATA_DISPLAYMATRIX)
2618                 continue;
2619
2620             dst_data = av_packet_new_side_data(&pkt, src_sd->type, src_sd->size);
2621             if (!dst_data)
2622                 exit_program(1);
2623
2624             memcpy(dst_data, src_sd->data, src_sd->size);
2625         }
2626
2627     if (pkt.dts != AV_NOPTS_VALUE)
2628         pkt.dts += av_rescale_q(ifile->ts_offset, AV_TIME_BASE_Q, ist->st->time_base);
2629     if (pkt.pts != AV_NOPTS_VALUE)
2630         pkt.pts += av_rescale_q(ifile->ts_offset, AV_TIME_BASE_Q, ist->st->time_base);
2631
2632     if (pkt.pts != AV_NOPTS_VALUE)
2633         pkt.pts *= ist->ts_scale;
2634     if (pkt.dts != AV_NOPTS_VALUE)
2635         pkt.dts *= ist->ts_scale;
2636
2637     if ((ist->dec_ctx->codec_type == AVMEDIA_TYPE_VIDEO ||
2638          ist->dec_ctx->codec_type == AVMEDIA_TYPE_AUDIO) &&
2639         pkt.dts != AV_NOPTS_VALUE && ist->next_dts != AV_NOPTS_VALUE &&
2640         (is->iformat->flags & AVFMT_TS_DISCONT)) {
2641         int64_t pkt_dts = av_rescale_q(pkt.dts, ist->st->time_base, AV_TIME_BASE_Q);
2642         int64_t delta   = pkt_dts - ist->next_dts;
2643
2644         if ((FFABS(delta) > 1LL * dts_delta_threshold * AV_TIME_BASE || pkt_dts + 1 < ist->last_dts) && !copy_ts) {
2645             ifile->ts_offset -= delta;
2646             av_log(NULL, AV_LOG_DEBUG,
2647                    "timestamp discontinuity %"PRId64", new offset= %"PRId64"\n",
2648                    delta, ifile->ts_offset);
2649             pkt.dts -= av_rescale_q(delta, AV_TIME_BASE_Q, ist->st->time_base);
2650             if (pkt.pts != AV_NOPTS_VALUE)
2651                 pkt.pts -= av_rescale_q(delta, AV_TIME_BASE_Q, ist->st->time_base);
2652         }
2653     }
2654     duration = av_rescale_q(ifile->duration, ifile->time_base, ist->st->time_base);
2655     if (pkt.pts != AV_NOPTS_VALUE) {
2656         pkt.pts += duration;
2657         ist->max_pts = FFMAX(pkt.pts, ist->max_pts);
2658         ist->min_pts = FFMIN(pkt.pts, ist->min_pts);
2659     }
2660
2661     if (pkt.dts != AV_NOPTS_VALUE)
2662         pkt.dts += duration;
2663
2664     process_input_packet(ist, &pkt, 0);
2665
2666 discard_packet:
2667     av_packet_unref(&pkt);
2668
2669     return 0;
2670 }
2671
2672 /*
2673  * The following code is the main loop of the file converter
2674  */
2675 static int transcode(void)
2676 {
2677     int ret, i, need_input = 1;
2678     AVFormatContext *os;
2679     OutputStream *ost;
2680     InputStream *ist;
2681     int64_t timer_start;
2682
2683     ret = transcode_init();
2684     if (ret < 0)
2685         goto fail;
2686
2687     av_log(NULL, AV_LOG_INFO, "Press ctrl-c to stop encoding\n");
2688     term_init();
2689
2690     timer_start = av_gettime_relative();
2691
2692 #if HAVE_PTHREADS
2693     if ((ret = init_input_threads()) < 0)
2694         goto fail;
2695 #endif
2696
2697     while (!received_sigterm) {
2698         /* check if there's any stream where output is still needed */
2699         if (!need_output()) {
2700             av_log(NULL, AV_LOG_VERBOSE, "No more output streams to write to, finishing.\n");
2701             break;
2702         }
2703
2704         /* read and process one input packet if needed */
2705         if (need_input) {
2706             ret = process_input();
2707             if (ret == AVERROR_EOF)
2708                 need_input = 0;
2709         }
2710
2711         ret = poll_filters();
2712         if (ret < 0 && ret != AVERROR_EOF) {
2713             char errbuf[128];
2714             av_strerror(ret, errbuf, sizeof(errbuf));
2715
2716             av_log(NULL, AV_LOG_ERROR, "Error while filtering: %s\n", errbuf);
2717             break;
2718         }
2719
2720         /* dump report by using the output first video and audio streams */
2721         print_report(0, timer_start);
2722     }
2723 #if HAVE_PTHREADS
2724     free_input_threads();
2725 #endif
2726
2727     /* at the end of stream, we must flush the decoder buffers */
2728     for (i = 0; i < nb_input_streams; i++) {
2729         ist = input_streams[i];
2730         if (!input_files[ist->file_index]->eof_reached && ist->decoding_needed) {
2731             process_input_packet(ist, NULL, 0);
2732         }
2733     }
2734     poll_filters();
2735     flush_encoders();
2736
2737     term_exit();
2738
2739     /* write the trailer if needed and close file */
2740     for (i = 0; i < nb_output_files; i++) {
2741         os = output_files[i]->ctx;
2742         if (!output_files[i]->header_written) {
2743             av_log(NULL, AV_LOG_ERROR,
2744                    "Nothing was written into output file %d (%s), because "
2745                    "at least one of its streams received no packets.\n",
2746                    i, os->filename);
2747             continue;
2748         }
2749         av_write_trailer(os);
2750     }
2751
2752     /* dump report by using the first video and audio streams */
2753     print_report(1, timer_start);
2754
2755     /* close each encoder */
2756     for (i = 0; i < nb_output_streams; i++) {
2757         ost = output_streams[i];
2758         if (ost->encoding_needed) {
2759             av_freep(&ost->enc_ctx->stats_in);
2760         }
2761     }
2762
2763     /* close each decoder */
2764     for (i = 0; i < nb_input_streams; i++) {
2765         ist = input_streams[i];
2766         if (ist->decoding_needed) {
2767             avcodec_close(ist->dec_ctx);
2768             if (ist->hwaccel_uninit)
2769                 ist->hwaccel_uninit(ist->dec_ctx);
2770         }
2771     }
2772
2773     av_buffer_unref(&hw_device_ctx);
2774
2775     /* finished ! */
2776     ret = 0;
2777
2778  fail:
2779 #if HAVE_PTHREADS
2780     free_input_threads();
2781 #endif
2782
2783     if (output_streams) {
2784         for (i = 0; i < nb_output_streams; i++) {
2785             ost = output_streams[i];
2786             if (ost) {
2787                 if (ost->logfile) {
2788                     fclose(ost->logfile);
2789                     ost->logfile = NULL;
2790                 }
2791                 av_free(ost->forced_kf_pts);
2792                 av_dict_free(&ost->encoder_opts);
2793                 av_dict_free(&ost->resample_opts);
2794             }
2795         }
2796     }
2797     return ret;
2798 }
2799
2800 static int64_t getutime(void)
2801 {
2802 #if HAVE_GETRUSAGE
2803     struct rusage rusage;
2804
2805     getrusage(RUSAGE_SELF, &rusage);
2806     return (rusage.ru_utime.tv_sec * 1000000LL) + rusage.ru_utime.tv_usec;
2807 #elif HAVE_GETPROCESSTIMES
2808     HANDLE proc;
2809     FILETIME c, e, k, u;
2810     proc = GetCurrentProcess();
2811     GetProcessTimes(proc, &c, &e, &k, &u);
2812     return ((int64_t) u.dwHighDateTime << 32 | u.dwLowDateTime) / 10;
2813 #else
2814     return av_gettime_relative();
2815 #endif
2816 }
2817
2818 static int64_t getmaxrss(void)
2819 {
2820 #if HAVE_GETRUSAGE && HAVE_STRUCT_RUSAGE_RU_MAXRSS
2821     struct rusage rusage;
2822     getrusage(RUSAGE_SELF, &rusage);
2823     return (int64_t)rusage.ru_maxrss * 1024;
2824 #elif HAVE_GETPROCESSMEMORYINFO
2825     HANDLE proc;
2826     PROCESS_MEMORY_COUNTERS memcounters;
2827     proc = GetCurrentProcess();
2828     memcounters.cb = sizeof(memcounters);
2829     GetProcessMemoryInfo(proc, &memcounters, sizeof(memcounters));
2830     return memcounters.PeakPagefileUsage;
2831 #else
2832     return 0;
2833 #endif
2834 }
2835
2836 int main(int argc, char **argv)
2837 {
2838     int i, ret;
2839     int64_t ti;
2840
2841     register_exit(avconv_cleanup);
2842
2843     av_log_set_flags(AV_LOG_SKIP_REPEATED);
2844     parse_loglevel(argc, argv, options);
2845
2846     avcodec_register_all();
2847 #if CONFIG_AVDEVICE
2848     avdevice_register_all();
2849 #endif
2850     avfilter_register_all();
2851     av_register_all();
2852     avformat_network_init();
2853
2854     show_banner();
2855
2856     /* parse options and open all input/output files */
2857     ret = avconv_parse_options(argc, argv);
2858     if (ret < 0)
2859         exit_program(1);
2860
2861     if (nb_output_files <= 0 && nb_input_files == 0) {
2862         show_usage();
2863         av_log(NULL, AV_LOG_WARNING, "Use -h to get full help or, even better, run 'man %s'\n", program_name);
2864         exit_program(1);
2865     }
2866
2867     /* file converter / grab */
2868     if (nb_output_files <= 0) {
2869         fprintf(stderr, "At least one output file must be specified\n");
2870         exit_program(1);
2871     }
2872
2873     for (i = 0; i < nb_output_files; i++) {
2874         if (strcmp(output_files[i]->ctx->oformat->name, "rtp"))
2875             want_sdp = 0;
2876     }
2877
2878     ti = getutime();
2879     if (transcode() < 0)
2880         exit_program(1);
2881     ti = getutime() - ti;
2882     if (do_benchmark) {
2883         int maxrss = getmaxrss() / 1024;
2884         printf("bench: utime=%0.3fs maxrss=%ikB\n", ti / 1000000.0, maxrss);
2885     }
2886
2887     exit_program(0);
2888     return 0;
2889 }