examples/muxing: cast sws_scale() argument to the expected one
[ffmpeg.git] / doc / examples / muxing.c
1 /*
2  * Copyright (c) 2003 Fabrice Bellard
3  *
4  * Permission is hereby granted, free of charge, to any person obtaining a copy
5  * of this software and associated documentation files (the "Software"), to deal
6  * in the Software without restriction, including without limitation the rights
7  * to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
8  * copies of the Software, and to permit persons to whom the Software is
9  * furnished to do so, subject to the following conditions:
10  *
11  * The above copyright notice and this permission notice shall be included in
12  * all copies or substantial portions of the Software.
13  *
14  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
15  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
16  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL
17  * THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
18  * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
19  * OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN
20  * THE SOFTWARE.
21  */
22
23 /**
24  * @file
25  * libavformat API example.
26  *
27  * Output a media file in any supported libavformat format.
28  * The default codecs are used.
29  */
30
31 #include <stdlib.h>
32 #include <stdio.h>
33 #include <string.h>
34 #include <math.h>
35
36 #include <libavutil/mathematics.h>
37 #include <libavformat/avformat.h>
38 #include <libswscale/swscale.h>
39
40 #undef exit
41
42 /* 5 seconds stream duration */
43 #define STREAM_DURATION   200.0
44 #define STREAM_FRAME_RATE 25 /* 25 images/s */
45 #define STREAM_NB_FRAMES  ((int)(STREAM_DURATION * STREAM_FRAME_RATE))
46 #define STREAM_PIX_FMT    PIX_FMT_YUV420P /* default pix_fmt */
47
48 static int sws_flags = SWS_BICUBIC;
49
50 /**************************************************************/
51 /* audio output */
52
53 static float t, tincr, tincr2;
54 static int16_t *samples;
55 static int audio_input_frame_size;
56
57 /*
58  * add an audio output stream
59  */
60 static AVStream *add_audio_stream(AVFormatContext *oc, AVCodec **codec,
61                                   enum AVCodecID codec_id)
62 {
63     AVCodecContext *c;
64     AVStream *st;
65
66     /* find the audio encoder */
67     *codec = avcodec_find_encoder(codec_id);
68     if (!(*codec)) {
69         fprintf(stderr, "codec not found\n");
70         exit(1);
71     }
72
73     st = avformat_new_stream(oc, *codec);
74     if (!st) {
75         fprintf(stderr, "Could not alloc stream\n");
76         exit(1);
77     }
78     st->id = 1;
79
80     c = st->codec;
81
82     /* put sample parameters */
83     c->sample_fmt  = AV_SAMPLE_FMT_S16;
84     c->bit_rate    = 64000;
85     c->sample_rate = 44100;
86     c->channels    = 2;
87
88     // some formats want stream headers to be separate
89     if (oc->oformat->flags & AVFMT_GLOBALHEADER)
90         c->flags |= CODEC_FLAG_GLOBAL_HEADER;
91
92     return st;
93 }
94
95 static void open_audio(AVFormatContext *oc, AVCodec *codec, AVStream *st)
96 {
97     AVCodecContext *c;
98
99     c = st->codec;
100
101     /* open it */
102     if (avcodec_open2(c, codec, NULL) < 0) {
103         fprintf(stderr, "could not open codec\n");
104         exit(1);
105     }
106
107     /* init signal generator */
108     t     = 0;
109     tincr = 2 * M_PI * 110.0 / c->sample_rate;
110     /* increment frequency by 110 Hz per second */
111     tincr2 = 2 * M_PI * 110.0 / c->sample_rate / c->sample_rate;
112
113     if (c->codec->capabilities & CODEC_CAP_VARIABLE_FRAME_SIZE)
114         audio_input_frame_size = 10000;
115     else
116         audio_input_frame_size = c->frame_size;
117     samples = av_malloc(audio_input_frame_size *
118                         av_get_bytes_per_sample(c->sample_fmt) *
119                         c->channels);
120 }
121
122 /* Prepare a 16 bit dummy audio frame of 'frame_size' samples and
123  * 'nb_channels' channels. */
124 static void get_audio_frame(int16_t *samples, int frame_size, int nb_channels)
125 {
126     int j, i, v;
127     int16_t *q;
128
129     q = samples;
130     for (j = 0; j < frame_size; j++) {
131         v = (int)(sin(t) * 10000);
132         for (i = 0; i < nb_channels; i++)
133             *q++ = v;
134         t     += tincr;
135         tincr += tincr2;
136     }
137 }
138
139 static void write_audio_frame(AVFormatContext *oc, AVStream *st)
140 {
141     AVCodecContext *c;
142     AVPacket pkt = { 0 }; // data and size must be 0;
143     AVFrame *frame = avcodec_alloc_frame();
144     int got_packet;
145
146     av_init_packet(&pkt);
147     c = st->codec;
148
149     get_audio_frame(samples, audio_input_frame_size, c->channels);
150     frame->nb_samples = audio_input_frame_size;
151     avcodec_fill_audio_frame(frame, c->channels, c->sample_fmt,
152                              (uint8_t *)samples,
153                              audio_input_frame_size *
154                              av_get_bytes_per_sample(c->sample_fmt) *
155                              c->channels, 1);
156
157     avcodec_encode_audio2(c, &pkt, frame, &got_packet);
158     if (!got_packet)
159         return;
160
161     pkt.stream_index = st->index;
162
163     /* Write the compressed frame to the media file. */
164     if (av_interleaved_write_frame(oc, &pkt) != 0) {
165         fprintf(stderr, "Error while writing audio frame\n");
166         exit(1);
167     }
168 }
169
170 static void close_audio(AVFormatContext *oc, AVStream *st)
171 {
172     avcodec_close(st->codec);
173
174     av_free(samples);
175 }
176
177 /**************************************************************/
178 /* video output */
179
180 static AVFrame *picture, *tmp_picture;
181 static uint8_t *video_outbuf;
182 static int frame_count, video_outbuf_size;
183
184 /* Add a video output stream. */
185 static AVStream *add_video_stream(AVFormatContext *oc, AVCodec **codec,
186                                   enum AVCodecID codec_id)
187 {
188     AVCodecContext *c;
189     AVStream *st;
190
191     /* find the video encoder */
192     *codec = avcodec_find_encoder(codec_id);
193     if (!(*codec)) {
194         fprintf(stderr, "codec not found\n");
195         exit(1);
196     }
197
198     st = avformat_new_stream(oc, *codec);
199     if (!st) {
200         fprintf(stderr, "Could not alloc stream\n");
201         exit(1);
202     }
203
204     c = st->codec;
205
206     avcodec_get_context_defaults3(c, *codec);
207
208     c->codec_id = codec_id;
209
210     /* Put sample parameters. */
211     c->bit_rate = 400000;
212     /* Resolution must be a multiple of two. */
213     c->width    = 352;
214     c->height   = 288;
215     /* timebase: This is the fundamental unit of time (in seconds) in terms
216      * of which frame timestamps are represented. For fixed-fps content,
217      * timebase should be 1/framerate and timestamp increments should be
218      * identical to 1. */
219     c->time_base.den = STREAM_FRAME_RATE;
220     c->time_base.num = 1;
221     c->gop_size      = 12; /* emit one intra frame every twelve frames at most */
222     c->pix_fmt       = STREAM_PIX_FMT;
223     if (c->codec_id == AV_CODEC_ID_MPEG2VIDEO) {
224         /* just for testing, we also add B frames */
225         c->max_b_frames = 2;
226     }
227     if (c->codec_id == AV_CODEC_ID_MPEG1VIDEO) {
228         /* Needed to avoid using macroblocks in which some coeffs overflow.
229          * This does not happen with normal video, it just happens here as
230          * the motion of the chroma plane does not match the luma plane. */
231         c->mb_decision = 2;
232     }
233     /* Some formats want stream headers to be separate. */
234     if (oc->oformat->flags & AVFMT_GLOBALHEADER)
235         c->flags |= CODEC_FLAG_GLOBAL_HEADER;
236
237     return st;
238 }
239
240 static AVFrame *alloc_picture(enum PixelFormat pix_fmt, int width, int height)
241 {
242     AVFrame *picture = avcodec_alloc_frame();
243     if (!picture || avpicture_alloc((AVPicture *)picture, pix_fmt, width, height) < 0)
244         av_freep(&picture);
245     return picture;
246 }
247
248 static void open_video(AVFormatContext *oc, AVCodec *codec, AVStream *st)
249 {
250     AVCodecContext *c;
251
252     c = st->codec;
253
254     /* open the codec */
255     if (avcodec_open2(c, codec, NULL) < 0) {
256         fprintf(stderr, "could not open codec\n");
257         exit(1);
258     }
259
260     video_outbuf = NULL;
261     if (!(oc->oformat->flags & AVFMT_RAWPICTURE)) {
262         /* Allocate output buffer. */
263         /* XXX: API change will be done. */
264         /* Buffers passed into lav* can be allocated any way you prefer,
265          * as long as they're aligned enough for the architecture, and
266          * they're freed appropriately (such as using av_free for buffers
267          * allocated with av_malloc). */
268         video_outbuf_size = 200000;
269         video_outbuf      = av_malloc(video_outbuf_size);
270     }
271
272     /* Allocate the encoded raw picture. */
273     picture = alloc_picture(c->pix_fmt, c->width, c->height);
274     if (!picture) {
275         fprintf(stderr, "Could not allocate picture\n");
276         exit(1);
277     }
278
279     /* If the output format is not YUV420P, then a temporary YUV420P
280      * picture is needed too. It is then converted to the required
281      * output format. */
282     tmp_picture = NULL;
283     if (c->pix_fmt != PIX_FMT_YUV420P) {
284         tmp_picture = alloc_picture(PIX_FMT_YUV420P, c->width, c->height);
285         if (!tmp_picture) {
286             fprintf(stderr, "Could not allocate temporary picture\n");
287             exit(1);
288         }
289     }
290 }
291
292 /* Prepare a dummy image. */
293 static void fill_yuv_image(AVFrame *pict, int frame_index,
294                            int width, int height)
295 {
296     int x, y, i;
297
298     i = frame_index;
299
300     /* Y */
301     for (y = 0; y < height; y++)
302         for (x = 0; x < width; x++)
303             pict->data[0][y * pict->linesize[0] + x] = x + y + i * 3;
304
305     /* Cb and Cr */
306     for (y = 0; y < height / 2; y++) {
307         for (x = 0; x < width / 2; x++) {
308             pict->data[1][y * pict->linesize[1] + x] = 128 + y + i * 2;
309             pict->data[2][y * pict->linesize[2] + x] = 64 + x + i * 5;
310         }
311     }
312 }
313
314 static void write_video_frame(AVFormatContext *oc, AVStream *st)
315 {
316     int out_size, ret;
317     AVCodecContext *c;
318     static struct SwsContext *img_convert_ctx;
319
320     c = st->codec;
321
322     if (frame_count >= STREAM_NB_FRAMES) {
323         /* No more frames to compress. The codec has a latency of a few
324          * frames if using B-frames, so we get the last frames by
325          * passing the same picture again. */
326     } else {
327         if (c->pix_fmt != PIX_FMT_YUV420P) {
328             /* as we only generate a YUV420P picture, we must convert it
329              * to the codec pixel format if needed */
330             if (img_convert_ctx == NULL) {
331                 img_convert_ctx = sws_getContext(c->width, c->height,
332                                                  PIX_FMT_YUV420P,
333                                                  c->width, c->height,
334                                                  c->pix_fmt,
335                                                  sws_flags, NULL, NULL, NULL);
336                 if (img_convert_ctx == NULL) {
337                     fprintf(stderr,
338                             "Cannot initialize the conversion context\n");
339                     exit(1);
340                 }
341             }
342             fill_yuv_image(tmp_picture, frame_count, c->width, c->height);
343             sws_scale(img_convert_ctx,
344                       (const uint8_t * const *)tmp_picture->data, tmp_picture->linesize,
345                       0, c->height, picture->data, picture->linesize);
346         } else {
347             fill_yuv_image(picture, frame_count, c->width, c->height);
348         }
349     }
350
351     if (oc->oformat->flags & AVFMT_RAWPICTURE) {
352         /* Raw video case - the API will change slightly in the near
353          * future for that. */
354         AVPacket pkt;
355         av_init_packet(&pkt);
356
357         pkt.flags        |= AV_PKT_FLAG_KEY;
358         pkt.stream_index  = st->index;
359         pkt.data          = (uint8_t *)picture;
360         pkt.size          = sizeof(AVPicture);
361
362         ret = av_interleaved_write_frame(oc, &pkt);
363     } else {
364         /* encode the image */
365         out_size = avcodec_encode_video(c, video_outbuf,
366                                         video_outbuf_size, picture);
367         /* If size is zero, it means the image was buffered. */
368         if (out_size > 0) {
369             AVPacket pkt;
370             av_init_packet(&pkt);
371
372             if (c->coded_frame->pts != AV_NOPTS_VALUE)
373                 pkt.pts = av_rescale_q(c->coded_frame->pts,
374                                        c->time_base, st->time_base);
375             if (c->coded_frame->key_frame)
376                 pkt.flags |= AV_PKT_FLAG_KEY;
377
378             pkt.stream_index = st->index;
379             pkt.data         = video_outbuf;
380             pkt.size         = out_size;
381
382             /* Write the compressed frame to the media file. */
383             ret = av_interleaved_write_frame(oc, &pkt);
384         } else {
385             ret = 0;
386         }
387     }
388     if (ret != 0) {
389         fprintf(stderr, "Error while writing video frame\n");
390         exit(1);
391     }
392     frame_count++;
393 }
394
395 static void close_video(AVFormatContext *oc, AVStream *st)
396 {
397     avcodec_close(st->codec);
398     av_free(picture->data[0]);
399     av_free(picture);
400     if (tmp_picture) {
401         av_free(tmp_picture->data[0]);
402         av_free(tmp_picture);
403     }
404     av_free(video_outbuf);
405 }
406
407 /**************************************************************/
408 /* media file output */
409
410 int main(int argc, char **argv)
411 {
412     const char *filename;
413     AVOutputFormat *fmt;
414     AVFormatContext *oc;
415     AVStream *audio_st, *video_st;
416     AVCodec *audio_codec, *video_codec;
417     double audio_pts, video_pts;
418     int i;
419
420     /* Initialize libavcodec, and register all codecs and formats. */
421     av_register_all();
422
423     if (argc != 2) {
424         printf("usage: %s output_file\n"
425                "API example program to output a media file with libavformat.\n"
426                "The output format is automatically guessed according to the file extension.\n"
427                "Raw images can also be output by using '%%d' in the filename\n"
428                "\n", argv[0]);
429         return 1;
430     }
431
432     filename = argv[1];
433
434     /* allocate the output media context */
435     avformat_alloc_output_context2(&oc, NULL, NULL, filename);
436     if (!oc) {
437         printf("Could not deduce output format from file extension: using MPEG.\n");
438         avformat_alloc_output_context2(&oc, NULL, "mpeg", filename);
439     }
440     if (!oc) {
441         return 1;
442     }
443     fmt = oc->oformat;
444
445     /* Add the audio and video streams using the default format codecs
446      * and initialize the codecs. */
447     video_st = NULL;
448     audio_st = NULL;
449     if (fmt->video_codec != AV_CODEC_ID_NONE) {
450         video_st = add_video_stream(oc, &video_codec, fmt->video_codec);
451     }
452     if (fmt->audio_codec != AV_CODEC_ID_NONE) {
453         audio_st = add_audio_stream(oc, &audio_codec, fmt->audio_codec);
454     }
455
456     /* Now that all the parameters are set, we can open the audio and
457      * video codecs and allocate the necessary encode buffers. */
458     if (video_st)
459         open_video(oc, video_codec, video_st);
460     if (audio_st)
461         open_audio(oc, audio_codec, audio_st);
462
463     av_dump_format(oc, 0, filename, 1);
464
465     /* open the output file, if needed */
466     if (!(fmt->flags & AVFMT_NOFILE)) {
467         if (avio_open(&oc->pb, filename, AVIO_FLAG_WRITE) < 0) {
468             fprintf(stderr, "Could not open '%s'\n", filename);
469             return 1;
470         }
471     }
472
473     /* Write the stream header, if any. */
474     avformat_write_header(oc, NULL);
475
476     picture->pts = 0;
477     for (;;) {
478         /* Compute current audio and video time. */
479         if (audio_st)
480             audio_pts = (double)audio_st->pts.val * audio_st->time_base.num / audio_st->time_base.den;
481         else
482             audio_pts = 0.0;
483
484         if (video_st)
485             video_pts = (double)video_st->pts.val * video_st->time_base.num /
486                         video_st->time_base.den;
487         else
488             video_pts = 0.0;
489
490         if ((!audio_st || audio_pts >= STREAM_DURATION) &&
491             (!video_st || video_pts >= STREAM_DURATION))
492             break;
493
494         /* write interleaved audio and video frames */
495         if (!video_st || (video_st && audio_st && audio_pts < video_pts)) {
496             write_audio_frame(oc, audio_st);
497         } else {
498             write_video_frame(oc, video_st);
499             picture->pts++;
500         }
501     }
502
503     /* Write the trailer, if any. The trailer must be written before you
504      * close the CodecContexts open when you wrote the header; otherwise
505      * av_write_trailer() may try to use memory that was freed on
506      * av_codec_close(). */
507     av_write_trailer(oc);
508
509     /* Close each codec. */
510     if (video_st)
511         close_video(oc, video_st);
512     if (audio_st)
513         close_audio(oc, audio_st);
514
515     /* Free the streams. */
516     for (i = 0; i < oc->nb_streams; i++) {
517         av_freep(&oc->streams[i]->codec);
518         av_freep(&oc->streams[i]);
519     }
520
521     if (!(fmt->flags & AVFMT_NOFILE))
522         /* Close the output file. */
523         avio_close(oc->pb);
524
525     /* free the stream */
526     av_free(oc);
527
528     return 0;
529 }