avfilter/vf_histogram: add more color modes
[ffmpeg.git] / doc / examples / muxing.c
1 /*
2  * Copyright (c) 2003 Fabrice Bellard
3  *
4  * Permission is hereby granted, free of charge, to any person obtaining a copy
5  * of this software and associated documentation files (the "Software"), to deal
6  * in the Software without restriction, including without limitation the rights
7  * to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
8  * copies of the Software, and to permit persons to whom the Software is
9  * furnished to do so, subject to the following conditions:
10  *
11  * The above copyright notice and this permission notice shall be included in
12  * all copies or substantial portions of the Software.
13  *
14  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
15  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
16  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL
17  * THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
18  * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
19  * OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN
20  * THE SOFTWARE.
21  */
22
23 /**
24  * @file
25  * libavformat API example.
26  *
27  * Output a media file in any supported libavformat format.
28  * The default codecs are used.
29  */
30
31 #include <stdlib.h>
32 #include <stdio.h>
33 #include <string.h>
34 #include <math.h>
35
36 #include "libavutil/mathematics.h"
37 #include "libavformat/avformat.h"
38 #include "libswscale/swscale.h"
39
40 #undef exit
41
42 /* 5 seconds stream duration */
43 #define STREAM_DURATION   200.0
44 #define STREAM_FRAME_RATE 25 /* 25 images/s */
45 #define STREAM_NB_FRAMES  ((int)(STREAM_DURATION * STREAM_FRAME_RATE))
46 #define STREAM_PIX_FMT    PIX_FMT_YUV420P /* default pix_fmt */
47
48 static int sws_flags = SWS_BICUBIC;
49
50 /**************************************************************/
51 /* audio output */
52
53 static float t, tincr, tincr2;
54 static int16_t *samples;
55 static int audio_input_frame_size;
56
57 /*
58  * add an audio output stream
59  */
60 static AVStream *add_audio_stream(AVFormatContext *oc, enum CodecID codec_id)
61 {
62     AVCodecContext *c;
63     AVStream *st;
64     AVCodec *codec;
65
66     /* find the audio encoder */
67     codec = avcodec_find_encoder(codec_id);
68     if (!codec) {
69         fprintf(stderr, "codec not found\n");
70         exit(1);
71     }
72
73     st = avformat_new_stream(oc, codec);
74     if (!st) {
75         fprintf(stderr, "Could not alloc stream\n");
76         exit(1);
77     }
78     st->id = 1;
79
80     c = st->codec;
81
82     /* put sample parameters */
83     c->sample_fmt  = AV_SAMPLE_FMT_S16;
84     c->bit_rate    = 64000;
85     c->sample_rate = 44100;
86     c->channels    = 2;
87
88     // some formats want stream headers to be separate
89     if (oc->oformat->flags & AVFMT_GLOBALHEADER)
90         c->flags |= CODEC_FLAG_GLOBAL_HEADER;
91
92     return st;
93 }
94
95 static void open_audio(AVFormatContext *oc, AVStream *st)
96 {
97     AVCodecContext *c;
98
99     c = st->codec;
100
101     /* open it */
102     if (avcodec_open2(c, NULL, NULL) < 0) {
103         fprintf(stderr, "could not open codec\n");
104         exit(1);
105     }
106
107     /* init signal generator */
108     t     = 0;
109     tincr = 2 * M_PI * 110.0 / c->sample_rate;
110     /* increment frequency by 110 Hz per second */
111     tincr2 = 2 * M_PI * 110.0 / c->sample_rate / c->sample_rate;
112
113     if (c->codec->capabilities & CODEC_CAP_VARIABLE_FRAME_SIZE)
114         audio_input_frame_size = 10000;
115     else
116         audio_input_frame_size = c->frame_size;
117     samples = av_malloc(audio_input_frame_size *
118                         av_get_bytes_per_sample(c->sample_fmt) *
119                         c->channels);
120 }
121
122 /* Prepare a 16 bit dummy audio frame of 'frame_size' samples and
123  * 'nb_channels' channels. */
124 static void get_audio_frame(int16_t *samples, int frame_size, int nb_channels)
125 {
126     int j, i, v;
127     int16_t *q;
128
129     q = samples;
130     for (j = 0; j < frame_size; j++) {
131         v = (int)(sin(t) * 10000);
132         for (i = 0; i < nb_channels; i++)
133             *q++ = v;
134         t     += tincr;
135         tincr += tincr2;
136     }
137 }
138
139 static void write_audio_frame(AVFormatContext *oc, AVStream *st)
140 {
141     AVCodecContext *c;
142     AVPacket pkt = { 0 }; // data and size must be 0;
143     AVFrame *frame = avcodec_alloc_frame();
144     int got_packet;
145
146     av_init_packet(&pkt);
147     c = st->codec;
148
149     get_audio_frame(samples, audio_input_frame_size, c->channels);
150     frame->nb_samples = audio_input_frame_size;
151     avcodec_fill_audio_frame(frame, c->channels, c->sample_fmt,
152                              (uint8_t *)samples,
153                              audio_input_frame_size *
154                              av_get_bytes_per_sample(c->sample_fmt) *
155                              c->channels, 1);
156
157     avcodec_encode_audio2(c, &pkt, frame, &got_packet);
158     if (!got_packet)
159         return;
160
161     pkt.stream_index = st->index;
162
163     /* Write the compressed frame to the media file. */
164     if (av_interleaved_write_frame(oc, &pkt) != 0) {
165         fprintf(stderr, "Error while writing audio frame\n");
166         exit(1);
167     }
168 }
169
170 static void close_audio(AVFormatContext *oc, AVStream *st)
171 {
172     avcodec_close(st->codec);
173
174     av_free(samples);
175 }
176
177 /**************************************************************/
178 /* video output */
179
180 static AVFrame *picture, *tmp_picture;
181 static uint8_t *video_outbuf;
182 static int frame_count, video_outbuf_size;
183
184 /* Add a video output stream. */
185 static AVStream *add_video_stream(AVFormatContext *oc, enum CodecID codec_id)
186 {
187     AVCodecContext *c;
188     AVStream *st;
189     AVCodec *codec;
190
191     /* find the video encoder */
192     codec = avcodec_find_encoder(codec_id);
193     if (!codec) {
194         fprintf(stderr, "codec not found\n");
195         exit(1);
196     }
197
198     st = avformat_new_stream(oc, codec);
199     if (!st) {
200         fprintf(stderr, "Could not alloc stream\n");
201         exit(1);
202     }
203
204     c = st->codec;
205
206     /* find the video encoder */
207     codec = avcodec_find_encoder(codec_id);
208     if (!codec) {
209         fprintf(stderr, "codec not found\n");
210         exit(1);
211     }
212     avcodec_get_context_defaults3(c, codec);
213
214     c->codec_id = codec_id;
215
216     /* Put sample parameters. */
217     c->bit_rate = 400000;
218     /* Resolution must be a multiple of two. */
219     c->width    = 352;
220     c->height   = 288;
221     /* timebase: This is the fundamental unit of time (in seconds) in terms
222      * of which frame timestamps are represented. For fixed-fps content,
223      * timebase should be 1/framerate and timestamp increments should be
224      * identical to 1. */
225     c->time_base.den = STREAM_FRAME_RATE;
226     c->time_base.num = 1;
227     c->gop_size      = 12; /* emit one intra frame every twelve frames at most */
228     c->pix_fmt       = STREAM_PIX_FMT;
229     if (c->codec_id == CODEC_ID_MPEG2VIDEO) {
230         /* just for testing, we also add B frames */
231         c->max_b_frames = 2;
232     }
233     if (c->codec_id == CODEC_ID_MPEG1VIDEO) {
234         /* Needed to avoid using macroblocks in which some coeffs overflow.
235          * This does not happen with normal video, it just happens here as
236          * the motion of the chroma plane does not match the luma plane. */
237         c->mb_decision = 2;
238     }
239     /* Some formats want stream headers to be separate. */
240     if (oc->oformat->flags & AVFMT_GLOBALHEADER)
241         c->flags |= CODEC_FLAG_GLOBAL_HEADER;
242
243     return st;
244 }
245
246 static AVFrame *alloc_picture(enum PixelFormat pix_fmt, int width, int height)
247 {
248     AVFrame *picture;
249     uint8_t *picture_buf;
250     int size;
251
252     picture = avcodec_alloc_frame();
253     if (!picture)
254         return NULL;
255     size        = avpicture_get_size(pix_fmt, width, height);
256     picture_buf = av_malloc(size);
257     if (!picture_buf) {
258         av_free(picture);
259         return NULL;
260     }
261     avpicture_fill((AVPicture *)picture, picture_buf,
262                    pix_fmt, width, height);
263     return picture;
264 }
265
266 static void open_video(AVFormatContext *oc, AVStream *st)
267 {
268     AVCodecContext *c;
269
270     c = st->codec;
271
272     /* open the codec */
273     if (avcodec_open2(c, NULL, NULL) < 0) {
274         fprintf(stderr, "could not open codec\n");
275         exit(1);
276     }
277
278     video_outbuf = NULL;
279     if (!(oc->oformat->flags & AVFMT_RAWPICTURE)) {
280         /* Allocate output buffer. */
281         /* XXX: API change will be done. */
282         /* Buffers passed into lav* can be allocated any way you prefer,
283          * as long as they're aligned enough for the architecture, and
284          * they're freed appropriately (such as using av_free for buffers
285          * allocated with av_malloc). */
286         video_outbuf_size = 200000;
287         video_outbuf      = av_malloc(video_outbuf_size);
288     }
289
290     /* Allocate the encoded raw picture. */
291     picture = alloc_picture(c->pix_fmt, c->width, c->height);
292     if (!picture) {
293         fprintf(stderr, "Could not allocate picture\n");
294         exit(1);
295     }
296
297     /* If the output format is not YUV420P, then a temporary YUV420P
298      * picture is needed too. It is then converted to the required
299      * output format. */
300     tmp_picture = NULL;
301     if (c->pix_fmt != PIX_FMT_YUV420P) {
302         tmp_picture = alloc_picture(PIX_FMT_YUV420P, c->width, c->height);
303         if (!tmp_picture) {
304             fprintf(stderr, "Could not allocate temporary picture\n");
305             exit(1);
306         }
307     }
308 }
309
310 /* Prepare a dummy image. */
311 static void fill_yuv_image(AVFrame *pict, int frame_index,
312                            int width, int height)
313 {
314     int x, y, i;
315
316     i = frame_index;
317
318     /* Y */
319     for (y = 0; y < height; y++)
320         for (x = 0; x < width; x++)
321             pict->data[0][y * pict->linesize[0] + x] = x + y + i * 3;
322
323     /* Cb and Cr */
324     for (y = 0; y < height / 2; y++) {
325         for (x = 0; x < width / 2; x++) {
326             pict->data[1][y * pict->linesize[1] + x] = 128 + y + i * 2;
327             pict->data[2][y * pict->linesize[2] + x] = 64 + x + i * 5;
328         }
329     }
330 }
331
332 static void write_video_frame(AVFormatContext *oc, AVStream *st)
333 {
334     int out_size, ret;
335     AVCodecContext *c;
336     static struct SwsContext *img_convert_ctx;
337
338     c = st->codec;
339
340     if (frame_count >= STREAM_NB_FRAMES) {
341         /* No more frames to compress. The codec has a latency of a few
342          * frames if using B-frames, so we get the last frames by
343          * passing the same picture again. */
344     } else {
345         if (c->pix_fmt != PIX_FMT_YUV420P) {
346             /* as we only generate a YUV420P picture, we must convert it
347              * to the codec pixel format if needed */
348             if (img_convert_ctx == NULL) {
349                 img_convert_ctx = sws_getContext(c->width, c->height,
350                                                  PIX_FMT_YUV420P,
351                                                  c->width, c->height,
352                                                  c->pix_fmt,
353                                                  sws_flags, NULL, NULL, NULL);
354                 if (img_convert_ctx == NULL) {
355                     fprintf(stderr,
356                             "Cannot initialize the conversion context\n");
357                     exit(1);
358                 }
359             }
360             fill_yuv_image(tmp_picture, frame_count, c->width, c->height);
361             sws_scale(img_convert_ctx, tmp_picture->data, tmp_picture->linesize,
362                       0, c->height, picture->data, picture->linesize);
363         } else {
364             fill_yuv_image(picture, frame_count, c->width, c->height);
365         }
366     }
367
368     if (oc->oformat->flags & AVFMT_RAWPICTURE) {
369         /* Raw video case - the API will change slightly in the near
370          * future for that. */
371         AVPacket pkt;
372         av_init_packet(&pkt);
373
374         pkt.flags        |= AV_PKT_FLAG_KEY;
375         pkt.stream_index  = st->index;
376         pkt.data          = (uint8_t *)picture;
377         pkt.size          = sizeof(AVPicture);
378
379         ret = av_interleaved_write_frame(oc, &pkt);
380     } else {
381         /* encode the image */
382         out_size = avcodec_encode_video(c, video_outbuf,
383                                         video_outbuf_size, picture);
384         /* If size is zero, it means the image was buffered. */
385         if (out_size > 0) {
386             AVPacket pkt;
387             av_init_packet(&pkt);
388
389             if (c->coded_frame->pts != AV_NOPTS_VALUE)
390                 pkt.pts = av_rescale_q(c->coded_frame->pts,
391                                        c->time_base, st->time_base);
392             if (c->coded_frame->key_frame)
393                 pkt.flags |= AV_PKT_FLAG_KEY;
394
395             pkt.stream_index = st->index;
396             pkt.data         = video_outbuf;
397             pkt.size         = out_size;
398
399             /* Write the compressed frame to the media file. */
400             ret = av_interleaved_write_frame(oc, &pkt);
401         } else {
402             ret = 0;
403         }
404     }
405     if (ret != 0) {
406         fprintf(stderr, "Error while writing video frame\n");
407         exit(1);
408     }
409     frame_count++;
410 }
411
412 static void close_video(AVFormatContext *oc, AVStream *st)
413 {
414     avcodec_close(st->codec);
415     av_free(picture->data[0]);
416     av_free(picture);
417     if (tmp_picture) {
418         av_free(tmp_picture->data[0]);
419         av_free(tmp_picture);
420     }
421     av_free(video_outbuf);
422 }
423
424 /**************************************************************/
425 /* media file output */
426
427 int main(int argc, char **argv)
428 {
429     const char *filename;
430     AVOutputFormat *fmt;
431     AVFormatContext *oc;
432     AVStream *audio_st, *video_st;
433     double audio_pts, video_pts;
434     int i;
435
436     /* Initialize libavcodec, and register all codecs and formats. */
437     av_register_all();
438
439     if (argc != 2) {
440         printf("usage: %s output_file\n"
441                "API example program to output a media file with libavformat.\n"
442                "The output format is automatically guessed according to the file extension.\n"
443                "Raw images can also be output by using '%%d' in the filename\n"
444                "\n", argv[0]);
445         return 1;
446     }
447
448     filename = argv[1];
449
450     /* allocate the output media context */
451     avformat_alloc_output_context2(&oc, NULL, NULL, filename);
452     if (!oc) {
453         printf("Could not deduce output format from file extension: using MPEG.\n");
454         avformat_alloc_output_context2(&oc, NULL, "mpeg", filename);
455     }
456     if (!oc) {
457         return 1;
458     }
459     fmt = oc->oformat;
460
461     /* Add the audio and video streams using the default format codecs
462      * and initialize the codecs. */
463     video_st = NULL;
464     audio_st = NULL;
465     if (fmt->video_codec != CODEC_ID_NONE) {
466         video_st = add_video_stream(oc, fmt->video_codec);
467     }
468     if (fmt->audio_codec != CODEC_ID_NONE) {
469         audio_st = add_audio_stream(oc, fmt->audio_codec);
470     }
471
472     /* Now that all the parameters are set, we can open the audio and
473      * video codecs and allocate the necessary encode buffers. */
474     if (video_st)
475         open_video(oc, video_st);
476     if (audio_st)
477         open_audio(oc, audio_st);
478
479     av_dump_format(oc, 0, filename, 1);
480
481     /* open the output file, if needed */
482     if (!(fmt->flags & AVFMT_NOFILE)) {
483         if (avio_open(&oc->pb, filename, AVIO_FLAG_WRITE) < 0) {
484             fprintf(stderr, "Could not open '%s'\n", filename);
485             return 1;
486         }
487     }
488
489     /* Write the stream header, if any. */
490     avformat_write_header(oc, NULL);
491
492     picture->pts = 0;
493     for (;;) {
494         /* Compute current audio and video time. */
495         if (audio_st)
496             audio_pts = (double)audio_st->pts.val * audio_st->time_base.num / audio_st->time_base.den;
497         else
498             audio_pts = 0.0;
499
500         if (video_st)
501             video_pts = (double)video_st->pts.val * video_st->time_base.num /
502                         video_st->time_base.den;
503         else
504             video_pts = 0.0;
505
506         if ((!audio_st || audio_pts >= STREAM_DURATION) &&
507             (!video_st || video_pts >= STREAM_DURATION))
508             break;
509
510         /* write interleaved audio and video frames */
511         if (!video_st || (video_st && audio_st && audio_pts < video_pts)) {
512             write_audio_frame(oc, audio_st);
513         } else {
514             write_video_frame(oc, video_st);
515             picture->pts++;
516         }
517     }
518
519     /* Write the trailer, if any. The trailer must be written before you
520      * close the CodecContexts open when you wrote the header; otherwise
521      * av_write_trailer() may try to use memory that was freed on
522      * av_codec_close(). */
523     av_write_trailer(oc);
524
525     /* Close each codec. */
526     if (video_st)
527         close_video(oc, video_st);
528     if (audio_st)
529         close_audio(oc, audio_st);
530
531     /* Free the streams. */
532     for (i = 0; i < oc->nb_streams; i++) {
533         av_freep(&oc->streams[i]->codec);
534         av_freep(&oc->streams[i]);
535     }
536
537     if (!(fmt->flags & AVFMT_NOFILE))
538         /* Close the output file. */
539         avio_close(oc->pb);
540
541     /* free the stream */
542     av_free(oc);
543
544     return 0;
545 }