avcodec/hevcdec: Fix memleak of a53_caption
[ffmpeg.git] / libavcodec / encode.c
1 /*
2  * generic encoding-related code
3  *
4  * This file is part of FFmpeg.
5  *
6  * FFmpeg is free software; you can redistribute it and/or
7  * modify it under the terms of the GNU Lesser General Public
8  * License as published by the Free Software Foundation; either
9  * version 2.1 of the License, or (at your option) any later version.
10  *
11  * FFmpeg is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14  * Lesser General Public License for more details.
15  *
16  * You should have received a copy of the GNU Lesser General Public
17  * License along with FFmpeg; if not, write to the Free Software
18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
19  */
20
21 #include "libavutil/attributes.h"
22 #include "libavutil/avassert.h"
23 #include "libavutil/frame.h"
24 #include "libavutil/imgutils.h"
25 #include "libavutil/internal.h"
26 #include "libavutil/samplefmt.h"
27
28 #include "avcodec.h"
29 #include "frame_thread_encoder.h"
30 #include "internal.h"
31
32 int ff_alloc_packet2(AVCodecContext *avctx, AVPacket *avpkt, int64_t size, int64_t min_size)
33 {
34     if (avpkt->size < 0) {
35         av_log(avctx, AV_LOG_ERROR, "Invalid negative user packet size %d\n", avpkt->size);
36         return AVERROR(EINVAL);
37     }
38     if (size < 0 || size > INT_MAX - AV_INPUT_BUFFER_PADDING_SIZE) {
39         av_log(avctx, AV_LOG_ERROR, "Invalid minimum required packet size %"PRId64" (max allowed is %d)\n",
40                size, INT_MAX - AV_INPUT_BUFFER_PADDING_SIZE);
41         return AVERROR(EINVAL);
42     }
43
44     if (avctx && 2*min_size < size) { // FIXME The factor needs to be finetuned
45         av_assert0(!avpkt->data || avpkt->data != avctx->internal->byte_buffer);
46         if (!avpkt->data || avpkt->size < size) {
47             av_fast_padded_malloc(&avctx->internal->byte_buffer, &avctx->internal->byte_buffer_size, size);
48             avpkt->data = avctx->internal->byte_buffer;
49             avpkt->size = avctx->internal->byte_buffer_size;
50         }
51     }
52
53     if (avpkt->data) {
54         AVBufferRef *buf = avpkt->buf;
55
56         if (avpkt->size < size) {
57             av_log(avctx, AV_LOG_ERROR, "User packet is too small (%d < %"PRId64")\n", avpkt->size, size);
58             return AVERROR(EINVAL);
59         }
60
61         av_init_packet(avpkt);
62         avpkt->buf      = buf;
63         avpkt->size     = size;
64         return 0;
65     } else {
66         int ret = av_new_packet(avpkt, size);
67         if (ret < 0)
68             av_log(avctx, AV_LOG_ERROR, "Failed to allocate packet of size %"PRId64"\n", size);
69         return ret;
70     }
71 }
72
73 int ff_alloc_packet(AVPacket *avpkt, int size)
74 {
75     return ff_alloc_packet2(NULL, avpkt, size, 0);
76 }
77
78 /**
79  * Pad last frame with silence.
80  */
81 static int pad_last_frame(AVCodecContext *s, AVFrame **dst, const AVFrame *src)
82 {
83     AVFrame *frame = NULL;
84     int ret;
85
86     if (!(frame = av_frame_alloc()))
87         return AVERROR(ENOMEM);
88
89     frame->format         = src->format;
90     frame->channel_layout = src->channel_layout;
91     frame->channels       = src->channels;
92     frame->nb_samples     = s->frame_size;
93     ret = av_frame_get_buffer(frame, 32);
94     if (ret < 0)
95         goto fail;
96
97     ret = av_frame_copy_props(frame, src);
98     if (ret < 0)
99         goto fail;
100
101     if ((ret = av_samples_copy(frame->extended_data, src->extended_data, 0, 0,
102                                src->nb_samples, s->channels, s->sample_fmt)) < 0)
103         goto fail;
104     if ((ret = av_samples_set_silence(frame->extended_data, src->nb_samples,
105                                       frame->nb_samples - src->nb_samples,
106                                       s->channels, s->sample_fmt)) < 0)
107         goto fail;
108
109     *dst = frame;
110
111     return 0;
112
113 fail:
114     av_frame_free(&frame);
115     return ret;
116 }
117
118 int attribute_align_arg avcodec_encode_audio2(AVCodecContext *avctx,
119                                               AVPacket *avpkt,
120                                               const AVFrame *frame,
121                                               int *got_packet_ptr)
122 {
123     AVFrame *extended_frame = NULL;
124     AVFrame *padded_frame = NULL;
125     int ret;
126     AVPacket user_pkt = *avpkt;
127     int needs_realloc = !user_pkt.data;
128
129     *got_packet_ptr = 0;
130
131     if (!avctx->codec->encode2) {
132         av_log(avctx, AV_LOG_ERROR, "This encoder requires using the avcodec_send_frame() API.\n");
133         return AVERROR(ENOSYS);
134     }
135
136     if (!(avctx->codec->capabilities & AV_CODEC_CAP_DELAY) && !frame) {
137         av_packet_unref(avpkt);
138         return 0;
139     }
140
141     /* ensure that extended_data is properly set */
142     if (frame && !frame->extended_data) {
143         if (av_sample_fmt_is_planar(avctx->sample_fmt) &&
144             avctx->channels > AV_NUM_DATA_POINTERS) {
145             av_log(avctx, AV_LOG_ERROR, "Encoding to a planar sample format, "
146                                         "with more than %d channels, but extended_data is not set.\n",
147                    AV_NUM_DATA_POINTERS);
148             return AVERROR(EINVAL);
149         }
150         av_log(avctx, AV_LOG_WARNING, "extended_data is not set.\n");
151
152         extended_frame = av_frame_alloc();
153         if (!extended_frame)
154             return AVERROR(ENOMEM);
155
156         memcpy(extended_frame, frame, sizeof(AVFrame));
157         extended_frame->extended_data = extended_frame->data;
158         frame = extended_frame;
159     }
160
161     /* extract audio service type metadata */
162     if (frame) {
163         AVFrameSideData *sd = av_frame_get_side_data(frame, AV_FRAME_DATA_AUDIO_SERVICE_TYPE);
164         if (sd && sd->size >= sizeof(enum AVAudioServiceType))
165             avctx->audio_service_type = *(enum AVAudioServiceType*)sd->data;
166     }
167
168     /* check for valid frame size */
169     if (frame) {
170         if (avctx->codec->capabilities & AV_CODEC_CAP_SMALL_LAST_FRAME) {
171             if (frame->nb_samples > avctx->frame_size) {
172                 av_log(avctx, AV_LOG_ERROR, "more samples than frame size (avcodec_encode_audio2)\n");
173                 ret = AVERROR(EINVAL);
174                 goto end;
175             }
176         } else if (!(avctx->codec->capabilities & AV_CODEC_CAP_VARIABLE_FRAME_SIZE)) {
177             /* if we already got an undersized frame, that must have been the last */
178             if (avctx->internal->last_audio_frame) {
179                 av_log(avctx, AV_LOG_ERROR, "frame_size (%d) was not respected for a non-last frame (avcodec_encode_audio2)\n", avctx->frame_size);
180                 ret = AVERROR(EINVAL);
181                 goto end;
182             }
183
184             if (frame->nb_samples < avctx->frame_size) {
185                 ret = pad_last_frame(avctx, &padded_frame, frame);
186                 if (ret < 0)
187                     goto end;
188
189                 frame = padded_frame;
190                 avctx->internal->last_audio_frame = 1;
191             }
192
193             if (frame->nb_samples != avctx->frame_size) {
194                 av_log(avctx, AV_LOG_ERROR, "nb_samples (%d) != frame_size (%d) (avcodec_encode_audio2)\n", frame->nb_samples, avctx->frame_size);
195                 ret = AVERROR(EINVAL);
196                 goto end;
197             }
198         }
199     }
200
201     av_assert0(avctx->codec->encode2);
202
203     ret = avctx->codec->encode2(avctx, avpkt, frame, got_packet_ptr);
204     if (!ret) {
205         if (*got_packet_ptr) {
206             if (!(avctx->codec->capabilities & AV_CODEC_CAP_DELAY)) {
207                 if (avpkt->pts == AV_NOPTS_VALUE)
208                     avpkt->pts = frame->pts;
209                 if (!avpkt->duration)
210                     avpkt->duration = ff_samples_to_time_base(avctx,
211                                                               frame->nb_samples);
212             }
213             avpkt->dts = avpkt->pts;
214         } else {
215             avpkt->size = 0;
216         }
217     }
218     if (avpkt->data && avpkt->data == avctx->internal->byte_buffer) {
219         needs_realloc = 0;
220         if (user_pkt.data) {
221             if (user_pkt.size >= avpkt->size) {
222                 memcpy(user_pkt.data, avpkt->data, avpkt->size);
223             } else {
224                 av_log(avctx, AV_LOG_ERROR, "Provided packet is too small, needs to be %d\n", avpkt->size);
225                 avpkt->size = user_pkt.size;
226                 ret = -1;
227             }
228             avpkt->buf      = user_pkt.buf;
229             avpkt->data     = user_pkt.data;
230         } else if (!avpkt->buf) {
231             ret = av_packet_make_refcounted(avpkt);
232             if (ret < 0)
233                 goto end;
234         }
235     }
236
237     if (!ret) {
238         if (needs_realloc && avpkt->data) {
239             ret = av_buffer_realloc(&avpkt->buf, avpkt->size + AV_INPUT_BUFFER_PADDING_SIZE);
240             if (ret >= 0)
241                 avpkt->data = avpkt->buf->data;
242         }
243         if (frame)
244             avctx->frame_number++;
245     }
246
247     if (ret < 0 || !*got_packet_ptr) {
248         av_packet_unref(avpkt);
249         goto end;
250     }
251
252     /* NOTE: if we add any audio encoders which output non-keyframe packets,
253      *       this needs to be moved to the encoders, but for now we can do it
254      *       here to simplify things */
255     avpkt->flags |= AV_PKT_FLAG_KEY;
256
257 end:
258     av_frame_free(&padded_frame);
259     av_free(extended_frame);
260
261     return ret;
262 }
263
264 int attribute_align_arg avcodec_encode_video2(AVCodecContext *avctx,
265                                               AVPacket *avpkt,
266                                               const AVFrame *frame,
267                                               int *got_packet_ptr)
268 {
269     int ret;
270     AVPacket user_pkt = *avpkt;
271     int needs_realloc = !user_pkt.data;
272
273     *got_packet_ptr = 0;
274
275     if (!avctx->codec->encode2) {
276         av_log(avctx, AV_LOG_ERROR, "This encoder requires using the avcodec_send_frame() API.\n");
277         return AVERROR(ENOSYS);
278     }
279
280     if(CONFIG_FRAME_THREAD_ENCODER &&
281        avctx->internal->frame_thread_encoder && (avctx->active_thread_type&FF_THREAD_FRAME))
282         return ff_thread_video_encode_frame(avctx, avpkt, frame, got_packet_ptr);
283
284     if ((avctx->flags&AV_CODEC_FLAG_PASS1) && avctx->stats_out)
285         avctx->stats_out[0] = '\0';
286
287     if (!(avctx->codec->capabilities & AV_CODEC_CAP_DELAY) && !frame) {
288         av_packet_unref(avpkt);
289         return 0;
290     }
291
292     if (av_image_check_size2(avctx->width, avctx->height, avctx->max_pixels, AV_PIX_FMT_NONE, 0, avctx))
293         return AVERROR(EINVAL);
294
295     if (frame && frame->format == AV_PIX_FMT_NONE)
296         av_log(avctx, AV_LOG_WARNING, "AVFrame.format is not set\n");
297     if (frame && (frame->width == 0 || frame->height == 0))
298         av_log(avctx, AV_LOG_WARNING, "AVFrame.width or height is not set\n");
299
300     av_assert0(avctx->codec->encode2);
301
302     ret = avctx->codec->encode2(avctx, avpkt, frame, got_packet_ptr);
303     av_assert0(ret <= 0);
304
305     emms_c();
306
307     if (avpkt->data && avpkt->data == avctx->internal->byte_buffer) {
308         needs_realloc = 0;
309         if (user_pkt.data) {
310             if (user_pkt.size >= avpkt->size) {
311                 memcpy(user_pkt.data, avpkt->data, avpkt->size);
312             } else {
313                 av_log(avctx, AV_LOG_ERROR, "Provided packet is too small, needs to be %d\n", avpkt->size);
314                 avpkt->size = user_pkt.size;
315                 ret = -1;
316             }
317             avpkt->buf      = user_pkt.buf;
318             avpkt->data     = user_pkt.data;
319         } else if (!avpkt->buf) {
320             ret = av_packet_make_refcounted(avpkt);
321             if (ret < 0)
322                 return ret;
323         }
324     }
325
326     if (!ret) {
327         if (!*got_packet_ptr)
328             avpkt->size = 0;
329         else if (!(avctx->codec->capabilities & AV_CODEC_CAP_DELAY))
330             avpkt->pts = avpkt->dts = frame->pts;
331
332         if (needs_realloc && avpkt->data) {
333             ret = av_buffer_realloc(&avpkt->buf, avpkt->size + AV_INPUT_BUFFER_PADDING_SIZE);
334             if (ret >= 0)
335                 avpkt->data = avpkt->buf->data;
336         }
337
338         if (frame)
339             avctx->frame_number++;
340     }
341
342     if (ret < 0 || !*got_packet_ptr)
343         av_packet_unref(avpkt);
344
345     return ret;
346 }
347
348 int avcodec_encode_subtitle(AVCodecContext *avctx, uint8_t *buf, int buf_size,
349                             const AVSubtitle *sub)
350 {
351     int ret;
352     if (sub->start_display_time) {
353         av_log(avctx, AV_LOG_ERROR, "start_display_time must be 0.\n");
354         return -1;
355     }
356
357     ret = avctx->codec->encode_sub(avctx, buf, buf_size, sub);
358     avctx->frame_number++;
359     return ret;
360 }
361
362 static int do_encode(AVCodecContext *avctx, const AVFrame *frame, int *got_packet)
363 {
364     int ret;
365     *got_packet = 0;
366
367     av_packet_unref(avctx->internal->buffer_pkt);
368     avctx->internal->buffer_pkt_valid = 0;
369
370     if (avctx->codec_type == AVMEDIA_TYPE_VIDEO) {
371         ret = avcodec_encode_video2(avctx, avctx->internal->buffer_pkt,
372                                     frame, got_packet);
373     } else if (avctx->codec_type == AVMEDIA_TYPE_AUDIO) {
374         ret = avcodec_encode_audio2(avctx, avctx->internal->buffer_pkt,
375                                     frame, got_packet);
376     } else {
377         ret = AVERROR(EINVAL);
378     }
379
380     if (ret >= 0 && *got_packet) {
381         // Encoders must always return ref-counted buffers.
382         // Side-data only packets have no data and can be not ref-counted.
383         av_assert0(!avctx->internal->buffer_pkt->data || avctx->internal->buffer_pkt->buf);
384         avctx->internal->buffer_pkt_valid = 1;
385         ret = 0;
386     } else {
387         av_packet_unref(avctx->internal->buffer_pkt);
388     }
389
390     return ret;
391 }
392
393 int attribute_align_arg avcodec_send_frame(AVCodecContext *avctx, const AVFrame *frame)
394 {
395     if (!avcodec_is_open(avctx) || !av_codec_is_encoder(avctx->codec))
396         return AVERROR(EINVAL);
397
398     if (avctx->internal->draining)
399         return AVERROR_EOF;
400
401     if (!frame) {
402         avctx->internal->draining = 1;
403
404         if (!(avctx->codec->capabilities & AV_CODEC_CAP_DELAY))
405             return 0;
406     }
407
408     if (avctx->codec->send_frame)
409         return avctx->codec->send_frame(avctx, frame);
410
411     // Emulation via old API. Do it here instead of avcodec_receive_packet, because:
412     // 1. if the AVFrame is not refcounted, the copying will be much more
413     //    expensive than copying the packet data
414     // 2. assume few users use non-refcounted AVPackets, so usually no copy is
415     //    needed
416
417     if (avctx->internal->buffer_pkt_valid)
418         return AVERROR(EAGAIN);
419
420     return do_encode(avctx, frame, &(int){0});
421 }
422
423 int attribute_align_arg avcodec_receive_packet(AVCodecContext *avctx, AVPacket *avpkt)
424 {
425     av_packet_unref(avpkt);
426
427     if (!avcodec_is_open(avctx) || !av_codec_is_encoder(avctx->codec))
428         return AVERROR(EINVAL);
429
430     if (avctx->codec->receive_packet) {
431         if (avctx->internal->draining && !(avctx->codec->capabilities & AV_CODEC_CAP_DELAY))
432             return AVERROR_EOF;
433         return avctx->codec->receive_packet(avctx, avpkt);
434     }
435
436     // Emulation via old API.
437
438     if (!avctx->internal->buffer_pkt_valid) {
439         int got_packet;
440         int ret;
441         if (!avctx->internal->draining)
442             return AVERROR(EAGAIN);
443         ret = do_encode(avctx, NULL, &got_packet);
444         if (ret < 0)
445             return ret;
446         if (ret >= 0 && !got_packet)
447             return AVERROR_EOF;
448     }
449
450     av_packet_move_ref(avpkt, avctx->internal->buffer_pkt);
451     avctx->internal->buffer_pkt_valid = 0;
452     return 0;
453 }