Merge commit '77b2cd7b41d7ec8008b6fac753c04f77824c514c'
[ffmpeg.git] / libavutil / frame.c
1 /*
2  *
3  * This file is part of FFmpeg.
4  *
5  * FFmpeg is free software; you can redistribute it and/or
6  * modify it under the terms of the GNU Lesser General Public
7  * License as published by the Free Software Foundation; either
8  * version 2.1 of the License, or (at your option) any later version.
9  *
10  * FFmpeg is distributed in the hope that it will be useful,
11  * but WITHOUT ANY WARRANTY; without even the implied warranty of
12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13  * Lesser General Public License for more details.
14  *
15  * You should have received a copy of the GNU Lesser General Public
16  * License along with FFmpeg; if not, write to the Free Software
17  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
18  */
19
20 #include "audioconvert.h"
21 #include "buffer.h"
22 #include "common.h"
23 #include "dict.h"
24 #include "frame.h"
25 #include "imgutils.h"
26 #include "mem.h"
27 #include "samplefmt.h"
28
29 #define MAKE_ACCESSORS(str, name, type, field) \
30     type av_##name##_get_##field(const str *s) { return s->field; } \
31     void av_##name##_set_##field(str *s, type v) { s->field = v; }
32
33 MAKE_ACCESSORS(AVFrame, frame, int64_t, best_effort_timestamp)
34 MAKE_ACCESSORS(AVFrame, frame, int64_t, pkt_duration)
35 MAKE_ACCESSORS(AVFrame, frame, int64_t, pkt_pos)
36 MAKE_ACCESSORS(AVFrame, frame, int64_t, channel_layout)
37 MAKE_ACCESSORS(AVFrame, frame, int,     channels)
38 MAKE_ACCESSORS(AVFrame, frame, int,     sample_rate)
39 MAKE_ACCESSORS(AVFrame, frame, AVDictionary *, metadata)
40 MAKE_ACCESSORS(AVFrame, frame, int,     decode_error_flags)
41 MAKE_ACCESSORS(AVFrame, frame, int,     pkt_size)
42
43 AVDictionary **avpriv_frame_get_metadatap(AVFrame *frame) {return &frame->metadata;};
44
45 static void get_frame_defaults(AVFrame *frame)
46 {
47     if (frame->extended_data != frame->data)
48         av_freep(&frame->extended_data);
49
50     memset(frame, 0, sizeof(*frame));
51
52     frame->pts                 = AV_NOPTS_VALUE;
53     frame->key_frame           = 1;
54     frame->sample_aspect_ratio = (AVRational){ 0, 1 };
55     frame->format              = -1; /* unknown */
56     frame->extended_data       = frame->data;
57 }
58
59 AVFrame *av_frame_alloc(void)
60 {
61     AVFrame *frame = av_mallocz(sizeof(*frame));
62
63     if (!frame)
64         return NULL;
65
66     get_frame_defaults(frame);
67
68     return frame;
69 }
70
71 void av_frame_free(AVFrame **frame)
72 {
73     if (!frame || !*frame)
74         return;
75
76     av_frame_unref(*frame);
77     av_freep(frame);
78 }
79
80 static int get_video_buffer(AVFrame *frame, int align)
81 {
82     const AVPixFmtDescriptor *desc = av_pix_fmt_desc_get(frame->format);
83     int ret, i;
84
85     if (!desc)
86         return AVERROR(EINVAL);
87
88     if ((ret = av_image_check_size(frame->width, frame->height, 0, NULL)) < 0)
89         return ret;
90
91     if (!frame->linesize[0]) {
92         ret = av_image_fill_linesizes(frame->linesize, frame->format,
93                                       frame->width);
94         if (ret < 0)
95             return ret;
96
97         for (i = 0; i < 4 && frame->linesize[i]; i++)
98             frame->linesize[i] = FFALIGN(frame->linesize[i], align);
99     }
100
101     for (i = 0; i < 4 && frame->linesize[i]; i++) {
102         int h = frame->height;
103         if (i == 1 || i == 2)
104             h = -((-h) >> desc->log2_chroma_h);
105
106         frame->buf[i] = av_buffer_alloc(frame->linesize[i] * h);
107         if (!frame->buf[i])
108             goto fail;
109
110         frame->data[i] = frame->buf[i]->data;
111     }
112     if (desc->flags & PIX_FMT_PAL || desc->flags & PIX_FMT_PSEUDOPAL) {
113         av_buffer_unref(&frame->buf[1]);
114         frame->buf[1] = av_buffer_alloc(1024);
115         if (!frame->buf[1])
116             goto fail;
117         frame->data[1] = frame->buf[1]->data;
118     }
119
120     frame->extended_data = frame->data;
121
122     return 0;
123 fail:
124     av_frame_unref(frame);
125     return AVERROR(ENOMEM);
126 }
127
128 static int get_audio_buffer(AVFrame *frame, int align)
129 {
130     int channels = av_get_channel_layout_nb_channels(frame->channel_layout);
131     int planar   = av_sample_fmt_is_planar(frame->format);
132     int planes   = planar ? channels : 1;
133     int ret, i;
134
135     if (!frame->linesize[0]) {
136         ret = av_samples_get_buffer_size(&frame->linesize[0], channels,
137                                          frame->nb_samples, frame->format,
138                                          align);
139         if (ret < 0)
140             return ret;
141     }
142
143     if (planes > AV_NUM_DATA_POINTERS) {
144         frame->extended_data = av_mallocz(planes *
145                                           sizeof(*frame->extended_data));
146         frame->extended_buf  = av_mallocz((planes - AV_NUM_DATA_POINTERS) *
147                                           sizeof(*frame->extended_buf));
148         if (!frame->extended_data || !frame->extended_buf) {
149             av_freep(&frame->extended_data);
150             av_freep(&frame->extended_buf);
151             return AVERROR(ENOMEM);
152         }
153         frame->nb_extended_buf = planes - AV_NUM_DATA_POINTERS;
154     } else
155         frame->extended_data = frame->data;
156
157     for (i = 0; i < FFMIN(planes, AV_NUM_DATA_POINTERS); i++) {
158         frame->buf[i] = av_buffer_alloc(frame->linesize[0]);
159         if (!frame->buf[i]) {
160             av_frame_unref(frame);
161             return AVERROR(ENOMEM);
162         }
163         frame->extended_data[i] = frame->data[i] = frame->buf[i]->data;
164     }
165     for (i = 0; i < planes - AV_NUM_DATA_POINTERS; i++) {
166         frame->extended_buf[i] = av_buffer_alloc(frame->linesize[0]);
167         if (!frame->extended_buf[i]) {
168             av_frame_unref(frame);
169             return AVERROR(ENOMEM);
170         }
171         frame->extended_data[i + AV_NUM_DATA_POINTERS] = frame->extended_buf[i]->data;
172     }
173     return 0;
174
175 }
176
177 int av_frame_get_buffer(AVFrame *frame, int align)
178 {
179     if (frame->format < 0)
180         return AVERROR(EINVAL);
181
182     if (frame->width > 0 && frame->height > 0)
183         return get_video_buffer(frame, align);
184     else if (frame->nb_samples > 0 && frame->channel_layout)
185         return get_audio_buffer(frame, align);
186
187     return AVERROR(EINVAL);
188 }
189
190 int av_frame_ref(AVFrame *dst, AVFrame *src)
191 {
192     int i, ret = 0;
193
194     dst->format         = src->format;
195     dst->width          = src->width;
196     dst->height         = src->height;
197     dst->channel_layout = src->channel_layout;
198     dst->nb_samples     = src->nb_samples;
199
200     ret = av_frame_copy_props(dst, src);
201     if (ret < 0)
202         return ret;
203
204     /* duplicate the frame data if it's not refcounted */
205     if (!src->buf[0]) {
206         ret = av_frame_get_buffer(dst, 32);
207         if (ret < 0)
208             return ret;
209
210         if (src->nb_samples) {
211             int ch = av_get_channel_layout_nb_channels(src->channel_layout);
212             av_samples_copy(dst->extended_data, src->extended_data, 0, 0,
213                             dst->nb_samples, ch, dst->format);
214         } else {
215             av_image_copy(dst->data, dst->linesize, src->data, src->linesize,
216                           dst->format, dst->width, dst->height);
217         }
218         return 0;
219     }
220
221     /* ref the buffers */
222     for (i = 0; i < FF_ARRAY_ELEMS(src->buf) && src->buf[i]; i++) {
223         dst->buf[i] = av_buffer_ref(src->buf[i]);
224         if (!dst->buf[i]) {
225             ret = AVERROR(ENOMEM);
226             goto fail;
227         }
228     }
229
230     if (src->extended_buf) {
231         dst->extended_buf = av_mallocz(sizeof(*dst->extended_buf) *
232                                        src->nb_extended_buf);
233         if (!dst->extended_buf) {
234             ret = AVERROR(ENOMEM);
235             goto fail;
236         }
237         dst->nb_extended_buf = src->nb_extended_buf;
238
239         for (i = 0; i < src->nb_extended_buf; i++) {
240             dst->extended_buf[i] = av_buffer_ref(src->extended_buf[i]);
241             if (!dst->extended_buf[i]) {
242                 ret = AVERROR(ENOMEM);
243                 goto fail;
244             }
245         }
246     }
247
248     /* duplicate extended data */
249     if (src->extended_data != src->data) {
250         int ch = av_get_channel_layout_nb_channels(src->channel_layout);
251
252         if (!ch) {
253             ret = AVERROR(EINVAL);
254             goto fail;
255         }
256
257         dst->extended_data = av_malloc(sizeof(*dst->extended_data) * ch);
258         if (!dst->extended_data) {
259             ret = AVERROR(ENOMEM);
260             goto fail;
261         }
262         memcpy(dst->extended_data, src->extended_data, sizeof(*src->extended_data) * ch);
263     } else
264         dst->extended_data = dst->data;
265
266     memcpy(dst->data,     src->data,     sizeof(src->data));
267     memcpy(dst->linesize, src->linesize, sizeof(src->linesize));
268
269     return 0;
270
271 fail:
272     av_frame_unref(dst);
273     return ret;
274 }
275
276 AVFrame *av_frame_clone(AVFrame *src)
277 {
278     AVFrame *ret = av_frame_alloc();
279
280     if (!ret)
281         return NULL;
282
283     if (av_frame_ref(ret, src) < 0)
284         av_frame_free(&ret);
285
286     return ret;
287 }
288
289 void av_frame_unref(AVFrame *frame)
290 {
291     int i;
292
293     for (i = 0; i < frame->nb_side_data; i++) {
294         av_freep(&frame->side_data[i]->data);
295         av_dict_free(&frame->side_data[i]->metadata);
296         av_freep(&frame->side_data[i]);
297     }
298     av_freep(&frame->side_data);
299
300     for (i = 0; i < FF_ARRAY_ELEMS(frame->buf); i++)
301         av_buffer_unref(&frame->buf[i]);
302     for (i = 0; i < frame->nb_extended_buf; i++)
303         av_buffer_unref(&frame->extended_buf[i]);
304     av_freep(&frame->extended_buf);
305     get_frame_defaults(frame);
306 }
307
308 void av_frame_move_ref(AVFrame *dst, AVFrame *src)
309 {
310     *dst = *src;
311     if (src->extended_data == src->data)
312         dst->extended_data = dst->data;
313     memset(src, 0, sizeof(*src));
314     get_frame_defaults(src);
315 }
316
317 int av_frame_is_writable(AVFrame *frame)
318 {
319     int i, ret = 1;
320
321     /* assume non-refcounted frames are not writable */
322     if (!frame->buf[0])
323         return 0;
324
325     for (i = 0; i < FF_ARRAY_ELEMS(frame->buf) && frame->buf[i]; i++)
326         ret &= !!av_buffer_is_writable(frame->buf[i]);
327     for (i = 0; i < frame->nb_extended_buf; i++)
328         ret &= !!av_buffer_is_writable(frame->extended_buf[i]);
329
330     return ret;
331 }
332
333 int av_frame_make_writable(AVFrame *frame)
334 {
335     AVFrame tmp;
336     int ret;
337
338     if (!frame->buf[0])
339         return AVERROR(EINVAL);
340
341     if (av_frame_is_writable(frame))
342         return 0;
343
344     memset(&tmp, 0, sizeof(tmp));
345     tmp.format         = frame->format;
346     tmp.width          = frame->width;
347     tmp.height         = frame->height;
348     tmp.channel_layout = frame->channel_layout;
349     tmp.nb_samples     = frame->nb_samples;
350     ret = av_frame_get_buffer(&tmp, 32);
351     if (ret < 0)
352         return ret;
353
354     if (tmp.nb_samples) {
355         int ch = av_get_channel_layout_nb_channels(tmp.channel_layout);
356         av_samples_copy(tmp.extended_data, frame->extended_data, 0, 0,
357                         frame->nb_samples, ch, frame->format);
358     } else {
359         av_image_copy(tmp.data, tmp.linesize, frame->data, frame->linesize,
360                       frame->format, frame->width, frame->height);
361     }
362
363     ret = av_frame_copy_props(&tmp, frame);
364     if (ret < 0) {
365         av_frame_unref(&tmp);
366         return ret;
367     }
368
369     av_frame_unref(frame);
370
371     *frame = tmp;
372     if (tmp.data == tmp.extended_data)
373         frame->extended_data = frame->data;
374
375     return 0;
376 }
377
378 int av_frame_copy_props(AVFrame *dst, const AVFrame *src)
379 {
380     int i;
381
382     dst->key_frame           = src->key_frame;
383     dst->pict_type           = src->pict_type;
384     dst->sample_aspect_ratio = src->sample_aspect_ratio;
385     dst->pts                 = src->pts;
386     dst->interlaced_frame    = src->interlaced_frame;
387     dst->top_field_first     = src->top_field_first;
388     dst->sample_rate         = src->sample_rate;
389     dst->opaque              = src->opaque;
390     dst->pkt_pts             = src->pkt_pts;
391     dst->pkt_dts             = src->pkt_dts;
392     dst->quality             = src->quality;
393     dst->coded_picture_number = src->coded_picture_number;
394     dst->display_picture_number = src->display_picture_number;
395
396     for (i = 0; i < src->nb_side_data; i++) {
397         const AVFrameSideData *sd_src = src->side_data[i];
398         AVFrameSideData *sd_dst = av_frame_new_side_data(dst, sd_src->type,
399                                                          sd_src->size);
400         if (!sd_dst) {
401             for (i = 0; i < dst->nb_side_data; i++) {
402                 av_freep(&dst->side_data[i]->data);
403                 av_freep(&dst->side_data[i]);
404                 av_dict_free(&dst->side_data[i]->metadata);
405             }
406             av_freep(&dst->side_data);
407             return AVERROR(ENOMEM);
408         }
409         memcpy(sd_dst->data, sd_src->data, sd_src->size);
410         av_dict_copy(&sd_dst->metadata, sd_src->metadata, 0);
411     }
412
413     return 0;
414 }
415
416 AVBufferRef *av_frame_get_plane_buffer(AVFrame *frame, int plane)
417 {
418     uint8_t *data;
419     int planes, i;
420
421     if (frame->nb_samples) {
422         int channels = av_get_channel_layout_nb_channels(frame->channel_layout);
423         if (!channels)
424             return NULL;
425         planes = av_sample_fmt_is_planar(frame->format) ? channels : 1;
426     } else
427         planes = 4;
428
429     if (plane < 0 || plane >= planes || !frame->extended_data[plane])
430         return NULL;
431     data = frame->extended_data[plane];
432
433     for (i = 0; i < FF_ARRAY_ELEMS(frame->buf) && frame->buf[i]; i++) {
434         AVBufferRef *buf = frame->buf[i];
435         if (data >= buf->data && data < buf->data + buf->size)
436             return buf;
437     }
438     for (i = 0; i < frame->nb_extended_buf; i++) {
439         AVBufferRef *buf = frame->extended_buf[i];
440         if (data >= buf->data && data < buf->data + buf->size)
441             return buf;
442     }
443     return NULL;
444 }
445
446 AVFrameSideData *av_frame_new_side_data(AVFrame *frame,
447                                         enum AVFrameSideDataType type,
448                                         int size)
449 {
450     AVFrameSideData *ret, **tmp;
451
452     if (frame->nb_side_data > INT_MAX / sizeof(*frame->side_data) - 1)
453         return NULL;
454
455     tmp = av_realloc(frame->side_data,
456                      (frame->nb_side_data + 1) * sizeof(*frame->side_data));
457     if (!tmp)
458         return NULL;
459     frame->side_data = tmp;
460
461     ret = av_mallocz(sizeof(*ret));
462     if (!ret)
463         return NULL;
464
465     ret->data = av_malloc(size);
466     if (!ret->data) {
467         av_freep(&ret);
468         return NULL;
469     }
470
471     ret->size = size;
472     ret->type = type;
473
474     frame->side_data[frame->nb_side_data++] = ret;
475
476     return ret;
477 }
478
479 AVFrameSideData *av_frame_get_side_data(AVFrame *frame,
480                                         enum AVFrameSideDataType type)
481 {
482     int i;
483
484     for (i = 0; i < frame->nb_side_data; i++) {
485         if (frame->side_data[i]->type == type)
486             return frame->side_data[i];
487     }
488     return NULL;
489 }