avfilter/vf_pad: add aspect option
[ffmpeg.git] / ffmpeg_videotoolbox.c
1 /*
2  * This file is part of FFmpeg.
3  *
4  * FFmpeg is free software; you can redistribute it and/or
5  * modify it under the terms of the GNU Lesser General Public
6  * License as published by the Free Software Foundation; either
7  * version 2.1 of the License, or (at your option) any later version.
8  *
9  * FFmpeg is distributed in the hope that it will be useful,
10  * but WITHOUT ANY WARRANTY; without even the implied warranty of
11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
12  * Lesser General Public License for more details.
13  *
14  * You should have received a copy of the GNU Lesser General Public
15  * License along with FFmpeg; if not, write to the Free Software
16  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
17  */
18
19 #include "config.h"
20
21 #if HAVE_UTGETOSTYPEFROMSTRING
22 #include <CoreServices/CoreServices.h>
23 #endif
24
25 #include "libavcodec/avcodec.h"
26 #if CONFIG_VDA
27 #  include "libavcodec/vda.h"
28 #endif
29 #if CONFIG_VIDEOTOOLBOX
30 #  include "libavcodec/videotoolbox.h"
31 #endif
32 #include "libavutil/imgutils.h"
33 #include "ffmpeg.h"
34
35 typedef struct VTContext {
36     AVFrame *tmp_frame;
37 } VTContext;
38
39 char *videotoolbox_pixfmt;
40
41 static int videotoolbox_retrieve_data(AVCodecContext *s, AVFrame *frame)
42 {
43     InputStream *ist = s->opaque;
44     VTContext  *vt = ist->hwaccel_ctx;
45     CVPixelBufferRef pixbuf = (CVPixelBufferRef)frame->data[3];
46     OSType pixel_format = CVPixelBufferGetPixelFormatType(pixbuf);
47     CVReturn err;
48     uint8_t *data[4] = { 0 };
49     int linesize[4] = { 0 };
50     int planes, ret, i;
51
52     av_frame_unref(vt->tmp_frame);
53
54     switch (pixel_format) {
55     case kCVPixelFormatType_420YpCbCr8Planar: vt->tmp_frame->format = AV_PIX_FMT_YUV420P; break;
56     case kCVPixelFormatType_422YpCbCr8:       vt->tmp_frame->format = AV_PIX_FMT_UYVY422; break;
57     case kCVPixelFormatType_32BGRA:           vt->tmp_frame->format = AV_PIX_FMT_BGRA; break;
58 #ifdef kCFCoreFoundationVersionNumber10_7
59     case kCVPixelFormatType_420YpCbCr8BiPlanarVideoRange: vt->tmp_frame->format = AV_PIX_FMT_NV12; break;
60 #endif
61     default:
62         av_log(NULL, AV_LOG_ERROR,
63                "%s: Unsupported pixel format: %s\n",
64                av_fourcc2str(s->codec_tag), videotoolbox_pixfmt);
65         return AVERROR(ENOSYS);
66     }
67
68     vt->tmp_frame->width  = frame->width;
69     vt->tmp_frame->height = frame->height;
70     ret = av_frame_get_buffer(vt->tmp_frame, 32);
71     if (ret < 0)
72         return ret;
73
74     err = CVPixelBufferLockBaseAddress(pixbuf, kCVPixelBufferLock_ReadOnly);
75     if (err != kCVReturnSuccess) {
76         av_log(NULL, AV_LOG_ERROR, "Error locking the pixel buffer.\n");
77         return AVERROR_UNKNOWN;
78     }
79
80     if (CVPixelBufferIsPlanar(pixbuf)) {
81
82         planes = CVPixelBufferGetPlaneCount(pixbuf);
83         for (i = 0; i < planes; i++) {
84             data[i]     = CVPixelBufferGetBaseAddressOfPlane(pixbuf, i);
85             linesize[i] = CVPixelBufferGetBytesPerRowOfPlane(pixbuf, i);
86         }
87     } else {
88         data[0] = CVPixelBufferGetBaseAddress(pixbuf);
89         linesize[0] = CVPixelBufferGetBytesPerRow(pixbuf);
90     }
91
92     av_image_copy(vt->tmp_frame->data, vt->tmp_frame->linesize,
93                   (const uint8_t **)data, linesize, vt->tmp_frame->format,
94                   frame->width, frame->height);
95
96     ret = av_frame_copy_props(vt->tmp_frame, frame);
97     CVPixelBufferUnlockBaseAddress(pixbuf, kCVPixelBufferLock_ReadOnly);
98     if (ret < 0)
99         return ret;
100
101     av_frame_unref(frame);
102     av_frame_move_ref(frame, vt->tmp_frame);
103
104     return 0;
105 }
106
107 static void videotoolbox_uninit(AVCodecContext *s)
108 {
109     InputStream *ist = s->opaque;
110     VTContext  *vt = ist->hwaccel_ctx;
111
112     ist->hwaccel_uninit        = NULL;
113     ist->hwaccel_retrieve_data = NULL;
114
115     av_frame_free(&vt->tmp_frame);
116
117     if (ist->hwaccel_id == HWACCEL_VIDEOTOOLBOX) {
118 #if CONFIG_VIDEOTOOLBOX
119         av_videotoolbox_default_free(s);
120 #endif
121     } else {
122 #if CONFIG_VDA
123         av_vda_default_free(s);
124 #endif
125     }
126     av_freep(&ist->hwaccel_ctx);
127 }
128
129 int videotoolbox_init(AVCodecContext *s)
130 {
131     InputStream *ist = s->opaque;
132     int loglevel = (ist->hwaccel_id == HWACCEL_AUTO) ? AV_LOG_VERBOSE : AV_LOG_ERROR;
133     int ret = 0;
134     VTContext *vt;
135
136     vt = av_mallocz(sizeof(*vt));
137     if (!vt)
138         return AVERROR(ENOMEM);
139
140     ist->hwaccel_ctx           = vt;
141     ist->hwaccel_uninit        = videotoolbox_uninit;
142     ist->hwaccel_retrieve_data = videotoolbox_retrieve_data;
143
144     vt->tmp_frame = av_frame_alloc();
145     if (!vt->tmp_frame) {
146         ret = AVERROR(ENOMEM);
147         goto fail;
148     }
149
150     if (ist->hwaccel_id == HWACCEL_VIDEOTOOLBOX) {
151 #if CONFIG_VIDEOTOOLBOX
152         if (!videotoolbox_pixfmt) {
153             ret = av_videotoolbox_default_init(s);
154         } else {
155             AVVideotoolboxContext *vtctx = av_videotoolbox_alloc_context();
156             CFStringRef pixfmt_str = CFStringCreateWithCString(kCFAllocatorDefault,
157                                                                videotoolbox_pixfmt,
158                                                                kCFStringEncodingUTF8);
159 #if HAVE_UTGETOSTYPEFROMSTRING
160             vtctx->cv_pix_fmt_type = UTGetOSTypeFromString(pixfmt_str);
161 #else
162             av_log(s, loglevel, "UTGetOSTypeFromString() is not available "
163                    "on this platform, %s pixel format can not be honored from "
164                    "the command line\n", videotoolbox_pixfmt);
165 #endif
166             ret = av_videotoolbox_default_init2(s, vtctx);
167             CFRelease(pixfmt_str);
168         }
169 #endif
170     } else {
171 #if CONFIG_VDA
172         if (!videotoolbox_pixfmt) {
173             ret = av_vda_default_init(s);
174         } else {
175             AVVDAContext *vdactx = av_vda_alloc_context();
176             CFStringRef pixfmt_str = CFStringCreateWithCString(kCFAllocatorDefault,
177                                                                videotoolbox_pixfmt,
178                                                                kCFStringEncodingUTF8);
179 #if HAVE_UTGETOSTYPEFROMSTRING
180             vdactx->cv_pix_fmt_type = UTGetOSTypeFromString(pixfmt_str);
181 #else
182             av_log(s, loglevel, "UTGetOSTypeFromString() is not available "
183                    "on this platform, %s pixel format can not be honored from "
184                    "the command line\n", videotoolbox_pixfmt);
185 #endif
186             ret = av_vda_default_init2(s, vdactx);
187             CFRelease(pixfmt_str);
188         }
189 #endif
190     }
191     if (ret < 0) {
192         av_log(NULL, loglevel,
193                "Error creating %s decoder.\n", ist->hwaccel_id == HWACCEL_VIDEOTOOLBOX ? "Videotoolbox" : "VDA");
194         goto fail;
195     }
196
197     return 0;
198 fail:
199     videotoolbox_uninit(s);
200     return ret;
201 }