98277d9a982e4da378adeeefbe9b73b343bee3a0
[ffmpeg.git] / libavcodec / omx.c
1 /*
2  * OMX Video encoder
3  * Copyright (C) 2011 Martin Storsjo
4  *
5  * This file is part of Libav.
6  *
7  * Libav is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * Libav is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with Libav; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 #include "config.h"
23
24 #if CONFIG_OMX_RPI
25 #define OMX_SKIP64BIT
26 #endif
27
28 #include <dlfcn.h>
29 #include <OMX_Core.h>
30 #include <OMX_Component.h>
31 #include <pthread.h>
32 #include <stdio.h>
33 #include <stdlib.h>
34 #include <sys/time.h>
35
36 #include "libavutil/avstring.h"
37 #include "libavutil/avutil.h"
38 #include "libavutil/common.h"
39 #include "libavutil/imgutils.h"
40 #include "libavutil/log.h"
41 #include "libavutil/opt.h"
42
43 #include "avcodec.h"
44 #include "h264.h"
45 #include "internal.h"
46
47 #ifdef OMX_SKIP64BIT
48 static OMX_TICKS to_omx_ticks(int64_t value)
49 {
50     OMX_TICKS s;
51     s.nLowPart  = value & 0xffffffff;
52     s.nHighPart = value >> 32;
53     return s;
54 }
55 static int64_t from_omx_ticks(OMX_TICKS value)
56 {
57     return (((int64_t)value.nHighPart) << 32) | value.nLowPart;
58 }
59 #else
60 #define to_omx_ticks(x) (x)
61 #define from_omx_ticks(x) (x)
62 #endif
63
64 #define INIT_STRUCT(x) do {                                               \
65         x.nSize = sizeof(x);                                              \
66         x.nVersion = s->version;                                          \
67     } while (0)
68 #define CHECK(x) do {                                                     \
69         if (x != OMX_ErrorNone) {                                         \
70             av_log(avctx, AV_LOG_ERROR,                                   \
71                    "err %x (%d) on line %d\n", x, x, __LINE__);           \
72             return AVERROR_UNKNOWN;                                       \
73         }                                                                 \
74     } while (0)
75
76 typedef struct OMXContext {
77     void *lib;
78     void *lib2;
79     OMX_ERRORTYPE (*ptr_Init)(void);
80     OMX_ERRORTYPE (*ptr_Deinit)(void);
81     OMX_ERRORTYPE (*ptr_ComponentNameEnum)(OMX_STRING, OMX_U32, OMX_U32);
82     OMX_ERRORTYPE (*ptr_GetHandle)(OMX_HANDLETYPE*, OMX_STRING, OMX_PTR, OMX_CALLBACKTYPE*);
83     OMX_ERRORTYPE (*ptr_FreeHandle)(OMX_HANDLETYPE);
84     OMX_ERRORTYPE (*ptr_GetComponentsOfRole)(OMX_STRING, OMX_U32*, OMX_U8**);
85     OMX_ERRORTYPE (*ptr_GetRolesOfComponent)(OMX_STRING, OMX_U32*, OMX_U8**);
86     void (*host_init)(void);
87 } OMXContext;
88
89 static av_cold void *dlsym_prefixed(void *handle, const char *symbol, const char *prefix)
90 {
91     char buf[50];
92     snprintf(buf, sizeof(buf), "%s%s", prefix ? prefix : "", symbol);
93     return dlsym(handle, buf);
94 }
95
96 static av_cold int omx_try_load(OMXContext *s, void *logctx,
97                                 const char *libname, const char *prefix,
98                                 const char *libname2)
99 {
100     if (libname2) {
101         s->lib2 = dlopen(libname2, RTLD_NOW | RTLD_GLOBAL);
102         if (!s->lib2) {
103             av_log(logctx, AV_LOG_WARNING, "%s not found\n", libname);
104             return AVERROR_ENCODER_NOT_FOUND;
105         }
106         s->host_init = dlsym(s->lib2, "bcm_host_init");
107         if (!s->host_init) {
108             av_log(logctx, AV_LOG_WARNING, "bcm_host_init not found\n");
109             dlclose(s->lib2);
110             s->lib2 = NULL;
111             return AVERROR_ENCODER_NOT_FOUND;
112         }
113     }
114     s->lib = dlopen(libname, RTLD_NOW | RTLD_GLOBAL);
115     if (!s->lib) {
116         av_log(logctx, AV_LOG_WARNING, "%s not found\n", libname);
117         return AVERROR_ENCODER_NOT_FOUND;
118     }
119     s->ptr_Init                = dlsym_prefixed(s->lib, "OMX_Init", prefix);
120     s->ptr_Deinit              = dlsym_prefixed(s->lib, "OMX_Deinit", prefix);
121     s->ptr_ComponentNameEnum   = dlsym_prefixed(s->lib, "OMX_ComponentNameEnum", prefix);
122     s->ptr_GetHandle           = dlsym_prefixed(s->lib, "OMX_GetHandle", prefix);
123     s->ptr_FreeHandle          = dlsym_prefixed(s->lib, "OMX_FreeHandle", prefix);
124     s->ptr_GetComponentsOfRole = dlsym_prefixed(s->lib, "OMX_GetComponentsOfRole", prefix);
125     s->ptr_GetRolesOfComponent = dlsym_prefixed(s->lib, "OMX_GetRolesOfComponent", prefix);
126     if (!s->ptr_Init || !s->ptr_Deinit || !s->ptr_ComponentNameEnum ||
127         !s->ptr_GetHandle || !s->ptr_FreeHandle ||
128         !s->ptr_GetComponentsOfRole || !s->ptr_GetRolesOfComponent) {
129         av_log(logctx, AV_LOG_WARNING, "Not all functions found in %s\n", libname);
130         dlclose(s->lib);
131         s->lib = NULL;
132         if (s->lib2)
133             dlclose(s->lib2);
134         s->lib2 = NULL;
135         return AVERROR_ENCODER_NOT_FOUND;
136     }
137     return 0;
138 }
139
140 static av_cold OMXContext *omx_init(void *logctx, const char *libname, const char *prefix)
141 {
142     static const char * const libnames[] = {
143 #if CONFIG_OMX_RPI
144         "/opt/vc/lib/libopenmaxil.so", "/opt/vc/lib/libbcm_host.so",
145 #else
146         "libOMX_Core.so", NULL,
147         "libOmxCore.so", NULL,
148 #endif
149         NULL
150     };
151     const char* const* nameptr;
152     int ret = AVERROR_ENCODER_NOT_FOUND;
153     OMXContext *omx_context;
154
155     omx_context = av_mallocz(sizeof(*omx_context));
156     if (!omx_context)
157         return NULL;
158     if (libname) {
159         ret = omx_try_load(omx_context, logctx, libname, prefix, NULL);
160         if (ret < 0) {
161             av_free(omx_context);
162             return NULL;
163         }
164     } else {
165         for (nameptr = libnames; *nameptr; nameptr += 2)
166             if (!(ret = omx_try_load(omx_context, logctx, nameptr[0], prefix, nameptr[1])))
167                 break;
168         if (!*nameptr) {
169             av_free(omx_context);
170             return NULL;
171         }
172     }
173
174     if (omx_context->host_init)
175         omx_context->host_init();
176     omx_context->ptr_Init();
177     return omx_context;
178 }
179
180 static av_cold void omx_deinit(OMXContext *omx_context)
181 {
182     if (!omx_context)
183         return;
184     omx_context->ptr_Deinit();
185     dlclose(omx_context->lib);
186     av_free(omx_context);
187 }
188
189 typedef struct OMXCodecContext {
190     const AVClass *class;
191     char *libname;
192     char *libprefix;
193     OMXContext *omx_context;
194
195     AVCodecContext *avctx;
196
197     char component_name[OMX_MAX_STRINGNAME_SIZE];
198     OMX_VERSIONTYPE version;
199     OMX_HANDLETYPE handle;
200     int in_port, out_port;
201     OMX_COLOR_FORMATTYPE color_format;
202     int stride, plane_size;
203
204     int num_in_buffers, num_out_buffers;
205     OMX_BUFFERHEADERTYPE **in_buffer_headers;
206     OMX_BUFFERHEADERTYPE **out_buffer_headers;
207     int num_free_in_buffers;
208     OMX_BUFFERHEADERTYPE **free_in_buffers;
209     int num_done_out_buffers;
210     OMX_BUFFERHEADERTYPE **done_out_buffers;
211     pthread_mutex_t input_mutex;
212     pthread_cond_t input_cond;
213     pthread_mutex_t output_mutex;
214     pthread_cond_t output_cond;
215
216     pthread_mutex_t state_mutex;
217     pthread_cond_t state_cond;
218     OMX_STATETYPE state;
219     OMX_ERRORTYPE error;
220
221     int mutex_cond_inited;
222
223     int num_in_frames, num_out_frames;
224
225     uint8_t *output_buf;
226     int output_buf_size;
227 } OMXCodecContext;
228
229 static void append_buffer(pthread_mutex_t *mutex, pthread_cond_t *cond,
230                           int* array_size, OMX_BUFFERHEADERTYPE **array,
231                           OMX_BUFFERHEADERTYPE *buffer)
232 {
233     pthread_mutex_lock(mutex);
234     array[(*array_size)++] = buffer;
235     pthread_cond_broadcast(cond);
236     pthread_mutex_unlock(mutex);
237 }
238
239 static OMX_BUFFERHEADERTYPE *get_buffer(pthread_mutex_t *mutex, pthread_cond_t *cond,
240                                         int* array_size, OMX_BUFFERHEADERTYPE **array,
241                                         int wait)
242 {
243     OMX_BUFFERHEADERTYPE *buffer;
244     pthread_mutex_lock(mutex);
245     if (wait) {
246         while (!*array_size)
247            pthread_cond_wait(cond, mutex);
248     }
249     if (*array_size > 0) {
250         buffer = array[0];
251         (*array_size)--;
252         memmove(&array[0], &array[1], (*array_size) * sizeof(OMX_BUFFERHEADERTYPE*));
253     } else {
254         buffer = NULL;
255     }
256     pthread_mutex_unlock(mutex);
257     return buffer;
258 }
259
260 static OMX_ERRORTYPE event_handler(OMX_HANDLETYPE component, OMX_PTR app_data, OMX_EVENTTYPE event,
261                                    OMX_U32 data1, OMX_U32 data2, OMX_PTR event_data)
262 {
263     OMXCodecContext *s = app_data;
264     // This uses casts in the printfs, since OMX_U32 actually is a typedef for
265     // unsigned long in official header versions (but there are also modified
266     // versions where it is something else).
267     switch (event) {
268     case OMX_EventError:
269         pthread_mutex_lock(&s->state_mutex);
270         av_log(s->avctx, AV_LOG_ERROR, "OMX error %"PRIx32"\n", (uint32_t) data1);
271         s->error = data1;
272         pthread_cond_broadcast(&s->state_cond);
273         pthread_mutex_unlock(&s->state_mutex);
274         break;
275     case OMX_EventCmdComplete:
276         if (data1 == OMX_CommandStateSet) {
277             pthread_mutex_lock(&s->state_mutex);
278             s->state = data2;
279             av_log(s->avctx, AV_LOG_VERBOSE, "OMX state changed to %"PRIu32"\n", (uint32_t) data2);
280             pthread_cond_broadcast(&s->state_cond);
281             pthread_mutex_unlock(&s->state_mutex);
282         } else if (data1 == OMX_CommandPortDisable) {
283             av_log(s->avctx, AV_LOG_VERBOSE, "OMX port %"PRIu32" disabled\n", (uint32_t) data2);
284         } else if (data1 == OMX_CommandPortEnable) {
285             av_log(s->avctx, AV_LOG_VERBOSE, "OMX port %"PRIu32" enabled\n", (uint32_t) data2);
286         } else {
287             av_log(s->avctx, AV_LOG_VERBOSE, "OMX command complete, command %"PRIu32", value %"PRIu32"\n",
288                                              (uint32_t) data1, (uint32_t) data2);
289         }
290         break;
291     case OMX_EventPortSettingsChanged:
292         av_log(s->avctx, AV_LOG_VERBOSE, "OMX port %"PRIu32" settings changed\n", (uint32_t) data1);
293         break;
294     default:
295         av_log(s->avctx, AV_LOG_VERBOSE, "OMX event %d %"PRIx32" %"PRIx32"\n",
296                                          event, (uint32_t) data1, (uint32_t) data2);
297         break;
298     }
299     return OMX_ErrorNone;
300 }
301
302 static OMX_ERRORTYPE empty_buffer_done(OMX_HANDLETYPE component, OMX_PTR app_data,
303                                        OMX_BUFFERHEADERTYPE *buffer)
304 {
305     OMXCodecContext *s = app_data;
306     append_buffer(&s->input_mutex, &s->input_cond,
307                   &s->num_free_in_buffers, s->free_in_buffers, buffer);
308     return OMX_ErrorNone;
309 }
310
311 static OMX_ERRORTYPE fill_buffer_done(OMX_HANDLETYPE component, OMX_PTR app_data,
312                                       OMX_BUFFERHEADERTYPE *buffer)
313 {
314     OMXCodecContext *s = app_data;
315     append_buffer(&s->output_mutex, &s->output_cond,
316                   &s->num_done_out_buffers, s->done_out_buffers, buffer);
317     return OMX_ErrorNone;
318 }
319
320 static const OMX_CALLBACKTYPE callbacks = {
321     event_handler,
322     empty_buffer_done,
323     fill_buffer_done
324 };
325
326 static av_cold int find_component(OMXContext *omx_context, void *logctx,
327                                   const char *role, char *str, int str_size)
328 {
329     OMX_U32 i, num = 0;
330     char **components;
331     int ret = 0;
332
333 #if CONFIG_OMX_RPI
334     if (av_strstart(role, "video_encoder.", NULL)) {
335         av_strlcpy(str, "OMX.broadcom.video_encode", str_size);
336         return 0;
337     }
338 #endif
339     omx_context->ptr_GetComponentsOfRole((OMX_STRING) role, &num, NULL);
340     if (!num) {
341         av_log(logctx, AV_LOG_WARNING, "No component for role %s found\n", role);
342         return AVERROR_ENCODER_NOT_FOUND;
343     }
344     components = av_mallocz(sizeof(char*) * num);
345     if (!components)
346         return AVERROR(ENOMEM);
347     for (i = 0; i < num; i++) {
348         components[i] = av_mallocz(OMX_MAX_STRINGNAME_SIZE);
349         if (!components) {
350             ret = AVERROR(ENOMEM);
351             goto end;
352         }
353     }
354     omx_context->ptr_GetComponentsOfRole((OMX_STRING) role, &num, (OMX_U8**) components);
355     av_strlcpy(str, components[0], str_size);
356 end:
357     for (i = 0; i < num; i++)
358         av_free(components[i]);
359     av_free(components);
360     return ret;
361 }
362
363 static av_cold int wait_for_state(OMXCodecContext *s, OMX_STATETYPE state)
364 {
365     int ret = 0;
366     pthread_mutex_lock(&s->state_mutex);
367     while (s->state != state && s->error == OMX_ErrorNone)
368         pthread_cond_wait(&s->state_cond, &s->state_mutex);
369     if (s->error != OMX_ErrorNone)
370         ret = AVERROR_ENCODER_NOT_FOUND;
371     pthread_mutex_unlock(&s->state_mutex);
372     return ret;
373 }
374
375 static av_cold int omx_component_init(AVCodecContext *avctx, const char *role)
376 {
377     OMXCodecContext *s = avctx->priv_data;
378     OMX_PARAM_COMPONENTROLETYPE role_params = { 0 };
379     OMX_PORT_PARAM_TYPE video_port_params = { 0 };
380     OMX_PARAM_PORTDEFINITIONTYPE in_port_params = { 0 }, out_port_params = { 0 };
381     OMX_VIDEO_PARAM_PORTFORMATTYPE video_port_format = { 0 };
382     OMX_VIDEO_PARAM_BITRATETYPE vid_param_bitrate = { 0 };
383     OMX_ERRORTYPE err;
384     int i;
385
386     s->version.s.nVersionMajor = 1;
387     s->version.s.nVersionMinor = 1;
388     s->version.s.nRevision     = 2;
389
390     err = s->omx_context->ptr_GetHandle(&s->handle, s->component_name, s, (OMX_CALLBACKTYPE*) &callbacks);
391     if (err != OMX_ErrorNone) {
392         av_log(avctx, AV_LOG_ERROR, "OMX_GetHandle(%s) failed: %x\n", s->component_name, err);
393         return AVERROR_UNKNOWN;
394     }
395
396     // This one crashes the mediaserver on qcom, if used over IOMX
397     INIT_STRUCT(role_params);
398     av_strlcpy(role_params.cRole, role, sizeof(role_params.cRole));
399     // Intentionally ignore errors on this one
400     OMX_SetParameter(s->handle, OMX_IndexParamStandardComponentRole, &role_params);
401
402     INIT_STRUCT(video_port_params);
403     err = OMX_GetParameter(s->handle, OMX_IndexParamVideoInit, &video_port_params);
404     CHECK(err);
405
406     s->in_port = s->out_port = -1;
407     for (i = 0; i < video_port_params.nPorts; i++) {
408         int port = video_port_params.nStartPortNumber + i;
409         OMX_PARAM_PORTDEFINITIONTYPE port_params = { 0 };
410         INIT_STRUCT(port_params);
411         port_params.nPortIndex = port;
412         err = OMX_GetParameter(s->handle, OMX_IndexParamPortDefinition, &port_params);
413         if (err != OMX_ErrorNone) {
414             av_log(avctx, AV_LOG_WARNING, "port %d error %x\n", port, err);
415             break;
416         }
417         if (port_params.eDir == OMX_DirInput && s->in_port < 0) {
418             in_port_params = port_params;
419             s->in_port = port;
420         } else if (port_params.eDir == OMX_DirOutput && s->out_port < 0) {
421             out_port_params = port_params;
422             s->out_port = port;
423         }
424     }
425     if (s->in_port < 0 || s->out_port < 0) {
426         av_log(avctx, AV_LOG_ERROR, "No in or out port found (in %d out %d)\n", s->in_port, s->out_port);
427         return AVERROR_UNKNOWN;
428     }
429
430     s->color_format = 0;
431     for (i = 0; ; i++) {
432         INIT_STRUCT(video_port_format);
433         video_port_format.nIndex = i;
434         video_port_format.nPortIndex = s->in_port;
435         if (OMX_GetParameter(s->handle, OMX_IndexParamVideoPortFormat, &video_port_format) != OMX_ErrorNone)
436             break;
437         if (video_port_format.eColorFormat == OMX_COLOR_FormatYUV420Planar ||
438             video_port_format.eColorFormat == OMX_COLOR_FormatYUV420PackedPlanar) {
439             s->color_format = video_port_format.eColorFormat;
440             break;
441         }
442     }
443     if (s->color_format == 0) {
444         av_log(avctx, AV_LOG_ERROR, "No supported pixel formats (%d formats available)\n", i);
445         return AVERROR_UNKNOWN;
446     }
447
448     in_port_params.bEnabled   = OMX_TRUE;
449     in_port_params.bPopulated = OMX_FALSE;
450     in_port_params.eDomain    = OMX_PortDomainVideo;
451
452     in_port_params.format.video.pNativeRender         = NULL;
453     in_port_params.format.video.bFlagErrorConcealment = OMX_FALSE;
454     in_port_params.format.video.eColorFormat          = s->color_format;
455     s->stride     = avctx->width;
456     s->plane_size = avctx->height;
457     // If specific codecs need to manually override the stride/plane_size,
458     // that can be done here.
459     in_port_params.format.video.nStride      = s->stride;
460     in_port_params.format.video.nSliceHeight = s->plane_size;
461     in_port_params.format.video.nFrameWidth  = avctx->width;
462     in_port_params.format.video.nFrameHeight = avctx->height;
463     if (avctx->framerate.den > 0 && avctx->framerate.num > 0)
464         in_port_params.format.video.xFramerate = (1 << 16) * avctx->framerate.num / avctx->framerate.den;
465     else
466         in_port_params.format.video.xFramerate = (1 << 16) * avctx->time_base.den / avctx->time_base.num;
467
468     err = OMX_SetParameter(s->handle, OMX_IndexParamPortDefinition, &in_port_params);
469     CHECK(err);
470     err = OMX_GetParameter(s->handle, OMX_IndexParamPortDefinition, &in_port_params);
471     CHECK(err);
472     s->stride         = in_port_params.format.video.nStride;
473     s->plane_size     = in_port_params.format.video.nSliceHeight;
474     s->num_in_buffers = in_port_params.nBufferCountActual;
475
476     err = OMX_GetParameter(s->handle, OMX_IndexParamPortDefinition, &out_port_params);
477     out_port_params.bEnabled   = OMX_TRUE;
478     out_port_params.bPopulated = OMX_FALSE;
479     out_port_params.eDomain    = OMX_PortDomainVideo;
480     out_port_params.format.video.pNativeRender = NULL;
481     out_port_params.format.video.nFrameWidth   = avctx->width;
482     out_port_params.format.video.nFrameHeight  = avctx->height;
483     out_port_params.format.video.nStride       = 0;
484     out_port_params.format.video.nSliceHeight  = 0;
485     out_port_params.format.video.nBitrate      = avctx->bit_rate;
486     out_port_params.format.video.xFramerate    = in_port_params.format.video.xFramerate;
487     out_port_params.format.video.bFlagErrorConcealment  = OMX_FALSE;
488     if (avctx->codec->id == AV_CODEC_ID_MPEG4)
489         out_port_params.format.video.eCompressionFormat = OMX_VIDEO_CodingMPEG4;
490     else if (avctx->codec->id == AV_CODEC_ID_H264)
491         out_port_params.format.video.eCompressionFormat = OMX_VIDEO_CodingAVC;
492
493     err = OMX_SetParameter(s->handle, OMX_IndexParamPortDefinition, &out_port_params);
494     CHECK(err);
495     err = OMX_GetParameter(s->handle, OMX_IndexParamPortDefinition, &out_port_params);
496     CHECK(err);
497     s->num_out_buffers = out_port_params.nBufferCountActual;
498
499     INIT_STRUCT(vid_param_bitrate);
500     vid_param_bitrate.nPortIndex     = s->out_port;
501     vid_param_bitrate.eControlRate   = OMX_Video_ControlRateVariable;
502     vid_param_bitrate.nTargetBitrate = avctx->bit_rate;
503     err = OMX_SetParameter(s->handle, OMX_IndexParamVideoBitrate, &vid_param_bitrate);
504     if (err != OMX_ErrorNone)
505         av_log(avctx, AV_LOG_WARNING, "Unable to set video bitrate parameter\n");
506
507     if (avctx->codec->id == AV_CODEC_ID_H264) {
508         OMX_VIDEO_PARAM_AVCTYPE avc = { 0 };
509         INIT_STRUCT(avc);
510         avc.nPortIndex = s->out_port;
511         err = OMX_GetParameter(s->handle, OMX_IndexParamVideoAvc, &avc);
512         CHECK(err);
513         avc.nBFrames = 0;
514         avc.nPFrames = avctx->gop_size - 1;
515         err = OMX_SetParameter(s->handle, OMX_IndexParamVideoAvc, &avc);
516         CHECK(err);
517     }
518
519     err = OMX_SendCommand(s->handle, OMX_CommandStateSet, OMX_StateIdle, NULL);
520     CHECK(err);
521
522     s->in_buffer_headers  = av_mallocz(sizeof(OMX_BUFFERHEADERTYPE*) * s->num_in_buffers);
523     s->free_in_buffers    = av_mallocz(sizeof(OMX_BUFFERHEADERTYPE*) * s->num_in_buffers);
524     s->out_buffer_headers = av_mallocz(sizeof(OMX_BUFFERHEADERTYPE*) * s->num_out_buffers);
525     s->done_out_buffers   = av_mallocz(sizeof(OMX_BUFFERHEADERTYPE*) * s->num_out_buffers);
526     if (!s->in_buffer_headers || !s->free_in_buffers || !s->out_buffer_headers || !s->done_out_buffers)
527         return AVERROR(ENOMEM);
528     for (i = 0; i < s->num_in_buffers && err == OMX_ErrorNone; i++)
529         err = OMX_AllocateBuffer(s->handle, &s->in_buffer_headers[i],  s->in_port,  s, in_port_params.nBufferSize);
530     CHECK(err);
531     s->num_in_buffers = i;
532     for (i = 0; i < s->num_out_buffers && err == OMX_ErrorNone; i++)
533         err = OMX_AllocateBuffer(s->handle, &s->out_buffer_headers[i], s->out_port, s, out_port_params.nBufferSize);
534     CHECK(err);
535     s->num_out_buffers = i;
536
537     if (wait_for_state(s, OMX_StateIdle) < 0) {
538         av_log(avctx, AV_LOG_ERROR, "Didn't get OMX_StateIdle\n");
539         return AVERROR_UNKNOWN;
540     }
541     err = OMX_SendCommand(s->handle, OMX_CommandStateSet, OMX_StateExecuting, NULL);
542     CHECK(err);
543     if (wait_for_state(s, OMX_StateExecuting) < 0) {
544         av_log(avctx, AV_LOG_ERROR, "Didn't get OMX_StateExecuting\n");
545         return AVERROR_UNKNOWN;
546     }
547
548     for (i = 0; i < s->num_out_buffers && err == OMX_ErrorNone; i++)
549         err = OMX_FillThisBuffer(s->handle, s->out_buffer_headers[i]);
550     if (err != OMX_ErrorNone) {
551         for (; i < s->num_out_buffers; i++)
552             s->done_out_buffers[s->num_done_out_buffers++] = s->out_buffer_headers[i];
553     }
554     for (i = 0; i < s->num_in_buffers; i++)
555         s->free_in_buffers[s->num_free_in_buffers++] = s->in_buffer_headers[i];
556     return err != OMX_ErrorNone ? AVERROR_UNKNOWN : 0;
557 }
558
559 static av_cold void cleanup(OMXCodecContext *s)
560 {
561     int i, executing;
562
563     pthread_mutex_lock(&s->state_mutex);
564     executing = s->state == OMX_StateExecuting;
565     pthread_mutex_unlock(&s->state_mutex);
566
567     if (executing) {
568         OMX_SendCommand(s->handle, OMX_CommandStateSet, OMX_StateIdle, NULL);
569         wait_for_state(s, OMX_StateIdle);
570         OMX_SendCommand(s->handle, OMX_CommandStateSet, OMX_StateLoaded, NULL);
571         for (i = 0; i < s->num_in_buffers; i++) {
572             OMX_BUFFERHEADERTYPE *buffer = get_buffer(&s->input_mutex, &s->input_cond,
573                                                       &s->num_free_in_buffers, s->free_in_buffers, 1);
574             OMX_FreeBuffer(s->handle, s->in_port, buffer);
575         }
576         for (i = 0; i < s->num_out_buffers; i++) {
577             OMX_BUFFERHEADERTYPE *buffer = get_buffer(&s->output_mutex, &s->output_cond,
578                                                       &s->num_done_out_buffers, s->done_out_buffers, 1);
579             OMX_FreeBuffer(s->handle, s->out_port, buffer);
580         }
581         wait_for_state(s, OMX_StateLoaded);
582     }
583     if (s->handle) {
584         s->omx_context->ptr_FreeHandle(s->handle);
585         s->handle = NULL;
586     }
587
588     omx_deinit(s->omx_context);
589     s->omx_context = NULL;
590     if (s->mutex_cond_inited) {
591         pthread_cond_destroy(&s->state_cond);
592         pthread_mutex_destroy(&s->state_mutex);
593         pthread_cond_destroy(&s->input_cond);
594         pthread_mutex_destroy(&s->input_mutex);
595         pthread_cond_destroy(&s->output_cond);
596         pthread_mutex_destroy(&s->output_mutex);
597         s->mutex_cond_inited = 0;
598     }
599     av_freep(&s->in_buffer_headers);
600     av_freep(&s->out_buffer_headers);
601     av_freep(&s->free_in_buffers);
602     av_freep(&s->done_out_buffers);
603     av_freep(&s->output_buf);
604 }
605
606 static av_cold int omx_encode_init(AVCodecContext *avctx)
607 {
608     OMXCodecContext *s = avctx->priv_data;
609     int ret = AVERROR_ENCODER_NOT_FOUND;
610     const char *role;
611     OMX_BUFFERHEADERTYPE *buffer;
612     OMX_ERRORTYPE err;
613
614     s->omx_context = omx_init(avctx, s->libname, s->libprefix);
615     if (!s->omx_context)
616         return AVERROR_ENCODER_NOT_FOUND;
617
618     pthread_mutex_init(&s->state_mutex, NULL);
619     pthread_cond_init(&s->state_cond, NULL);
620     pthread_mutex_init(&s->input_mutex, NULL);
621     pthread_cond_init(&s->input_cond, NULL);
622     pthread_mutex_init(&s->output_mutex, NULL);
623     pthread_cond_init(&s->output_cond, NULL);
624     s->mutex_cond_inited = 1;
625     s->avctx = avctx;
626     s->state = OMX_StateLoaded;
627     s->error = OMX_ErrorNone;
628
629     switch (avctx->codec->id) {
630     case AV_CODEC_ID_MPEG4:
631         role = "video_encoder.mpeg4";
632         break;
633     case AV_CODEC_ID_H264:
634         role = "video_encoder.avc";
635         break;
636     default:
637         return AVERROR(ENOSYS);
638     }
639
640     if ((ret = find_component(s->omx_context, avctx, role, s->component_name, sizeof(s->component_name))) < 0)
641         goto fail;
642
643     av_log(avctx, AV_LOG_INFO, "Using %s\n", s->component_name);
644
645     if ((ret = omx_component_init(avctx, role)) < 0)
646         goto fail;
647
648     if (avctx->flags & AV_CODEC_FLAG_GLOBAL_HEADER) {
649         while (1) {
650             buffer = get_buffer(&s->output_mutex, &s->output_cond,
651                                 &s->num_done_out_buffers, s->done_out_buffers, 1);
652             if (buffer->nFlags & OMX_BUFFERFLAG_CODECCONFIG) {
653                 if ((ret = av_reallocp(&avctx->extradata, avctx->extradata_size + buffer->nFilledLen + AV_INPUT_BUFFER_PADDING_SIZE)) < 0) {
654                     avctx->extradata_size = 0;
655                     goto fail;
656                 }
657                 memcpy(avctx->extradata + avctx->extradata_size, buffer->pBuffer + buffer->nOffset, buffer->nFilledLen);
658                 avctx->extradata_size += buffer->nFilledLen;
659                 memset(avctx->extradata + avctx->extradata_size, 0, AV_INPUT_BUFFER_PADDING_SIZE);
660             }
661             err = OMX_FillThisBuffer(s->handle, buffer);
662             if (err != OMX_ErrorNone) {
663                 append_buffer(&s->output_mutex, &s->output_cond,
664                               &s->num_done_out_buffers, s->done_out_buffers, buffer);
665                 av_log(avctx, AV_LOG_ERROR, "OMX_FillThisBuffer failed: %x\n", err);
666                 ret = AVERROR_UNKNOWN;
667                 goto fail;
668             }
669             if (avctx->codec->id == AV_CODEC_ID_H264) {
670                 // For H264, the extradata can be returned in two separate buffers
671                 // (the videocore encoder on raspberry pi does this);
672                 // therefore check that we have got both SPS and PPS before continuing.
673                 int nals[32] = { 0 };
674                 int i;
675                 for (i = 0; i + 4 < avctx->extradata_size; i++) {
676                      if (!avctx->extradata[i + 0] &&
677                          !avctx->extradata[i + 1] &&
678                          !avctx->extradata[i + 2] &&
679                          avctx->extradata[i + 3] == 1) {
680                          nals[avctx->extradata[i + 4] & 0x1f]++;
681                      }
682                 }
683                 if (nals[NAL_SPS] && nals[NAL_PPS])
684                     break;
685             } else {
686                 if (avctx->extradata_size > 0)
687                     break;
688             }
689         }
690     }
691
692     return 0;
693 fail:
694     return ret;
695 }
696
697
698 static int omx_encode_frame(AVCodecContext *avctx, AVPacket *pkt,
699                             const AVFrame *frame, int *got_packet)
700 {
701     OMXCodecContext *s = avctx->priv_data;
702     int ret = 0;
703     OMX_BUFFERHEADERTYPE* buffer;
704     OMX_ERRORTYPE err;
705
706     if (frame) {
707         uint8_t *dst[4];
708         int linesize[4];
709         buffer = get_buffer(&s->input_mutex, &s->input_cond,
710                             &s->num_free_in_buffers, s->free_in_buffers, 1);
711
712         buffer->nFilledLen = av_image_fill_arrays(dst, linesize, buffer->pBuffer, avctx->pix_fmt, s->stride, s->plane_size, 1);
713         av_image_copy(dst, linesize, (const uint8_t**) frame->data, frame->linesize, avctx->pix_fmt, avctx->width, avctx->height);
714         buffer->nFlags = OMX_BUFFERFLAG_ENDOFFRAME;
715         buffer->nOffset = 0;
716         // Convert the timestamps to microseconds; some encoders can ignore
717         // the framerate and do VFR bit allocation based on timestamps.
718         buffer->nTimeStamp = to_omx_ticks(av_rescale_q(frame->pts, avctx->time_base, AV_TIME_BASE_Q));
719         err = OMX_EmptyThisBuffer(s->handle, buffer);
720         if (err != OMX_ErrorNone) {
721             append_buffer(&s->input_mutex, &s->input_cond, &s->num_free_in_buffers, s->free_in_buffers, buffer);
722             av_log(avctx, AV_LOG_ERROR, "OMX_EmptyThisBuffer failed: %x\n", err);
723             return AVERROR_UNKNOWN;
724         }
725         s->num_in_frames++;
726     }
727
728     while (!*got_packet && ret == 0) {
729         // Only wait for output if flushing and not all frames have been output
730         buffer = get_buffer(&s->output_mutex, &s->output_cond,
731                             &s->num_done_out_buffers, s->done_out_buffers,
732                             !frame && s->num_out_frames < s->num_in_frames);
733         if (!buffer)
734             break;
735
736         if (buffer->nFlags & OMX_BUFFERFLAG_CODECCONFIG && avctx->flags & AV_CODEC_FLAG_GLOBAL_HEADER) {
737             if ((ret = av_reallocp(&avctx->extradata, avctx->extradata_size + buffer->nFilledLen + AV_INPUT_BUFFER_PADDING_SIZE)) < 0) {
738                 avctx->extradata_size = 0;
739                 goto end;
740             }
741             memcpy(avctx->extradata + avctx->extradata_size, buffer->pBuffer + buffer->nOffset, buffer->nFilledLen);
742             avctx->extradata_size += buffer->nFilledLen;
743             memset(avctx->extradata + avctx->extradata_size, 0, AV_INPUT_BUFFER_PADDING_SIZE);
744         } else {
745             if (buffer->nFlags & OMX_BUFFERFLAG_ENDOFFRAME)
746                 s->num_out_frames++;
747             if (!(buffer->nFlags & OMX_BUFFERFLAG_ENDOFFRAME) || !pkt->data) {
748                 // If the output packet isn't preallocated, just concatenate everything in our
749                 // own buffer
750                 int newsize = s->output_buf_size + buffer->nFilledLen + AV_INPUT_BUFFER_PADDING_SIZE;
751                 if ((ret = av_reallocp(&s->output_buf, newsize)) < 0) {
752                     s->output_buf_size = 0;
753                     goto end;
754                 }
755                 memcpy(s->output_buf + s->output_buf_size, buffer->pBuffer + buffer->nOffset, buffer->nFilledLen);
756                 s->output_buf_size += buffer->nFilledLen;
757                 if (buffer->nFlags & OMX_BUFFERFLAG_ENDOFFRAME) {
758                     if ((ret = av_packet_from_data(pkt, s->output_buf, s->output_buf_size)) < 0) {
759                         av_freep(&s->output_buf);
760                         s->output_buf_size = 0;
761                         goto end;
762                     }
763                     s->output_buf = NULL;
764                     s->output_buf_size = 0;
765                 }
766             } else {
767                 // End of frame, and the caller provided a preallocated frame
768                 if ((ret = ff_alloc_packet(pkt, s->output_buf_size + buffer->nFilledLen)) < 0) {
769                     av_log(avctx, AV_LOG_ERROR, "Error getting output packet of size %d.\n",
770                            (int)(s->output_buf_size + buffer->nFilledLen));
771                     goto end;
772                 }
773                 memcpy(pkt->data, s->output_buf, s->output_buf_size);
774                 memcpy(pkt->data + s->output_buf_size, buffer->pBuffer + buffer->nOffset, buffer->nFilledLen);
775                 av_freep(&s->output_buf);
776                 s->output_buf_size = 0;
777             }
778             if (buffer->nFlags & OMX_BUFFERFLAG_ENDOFFRAME) {
779                 ret = pkt->size;
780                 pkt->pts = av_rescale_q(from_omx_ticks(buffer->nTimeStamp), AV_TIME_BASE_Q, avctx->time_base);
781                 // We don't currently enable b-frames for the encoders, so set
782                 // pkt->dts = pkt->pts. (The calling code behaves worse if the encoder
783                 // doesn't set the dts).
784                 pkt->dts = pkt->pts;
785                 if (buffer->nFlags & OMX_BUFFERFLAG_SYNCFRAME)
786                     pkt->flags |= AV_PKT_FLAG_KEY;
787                 *got_packet = 1;
788             }
789         }
790 end:
791         err = OMX_FillThisBuffer(s->handle, buffer);
792         if (err != OMX_ErrorNone) {
793             append_buffer(&s->output_mutex, &s->output_cond, &s->num_done_out_buffers, s->done_out_buffers, buffer);
794             av_log(avctx, AV_LOG_ERROR, "OMX_FillThisBuffer failed: %x\n", err);
795             ret = AVERROR_UNKNOWN;
796         }
797     }
798     return ret;
799 }
800
801 static av_cold int omx_encode_end(AVCodecContext *avctx)
802 {
803     OMXCodecContext *s = avctx->priv_data;
804
805     cleanup(s);
806     return 0;
807 }
808
809 #define OFFSET(x) offsetof(OMXCodecContext, x)
810 #define VDE AV_OPT_FLAG_VIDEO_PARAM | AV_OPT_FLAG_DECODING_PARAM | AV_OPT_FLAG_ENCODING_PARAM
811 static const AVOption options[] = {
812     { "omx_libname", "OpenMAX library name", OFFSET(libname), AV_OPT_TYPE_STRING, { 0 }, 0, 0, VDE },
813     { "omx_libprefix", "OpenMAX library prefix", OFFSET(libprefix), AV_OPT_TYPE_STRING, { 0 }, 0, 0, VDE },
814     { NULL }
815 };
816
817 static const enum AVPixelFormat omx_encoder_pix_fmts[] = {
818     AV_PIX_FMT_YUV420P, AV_PIX_FMT_NONE
819 };
820
821 static const AVClass omx_mpeg4enc_class = {
822     .class_name = "mpeg4_omx",
823     .item_name  = av_default_item_name,
824     .option     = options,
825     .version    = LIBAVUTIL_VERSION_INT,
826 };
827 AVCodec ff_mpeg4_omx_encoder = {
828     .name             = "mpeg4_omx",
829     .long_name        = NULL_IF_CONFIG_SMALL("OpenMAX IL MPEG4 video encoder"),
830     .type             = AVMEDIA_TYPE_VIDEO,
831     .id               = AV_CODEC_ID_MPEG4,
832     .priv_data_size   = sizeof(OMXCodecContext),
833     .init             = omx_encode_init,
834     .encode2          = omx_encode_frame,
835     .close            = omx_encode_end,
836     .pix_fmts         = omx_encoder_pix_fmts,
837     .capabilities     = AV_CODEC_CAP_DELAY,
838     .caps_internal    = FF_CODEC_CAP_INIT_THREADSAFE | FF_CODEC_CAP_INIT_CLEANUP,
839     .priv_class       = &omx_mpeg4enc_class,
840 };
841
842 static const AVClass omx_h264enc_class = {
843     .class_name = "h264_omx",
844     .item_name  = av_default_item_name,
845     .option     = options,
846     .version    = LIBAVUTIL_VERSION_INT,
847 };
848 AVCodec ff_h264_omx_encoder = {
849     .name             = "h264_omx",
850     .long_name        = NULL_IF_CONFIG_SMALL("OpenMAX IL H264 video encoder"),
851     .type             = AVMEDIA_TYPE_VIDEO,
852     .id               = AV_CODEC_ID_H264,
853     .priv_data_size   = sizeof(OMXCodecContext),
854     .init             = omx_encode_init,
855     .encode2          = omx_encode_frame,
856     .close            = omx_encode_end,
857     .pix_fmts         = omx_encoder_pix_fmts,
858     .capabilities     = AV_CODEC_CAP_DELAY,
859     .caps_internal    = FF_CODEC_CAP_INIT_THREADSAFE | FF_CODEC_CAP_INIT_CLEANUP,
860     .priv_class       = &omx_h264enc_class,
861 };