66fd12214bab907e0db16e8682e58d8a35bb67e3
[vlc.git] / modules / codec / omxil / mediacodec_jni.c
1 /*****************************************************************************
2  * mediacodec_jni.c: mc_api implementation using JNI
3  *****************************************************************************
4  * Copyright © 2015 VLC authors and VideoLAN, VideoLabs
5  *
6  * This program is free software; you can redistribute it and/or modify it
7  * under the terms of the GNU Lesser General Public License as published by
8  * the Free Software Foundation; either version 2.1 of the License, or
9  * (at your option) any later version.
10  *
11  * This program is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
14  * GNU Lesser General Public License for more details.
15  *
16  * You should have received a copy of the GNU Lesser General Public License
17  * along with this program; if not, write to the Free Software Foundation,
18  * Inc., 51 Franklin Street, Fifth Floor, Boston MA 02110-1301, USA.
19  *****************************************************************************/
20
21 /*****************************************************************************
22  * Preamble
23  *****************************************************************************/
24 #ifdef HAVE_CONFIG_H
25 # include "config.h"
26 #endif
27
28 #include <jni.h>
29 #include <stdint.h>
30 #include <assert.h>
31
32 #include <vlc_common.h>
33
34 #include <OMX_Core.h>
35 #include <OMX_Component.h>
36 #include "omxil_utils.h"
37
38 #include "mediacodec.h"
39
40 char* MediaCodec_GetName(vlc_object_t *p_obj, const char *psz_mime,
41                          size_t h264_profile);
42
43 #define THREAD_NAME "mediacodec_jni"
44
45 #define BUFFER_FLAG_CODEC_CONFIG  2
46 #define BUFFER_FLAG_END_OF_STREAM 4
47 #define INFO_OUTPUT_BUFFERS_CHANGED -3
48 #define INFO_OUTPUT_FORMAT_CHANGED  -2
49 #define INFO_TRY_AGAIN_LATER        -1
50
51 /*****************************************************************************
52  * JNI Initialisation
53  *****************************************************************************/
54
55 struct jfields
56 {
57     jclass media_codec_list_class, media_codec_class, media_format_class;
58     jclass buffer_info_class, byte_buffer_class;
59     jmethodID tostring;
60     jmethodID get_codec_count, get_codec_info_at, is_encoder, get_capabilities_for_type;
61     jfieldID profile_levels_field, profile_field, level_field;
62     jmethodID get_supported_types, get_name;
63     jmethodID create_by_codec_name, configure, start, stop, flush, release;
64     jmethodID get_output_format;
65     jmethodID get_input_buffers, get_input_buffer;
66     jmethodID get_output_buffers, get_output_buffer;
67     jmethodID dequeue_input_buffer, dequeue_output_buffer, queue_input_buffer;
68     jmethodID release_output_buffer;
69     jmethodID create_video_format, create_audio_format;
70     jmethodID set_integer, set_bytebuffer, get_integer;
71     jmethodID buffer_info_ctor;
72     jfieldID size_field, offset_field, pts_field, flags_field;
73 };
74 static struct jfields jfields;
75
76 enum Types
77 {
78     METHOD, STATIC_METHOD, FIELD
79 };
80
81 #define OFF(x) offsetof(struct jfields, x)
82 struct classname
83 {
84     const char *name;
85     int offset;
86 };
87 static const struct classname classes[] = {
88     { "android/media/MediaCodecList", OFF(media_codec_list_class) },
89     { "android/media/MediaCodec", OFF(media_codec_class) },
90     { "android/media/MediaFormat", OFF(media_format_class) },
91     { "android/media/MediaFormat", OFF(media_format_class) },
92     { "android/media/MediaCodec$BufferInfo", OFF(buffer_info_class) },
93     { "java/nio/ByteBuffer", OFF(byte_buffer_class) },
94     { NULL, 0 },
95 };
96
97 struct member
98 {
99     const char *name;
100     const char *sig;
101     const char *class;
102     int offset;
103     int type;
104     bool critical;
105 };
106 static const struct member members[] = {
107     { "toString", "()Ljava/lang/String;", "java/lang/Object", OFF(tostring), METHOD, true },
108
109     { "getCodecCount", "()I", "android/media/MediaCodecList", OFF(get_codec_count), STATIC_METHOD, true },
110     { "getCodecInfoAt", "(I)Landroid/media/MediaCodecInfo;", "android/media/MediaCodecList", OFF(get_codec_info_at), STATIC_METHOD, true },
111
112     { "isEncoder", "()Z", "android/media/MediaCodecInfo", OFF(is_encoder), METHOD, true },
113     { "getSupportedTypes", "()[Ljava/lang/String;", "android/media/MediaCodecInfo", OFF(get_supported_types), METHOD, true },
114     { "getName", "()Ljava/lang/String;", "android/media/MediaCodecInfo", OFF(get_name), METHOD, true },
115     { "getCapabilitiesForType", "(Ljava/lang/String;)Landroid/media/MediaCodecInfo$CodecCapabilities;", "android/media/MediaCodecInfo", OFF(get_capabilities_for_type), METHOD, true },
116
117     { "profileLevels", "[Landroid/media/MediaCodecInfo$CodecProfileLevel;", "android/media/MediaCodecInfo$CodecCapabilities", OFF(profile_levels_field), FIELD, true },
118     { "profile", "I", "android/media/MediaCodecInfo$CodecProfileLevel", OFF(profile_field), FIELD, true },
119     { "level", "I", "android/media/MediaCodecInfo$CodecProfileLevel", OFF(level_field), FIELD, true },
120
121     { "createByCodecName", "(Ljava/lang/String;)Landroid/media/MediaCodec;", "android/media/MediaCodec", OFF(create_by_codec_name), STATIC_METHOD, true },
122     { "configure", "(Landroid/media/MediaFormat;Landroid/view/Surface;Landroid/media/MediaCrypto;I)V", "android/media/MediaCodec", OFF(configure), METHOD, true },
123     { "start", "()V", "android/media/MediaCodec", OFF(start), METHOD, true },
124     { "stop", "()V", "android/media/MediaCodec", OFF(stop), METHOD, true },
125     { "flush", "()V", "android/media/MediaCodec", OFF(flush), METHOD, true },
126     { "release", "()V", "android/media/MediaCodec", OFF(release), METHOD, true },
127     { "getOutputFormat", "()Landroid/media/MediaFormat;", "android/media/MediaCodec", OFF(get_output_format), METHOD, true },
128     { "getInputBuffers", "()[Ljava/nio/ByteBuffer;", "android/media/MediaCodec", OFF(get_input_buffers), METHOD, false },
129     { "getInputBuffer", "(I)Ljava/nio/ByteBuffer;", "android/media/MediaCodec", OFF(get_input_buffer), METHOD, false },
130     { "getOutputBuffers", "()[Ljava/nio/ByteBuffer;", "android/media/MediaCodec", OFF(get_output_buffers), METHOD, false },
131     { "getOutputBuffer", "(I)Ljava/nio/ByteBuffer;", "android/media/MediaCodec", OFF(get_output_buffer), METHOD, false },
132     { "dequeueInputBuffer", "(J)I", "android/media/MediaCodec", OFF(dequeue_input_buffer), METHOD, true },
133     { "dequeueOutputBuffer", "(Landroid/media/MediaCodec$BufferInfo;J)I", "android/media/MediaCodec", OFF(dequeue_output_buffer), METHOD, true },
134     { "queueInputBuffer", "(IIIJI)V", "android/media/MediaCodec", OFF(queue_input_buffer), METHOD, true },
135     { "releaseOutputBuffer", "(IZ)V", "android/media/MediaCodec", OFF(release_output_buffer), METHOD, true },
136
137     { "createVideoFormat", "(Ljava/lang/String;II)Landroid/media/MediaFormat;", "android/media/MediaFormat", OFF(create_video_format), STATIC_METHOD, true },
138     { "createAudioFormat", "(Ljava/lang/String;II)Landroid/media/MediaFormat;", "android/media/MediaFormat", OFF(create_audio_format), STATIC_METHOD, true },
139     { "setInteger", "(Ljava/lang/String;I)V", "android/media/MediaFormat", OFF(set_integer), METHOD, true },
140     { "getInteger", "(Ljava/lang/String;)I", "android/media/MediaFormat", OFF(get_integer), METHOD, true },
141     { "setByteBuffer", "(Ljava/lang/String;Ljava/nio/ByteBuffer;)V", "android/media/MediaFormat", OFF(set_bytebuffer), METHOD, true },
142
143     { "<init>", "()V", "android/media/MediaCodec$BufferInfo", OFF(buffer_info_ctor), METHOD, true },
144     { "size", "I", "android/media/MediaCodec$BufferInfo", OFF(size_field), FIELD, true },
145     { "offset", "I", "android/media/MediaCodec$BufferInfo", OFF(offset_field), FIELD, true },
146     { "presentationTimeUs", "J", "android/media/MediaCodec$BufferInfo", OFF(pts_field), FIELD, true },
147     { "flags", "I", "android/media/MediaCodec$BufferInfo", OFF(flags_field), FIELD, true },
148     { NULL, NULL, NULL, 0, 0, false },
149 };
150
151 static int jstrcmp(JNIEnv* env, jobject str, const char* str2)
152 {
153     jsize len = (*env)->GetStringUTFLength(env, str);
154     if (len != (jsize) strlen(str2))
155         return -1;
156     const char *ptr = (*env)->GetStringUTFChars(env, str, NULL);
157     int ret = memcmp(ptr, str2, len);
158     (*env)->ReleaseStringUTFChars(env, str, ptr);
159     return ret;
160 }
161
162 static inline bool check_exception(JNIEnv *env)
163 {
164     if ((*env)->ExceptionCheck(env))
165     {
166         (*env)->ExceptionClear(env);
167         return true;
168     }
169     else
170         return false;
171 }
172 #define CHECK_EXCEPTION() check_exception( env )
173 #define GET_ENV() if (!(env = android_getEnv(api->p_obj, THREAD_NAME))) return MC_API_ERROR;
174
175 static inline jstring jni_new_string(JNIEnv *env, const char *psz_string)
176 {
177     jstring jstring = (*env)->NewStringUTF(env, psz_string);
178     return !CHECK_EXCEPTION() ? jstring : NULL;
179 }
180 #define JNI_NEW_STRING(psz_string) jni_new_string(env, psz_string)
181
182 static inline int get_integer(JNIEnv *env, jobject obj, const char *psz_name)
183 {
184     jstring jname = JNI_NEW_STRING(psz_name);
185     if (jname)
186     {
187         int i_ret = (*env)->CallIntMethod(env, obj, jfields.get_integer, jname);
188         (*env)->DeleteLocalRef(env, jname);
189         /* getInteger can throw NullPointerException (when fetching the
190          * "channel-mask" property for example) */
191         if (CHECK_EXCEPTION())
192             return 0;
193         return i_ret;
194     }
195     else
196         return 0;
197 }
198 #define GET_INTEGER(obj, name) get_integer(env, obj, name)
199
200 static inline void set_integer(JNIEnv *env, jobject jobj, const char *psz_name,
201                                int i_value)
202 {
203     jstring jname = JNI_NEW_STRING(psz_name);
204     if (jname)
205     {
206         (*env)->CallVoidMethod(env, jobj, jfields.set_integer, jname, i_value);
207         (*env)->DeleteLocalRef(env, jname);
208     }
209 }
210 #define SET_INTEGER(obj, name, value) set_integer(env, obj, name, value)
211
212 /* Initialize all jni fields.
213  * Done only one time during the first initialisation */
214 static bool
215 InitJNIFields (vlc_object_t *p_obj, JNIEnv *env)
216 {
217     static vlc_mutex_t lock = VLC_STATIC_MUTEX;
218     static int i_init_state = -1;
219     bool ret;
220
221     vlc_mutex_lock( &lock );
222
223     if( i_init_state != -1 )
224         goto end;
225
226     i_init_state = 0;
227
228     for (int i = 0; classes[i].name; i++)
229     {
230         jclass clazz = (*env)->FindClass(env, classes[i].name);
231         if (CHECK_EXCEPTION())
232         {
233             msg_Warn(p_obj, "Unable to find class %s", classes[i].name);
234             goto end;
235         }
236         *(jclass*)((uint8_t*)&jfields + classes[i].offset) =
237             (jclass) (*env)->NewGlobalRef(env, clazz);
238     }
239
240     jclass last_class;
241     for (int i = 0; members[i].name; i++)
242     {
243         if (i == 0 || strcmp(members[i].class, members[i - 1].class))
244             last_class = (*env)->FindClass(env, members[i].class);
245
246         if (CHECK_EXCEPTION())
247         {
248             msg_Warn(p_obj, "Unable to find class %s", members[i].class);
249             goto end;
250         }
251
252         switch (members[i].type) {
253         case METHOD:
254             *(jmethodID*)((uint8_t*)&jfields + members[i].offset) =
255                 (*env)->GetMethodID(env, last_class, members[i].name, members[i].sig);
256             break;
257         case STATIC_METHOD:
258             *(jmethodID*)((uint8_t*)&jfields + members[i].offset) =
259                 (*env)->GetStaticMethodID(env, last_class, members[i].name, members[i].sig);
260             break;
261         case FIELD:
262             *(jfieldID*)((uint8_t*)&jfields + members[i].offset) =
263                 (*env)->GetFieldID(env, last_class, members[i].name, members[i].sig);
264             break;
265         }
266         if (CHECK_EXCEPTION())
267         {
268             msg_Warn(p_obj, "Unable to find the member %s in %s",
269                      members[i].name, members[i].class);
270             if (members[i].critical)
271                 goto end;
272         }
273     }
274     /* getInputBuffers and getOutputBuffers are deprecated if API >= 21
275      * use getInputBuffer and getOutputBuffer instead. */
276     if (jfields.get_input_buffer && jfields.get_output_buffer)
277     {
278         jfields.get_output_buffers =
279         jfields.get_input_buffers = NULL;
280     }
281     else if (!jfields.get_output_buffers && !jfields.get_input_buffers)
282     {
283         msg_Err(p_obj, "Unable to find get Output/Input Buffer/Buffers");
284         goto end;
285     }
286
287     i_init_state = 1;
288 end:
289     ret = i_init_state == 1;
290     if( !ret )
291         msg_Err(p_obj, "MediaCodec jni init failed");
292
293     vlc_mutex_unlock( &lock );
294     return ret;
295 }
296
297 /****************************************************************************
298  * Local prototypes
299  ****************************************************************************/
300
301 struct mc_api_sys
302 {
303     jobject codec;
304     jobject buffer_info;
305     jobject input_buffers, output_buffers;
306 };
307
308 /*****************************************************************************
309  * MediaCodec_GetName
310  *****************************************************************************/
311 char* MediaCodec_GetName(vlc_object_t *p_obj, const char *psz_mime,
312                          size_t h264_profile)
313 {
314     JNIEnv *env;
315     int num_codecs;
316     jstring jmime;
317     char *psz_name = NULL;
318
319     if (!(env = android_getEnv(p_obj, THREAD_NAME)))
320         return NULL;
321
322     if (!InitJNIFields(p_obj, env))
323         return NULL;
324
325     jmime = JNI_NEW_STRING(psz_mime);
326     if (!jmime)
327         return NULL;
328
329     num_codecs = (*env)->CallStaticIntMethod(env,
330                                              jfields.media_codec_list_class,
331                                              jfields.get_codec_count);
332
333     for (int i = 0; i < num_codecs; i++)
334     {
335         jobject codec_capabilities = NULL;
336         jobject profile_levels = NULL;
337         jobject info = NULL;
338         jobject name = NULL;
339         jobject types = NULL;
340         jsize name_len = 0;
341         int profile_levels_len = 0, num_types = 0;
342         const char *name_ptr = NULL;
343         bool found = false;
344
345         info = (*env)->CallStaticObjectMethod(env, jfields.media_codec_list_class,
346                                               jfields.get_codec_info_at, i);
347
348         name = (*env)->CallObjectMethod(env, info, jfields.get_name);
349         name_len = (*env)->GetStringUTFLength(env, name);
350         name_ptr = (*env)->GetStringUTFChars(env, name, NULL);
351
352         if (OMXCodec_IsBlacklisted( name_ptr, name_len))
353             goto loopclean;
354
355         if ((*env)->CallBooleanMethod(env, info, jfields.is_encoder))
356             goto loopclean;
357
358         codec_capabilities = (*env)->CallObjectMethod(env, info,
359                                                       jfields.get_capabilities_for_type,
360                                                       jmime);
361         if (CHECK_EXCEPTION())
362         {
363             msg_Warn(p_obj, "Exception occurred in MediaCodecInfo.getCapabilitiesForType");
364             goto loopclean;
365         }
366         else if (codec_capabilities)
367         {
368             profile_levels = (*env)->GetObjectField(env, codec_capabilities, jfields.profile_levels_field);
369             if (profile_levels)
370                 profile_levels_len = (*env)->GetArrayLength(env, profile_levels);
371         }
372         msg_Dbg(p_obj, "Number of profile levels: %d", profile_levels_len);
373
374         types = (*env)->CallObjectMethod(env, info, jfields.get_supported_types);
375         num_types = (*env)->GetArrayLength(env, types);
376         found = false;
377
378         for (int j = 0; j < num_types && !found; j++)
379         {
380             jobject type = (*env)->GetObjectArrayElement(env, types, j);
381             if (!jstrcmp(env, type, psz_mime))
382             {
383                 /* The mime type is matching for this component. We
384                    now check if the capabilities of the codec is
385                    matching the video format. */
386                 if (h264_profile)
387                 {
388                     /* This decoder doesn't expose its profiles and is high
389                      * profile capable */
390                     if (!strncmp(name_ptr, "OMX.LUMEVideoDecoder", __MIN(20, name_len)))
391                         found = true;
392
393                     for (int i = 0; i < profile_levels_len && !found; ++i)
394                     {
395                         jobject profile_level = (*env)->GetObjectArrayElement(env, profile_levels, i);
396
397                         int omx_profile = (*env)->GetIntField(env, profile_level, jfields.profile_field);
398                         size_t codec_profile = convert_omx_to_profile_idc(omx_profile);
399                         (*env)->DeleteLocalRef(env, profile_level);
400                         if (codec_profile != h264_profile)
401                             continue;
402                         /* Some encoders set the level too high, thus we ignore it for the moment.
403                            We could try to guess the actual profile based on the resolution. */
404                         found = true;
405                     }
406                 }
407                 else
408                     found = true;
409             }
410             (*env)->DeleteLocalRef(env, type);
411         }
412         if (found)
413         {
414             msg_Dbg(p_obj, "using %.*s", name_len, name_ptr);
415             psz_name = malloc(name_len + 1);
416             if (psz_name)
417             {
418                 memcpy(psz_name, name_ptr, name_len);
419                 psz_name[name_len] = '\0';
420             }
421         }
422 loopclean:
423         if (name)
424         {
425             (*env)->ReleaseStringUTFChars(env, name, name_ptr);
426             (*env)->DeleteLocalRef(env, name);
427         }
428         if (profile_levels)
429             (*env)->DeleteLocalRef(env, profile_levels);
430         if (types)
431             (*env)->DeleteLocalRef(env, types);
432         if (codec_capabilities)
433             (*env)->DeleteLocalRef(env, codec_capabilities);
434         if (info)
435             (*env)->DeleteLocalRef(env, info);
436         if (found)
437             break;
438     }
439     (*env)->DeleteLocalRef(env, jmime);
440
441     return psz_name;
442 }
443
444 /*****************************************************************************
445  * Stop
446  *****************************************************************************/
447 static int Stop(mc_api *api)
448 {
449     mc_api_sys *p_sys = api->p_sys;
450     JNIEnv *env;
451
452     api->b_direct_rendering = false;
453
454     GET_ENV();
455
456     if (p_sys->input_buffers)
457     {
458         (*env)->DeleteGlobalRef(env, p_sys->input_buffers);
459         p_sys->input_buffers = NULL;
460     }
461     if (p_sys->output_buffers)
462     {
463         (*env)->DeleteGlobalRef(env, p_sys->output_buffers);
464         p_sys->output_buffers = NULL;
465     }
466     if (p_sys->codec)
467     {
468         if (api->b_started)
469         {
470             (*env)->CallVoidMethod(env, p_sys->codec, jfields.stop);
471             if (CHECK_EXCEPTION())
472                 msg_Err(api->p_obj, "Exception in MediaCodec.stop");
473             api->b_started = false;
474         }
475
476         (*env)->CallVoidMethod(env, p_sys->codec, jfields.release);
477         if (CHECK_EXCEPTION())
478             msg_Err(api->p_obj, "Exception in MediaCodec.release");
479         (*env)->DeleteGlobalRef(env, p_sys->codec);
480         p_sys->codec = NULL;
481     }
482     if (p_sys->buffer_info)
483     {
484         (*env)->DeleteGlobalRef(env, p_sys->buffer_info);
485         p_sys->buffer_info = NULL;
486     }
487     msg_Dbg(api->p_obj, "MediaCodec via JNI closed");
488     return 0;
489 }
490
491 /*****************************************************************************
492  * Start
493  *****************************************************************************/
494 static int Start(mc_api *api, union mc_api_args *p_args)
495 {
496     mc_api_sys *p_sys = api->p_sys;
497     JNIEnv* env = NULL;
498     int i_ret = MC_API_ERROR;
499     bool b_direct_rendering = false;
500     jstring jmime = NULL;
501     jstring jcodec_name = NULL;
502     jobject jcodec = NULL;
503     jobject jformat = NULL;
504     jobject jinput_buffers = NULL;
505     jobject joutput_buffers = NULL;
506     jobject jbuffer_info = NULL;
507     jobject jsurface = NULL;
508
509     assert(api->psz_mime && api->psz_name);
510
511     GET_ENV();
512
513     jmime = JNI_NEW_STRING(api->psz_mime);
514     jcodec_name = JNI_NEW_STRING(api->psz_name);
515     if (!jmime || !jcodec_name)
516         goto error;
517
518     /* This method doesn't handle errors nicely, it crashes if the codec isn't
519      * found.  (The same goes for createDecoderByType.) This is fixed in latest
520      * AOSP and in 4.2, but not in 4.1 devices. */
521     jcodec = (*env)->CallStaticObjectMethod(env, jfields.media_codec_class,
522                                             jfields.create_by_codec_name,
523                                             jcodec_name);
524     if (CHECK_EXCEPTION())
525     {
526         msg_Warn(api->p_obj, "Exception occurred in MediaCodec.createByCodecName");
527         goto error;
528     }
529     p_sys->codec = (*env)->NewGlobalRef(env, jcodec);
530
531     if (api->i_cat == VIDEO_ES)
532     {
533         jformat = (*env)->CallStaticObjectMethod(env,
534                                                  jfields.media_format_class,
535                                                  jfields.create_video_format,
536                                                  jmime,
537                                                  p_args->video.i_width,
538                                                  p_args->video.i_height);
539         if (p_args->video.p_awh)
540             jsurface = AWindowHandler_getSurface(p_args->video.p_awh,
541                                                  AWindow_Video);
542         b_direct_rendering = !!jsurface;
543
544         /* There is no way to rotate the video using direct rendering (and
545          * using a SurfaceView) before  API 21 (Lollipop). Therefore, we
546          * deactivate direct rendering if video doesn't have a normal rotation
547          * and if get_input_buffer method is not present (This method exists
548          * since API 21). */
549         if (b_direct_rendering && p_args->video.i_angle != 0
550          && !jfields.get_input_buffer)
551             b_direct_rendering = false;
552
553         if (b_direct_rendering && p_args->video.i_angle != 0)
554             SET_INTEGER(jformat, "rotation-degrees", p_args->video.i_angle);
555
556         /* feature-tunneled-playback available since API 21 */
557         if (b_direct_rendering && jfields.get_input_buffer)
558             SET_INTEGER(jformat, "feature-tunneled-playback",
559                         p_args->video.b_tunneled_playback);
560     }
561     else
562     {
563         jformat = (*env)->CallStaticObjectMethod(env,
564                                                  jfields.media_format_class,
565                                                  jfields.create_audio_format,
566                                                  jmime,
567                                                  p_args->audio.i_sample_rate,
568                                                  p_args->audio.i_channel_count);
569     }
570     /* No limits for input size */
571     SET_INTEGER(jformat, "max-input-size", 0);
572
573     if (b_direct_rendering)
574     {
575         // Configure MediaCodec with the Android surface.
576         (*env)->CallVoidMethod(env, p_sys->codec, jfields.configure,
577                                jformat, jsurface, NULL, 0);
578         if (CHECK_EXCEPTION())
579         {
580             msg_Warn(api->p_obj, "Exception occurred in MediaCodec.configure "
581                                  "with an output surface.");
582             goto error;
583         }
584     }
585     else
586     {
587         (*env)->CallVoidMethod(env, p_sys->codec, jfields.configure,
588                                jformat, NULL, NULL, 0);
589         if (CHECK_EXCEPTION())
590         {
591             msg_Warn(api->p_obj, "Exception occurred in MediaCodec.configure");
592             goto error;
593         }
594     }
595
596     (*env)->CallVoidMethod(env, p_sys->codec, jfields.start);
597     if (CHECK_EXCEPTION())
598     {
599         msg_Warn(api->p_obj, "Exception occurred in MediaCodec.start");
600         goto error;
601     }
602     api->b_started = true;
603
604     if (jfields.get_input_buffers && jfields.get_output_buffers)
605     {
606
607         jinput_buffers = (*env)->CallObjectMethod(env, p_sys->codec,
608                                                   jfields.get_input_buffers);
609         if (CHECK_EXCEPTION())
610         {
611             msg_Err(api->p_obj, "Exception in MediaCodec.getInputBuffers");
612             goto error;
613         }
614         p_sys->input_buffers = (*env)->NewGlobalRef(env, jinput_buffers);
615
616         joutput_buffers = (*env)->CallObjectMethod(env, p_sys->codec,
617                                                    jfields.get_output_buffers);
618         if (CHECK_EXCEPTION())
619         {
620             msg_Err(api->p_obj, "Exception in MediaCodec.getOutputBuffers");
621             goto error;
622         }
623         p_sys->output_buffers = (*env)->NewGlobalRef(env, joutput_buffers);
624     }
625     jbuffer_info = (*env)->NewObject(env, jfields.buffer_info_class,
626                                      jfields.buffer_info_ctor);
627     p_sys->buffer_info = (*env)->NewGlobalRef(env, jbuffer_info);
628
629     api->b_direct_rendering = b_direct_rendering;
630     i_ret = 0;
631     msg_Dbg(api->p_obj, "MediaCodec via JNI opened");
632
633 error:
634     if (jmime)
635         (*env)->DeleteLocalRef(env, jmime);
636     if (jcodec_name)
637         (*env)->DeleteLocalRef(env, jcodec_name);
638     if (jcodec)
639         (*env)->DeleteLocalRef(env, jcodec);
640     if (jformat)
641         (*env)->DeleteLocalRef(env, jformat);
642     if (jinput_buffers)
643         (*env)->DeleteLocalRef(env, jinput_buffers);
644     if (joutput_buffers)
645         (*env)->DeleteLocalRef(env, joutput_buffers);
646     if (jbuffer_info)
647         (*env)->DeleteLocalRef(env, jbuffer_info);
648
649     if (i_ret != 0)
650         Stop(api);
651     return i_ret;
652 }
653
654 /*****************************************************************************
655  * Flush
656  *****************************************************************************/
657 static int Flush(mc_api *api)
658 {
659     mc_api_sys *p_sys = api->p_sys;
660     JNIEnv *env = NULL;
661
662     GET_ENV();
663
664     (*env)->CallVoidMethod(env, p_sys->codec, jfields.flush);
665     if (CHECK_EXCEPTION())
666     {
667         msg_Warn(api->p_obj, "Exception occurred in MediaCodec.flush");
668         return MC_API_ERROR;
669     }
670     return 0;
671 }
672
673 /*****************************************************************************
674  * DequeueInput
675  *****************************************************************************/
676 static int DequeueInput(mc_api *api, mtime_t i_timeout)
677 {
678     mc_api_sys *p_sys = api->p_sys;
679     JNIEnv *env;
680     int i_index;
681
682     GET_ENV();
683
684     i_index = (*env)->CallIntMethod(env, p_sys->codec,
685                                     jfields.dequeue_input_buffer, i_timeout);
686     if (CHECK_EXCEPTION())
687     {
688         msg_Err(api->p_obj, "Exception occurred in MediaCodec.dequeueInputBuffer");
689         return MC_API_ERROR;
690     }
691     if (i_index >= 0)
692         return i_index;
693     else
694         return MC_API_INFO_TRYAGAIN;
695
696 }
697
698 /*****************************************************************************
699  * QueueInput
700  *****************************************************************************/
701 static int QueueInput(mc_api *api, int i_index, const void *p_buf,
702                       size_t i_size, mtime_t i_ts, bool b_config)
703 {
704     mc_api_sys *p_sys = api->p_sys;
705     JNIEnv *env;
706     uint8_t *p_mc_buf;
707     jobject j_mc_buf;
708     jsize j_mc_size;
709     jint jflags = (b_config ? BUFFER_FLAG_CODEC_CONFIG : 0)
710                 | (p_buf == NULL ? BUFFER_FLAG_END_OF_STREAM : 0);
711
712     assert(i_index >= 0);
713
714     GET_ENV();
715
716     if (jfields.get_input_buffers)
717         j_mc_buf = (*env)->GetObjectArrayElement(env, p_sys->input_buffers,
718                                                  i_index);
719     else
720     {
721         j_mc_buf = (*env)->CallObjectMethod(env, p_sys->codec,
722                                             jfields.get_input_buffer, i_index);
723         if (CHECK_EXCEPTION())
724         {
725             msg_Err(api->p_obj, "Exception in MediaCodec.getInputBuffer");
726             return MC_API_ERROR;
727         }
728     }
729     j_mc_size = (*env)->GetDirectBufferCapacity(env, j_mc_buf);
730     p_mc_buf = (*env)->GetDirectBufferAddress(env, j_mc_buf);
731     if (j_mc_size < 0)
732     {
733         msg_Err(api->p_obj, "Java buffer has invalid size");
734         (*env)->DeleteLocalRef(env, j_mc_buf);
735         return MC_API_ERROR;
736     }
737     if ((size_t) j_mc_size > i_size)
738         j_mc_size = i_size;
739     memcpy(p_mc_buf, p_buf, j_mc_size);
740
741     (*env)->CallVoidMethod(env, p_sys->codec, jfields.queue_input_buffer,
742                            i_index, 0, j_mc_size, i_ts, jflags);
743     (*env)->DeleteLocalRef(env, j_mc_buf);
744     if (CHECK_EXCEPTION())
745     {
746         msg_Err(api->p_obj, "Exception in MediaCodec.queueInputBuffer");
747         return MC_API_ERROR;
748     }
749
750     return 0;
751 }
752
753 /*****************************************************************************
754  * DequeueOutput
755  *****************************************************************************/
756 static int DequeueOutput(mc_api *api, mtime_t i_timeout)
757 {
758     mc_api_sys *p_sys = api->p_sys;
759     JNIEnv *env;
760     int i_index;
761
762     GET_ENV();
763     i_index = (*env)->CallIntMethod(env, p_sys->codec,
764                                     jfields.dequeue_output_buffer,
765                                     p_sys->buffer_info, i_timeout);
766     if (CHECK_EXCEPTION())
767     {
768         msg_Err(api->p_obj, "Exception in MediaCodec.dequeueOutputBuffer");
769         return MC_API_ERROR;
770     }
771     if (i_index >= 0)
772         return i_index;
773     else if (i_index == INFO_OUTPUT_FORMAT_CHANGED)
774         return MC_API_INFO_OUTPUT_FORMAT_CHANGED;
775     else if (i_index == INFO_OUTPUT_BUFFERS_CHANGED)
776         return MC_API_INFO_OUTPUT_BUFFERS_CHANGED;
777     else
778         return MC_API_INFO_TRYAGAIN;
779 }
780
781 /*****************************************************************************
782  * GetOutput
783  *****************************************************************************/
784 static int GetOutput(mc_api *api, int i_index, mc_api_out *p_out)
785 {
786     mc_api_sys *p_sys = api->p_sys;
787     JNIEnv *env;
788
789     GET_ENV();
790
791     if (i_index >= 0)
792     {
793         p_out->type = MC_OUT_TYPE_BUF;
794         p_out->u.buf.i_index = i_index;
795         p_out->u.buf.i_ts = (*env)->GetLongField(env, p_sys->buffer_info,
796                                                  jfields.pts_field);
797
798         int flags = (*env)->GetIntField(env, p_sys->buffer_info,
799                                         jfields.flags_field);
800         p_out->b_eos = flags & BUFFER_FLAG_END_OF_STREAM;
801
802         if (api->b_direct_rendering)
803         {
804             p_out->u.buf.p_ptr = NULL;
805             p_out->u.buf.i_size = 0;
806         }
807         else
808         {
809             jobject buf;
810             uint8_t *ptr = NULL;
811             int offset = 0;
812
813             if (jfields.get_output_buffers)
814                 buf = (*env)->GetObjectArrayElement(env, p_sys->output_buffers,
815                                                     i_index);
816             else
817             {
818                 buf = (*env)->CallObjectMethod(env, p_sys->codec,
819                                                jfields.get_output_buffer,
820                                                i_index);
821                 if (CHECK_EXCEPTION())
822                 {
823                     msg_Err(api->p_obj, "Exception in MediaCodec.getOutputBuffer");
824                     return MC_API_ERROR;
825                 }
826             }
827             //jsize buf_size = (*env)->GetDirectBufferCapacity(env, buf);
828             /* buf can be NULL in case of EOS */
829             if (buf)
830             {
831                 ptr = (*env)->GetDirectBufferAddress(env, buf);
832
833                 offset = (*env)->GetIntField(env, p_sys->buffer_info,
834                                              jfields.offset_field);
835             }
836             p_out->u.buf.p_ptr = ptr + offset;
837             p_out->u.buf.i_size = (*env)->GetIntField(env, p_sys->buffer_info,
838                                                        jfields.size_field);
839             (*env)->DeleteLocalRef(env, buf);
840         }
841         return 1;
842     } else if (i_index == MC_API_INFO_OUTPUT_FORMAT_CHANGED)
843     {
844         jobject format = NULL;
845         jobject format_string = NULL;
846         jsize format_len;
847         const char *format_ptr;
848
849         format = (*env)->CallObjectMethod(env, p_sys->codec,
850                                           jfields.get_output_format);
851         if (CHECK_EXCEPTION())
852         {
853             msg_Err(api->p_obj, "Exception in MediaCodec.getOutputFormat");
854             return MC_API_ERROR;
855         }
856
857         format_string = (*env)->CallObjectMethod(env, format, jfields.tostring);
858
859         format_len = (*env)->GetStringUTFLength(env, format_string);
860         format_ptr = (*env)->GetStringUTFChars(env, format_string, NULL);
861         msg_Dbg(api->p_obj, "output format changed: %.*s", format_len,
862                 format_ptr);
863         (*env)->ReleaseStringUTFChars(env, format_string, format_ptr);
864
865         p_out->type = MC_OUT_TYPE_CONF;
866         p_out->b_eos = false;
867         if (api->i_cat == VIDEO_ES)
868         {
869             p_out->u.conf.video.width         = GET_INTEGER(format, "width");
870             p_out->u.conf.video.height        = GET_INTEGER(format, "height");
871             p_out->u.conf.video.stride        = GET_INTEGER(format, "stride");
872             p_out->u.conf.video.slice_height  = GET_INTEGER(format, "slice-height");
873             p_out->u.conf.video.pixel_format  = GET_INTEGER(format, "color-format");
874             p_out->u.conf.video.crop_left     = GET_INTEGER(format, "crop-left");
875             p_out->u.conf.video.crop_top      = GET_INTEGER(format, "crop-top");
876             p_out->u.conf.video.crop_right    = GET_INTEGER(format, "crop-right");
877             p_out->u.conf.video.crop_bottom   = GET_INTEGER(format, "crop-bottom");
878         }
879         else
880         {
881             p_out->u.conf.audio.channel_count = GET_INTEGER(format, "channel-count");
882             p_out->u.conf.audio.channel_mask = GET_INTEGER(format, "channel-mask");
883             p_out->u.conf.audio.sample_rate = GET_INTEGER(format, "sample-rate");
884         }
885
886         (*env)->DeleteLocalRef(env, format);
887         return 1;
888     }
889     else if (i_index == MC_API_INFO_OUTPUT_BUFFERS_CHANGED)
890     {
891         jobject joutput_buffers;
892
893         msg_Dbg(api->p_obj, "output buffers changed");
894         if (!jfields.get_output_buffers)
895             return 0;
896         (*env)->DeleteGlobalRef(env, p_sys->output_buffers);
897
898         joutput_buffers = (*env)->CallObjectMethod(env, p_sys->codec,
899                                                    jfields.get_output_buffers);
900         if (CHECK_EXCEPTION())
901         {
902             msg_Err(api->p_obj, "Exception in MediaCodec.getOutputBuffer");
903             p_sys->output_buffers = NULL;
904             return MC_API_ERROR;
905         }
906         p_sys->output_buffers = (*env)->NewGlobalRef(env, joutput_buffers);
907         (*env)->DeleteLocalRef(env, joutput_buffers);
908     }
909     return 0;
910 }
911
912 /*****************************************************************************
913  * ReleaseOutput
914  *****************************************************************************/
915 static int ReleaseOutput(mc_api *api, int i_index, bool b_render)
916 {
917     mc_api_sys *p_sys = api->p_sys;
918     JNIEnv *env;
919
920     assert(i_index >= 0);
921
922     GET_ENV();
923
924     (*env)->CallVoidMethod(env, p_sys->codec, jfields.release_output_buffer,
925                            i_index, b_render);
926     if (CHECK_EXCEPTION())
927     {
928         msg_Err(api->p_obj, "Exception in MediaCodec.releaseOutputBuffer");
929         return MC_API_ERROR;
930     }
931     return 0;
932 }
933
934 /*****************************************************************************
935  * Clean
936  *****************************************************************************/
937 static void Clean(mc_api *api)
938 {
939     free(api->psz_name);
940     free(api->p_sys);
941 }
942
943 /*****************************************************************************
944  * Configure
945  *****************************************************************************/
946 static int Configure(mc_api *api, size_t i_h264_profile)
947 {
948     free(api->psz_name);
949     api->psz_name = MediaCodec_GetName(api->p_obj, api->psz_mime,
950                                        i_h264_profile);
951     if (!api->psz_name)
952         return MC_API_ERROR;
953     api->i_quirks = OMXCodec_GetQuirks(api->i_cat, api->i_codec, api->psz_name,
954                                        strlen(api->psz_name));
955     return 0;
956 }
957
958 /*****************************************************************************
959  * MediaCodecJni_New
960  *****************************************************************************/
961 int MediaCodecJni_Init(mc_api *api)
962 {
963     JNIEnv *env;
964
965     GET_ENV();
966
967     if (!InitJNIFields(api->p_obj, env))
968         return MC_API_ERROR;
969
970     api->p_sys = calloc(1, sizeof(mc_api_sys));
971     if (!api->p_sys)
972         return MC_API_ERROR;
973
974     api->clean = Clean;
975     api->configure = Configure;
976     api->start = Start;
977     api->stop = Stop;
978     api->flush = Flush;
979     api->dequeue_in = DequeueInput;
980     api->queue_in = QueueInput;
981     api->dequeue_out = DequeueOutput;
982     api->get_out = GetOutput;
983     api->release_out = ReleaseOutput;
984
985     /* Allow interlaced picture only after API 21 */
986     api->b_support_interlaced = jfields.get_input_buffer
987                                 && jfields.get_output_buffer;
988     return 0;
989 }