MediaCodec: use SSE copy function from the avcodec module if the CPU supports it.
[vlc.git] / modules / codec / omxil / android_mediacodec.c
1 /*****************************************************************************
2  * android_mediacodec.c: Video decoder module using the Android MediaCodec API
3  *****************************************************************************
4  * Copyright (C) 2012 Martin Storsjo
5  *
6  * Authors: Martin Storsjo <martin@martin.st>
7  *
8  * This program is free software; you can redistribute it and/or modify it
9  * under the terms of the GNU Lesser General Public License as published by
10  * the Free Software Foundation; either version 2.1 of the License, or
11  * (at your option) any later version.
12  *
13  * This program is distributed in the hope that it will be useful,
14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16  * GNU Lesser General Public License for more details.
17  *
18  * You should have received a copy of the GNU Lesser General Public License
19  * along with this program; if not, write to the Free Software Foundation,
20  * Inc., 51 Franklin Street, Fifth Floor, Boston MA 02110-1301, USA.
21  *****************************************************************************/
22
23 /*****************************************************************************
24  * Preamble
25  *****************************************************************************/
26 #ifdef HAVE_CONFIG_H
27 # include "config.h"
28 #endif
29
30 #include <jni.h>
31 #include <stdint.h>
32
33 #include <vlc_common.h>
34 #include <vlc_plugin.h>
35 #include <vlc_codec.h>
36 #include <vlc_block_helper.h>
37 #include <vlc_cpu.h>
38
39 #include "../h264_nal.h"
40 #include <OMX_Core.h>
41 #include <OMX_Component.h>
42 #include "omxil_utils.h"
43
44 #define INFO_OUTPUT_BUFFERS_CHANGED -3
45 #define INFO_OUTPUT_FORMAT_CHANGED  -2
46 #define INFO_TRY_AGAIN_LATER        -1
47
48 extern JavaVM *myVm;
49
50 struct decoder_sys_t
51 {
52     jclass media_codec_list_class, media_codec_class, media_format_class;
53     jclass buffer_info_class, byte_buffer_class;
54     jmethodID tostring;
55     jmethodID get_codec_count, get_codec_info_at, is_encoder;
56     jmethodID get_supported_types, get_name;
57     jmethodID create_by_codec_name, configure, start, stop, flush, release;
58     jmethodID get_output_format, get_input_buffers, get_output_buffers;
59     jmethodID dequeue_input_buffer, dequeue_output_buffer, queue_input_buffer;
60     jmethodID release_output_buffer;
61     jmethodID create_video_format, set_integer, set_bytebuffer, get_integer;
62     jmethodID buffer_info_ctor;
63     jmethodID allocate_direct, limit;
64     jfieldID size_field, offset_field, pts_field;
65
66     uint32_t nal_size;
67
68     jobject codec;
69     jobject buffer_info;
70     jobject input_buffers, output_buffers;
71     int pixel_format;
72     int stride, slice_height;
73     int crop_top, crop_left;
74     char *name;
75
76     int started;
77     int decoded;
78
79     ArchitectureSpecificCopyData architecture_specific_data;
80 };
81
82 enum Types
83 {
84     METHOD, STATIC_METHOD, FIELD
85 };
86
87 #define OFF(x) offsetof(struct decoder_sys_t, x)
88 struct classname
89 {
90     const char *name;
91     int offset;
92 };
93 static const struct classname classes[] = {
94     { "android/media/MediaCodecList", OFF(media_codec_list_class) },
95     { "android/media/MediaCodec", OFF(media_codec_class) },
96     { "android/media/MediaFormat", OFF(media_format_class) },
97     { "android/media/MediaFormat", OFF(media_format_class) },
98     { "android/media/MediaCodec$BufferInfo", OFF(buffer_info_class) },
99     { "java/nio/ByteBuffer", OFF(byte_buffer_class) },
100     { NULL, 0 },
101 };
102
103 struct member
104 {
105     const char *name;
106     const char *sig;
107     const char *class;
108     int offset;
109     int type;
110 };
111 static const struct member members[] = {
112     { "toString", "()Ljava/lang/String;", "java/lang/Object", OFF(tostring), METHOD },
113
114     { "getCodecCount", "()I", "android/media/MediaCodecList", OFF(get_codec_count), STATIC_METHOD },
115     { "getCodecInfoAt", "(I)Landroid/media/MediaCodecInfo;", "android/media/MediaCodecList", OFF(get_codec_info_at), STATIC_METHOD },
116
117     { "isEncoder", "()Z", "android/media/MediaCodecInfo", OFF(is_encoder), METHOD },
118     { "getSupportedTypes", "()[Ljava/lang/String;", "android/media/MediaCodecInfo", OFF(get_supported_types), METHOD },
119     { "getName", "()Ljava/lang/String;", "android/media/MediaCodecInfo", OFF(get_name), METHOD },
120
121     { "createByCodecName", "(Ljava/lang/String;)Landroid/media/MediaCodec;", "android/media/MediaCodec", OFF(create_by_codec_name), STATIC_METHOD },
122     { "configure", "(Landroid/media/MediaFormat;Landroid/view/Surface;Landroid/media/MediaCrypto;I)V", "android/media/MediaCodec", OFF(configure), METHOD },
123     { "start", "()V", "android/media/MediaCodec", OFF(start), METHOD },
124     { "stop", "()V", "android/media/MediaCodec", OFF(stop), METHOD },
125     { "flush", "()V", "android/media/MediaCodec", OFF(flush), METHOD },
126     { "release", "()V", "android/media/MediaCodec", OFF(release), METHOD },
127     { "getOutputFormat", "()Landroid/media/MediaFormat;", "android/media/MediaCodec", OFF(get_output_format), METHOD },
128     { "getInputBuffers", "()[Ljava/nio/ByteBuffer;", "android/media/MediaCodec", OFF(get_input_buffers), METHOD },
129     { "getOutputBuffers", "()[Ljava/nio/ByteBuffer;", "android/media/MediaCodec", OFF(get_output_buffers), METHOD },
130     { "dequeueInputBuffer", "(J)I", "android/media/MediaCodec", OFF(dequeue_input_buffer), METHOD },
131     { "dequeueOutputBuffer", "(Landroid/media/MediaCodec$BufferInfo;J)I", "android/media/MediaCodec", OFF(dequeue_output_buffer), METHOD },
132     { "queueInputBuffer", "(IIIJI)V", "android/media/MediaCodec", OFF(queue_input_buffer), METHOD },
133     { "releaseOutputBuffer", "(IZ)V", "android/media/MediaCodec", OFF(release_output_buffer), METHOD },
134
135     { "createVideoFormat", "(Ljava/lang/String;II)Landroid/media/MediaFormat;", "android/media/MediaFormat", OFF(create_video_format), STATIC_METHOD },
136     { "setInteger", "(Ljava/lang/String;I)V", "android/media/MediaFormat", OFF(set_integer), METHOD },
137     { "getInteger", "(Ljava/lang/String;)I", "android/media/MediaFormat", OFF(get_integer), METHOD },
138     { "setByteBuffer", "(Ljava/lang/String;Ljava/nio/ByteBuffer;)V", "android/media/MediaFormat", OFF(set_bytebuffer), METHOD },
139
140     { "<init>", "()V", "android/media/MediaCodec$BufferInfo", OFF(buffer_info_ctor), METHOD },
141     { "size", "I", "android/media/MediaCodec$BufferInfo", OFF(size_field), FIELD },
142     { "offset", "I", "android/media/MediaCodec$BufferInfo", OFF(offset_field), FIELD },
143     { "presentationTimeUs", "J", "android/media/MediaCodec$BufferInfo", OFF(pts_field), FIELD },
144
145     { "allocateDirect", "(I)Ljava/nio/ByteBuffer;", "java/nio/ByteBuffer", OFF(allocate_direct), STATIC_METHOD },
146     { "limit", "(I)Ljava/nio/Buffer;", "java/nio/ByteBuffer", OFF(limit), METHOD },
147
148     { NULL, NULL, NULL, 0, 0 },
149 };
150
151 #define GET_INTEGER(obj, name) (*env)->CallIntMethod(env, obj, p_sys->get_integer, (*env)->NewStringUTF(env, name))
152
153 /*****************************************************************************
154  * Local prototypes
155  *****************************************************************************/
156 static int  OpenDecoder(vlc_object_t *);
157 static void CloseDecoder(vlc_object_t *);
158
159 static picture_t *DecodeVideo(decoder_t *, block_t **);
160
161 /*****************************************************************************
162  * Module descriptor
163  *****************************************************************************/
164 vlc_module_begin ()
165     set_description( N_("Video decoder using Android MediaCodec") )
166     set_category( CAT_INPUT )
167     set_subcategory( SUBCAT_INPUT_VCODEC )
168     set_section( N_("Decoding") , NULL )
169     set_capability( "decoder", 0 ) /* Only enabled via commandline arguments */
170     set_callbacks( OpenDecoder, CloseDecoder )
171 vlc_module_end ()
172
173 static int jstrcmp(JNIEnv* env, jobject str, const char* str2)
174 {
175     jsize len = (*env)->GetStringUTFLength(env, str);
176     if (len != (jsize) strlen(str2))
177         return -1;
178     const char *ptr = (*env)->GetStringUTFChars(env, str, NULL);
179     int ret = memcmp(ptr, str2, len);
180     (*env)->ReleaseStringUTFChars(env, str, ptr);
181     return ret;
182 }
183
184 /*****************************************************************************
185  * OpenDecoder: Create the decoder instance
186  *****************************************************************************/
187 static int OpenDecoder(vlc_object_t *p_this)
188 {
189     decoder_t *p_dec = (decoder_t*)p_this;
190     decoder_sys_t *p_sys;
191
192     if (p_dec->fmt_in.i_cat != VIDEO_ES && !p_dec->b_force)
193         return VLC_EGENERIC;
194
195     const char *mime = NULL;
196     switch (p_dec->fmt_in.i_codec) {
197     case VLC_CODEC_H264: mime = "video/avc"; break;
198     case VLC_CODEC_H263: mime = "video/3gpp"; break;
199     case VLC_CODEC_MP4V: mime = "video/mp4v-es"; break;
200     case VLC_CODEC_VC1:  mime = "video/wvc1"; break;
201     case VLC_CODEC_VP8:  mime = "video/x-vnd.on2.vp8"; break;
202     default:
203         msg_Dbg(p_dec, "codec %d not supported", p_dec->fmt_in.i_codec);
204         return VLC_EGENERIC;
205     }
206     /* Allocate the memory needed to store the decoder's structure */
207     if ((p_dec->p_sys = p_sys = calloc(1, sizeof(*p_sys))) == NULL)
208         return VLC_ENOMEM;
209
210     p_dec->pf_decode_video = DecodeVideo;
211
212
213     p_dec->fmt_out.i_cat = p_dec->fmt_in.i_cat;
214     p_dec->fmt_out.video = p_dec->fmt_in.video;
215     p_dec->fmt_out.audio = p_dec->fmt_in.audio;
216     p_dec->b_need_packetized = true;
217
218     JNIEnv* env = NULL;
219     (*myVm)->AttachCurrentThread(myVm, &env, NULL);
220
221     for (int i = 0; classes[i].name; i++) {
222         *(jclass*)((uint8_t*)p_sys + classes[i].offset) =
223             (*env)->FindClass(env, classes[i].name);
224
225         if ((*env)->ExceptionOccurred(env)) {
226             msg_Warn(p_dec, "Unable to find class %s", classes[i].name);
227             (*env)->ExceptionClear(env);
228             goto error;
229         }
230     }
231
232     jclass last_class;
233     for (int i = 0; members[i].name; i++) {
234         if (i == 0 || strcmp(members[i].class, members[i - 1].class))
235             last_class = (*env)->FindClass(env, members[i].class);
236
237         if ((*env)->ExceptionOccurred(env)) {
238             msg_Warn(p_dec, "Unable to find class %s", members[i].class);
239             (*env)->ExceptionClear(env);
240             goto error;
241         }
242
243         switch (members[i].type) {
244         case METHOD:
245             *(jmethodID*)((uint8_t*)p_sys + members[i].offset) =
246                 (*env)->GetMethodID(env, last_class, members[i].name, members[i].sig);
247             break;
248         case STATIC_METHOD:
249             *(jmethodID*)((uint8_t*)p_sys + members[i].offset) =
250                 (*env)->GetStaticMethodID(env, last_class, members[i].name, members[i].sig);
251             break;
252         case FIELD:
253             *(jfieldID*)((uint8_t*)p_sys + members[i].offset) =
254                 (*env)->GetFieldID(env, last_class, members[i].name, members[i].sig);
255             break;
256         }
257         if ((*env)->ExceptionOccurred(env)) {
258             msg_Warn(p_dec, "Unable to find the member %s in %s",
259                      members[i].name, members[i].class);
260             (*env)->ExceptionClear(env);
261             goto error;
262         }
263     }
264
265     int num_codecs = (*env)->CallStaticIntMethod(env, p_sys->media_codec_list_class,
266                                                  p_sys->get_codec_count);
267     jobject codec_name = NULL;
268
269     for (int i = 0; i < num_codecs; i++) {
270         jobject info = (*env)->CallStaticObjectMethod(env, p_sys->media_codec_list_class,
271                                                       p_sys->get_codec_info_at, i);
272         if ((*env)->CallBooleanMethod(env, info, p_sys->is_encoder)) {
273             (*env)->DeleteLocalRef(env, info);
274             continue;
275         }
276         jobject types = (*env)->CallObjectMethod(env, info, p_sys->get_supported_types);
277         int num_types = (*env)->GetArrayLength(env, types);
278         bool found = false;
279         for (int j = 0; j < num_types && !found; j++) {
280             jobject type = (*env)->GetObjectArrayElement(env, types, j);
281             if (!jstrcmp(env, type, mime))
282                 found = true;
283             (*env)->DeleteLocalRef(env, type);
284         }
285         if (found) {
286             jobject name = (*env)->CallObjectMethod(env, info, p_sys->get_name);
287             jsize name_len = (*env)->GetStringUTFLength(env, name);
288             const char *name_ptr = (*env)->GetStringUTFChars(env, name, NULL);
289             msg_Dbg(p_dec, "using %.*s", name_len, name_ptr);
290             p_sys->name = malloc(name_len + 1);
291             memcpy(p_sys->name, name_ptr, name_len);
292             p_sys->name[name_len] = '\0';
293             (*env)->ReleaseStringUTFChars(env, name, name_ptr);
294             codec_name = name;
295             break;
296         }
297         (*env)->DeleteLocalRef(env, info);
298     }
299
300     if (!codec_name) {
301         msg_Dbg(p_dec, "No suitable codec matching %s was found", mime);
302         goto error;
303     }
304
305     // This method doesn't handle errors nicely, it crashes if the codec isn't found.
306     // (The same goes for createDecoderByType.) This is fixed in latest AOSP and in 4.2,
307     // but not in 4.1 devices.
308     p_sys->codec = (*env)->CallStaticObjectMethod(env, p_sys->media_codec_class,
309                                                   p_sys->create_by_codec_name, codec_name);
310     p_sys->codec = (*env)->NewGlobalRef(env, p_sys->codec);
311
312     jobject format = (*env)->CallStaticObjectMethod(env, p_sys->media_format_class,
313                          p_sys->create_video_format, (*env)->NewStringUTF(env, mime),
314                          p_dec->fmt_in.video.i_width, p_dec->fmt_in.video.i_height);
315
316     if (p_dec->fmt_in.i_extra) {
317         // Allocate a byte buffer via allocateDirect in java instead of NewDirectByteBuffer,
318         // since the latter doesn't allocate storage of its own, and we don't know how long
319         // the codec uses the buffer.
320         int buf_size = p_dec->fmt_in.i_extra + 20;
321         jobject bytebuf = (*env)->CallStaticObjectMethod(env, p_sys->byte_buffer_class,
322                                                          p_sys->allocate_direct, buf_size);
323         uint32_t size = p_dec->fmt_in.i_extra;
324         uint8_t *ptr = (*env)->GetDirectBufferAddress(env, bytebuf);
325         if (p_dec->fmt_in.i_codec == VLC_CODEC_H264 && ((uint8_t*)p_dec->fmt_in.p_extra)[0] == 1) {
326             convert_sps_pps(p_dec, p_dec->fmt_in.p_extra, p_dec->fmt_in.i_extra,
327                             ptr, buf_size,
328                             &size, &p_sys->nal_size);
329         } else {
330             memcpy(ptr, p_dec->fmt_in.p_extra, size);
331         }
332         (*env)->CallObjectMethod(env, bytebuf, p_sys->limit, size);
333         (*env)->CallVoidMethod(env, format, p_sys->set_bytebuffer,
334                                (*env)->NewStringUTF(env, "csd-0"), bytebuf);
335         (*env)->DeleteLocalRef(env, bytebuf);
336     }
337
338     (*env)->CallVoidMethod(env, p_sys->codec, p_sys->configure, format, NULL, NULL, 0);
339     if ((*env)->ExceptionOccurred(env)) {
340         msg_Warn(p_dec, "Exception occurred in MediaCodec.configure");
341         (*env)->ExceptionClear(env);
342         goto error;
343     }
344     (*env)->CallVoidMethod(env, p_sys->codec, p_sys->start);
345     if ((*env)->ExceptionOccurred(env)) {
346         msg_Warn(p_dec, "Exception occurred in MediaCodec.start");
347         (*env)->ExceptionClear(env);
348         goto error;
349     }
350     p_sys->started = 1;
351
352     p_sys->input_buffers = (*env)->CallObjectMethod(env, p_sys->codec, p_sys->get_input_buffers);
353     p_sys->output_buffers = (*env)->CallObjectMethod(env, p_sys->codec, p_sys->get_output_buffers);
354     p_sys->buffer_info = (*env)->NewObject(env, p_sys->buffer_info_class, p_sys->buffer_info_ctor);
355     p_sys->input_buffers = (*env)->NewGlobalRef(env, p_sys->input_buffers);
356     p_sys->output_buffers = (*env)->NewGlobalRef(env, p_sys->output_buffers);
357     p_sys->buffer_info = (*env)->NewGlobalRef(env, p_sys->buffer_info);
358     (*env)->DeleteLocalRef(env, format);
359
360     (*myVm)->DetachCurrentThread(myVm);
361     return VLC_SUCCESS;
362
363  error:
364     (*myVm)->DetachCurrentThread(myVm);
365     CloseDecoder(p_this);
366     return VLC_EGENERIC;
367 }
368
369 static void CloseDecoder(vlc_object_t *p_this)
370 {
371     decoder_t *p_dec = (decoder_t *)p_this;
372     decoder_sys_t *p_sys = p_dec->p_sys;
373     JNIEnv *env = NULL;
374
375     if (!p_sys)
376         return;
377
378     (*myVm)->AttachCurrentThread(myVm, &env, NULL);
379     if (p_sys->input_buffers)
380         (*env)->DeleteGlobalRef(env, p_sys->input_buffers);
381     if (p_sys->output_buffers)
382         (*env)->DeleteGlobalRef(env, p_sys->output_buffers);
383     if (p_sys->codec) {
384         if (p_sys->started)
385             (*env)->CallVoidMethod(env, p_sys->codec, p_sys->stop);
386         (*env)->CallVoidMethod(env, p_sys->codec, p_sys->release);
387         (*env)->DeleteGlobalRef(env, p_sys->codec);
388     }
389     if (p_sys->buffer_info)
390         (*env)->DeleteGlobalRef(env, p_sys->buffer_info);
391     (*myVm)->DetachCurrentThread(myVm);
392
393     free(p_sys->name);
394     ArchitectureSpecificCopyHooksDestroy(p_sys->pixel_format, &p_sys->architecture_specific_data);
395     free(p_sys);
396 }
397
398 static void GetOutput(decoder_t *p_dec, JNIEnv *env, picture_t **pp_pic, int loop)
399 {
400     decoder_sys_t *p_sys = p_dec->p_sys;
401     do {
402         int index = (*env)->CallIntMethod(env, p_sys->codec, p_sys->dequeue_output_buffer,
403                                           p_sys->buffer_info, (jlong) 0);
404         if (index >= 0) {
405             if (!p_sys->pixel_format) {
406                 msg_Warn(p_dec, "Buffers returned before output format is set, dropping frame");
407                 (*env)->CallVoidMethod(env, p_sys->codec, p_sys->release_output_buffer, index, false);
408                 continue;
409             }
410             jobject buf = (*env)->GetObjectArrayElement(env, p_sys->output_buffers, index);
411             jsize buf_size = (*env)->GetDirectBufferCapacity(env, buf);
412             uint8_t *ptr = (*env)->GetDirectBufferAddress(env, buf);
413             if (!*pp_pic)
414                 *pp_pic = decoder_NewPicture(p_dec);
415             if (*pp_pic) {
416                 picture_t *p_pic = *pp_pic;
417                 int size = (*env)->GetIntField(env, p_sys->buffer_info, p_sys->size_field);
418                 int offset = (*env)->GetIntField(env, p_sys->buffer_info, p_sys->offset_field);
419                 ptr += offset; // Check the size parameter as well
420                 // TODO: Use crop_top/crop_left as well? Or is that already taken into account?
421                 // On OMX_TI_COLOR_FormatYUV420PackedSemiPlanar the offset already incldues
422                 // the cropping, so the top/left cropping params should just be ignored.
423                 unsigned int chroma_div;
424                 p_pic->date = (*env)->GetLongField(env, p_sys->buffer_info, p_sys->pts_field);
425                 GetVlcChromaSizes(p_dec->fmt_out.i_codec, p_dec->fmt_out.video.i_width,
426                                   p_dec->fmt_out.video.i_height, NULL, NULL, &chroma_div);
427                 CopyOmxPicture(p_sys->pixel_format, p_pic, p_sys->slice_height, p_sys->stride,
428                                ptr, chroma_div, &p_sys->architecture_specific_data);
429             }
430             (*env)->CallVoidMethod(env, p_sys->codec, p_sys->release_output_buffer, index, false);
431             jthrowable exception = (*env)->ExceptionOccurred(env);
432             if(exception != NULL) {
433                 jclass illegalStateException = (*env)->FindClass(env, "java/lang/IllegalStateException");
434                 if((*env)->IsInstanceOf(env, exception, illegalStateException)) {
435                     msg_Err(p_dec, "Codec error (IllegalStateException) in MediaCodec.releaseOutputBuffer");
436                     (*env)->ExceptionClear(env);
437                     (*env)->DeleteLocalRef(env, illegalStateException);
438                 }
439             }
440             (*env)->DeleteLocalRef(env, buf);
441         } else if (index == INFO_OUTPUT_BUFFERS_CHANGED) {
442             msg_Dbg(p_dec, "output buffers changed");
443             (*env)->DeleteGlobalRef(env, p_sys->output_buffers);
444             p_sys->output_buffers = (*env)->CallObjectMethod(env, p_sys->codec,
445                                                              p_sys->get_output_buffers);
446             p_sys->output_buffers = (*env)->NewGlobalRef(env, p_sys->output_buffers);
447             continue;
448         } else if (index == INFO_OUTPUT_FORMAT_CHANGED) {
449
450             jobject format = (*env)->CallObjectMethod(env, p_sys->codec, p_sys->get_output_format);
451             jobject format_string = (*env)->CallObjectMethod(env, format, p_sys->tostring);
452
453             jsize format_len = (*env)->GetStringUTFLength(env, format_string);
454             const char *format_ptr = (*env)->GetStringUTFChars(env, format_string, NULL);
455             msg_Dbg(p_dec, "output format changed: %.*s", format_len, format_ptr);
456             (*env)->ReleaseStringUTFChars(env, format_string, format_ptr);
457
458             ArchitectureSpecificCopyHooksDestroy(p_sys->pixel_format, &p_sys->architecture_specific_data);
459
460             int width           = GET_INTEGER(format, "width");
461             int height          = GET_INTEGER(format, "height");
462             p_sys->stride       = GET_INTEGER(format, "stride");
463             p_sys->slice_height = GET_INTEGER(format, "slice-height");
464             p_sys->pixel_format = GET_INTEGER(format, "color-format");
465             p_sys->crop_left    = GET_INTEGER(format, "crop-left");
466             p_sys->crop_top     = GET_INTEGER(format, "crop-top");
467             int crop_right      = GET_INTEGER(format, "crop-right");
468             int crop_bottom     = GET_INTEGER(format, "crop-bottom");
469
470             const char *name = "unknown";
471             GetVlcChromaFormat(p_sys->pixel_format, &p_dec->fmt_out.i_codec, &name);
472             msg_Dbg(p_dec, "output: %d %s, %dx%d stride %d %d, crop %d %d %d %d",
473                     p_sys->pixel_format, name, width, height, p_sys->stride, p_sys->slice_height,
474                     p_sys->crop_left, p_sys->crop_top, crop_right, crop_bottom);
475
476             p_dec->fmt_out.video.i_width = crop_right + 1 - p_sys->crop_left;
477             p_dec->fmt_out.video.i_height = crop_bottom + 1 - p_sys->crop_top;
478             if (p_sys->stride <= 0)
479                 p_sys->stride = width;
480             if (p_sys->slice_height <= 0)
481                 p_sys->slice_height = height;
482             if ((*env)->ExceptionOccurred(env))
483                 (*env)->ExceptionClear(env);
484
485             ArchitectureSpecificCopyHooks(p_dec, p_sys->pixel_format, p_sys->slice_height,
486                                           p_sys->stride, &p_sys->architecture_specific_data);
487             if (p_sys->pixel_format == OMX_TI_COLOR_FormatYUV420PackedSemiPlanar) {
488                 p_sys->slice_height -= p_sys->crop_top/2;
489                 /* Reset crop top/left here, since the offset parameter already includes this.
490                  * If we'd ignore the offset parameter in the BufferInfo, we could just keep
491                  * the original slice height and apply the top/left cropping instead. */
492                 p_sys->crop_top = 0;
493                 p_sys->crop_left = 0;
494             }
495             if (IgnoreOmxDecoderPadding(p_sys->name)) {
496                 p_sys->slice_height = 0;
497                 p_sys->stride = p_dec->fmt_out.video.i_width;
498             }
499
500             continue;
501         } else {
502             break;
503         }
504     } while (loop);
505 }
506
507 static picture_t *DecodeVideo(decoder_t *p_dec, block_t **pp_block)
508 {
509     decoder_sys_t *p_sys = p_dec->p_sys;
510     picture_t *p_pic = NULL;
511     JNIEnv *env = NULL;
512     struct H264ConvertState convert_state = { 0, 0 };
513
514     if (!pp_block || !*pp_block)
515         return NULL;
516
517     block_t *p_block = *pp_block;
518
519     (*myVm)->AttachCurrentThread(myVm, &env, NULL);
520
521     if (p_block->i_flags & (BLOCK_FLAG_DISCONTINUITY|BLOCK_FLAG_CORRUPTED)) {
522         block_Release(p_block);
523         if (p_sys->decoded) {
524             (*env)->CallVoidMethod(env, p_sys->codec, p_sys->flush);
525             if ((*env)->ExceptionOccurred(env)) {
526                 msg_Warn(p_dec, "Exception occurred in MediaCodec.flush");
527                 (*env)->ExceptionClear(env);
528             }
529         }
530         p_sys->decoded = 0;
531         (*myVm)->DetachCurrentThread(myVm);
532         return NULL;
533     }
534
535     jlong timeout = 0;
536     while (true) {
537         int index = (*env)->CallIntMethod(env, p_sys->codec, p_sys->dequeue_input_buffer, timeout);
538         if (index < 0) {
539             GetOutput(p_dec, env, &p_pic, timeout > 0);
540             timeout = 30;
541             continue;
542         }
543         jobject buf = (*env)->GetObjectArrayElement(env, p_sys->input_buffers, index);
544         jsize size = (*env)->GetDirectBufferCapacity(env, buf);
545         uint8_t *bufptr = (*env)->GetDirectBufferAddress(env, buf);
546         if (size > p_block->i_buffer)
547             size = p_block->i_buffer;
548         memcpy(bufptr, p_block->p_buffer, size);
549
550         convert_h264_to_annexb(bufptr, size, p_sys->nal_size, &convert_state);
551
552         int64_t ts = p_block->i_pts;
553         if (!ts && p_block->i_dts)
554             ts = p_block->i_dts;
555         (*env)->CallVoidMethod(env, p_sys->codec, p_sys->queue_input_buffer, index, 0, size, ts, 0);
556         (*env)->DeleteLocalRef(env, buf);
557         p_sys->decoded = 1;
558         break;
559     }
560     if (!p_pic)
561         GetOutput(p_dec, env, &p_pic, 0);
562     (*myVm)->DetachCurrentThread(myVm);
563
564     block_Release(p_block);
565     *pp_block = NULL;
566
567     return p_pic;
568 }