vda: Add hwaccel1.2 support
[vlc.git] / modules / codec / avcodec / vda.c
1 /*****************************************************************************
2  * vda.c: VDA helpers for the libavcodec decoder
3  *****************************************************************************
4  * Copyright (C) 2012-2014 VLC authors VideoLAN
5  *
6  * Authors: Sebastien Zwickert <dilaroga@free.fr>
7  *          Rémi Denis-Courmont <remi # remlab : net>
8  *          Felix Paul Kühne <fkuehne # videolan org>
9  *          David Fuhrmann <david.fuhrmann # googlemail com>
10  *
11  * This program is free software; you can redistribute it and/or modify it
12  * under the terms of the GNU Lesser General Public License as published by
13  * the Free Software Foundation; either version 2.1 of the License, or
14  * (at your option) any later version.
15  *
16  * This program is distributed in the hope that it will be useful,
17  * but WITHOUT ANY WARRANTY; without even the implied warranty of
18  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
19  * GNU Lesser General Public License for more details.
20  *
21  * You should have received a copy of the GNU Lesser General Public License
22  * along with this program; if not, write to the Free Software Foundation,
23  * Inc., 51 Franklin Street, Fifth Floor, Boston MA 02110-1301, USA.
24  *****************************************************************************/
25
26 #ifdef HAVE_CONFIG_H
27 # include "config.h"
28 #endif
29
30 #include <assert.h>
31
32 #include <vlc_common.h>
33 #include <vlc_vout.h>
34 #include <vlc_plugin.h>
35
36 #include <libavcodec/avcodec.h>
37
38 #include "avcodec.h"
39 #include "va.h"
40 #include "../../video_chroma/copy.h"
41
42 #include <libavcodec/vda.h>
43 #include <VideoDecodeAcceleration/VDADecoder.h>
44
45 #pragma mark prototypes and definitions
46
47 static int Open( vlc_va_t *, AVCodecContext *, const es_format_t * );
48 static void Close( vlc_va_t * );
49 static int Setup( vlc_va_t *, void **, vlc_fourcc_t *, int , int );
50 static int Get( vlc_va_t *, void **, uint8_t ** );
51 static int Extract( vlc_va_t *, picture_t *, void *, uint8_t * );
52 static void Release( void *, uint8_t * );
53
54 static void vda_Copy422YpCbCr8( picture_t *p_pic,
55                                 CVPixelBufferRef buffer )
56 {
57     int i_dst_stride, i_src_stride;
58     uint8_t *p_dst, *p_src;
59
60     CVPixelBufferLockBaseAddress( buffer, 0 );
61
62     for( int i_plane = 0; i_plane < p_pic->i_planes; i_plane++ )
63     {
64         p_dst = p_pic->p[i_plane].p_pixels;
65         p_src = CVPixelBufferGetBaseAddressOfPlane( buffer, i_plane );
66         i_dst_stride  = p_pic->p[i_plane].i_pitch;
67         i_src_stride  = CVPixelBufferGetBytesPerRowOfPlane( buffer, i_plane );
68
69         for( int i_line = 0; i_line < p_pic->p[i_plane].i_visible_lines ; i_line++ )
70         {
71             memcpy( p_dst, p_src, i_src_stride );
72
73             p_src += i_src_stride;
74             p_dst += i_dst_stride;
75         }
76     }
77
78     CVPixelBufferUnlockBaseAddress( buffer, 0 );
79 }
80
81 #ifndef HAVE_AV_VDA_ALLOC_CONTEXT
82
83 static const int  nvda_pix_fmt_list[] = { 0, 1 };
84 static const char *const nvda_pix_fmt_list_text[] =
85   { N_("420YpCbCr8Planar"), N_("422YpCbCr8") };
86
87 vlc_module_begin ()
88     set_description( N_("Video Decode Acceleration Framework (VDA)") )
89     set_capability( "hw decoder", 0 )
90     set_category( CAT_INPUT )
91     set_subcategory( SUBCAT_INPUT_VCODEC )
92     set_callbacks( Open, Close )
93     add_integer ( "avcodec-vda-pix-fmt", 0, VDA_PIX_FMT_TEXT,
94                   VDA_PIX_FMT_LONGTEXT, false)
95         change_integer_list( nvda_pix_fmt_list, nvda_pix_fmt_list_text )
96 vlc_module_end ()
97
98 struct vlc_va_sys_t
99 {
100     struct vda_context  hw_ctx;
101
102     uint8_t             *p_extradata;
103     int                 i_extradata;
104
105     vlc_fourcc_t        i_chroma;
106
107     copy_cache_t        image_cache;
108
109     vlc_object_t        *p_log;
110
111 };
112
113 typedef struct vlc_va_sys_t vlc_va_vda_t;
114
115 static vlc_va_vda_t *vlc_va_vda_Get( vlc_va_t *p_va )
116 {
117     return p_va->sys;
118 }
119
120 #pragma mark - module handling
121
122 static int Open( vlc_va_t *external, AVCodecContext *ctx,
123                  const es_format_t *fmt )
124 {
125     msg_Dbg( external, "opening VDA module" );
126     if( ctx->codec_id != AV_CODEC_ID_H264 )
127     {
128         msg_Warn( external, "input codec isn't H264, canceling VDA decoding" );
129         return VLC_EGENERIC;
130     }
131
132     if( fmt->p_extra == NULL || fmt->i_extra < 7 )
133     {
134         msg_Warn( external, "VDA requires extradata." );
135         return VLC_EGENERIC;
136     }
137
138     vlc_va_vda_t *p_va = calloc( 1, sizeof(*p_va) );
139     if( !p_va )
140         return VLC_EGENERIC;
141
142     p_va->p_log = VLC_OBJECT(external);
143     p_va->p_extradata = fmt->p_extra;
144     p_va->i_extradata = fmt->i_extra;
145
146     external->sys = p_va;
147     external->description = "VDA";
148     external->pix_fmt = PIX_FMT_VDA_VLD;
149     external->setup = Setup;
150     external->get = Get;
151     external->release = Release;
152     external->extract = Extract;
153
154     return VLC_SUCCESS;
155 }
156
157 static void Close( vlc_va_t *external )
158 {
159     vlc_va_vda_t *p_va = vlc_va_vda_Get( external );
160
161     msg_Dbg(p_va->p_log, "destroying VDA decoder");
162
163     ff_vda_destroy_decoder( &p_va->hw_ctx ) ;
164
165     if( p_va->hw_ctx.cv_pix_fmt_type == kCVPixelFormatType_420YpCbCr8Planar )
166         CopyCleanCache( &p_va->image_cache );
167
168     free( p_va );
169 }
170
171 static int Setup( vlc_va_t *external, void **pp_hw_ctx, vlc_fourcc_t *pi_chroma,
172                  int i_width, int i_height )
173 {
174     vlc_va_vda_t *p_va = vlc_va_vda_Get( external );
175
176     if( p_va->hw_ctx.width == i_width
177        && p_va->hw_ctx.height == i_height
178        && p_va->hw_ctx.decoder )
179     {
180         *pp_hw_ctx = &p_va->hw_ctx;
181         *pi_chroma = p_va->i_chroma;
182         return VLC_SUCCESS;
183     }
184
185     if( p_va->hw_ctx.decoder )
186     {
187         ff_vda_destroy_decoder( &p_va->hw_ctx );
188         goto ok;
189     }
190
191     memset( &p_va->hw_ctx, 0, sizeof(p_va->hw_ctx) );
192     p_va->hw_ctx.format = 'avc1';
193
194     int i_pix_fmt = var_CreateGetInteger( p_va->p_log, "avcodec-vda-pix-fmt" );
195
196     switch( i_pix_fmt )
197     {
198         case 1 :
199             p_va->hw_ctx.cv_pix_fmt_type = kCVPixelFormatType_422YpCbCr8;
200             p_va->i_chroma = VLC_CODEC_UYVY;
201             msg_Dbg(p_va->p_log, "using pixel format 422YpCbCr8");
202             break;
203         case 0 :
204         default :
205             p_va->hw_ctx.cv_pix_fmt_type = kCVPixelFormatType_420YpCbCr8Planar;
206             p_va->i_chroma = VLC_CODEC_I420;
207             CopyInitCache( &p_va->image_cache, i_width );
208             msg_Dbg(p_va->p_log, "using pixel format 420YpCbCr8Planar");
209     }
210
211 ok:
212     /* Setup the libavcodec hardware context */
213     *pp_hw_ctx = &p_va->hw_ctx;
214     *pi_chroma = p_va->i_chroma;
215
216     p_va->hw_ctx.width = i_width;
217     p_va->hw_ctx.height = i_height;
218
219     /* create the decoder */
220     int status = ff_vda_create_decoder( &p_va->hw_ctx,
221                                        p_va->p_extradata,
222                                        p_va->i_extradata );
223     if( status )
224     {
225         msg_Err( p_va->p_log, "Failed to create decoder: %i", status );
226         return VLC_EGENERIC;
227     }
228     else
229         msg_Dbg( p_va->p_log, "VDA decoder created");
230
231     return VLC_SUCCESS;
232 }
233
234 #pragma mark - actual data handling
235
236 static void vda_Copy420YpCbCr8Planar( picture_t *p_pic,
237                                       CVPixelBufferRef buffer,
238                                       unsigned i_width,
239                                       unsigned i_height,
240                                       copy_cache_t *cache )
241 {
242     uint8_t *pp_plane[3];
243     size_t  pi_pitch[3];
244
245     if (!buffer)
246         return;
247
248     CVPixelBufferLockBaseAddress( buffer, 0 );
249
250     for( int i = 0; i < 3; i++ )
251     {
252         pp_plane[i] = CVPixelBufferGetBaseAddressOfPlane( buffer, i );
253         pi_pitch[i] = CVPixelBufferGetBytesPerRowOfPlane( buffer, i );
254     }
255
256     CopyFromYv12( p_pic, pp_plane, pi_pitch,
257                   i_width, i_height, cache );
258
259     CVPixelBufferUnlockBaseAddress( buffer, 0 );
260 }
261
262 static int Get( vlc_va_t *external, void **opaque, uint8_t **data )
263 {
264     VLC_UNUSED( external );
265
266     *data = (uint8_t *)1; // dummy
267     (void) opaque;
268     return VLC_SUCCESS;
269 }
270
271 static int Extract( vlc_va_t *external, picture_t *p_picture, void *opaque,
272                     uint8_t *data )
273 {
274     vlc_va_vda_t *p_va = vlc_va_vda_Get( external );
275     CVPixelBufferRef cv_buffer = ( CVPixelBufferRef )data;
276
277     if( !cv_buffer )
278     {
279         msg_Dbg( p_va->p_log, "Frame buffer is empty.");
280         return VLC_EGENERIC;
281     }
282     if (!CVPixelBufferGetDataSize(cv_buffer) > 0)
283     {
284         msg_Dbg( p_va->p_log, "Empty frame buffer");
285         return VLC_EGENERIC;
286     }
287
288     if( p_va->hw_ctx.cv_pix_fmt_type == kCVPixelFormatType_420YpCbCr8Planar )
289     {
290         if( !p_va->image_cache.buffer ) {
291             CVPixelBufferRelease( cv_buffer );
292             return VLC_EGENERIC;
293         }
294
295         vda_Copy420YpCbCr8Planar( p_picture,
296                                   cv_buffer,
297                                   p_va->hw_ctx.width,
298                                   p_va->hw_ctx.height,
299                                   &p_va->image_cache );
300     }
301     else
302         vda_Copy422YpCbCr8( p_picture, cv_buffer );
303     (void) opaque;
304     return VLC_SUCCESS;
305 }
306
307 static void Release( void *opaque, uint8_t *data )
308 {
309 #if 0
310     CVPixelBufferRef cv_buffer = ( CVPixelBufferRef )p_ff->data[3];
311
312     if ( cv_buffer )
313         CVPixelBufferRelease( cv_buffer );
314 #endif
315     (void) opaque; (void) data;
316 }
317
318 #else
319
320 vlc_module_begin ()
321     set_description( N_("Video Decode Acceleration Framework (VDA)") )
322     set_capability( "hw decoder", 0 )
323     set_category( CAT_INPUT )
324     set_subcategory( SUBCAT_INPUT_VCODEC )
325     set_callbacks( Open, Close )
326 vlc_module_end ()
327
328 struct vlc_va_sys_t
329 {
330     // to free the hwaccel
331     AVCodecContext      *avctx;
332     vlc_object_t        *p_log;
333 };
334
335 typedef struct vlc_va_sys_t vlc_va_vda_t;
336
337 static vlc_va_vda_t *vlc_va_vda_Get( vlc_va_t *p_va )
338 {
339     return p_va->sys;
340 }
341
342 static int Open( vlc_va_t *external, AVCodecContext *avctx,
343                  const es_format_t *fmt )
344 {
345     msg_Dbg( external, "VDA decoder Open");
346
347     vlc_va_vda_t *p_va = calloc( 1, sizeof(*p_va) );
348     if (!p_va) {
349         av_vda_default_free(avctx);
350         return VLC_EGENERIC;
351     }
352     p_va->p_log = VLC_OBJECT(external);
353     p_va->avctx = avctx;
354
355     external->sys = p_va;
356     external->description = (char *)"VDA";
357     external->pix_fmt = AV_PIX_FMT_VDA;
358     external->setup = Setup;
359     external->get = Get;
360     external->release = Release;
361     external->extract = Extract;
362     msg_Dbg( external, "VDA decoder Open success!");
363
364     (void) fmt;
365
366     return VLC_SUCCESS;
367 }
368
369 static void Close( vlc_va_t *external )
370 {
371     vlc_va_vda_t *p_va = vlc_va_vda_Get( external );
372
373     av_vda_default_free(p_va->avctx);
374 }
375
376 static int Setup( vlc_va_t *external, void **pp_hw_ctx, vlc_fourcc_t *pi_chroma,
377                  int i_width, int i_height )
378 {
379     VLC_UNUSED( pp_hw_ctx );
380     vlc_va_vda_t *p_va = vlc_va_vda_Get( external );
381
382     *pi_chroma = VLC_CODEC_UYVY;
383
384     av_vda_default_free(p_va->avctx);
385
386     if( av_vda_default_init(p_va->avctx) < 0 )
387         return VLC_EGENERIC;
388
389     (void)i_width; (void)i_height;
390
391     return VLC_SUCCESS;
392 }
393
394 // Never called
395 static int Get( vlc_va_t *external, void **opaque, uint8_t **data )
396 {
397     VLC_UNUSED( external );
398
399     (void) data;
400     (void) opaque;
401     return VLC_SUCCESS;
402 }
403
404 static int Extract( vlc_va_t *external, picture_t *p_picture, void *opaque,
405                     uint8_t *data )
406 {
407     vlc_va_vda_t *p_va = vlc_va_vda_Get( external );
408
409     CVPixelBufferRef cv_buffer = (CVPixelBufferRef)data;
410
411     if( !cv_buffer )
412     {
413         msg_Dbg( p_va->p_log, "Frame buffer is empty.");
414         return VLC_EGENERIC;
415     }
416     if (!CVPixelBufferGetDataSize(cv_buffer) > 0)
417     {
418         msg_Dbg( p_va->p_log, "Empty frame buffer");
419         return VLC_EGENERIC;
420     }
421
422     vda_Copy422YpCbCr8( p_picture, cv_buffer );
423
424     (void) opaque;
425     return VLC_SUCCESS;
426 }
427
428 static void Release( void *opaque, uint8_t *data )
429 {
430     (void) opaque; (void) data;
431 }
432
433 #endif