avcodec: va: pass the hardware lavc format to the module
authorSteve Lhomme <robux4@ycbcr.xyz>
Wed, 18 Dec 2019 08:53:30 +0000 (09:53 +0100)
committerSteve Lhomme <robux4@ycbcr.xyz>
Wed, 8 Jan 2020 07:22:59 +0000 (08:22 +0100)
So it can tell if it's the proper module for the job. Rather than relying on a
guessed format from the generic va code.

modules/codec/avcodec/d3d11va.c
modules/codec/avcodec/dxva2.c
modules/codec/avcodec/va.c
modules/codec/avcodec/va.h
modules/codec/avcodec/vaapi.c
modules/codec/avcodec/video.c
modules/hw/vdpau/avcodec.c

index 4147daf..3f29e29 100644 (file)
@@ -61,7 +61,7 @@ struct d3d11va_pic_context
 
 #include "directx_va.h"
 
-static int Open(vlc_va_t *, AVCodecContext *, const AVPixFmtDescriptor *,
+static int Open(vlc_va_t *, AVCodecContext *, enum PixelFormat hwfmt, const AVPixFmtDescriptor *,
                 const es_format_t *, vlc_decoder_device *, video_format_t *, vlc_video_context **);
 
 vlc_module_begin()
@@ -245,7 +245,7 @@ static void Close(vlc_va_t *va)
 
 static const struct vlc_va_operations ops = { Get, Close, };
 
-static int Open(vlc_va_t *va, AVCodecContext *ctx, const AVPixFmtDescriptor *desc,
+static int Open(vlc_va_t *va, AVCodecContext *ctx, enum PixelFormat hwfmt, const AVPixFmtDescriptor *desc,
                 const es_format_t *fmt_in, vlc_decoder_device *dec_device,
                 video_format_t *fmt_out, vlc_video_context **vtcx_out)
 {
@@ -253,8 +253,7 @@ static int Open(vlc_va_t *va, AVCodecContext *ctx, const AVPixFmtDescriptor *des
 
     ctx->hwaccel_context = NULL;
 
-    if ( fmt_out->i_chroma != VLC_CODEC_D3D11_OPAQUE &&
-         fmt_out->i_chroma != VLC_CODEC_D3D11_OPAQUE_10B )
+    if ( hwfmt != AV_PIX_FMT_D3D11VA_VLD )
         return VLC_EGENERIC;
 
     d3d11_decoder_device_t *d3d11_device = GetD3D11OpaqueDevice( dec_device );
index 16f8f57..a6e3f1a 100644 (file)
@@ -49,7 +49,7 @@ struct dxva2_pic_context
 
 #include "directx_va.h"
 
-static int Open(vlc_va_t *, AVCodecContext *, const AVPixFmtDescriptor *,
+static int Open(vlc_va_t *, AVCodecContext *, enum PixelFormat hwfmt, const AVPixFmtDescriptor *,
                 const es_format_t *, vlc_decoder_device *, video_format_t *, vlc_video_context **);
 
 vlc_module_begin()
@@ -250,14 +250,13 @@ static void Close(vlc_va_t *va)
 
 static const struct vlc_va_operations ops = { Get, Close, };
 
-static int Open(vlc_va_t *va, AVCodecContext *ctx, const AVPixFmtDescriptor *desc,
+static int Open(vlc_va_t *va, AVCodecContext *ctx, enum PixelFormat hwfmt, const AVPixFmtDescriptor *desc,
                 const es_format_t *fmt_in, vlc_decoder_device *dec_device,
                 video_format_t *fmt_out, vlc_video_context **vtcx_out)
 {
     int err = VLC_EGENERIC;
 
-    if ( fmt_out->i_chroma != VLC_CODEC_D3D9_OPAQUE &&
-         fmt_out->i_chroma != VLC_CODEC_D3D9_OPAQUE_10B )
+    if ( hwfmt != AV_PIX_FMT_DXVA2_VLD )
         return VLC_EGENERIC;
 
     d3d9_decoder_device_t *d3d9_decoder = GetD3D9OpaqueDevice( dec_device );
index f045304..46ff258 100644 (file)
@@ -156,6 +156,7 @@ static int vlc_va_Start(void *func, bool forced, va_list ap)
 {
     vlc_va_t *va = va_arg(ap, vlc_va_t *);
     AVCodecContext *ctx = va_arg(ap, AVCodecContext *);
+    enum PixelFormat hwfmt = va_arg(ap, enum PixelFormat);
     const AVPixFmtDescriptor *src_desc = va_arg(ap, const AVPixFmtDescriptor *);
     const es_format_t *fmt_in = va_arg(ap, const es_format_t *);
     vlc_decoder_device *device = va_arg(ap, vlc_decoder_device *);
@@ -164,11 +165,11 @@ static int vlc_va_Start(void *func, bool forced, va_list ap)
     vlc_va_open open = func;
 
     (void) forced;
-    return open(va, ctx, src_desc, fmt_in, device, fmt_out, vtcx_out);
+    return open(va, ctx, hwfmt, src_desc, fmt_in, device, fmt_out, vtcx_out);
 }
 
-vlc_va_t *vlc_va_New(vlc_object_t *obj,
-                     AVCodecContext *avctx, const AVPixFmtDescriptor *src_desc,
+vlc_va_t *vlc_va_New(vlc_object_t *obj, AVCodecContext *avctx,
+                     enum PixelFormat hwfmt, const AVPixFmtDescriptor *src_desc,
                      const es_format_t *fmt_in, vlc_decoder_device *device,
                      video_format_t *fmt_out, vlc_video_context **vtcx_out)
 {
@@ -178,7 +179,7 @@ vlc_va_t *vlc_va_New(vlc_object_t *obj,
 
 
     if (vlc_module_load(va, "hw decoder", NULL, true,
-                        vlc_va_Start, va, avctx, src_desc, fmt_in, device,
+                        vlc_va_Start, va, avctx, hwfmt, src_desc, fmt_in, device,
                         fmt_out, vtcx_out) == NULL)
     {
         vlc_object_delete(va);
index 8ef429f..5cec3c9 100644 (file)
@@ -43,7 +43,8 @@ struct vlc_va_t {
     const struct vlc_va_operations *ops;
 };
 
-typedef int (*vlc_va_open)(vlc_va_t *, AVCodecContext *, const AVPixFmtDescriptor *,
+typedef int (*vlc_va_open)(vlc_va_t *, AVCodecContext *,
+                           enum PixelFormat hwfmt, const AVPixFmtDescriptor *,
                            const es_format_t *, vlc_decoder_device *,
                            video_format_t *, vlc_video_context **);
 
@@ -79,7 +80,8 @@ bool vlc_va_MightDecode(enum PixelFormat hwfmt, enum PixelFormat swfmt);
  * @param fmt VLC format of the content to decode
  * @return a new VLC object on success, NULL on error.
  */
-vlc_va_t *vlc_va_New(vlc_object_t *obj, AVCodecContext *, const AVPixFmtDescriptor *,
+vlc_va_t *vlc_va_New(vlc_object_t *obj, AVCodecContext *,
+                     enum PixelFormat hwfmt, const AVPixFmtDescriptor *,
                      const es_format_t *fmt, vlc_decoder_device *device,
                      video_format_t *, vlc_video_context **vtcx_out);
 
index afe77d9..530f0b9 100644 (file)
@@ -237,13 +237,12 @@ static void VAAPISetupAVCodecContext(void *opaque, AVCodecContext *avctx)
     avctx->hwaccel_context = &sys->hw_ctx;
 }
 
-static int Create(vlc_va_t *va, AVCodecContext *ctx, const AVPixFmtDescriptor *desc,
+static int Create(vlc_va_t *va, AVCodecContext *ctx, enum PixelFormat hwfmt, const AVPixFmtDescriptor *desc,
                   const es_format_t *fmt_in, vlc_decoder_device *dec_device,
                   video_format_t *fmt_out, vlc_video_context **vtcx_out)
 {
     VLC_UNUSED(desc);
-    if ( (fmt_out->i_chroma != VLC_CODEC_VAAPI_420 &&
-          fmt_out->i_chroma != VLC_CODEC_VAAPI_420_10BPP) || dec_device == NULL ||
+    if ( hwfmt != AV_PIX_FMT_VAAPI_VLD || dec_device == NULL ||
         dec_device->type != VLC_DECODER_DEVICE_VAAPI)
         return VLC_EGENERIC;
 
index bb540dd..ddb8ac3 100644 (file)
@@ -1759,7 +1759,7 @@ no_reuse:
         vlc_mutex_unlock(&p_sys->lock);
 
         vlc_video_context *vctx_out;
-        vlc_va_t *va = vlc_va_New(VLC_OBJECT(p_dec), p_context, src_desc,
+        vlc_va_t *va = vlc_va_New(VLC_OBJECT(p_dec), p_context, hwfmt, src_desc,
                                   &p_dec->fmt_in, init_device,
                                   &p_dec->fmt_out.video, &vctx_out);
         if (init_device)
index 473caa0..16ce987 100644 (file)
@@ -150,14 +150,11 @@ const struct vlc_video_context_operations vdpau_vctx_ops = {
     DestroyVDPAUVideoContext,
 };
 
-static int Open(vlc_va_t *va, AVCodecContext *avctx, const AVPixFmtDescriptor *desc,
+static int Open(vlc_va_t *va, AVCodecContext *avctx, enum PixelFormat hwfmt, const AVPixFmtDescriptor *desc,
                 const es_format_t *fmt_in, vlc_decoder_device *dec_device,
                 video_format_t *fmt_out, vlc_video_context **vtcx_out)
 {
-    if ( ( fmt_out->i_chroma != VLC_CODEC_VDPAU_VIDEO_420 &&
-           fmt_out->i_chroma != VLC_CODEC_VDPAU_VIDEO_422 &&
-           fmt_out->i_chroma != VLC_CODEC_VDPAU_VIDEO_444 ) ||
-        GetVDPAUOpaqueDevice(dec_device) == NULL)
+    if ( hwfmt != AV_PIX_FMT_VDPAU || GetVDPAUOpaqueDevice(dec_device) == NULL)
         return VLC_EGENERIC;
 
     (void) fmt_in;