h264dec: add a CUVID hwaccel
[ffmpeg.git] / libavcodec / cuvid.c
1 /*
2  * HW decode acceleration through CUVID
3  *
4  * Copyright (c) 2016 Anton Khirnov
5  *
6  * This file is part of Libav.
7  *
8  * Libav is free software; you can redistribute it and/or
9  * modify it under the terms of the GNU Lesser General Public
10  * License as published by the Free Software Foundation; either
11  * version 2.1 of the License, or (at your option) any later version.
12  *
13  * Libav is distributed in the hope that it will be useful,
14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
16  * Lesser General Public License for more details.
17  *
18  * You should have received a copy of the GNU Lesser General Public
19  * License along with Libav; if not, write to the Free Software Foundation,
20  * Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
21  */
22
23 #include <cuda.h>
24 #include <cuviddec.h>
25
26 #include "config.h"
27
28 #include "libavutil/common.h"
29 #include "libavutil/error.h"
30 #include "libavutil/hwcontext.h"
31 #include "libavutil/hwcontext_cuda.h"
32 #include "libavutil/pixdesc.h"
33 #include "libavutil/pixfmt.h"
34
35 #include "avcodec.h"
36 #include "decode.h"
37 #include "cuvid.h"
38 #include "internal.h"
39
40 typedef struct CUVIDDecoder {
41     CUvideodecoder decoder;
42
43     AVBufferRef *hw_device_ref;
44     CUcontext    cuda_ctx;
45 } CUVIDDecoder;
46
47 typedef struct CUVIDFramePool {
48     unsigned int dpb_size;
49     unsigned int nb_allocated;
50 } CUVIDFramePool;
51
52 static int map_avcodec_id(enum AVCodecID id)
53 {
54     switch (id) {
55     case AV_CODEC_ID_H264: return cudaVideoCodec_H264;
56     }
57     return -1;
58 }
59
60 static int map_chroma_format(enum AVPixelFormat pix_fmt)
61 {
62     int shift_h = 0, shift_v = 0;
63
64     av_pix_fmt_get_chroma_sub_sample(pix_fmt, &shift_h, &shift_v);
65
66     if (shift_h == 1 && shift_v == 1)
67         return cudaVideoChromaFormat_420;
68     else if (shift_h == 1 && shift_v == 0)
69         return cudaVideoChromaFormat_422;
70     else if (shift_h == 0 && shift_v == 0)
71         return cudaVideoChromaFormat_444;
72
73     return -1;
74 }
75
76 static void cuvid_decoder_free(void *opaque, uint8_t *data)
77 {
78     CUVIDDecoder *decoder = (CUVIDDecoder*)data;
79
80     if (decoder->decoder)
81         cuvidDestroyDecoder(decoder->decoder);
82
83     av_buffer_unref(&decoder->hw_device_ref);
84
85     av_freep(&decoder);
86 }
87
88 static int cuvid_decoder_create(AVBufferRef **out, AVBufferRef *hw_device_ref,
89                                 CUVIDDECODECREATEINFO *params, void *logctx)
90 {
91     AVHWDeviceContext  *hw_device_ctx = (AVHWDeviceContext*)hw_device_ref->data;
92     AVCUDADeviceContext *device_hwctx = hw_device_ctx->hwctx;
93
94     AVBufferRef *decoder_ref;
95     CUVIDDecoder *decoder;
96
97     CUcontext dummy;
98     CUresult err;
99     int ret;
100
101     decoder = av_mallocz(sizeof(*decoder));
102     if (!decoder)
103         return AVERROR(ENOMEM);
104
105     decoder_ref = av_buffer_create((uint8_t*)decoder, sizeof(*decoder),
106                                    cuvid_decoder_free, NULL, AV_BUFFER_FLAG_READONLY);
107     if (!decoder_ref) {
108         av_freep(&decoder);
109         return AVERROR(ENOMEM);
110     }
111
112     decoder->hw_device_ref = av_buffer_ref(hw_device_ref);
113     if (!decoder->hw_device_ref) {
114         ret = AVERROR(ENOMEM);
115         goto fail;
116     }
117     decoder->cuda_ctx = device_hwctx->cuda_ctx;
118
119     err = cuCtxPushCurrent(decoder->cuda_ctx);
120     if (err != CUDA_SUCCESS) {
121         ret = AVERROR_UNKNOWN;
122         goto fail;
123     }
124
125     err = cuvidCreateDecoder(&decoder->decoder, params);
126
127     cuCtxPopCurrent(&dummy);
128
129     if (err != CUDA_SUCCESS) {
130         av_log(logctx, AV_LOG_ERROR, "Error creating a CUVID decoder: %d\n", err);
131         ret = AVERROR_UNKNOWN;
132         goto fail;
133     }
134
135     *out = decoder_ref;
136
137     return 0;
138 fail:
139     av_buffer_unref(&decoder_ref);
140     return ret;
141 }
142
143 static AVBufferRef *cuvid_decoder_frame_alloc(void *opaque, int size)
144 {
145     CUVIDFramePool *pool = opaque;
146     AVBufferRef *ret;
147
148     if (pool->nb_allocated >= pool->dpb_size)
149         return NULL;
150
151     ret = av_buffer_alloc(sizeof(unsigned int));
152     if (!ret)
153         return NULL;
154
155     *(unsigned int*)ret->data = pool->nb_allocated++;
156
157     return ret;
158 }
159
160 int ff_cuvid_decode_uninit(AVCodecContext *avctx)
161 {
162     CUVIDContext *ctx = avctx->internal->hwaccel_priv_data;
163
164     av_freep(&ctx->bitstream);
165     ctx->bitstream_len       = 0;
166     ctx->bitstream_allocated = 0;
167
168     av_freep(&ctx->slice_offsets);
169     ctx->nb_slices               = 0;
170     ctx->slice_offsets_allocated = 0;
171
172     av_buffer_unref(&ctx->decoder_ref);
173     av_buffer_pool_uninit(&ctx->decoder_pool);
174
175     return 0;
176 }
177
178 int ff_cuvid_decode_init(AVCodecContext *avctx, unsigned int dpb_size)
179 {
180     CUVIDContext *ctx = avctx->internal->hwaccel_priv_data;
181
182     CUVIDFramePool      *pool;
183     AVHWFramesContext   *frames_ctx;
184     const AVPixFmtDescriptor *sw_desc;
185
186     CUVIDDECODECREATEINFO params = { 0 };
187
188     int cuvid_codec_type, cuvid_chroma_format;
189     int ret = 0;
190
191     sw_desc = av_pix_fmt_desc_get(avctx->sw_pix_fmt);
192     if (!sw_desc)
193         return AVERROR_BUG;
194
195     cuvid_codec_type = map_avcodec_id(avctx->codec_id);
196     if (cuvid_codec_type < 0) {
197         av_log(avctx, AV_LOG_ERROR, "Unsupported codec ID\n");
198         return AVERROR_BUG;
199     }
200
201     cuvid_chroma_format = map_chroma_format(avctx->sw_pix_fmt);
202     if (cuvid_chroma_format < 0) {
203         av_log(avctx, AV_LOG_ERROR, "Unsupported chroma format\n");
204         return AVERROR(ENOSYS);
205     }
206
207     if (avctx->thread_type & FF_THREAD_FRAME)
208         dpb_size += avctx->thread_count;
209
210     if (!avctx->hw_frames_ctx) {
211         AVHWFramesContext *frames_ctx;
212
213         if (!avctx->hw_device_ctx) {
214             av_log(avctx, AV_LOG_ERROR, "A hardware device or frames context "
215                    "is required for CUVID decoding.\n");
216             return AVERROR(EINVAL);
217         }
218
219         avctx->hw_frames_ctx = av_hwframe_ctx_alloc(avctx->hw_device_ctx);
220         if (!avctx->hw_frames_ctx)
221             return AVERROR(ENOMEM);
222         frames_ctx = (AVHWFramesContext*)avctx->hw_frames_ctx->data;
223
224         frames_ctx->format            = AV_PIX_FMT_CUDA;
225         frames_ctx->width             = avctx->coded_width;
226         frames_ctx->height            = avctx->coded_height;
227         frames_ctx->sw_format         = AV_PIX_FMT_NV12;
228         frames_ctx->sw_format         = sw_desc->comp[0].depth > 8 && HAVE_CUVIDDECODECREATEINFO_BITDEPTHMINUS8 ?
229                                         AV_PIX_FMT_P010 : AV_PIX_FMT_NV12;
230         frames_ctx->initial_pool_size = dpb_size;
231
232         ret = av_hwframe_ctx_init(avctx->hw_frames_ctx);
233         if (ret < 0) {
234             av_log(avctx, AV_LOG_ERROR, "Error initializing internal frames context\n");
235             return ret;
236         }
237     }
238     frames_ctx = (AVHWFramesContext*)avctx->hw_frames_ctx->data;
239
240     params.ulWidth             = avctx->coded_width;
241     params.ulHeight            = avctx->coded_height;
242     params.ulTargetWidth       = avctx->coded_width;
243     params.ulTargetHeight      = avctx->coded_height;
244 #if HAVE_CUVIDDECODECREATEINFO_BITDEPTHMINUS8
245     params.bitDepthMinus8      = sw_desc->comp[0].depth - 8;
246     params.OutputFormat        = params.bitDepthMinus8 ?
247                                  cudaVideoSurfaceFormat_P016 : cudaVideoSurfaceFormat_NV12;
248 #else
249     params.OutputFormat        = cudaVideoSurfaceFormat_NV12;
250 #endif
251     params.CodecType           = cuvid_codec_type;
252     params.ChromaFormat        = cuvid_chroma_format;
253     params.ulNumDecodeSurfaces = dpb_size;
254     params.ulNumOutputSurfaces = 1;
255
256     ret = cuvid_decoder_create(&ctx->decoder_ref, frames_ctx->device_ref, &params, avctx);
257     if (ret < 0)
258         return ret;
259
260     pool = av_mallocz(sizeof(*pool));
261     if (!pool) {
262         ret = AVERROR(ENOMEM);
263         goto fail;
264     }
265     pool->dpb_size = dpb_size;
266
267     ctx->decoder_pool = av_buffer_pool_init2(sizeof(int), pool,
268                                              cuvid_decoder_frame_alloc, av_free);
269     if (!ctx->decoder_pool) {
270         ret = AVERROR(ENOMEM);
271         goto fail;
272     }
273
274     return 0;
275 fail:
276     ff_cuvid_decode_uninit(avctx);
277     return ret;
278 }
279
280 static void cuvid_fdd_priv_free(void *priv)
281 {
282     CUVIDFrame *cf = priv;
283
284     if (!cf)
285         return;
286
287     av_buffer_unref(&cf->idx_ref);
288     av_buffer_unref(&cf->decoder_ref);
289
290     av_freep(&priv);
291 }
292
293 static int cuvid_retrieve_data(void *logctx, AVFrame *frame)
294 {
295     FrameDecodeData  *fdd = (FrameDecodeData*)frame->opaque_ref->data;
296     CUVIDFrame        *cf = (CUVIDFrame*)fdd->hwaccel_priv;
297     CUVIDDecoder *decoder = (CUVIDDecoder*)cf->decoder_ref->data;
298
299     CUVIDPROCPARAMS vpp = { .progressive_frame = 1 };
300
301     CUresult err;
302     CUcontext dummy;
303     CUdeviceptr devptr;
304
305     unsigned int pitch, i;
306     unsigned int offset = 0;
307     int ret = 0;
308
309     err = cuCtxPushCurrent(decoder->cuda_ctx);
310     if (err != CUDA_SUCCESS)
311         return AVERROR_UNKNOWN;
312
313     err = cuvidMapVideoFrame(decoder->decoder, cf->idx, &devptr, &pitch, &vpp);
314     if (err != CUDA_SUCCESS) {
315         av_log(logctx, AV_LOG_ERROR, "Error mapping a picture with CUVID: %d\n",
316                err);
317         ret = AVERROR_UNKNOWN;
318         goto finish;
319     }
320
321     for (i = 0; frame->data[i]; i++) {
322         CUDA_MEMCPY2D cpy = {
323             .srcMemoryType = CU_MEMORYTYPE_DEVICE,
324             .dstMemoryType = CU_MEMORYTYPE_DEVICE,
325             .srcDevice     = devptr,
326             .dstDevice     = (CUdeviceptr)frame->data[i],
327             .srcPitch      = pitch,
328             .dstPitch      = frame->linesize[i],
329             .srcY          = offset,
330             .WidthInBytes  = FFMIN(pitch, frame->linesize[i]),
331             .Height        = frame->height >> (i ? 1 : 0),
332         };
333
334         err = cuMemcpy2D(&cpy);
335         if (err != CUDA_SUCCESS) {
336             av_log(logctx, AV_LOG_ERROR, "Error copying decoded frame: %d\n",
337                    err);
338             ret = AVERROR_UNKNOWN;
339             goto copy_fail;
340         }
341
342         offset += cpy.Height;
343     }
344
345 copy_fail:
346     cuvidUnmapVideoFrame(decoder->decoder, devptr);
347
348 finish:
349     cuCtxPopCurrent(&dummy);
350     return ret;
351 }
352
353 int ff_cuvid_start_frame(AVCodecContext *avctx, AVFrame *frame)
354 {
355     CUVIDContext *ctx = avctx->internal->hwaccel_priv_data;
356     FrameDecodeData *fdd = (FrameDecodeData*)frame->opaque_ref->data;
357     CUVIDFrame *cf = NULL;
358     int ret;
359
360     ctx->bitstream_len = 0;
361     ctx->nb_slices     = 0;
362
363     if (fdd->hwaccel_priv)
364         return 0;
365
366     cf = av_mallocz(sizeof(*cf));
367     if (!cf)
368         return AVERROR(ENOMEM);
369
370     cf->decoder_ref = av_buffer_ref(ctx->decoder_ref);
371     if (!cf->decoder_ref)
372         goto fail;
373
374     cf->idx_ref = av_buffer_pool_get(ctx->decoder_pool);
375     if (!cf->idx_ref) {
376         av_log(avctx, AV_LOG_ERROR, "No decoder surfaces left\n");
377         ret = AVERROR(ENOMEM);
378         goto fail;
379     }
380     cf->idx = *(unsigned int*)cf->idx_ref->data;
381
382     fdd->hwaccel_priv      = cf;
383     fdd->hwaccel_priv_free = cuvid_fdd_priv_free;
384     fdd->post_process      = cuvid_retrieve_data;
385
386     return 0;
387 fail:
388     cuvid_fdd_priv_free(cf);
389     return ret;
390
391 }
392
393 int ff_cuvid_end_frame(AVCodecContext *avctx)
394 {
395     CUVIDContext     *ctx = avctx->internal->hwaccel_priv_data;
396     CUVIDDecoder *decoder = (CUVIDDecoder*)ctx->decoder_ref->data;
397     CUVIDPICPARAMS    *pp = &ctx->pic_params;
398
399     CUresult err;
400     CUcontext dummy;
401
402     int ret = 0;
403
404     pp->nBitstreamDataLen = ctx->bitstream_len;
405     pp->pBitstreamData    = ctx->bitstream;
406     pp->nNumSlices        = ctx->nb_slices;
407     pp->pSliceDataOffsets = ctx->slice_offsets;
408
409     err = cuCtxPushCurrent(decoder->cuda_ctx);
410     if (err != CUDA_SUCCESS)
411         return AVERROR_UNKNOWN;
412
413     err = cuvidDecodePicture(decoder->decoder, &ctx->pic_params);
414     if (err != CUDA_SUCCESS) {
415         av_log(avctx, AV_LOG_ERROR, "Error decoding a picture with CUVID: %d\n",
416                err);
417         ret = AVERROR_UNKNOWN;
418         goto finish;
419     }
420
421 finish:
422     cuCtxPopCurrent(&dummy);
423
424     return ret;
425 }