avcodec/pnm: Avoid structure pointer dereferences in inner loop in pnm_get()
[ffmpeg.git] / libavcodec / vdpau.c
1 /*
2  * Video Decode and Presentation API for UNIX (VDPAU) is used for
3  * HW decode acceleration for MPEG-1/2, MPEG-4 ASP, H.264 and VC-1.
4  *
5  * Copyright (c) 2008 NVIDIA
6  *
7  * This file is part of FFmpeg.
8  *
9  * FFmpeg is free software; you can redistribute it and/or
10  * modify it under the terms of the GNU Lesser General Public
11  * License as published by the Free Software Foundation; either
12  * version 2.1 of the License, or (at your option) any later version.
13  *
14  * FFmpeg is distributed in the hope that it will be useful,
15  * but WITHOUT ANY WARRANTY; without even the implied warranty of
16  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
17  * Lesser General Public License for more details.
18  *
19  * You should have received a copy of the GNU Lesser General Public
20  * License along with FFmpeg; if not, write to the Free Software
21  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
22  */
23
24 #include <limits.h>
25
26 #include "avcodec.h"
27 #include "decode.h"
28 #include "internal.h"
29 #include "h264dec.h"
30 #include "vc1.h"
31 #include "vdpau.h"
32 #include "vdpau_internal.h"
33
34 // XXX: at the time of adding this ifdefery, av_assert* wasn't use outside.
35 // When dropping it, make sure other av_assert* were not added since then.
36
37 /**
38  * @addtogroup VDPAU_Decoding
39  *
40  * @{
41  */
42
43 static int vdpau_error(VdpStatus status)
44 {
45     switch (status) {
46     case VDP_STATUS_OK:
47         return 0;
48     case VDP_STATUS_NO_IMPLEMENTATION:
49         return AVERROR(ENOSYS);
50     case VDP_STATUS_DISPLAY_PREEMPTED:
51         return AVERROR(EIO);
52     case VDP_STATUS_INVALID_HANDLE:
53         return AVERROR(EBADF);
54     case VDP_STATUS_INVALID_POINTER:
55         return AVERROR(EFAULT);
56     case VDP_STATUS_RESOURCES:
57         return AVERROR(ENOBUFS);
58     case VDP_STATUS_HANDLE_DEVICE_MISMATCH:
59         return AVERROR(EXDEV);
60     case VDP_STATUS_ERROR:
61         return AVERROR(EIO);
62     default:
63         return AVERROR(EINVAL);
64     }
65 }
66
67 AVVDPAUContext *av_alloc_vdpaucontext(void)
68 {
69     return av_vdpau_alloc_context();
70 }
71
72 MAKE_ACCESSORS(AVVDPAUContext, vdpau_hwaccel, AVVDPAU_Render2, render2)
73
74 int av_vdpau_get_surface_parameters(AVCodecContext *avctx,
75                                     VdpChromaType *type,
76                                     uint32_t *width, uint32_t *height)
77 {
78     VdpChromaType t;
79     uint32_t w = avctx->coded_width;
80     uint32_t h = avctx->coded_height;
81
82     /* See <vdpau/vdpau.h> for per-type alignment constraints. */
83     switch (avctx->sw_pix_fmt) {
84     case AV_PIX_FMT_YUV420P:
85     case AV_PIX_FMT_YUVJ420P:
86         t = VDP_CHROMA_TYPE_420;
87         w = (w + 1) & ~1;
88         h = (h + 3) & ~3;
89         break;
90     case AV_PIX_FMT_YUV422P:
91     case AV_PIX_FMT_YUVJ422P:
92         t = VDP_CHROMA_TYPE_422;
93         w = (w + 1) & ~1;
94         h = (h + 1) & ~1;
95         break;
96     case AV_PIX_FMT_YUV444P:
97     case AV_PIX_FMT_YUVJ444P:
98         t = VDP_CHROMA_TYPE_444;
99         h = (h + 1) & ~1;
100         break;
101     default:
102         return AVERROR(ENOSYS);
103     }
104
105     if (type)
106         *type = t;
107     if (width)
108         *width = w;
109     if (height)
110         *height = h;
111     return 0;
112 }
113
114 int ff_vdpau_common_frame_params(AVCodecContext *avctx,
115                                  AVBufferRef *hw_frames_ctx)
116 {
117     AVHWFramesContext *hw_frames = (AVHWFramesContext*)hw_frames_ctx->data;
118     VdpChromaType type;
119     uint32_t width;
120     uint32_t height;
121
122     if (av_vdpau_get_surface_parameters(avctx, &type, &width, &height))
123         return AVERROR(EINVAL);
124
125     hw_frames->format    = AV_PIX_FMT_VDPAU;
126     hw_frames->sw_format = avctx->sw_pix_fmt;
127     hw_frames->width     = width;
128     hw_frames->height    = height;
129
130     return 0;
131 }
132
133 int ff_vdpau_common_init(AVCodecContext *avctx, VdpDecoderProfile profile,
134                          int level)
135 {
136     VDPAUHWContext *hwctx = avctx->hwaccel_context;
137     VDPAUContext *vdctx = avctx->internal->hwaccel_priv_data;
138     VdpVideoSurfaceQueryCapabilities *surface_query_caps;
139     VdpDecoderQueryCapabilities *decoder_query_caps;
140     VdpDecoderCreate *create;
141     VdpGetInformationString *info;
142     const char *info_string;
143     void *func;
144     VdpStatus status;
145     VdpBool supported;
146     uint32_t max_level, max_mb, max_width, max_height;
147     VdpChromaType type;
148     uint32_t width;
149     uint32_t height;
150     int ret;
151
152     vdctx->width            = UINT32_MAX;
153     vdctx->height           = UINT32_MAX;
154
155     if (av_vdpau_get_surface_parameters(avctx, &type, &width, &height))
156         return AVERROR(ENOSYS);
157
158     if (hwctx) {
159         hwctx->reset            = 0;
160
161         if (hwctx->context.decoder != VDP_INVALID_HANDLE) {
162             vdctx->decoder = hwctx->context.decoder;
163             vdctx->render  = hwctx->context.render;
164             vdctx->device  = VDP_INVALID_HANDLE;
165             return 0; /* Decoder created by user */
166         }
167
168         vdctx->device           = hwctx->device;
169         vdctx->get_proc_address = hwctx->get_proc_address;
170
171         if (hwctx->flags & AV_HWACCEL_FLAG_IGNORE_LEVEL)
172             level = 0;
173
174         if (!(hwctx->flags & AV_HWACCEL_FLAG_ALLOW_HIGH_DEPTH) &&
175             type != VDP_CHROMA_TYPE_420)
176             return AVERROR(ENOSYS);
177     } else {
178         AVHWFramesContext *frames_ctx;
179         AVVDPAUDeviceContext *dev_ctx;
180
181         ret = ff_decode_get_hw_frames_ctx(avctx, AV_HWDEVICE_TYPE_VDPAU);
182         if (ret < 0)
183             return ret;
184
185         frames_ctx = (AVHWFramesContext*)avctx->hw_frames_ctx->data;
186         dev_ctx = frames_ctx->device_ctx->hwctx;
187
188         vdctx->device           = dev_ctx->device;
189         vdctx->get_proc_address = dev_ctx->get_proc_address;
190
191         if (avctx->hwaccel_flags & AV_HWACCEL_FLAG_IGNORE_LEVEL)
192             level = 0;
193     }
194
195     if (level < 0)
196         return AVERROR(ENOTSUP);
197
198     status = vdctx->get_proc_address(vdctx->device,
199                                      VDP_FUNC_ID_GET_INFORMATION_STRING,
200                                      &func);
201     if (status != VDP_STATUS_OK)
202         return vdpau_error(status);
203     else
204         info = func;
205
206     status = info(&info_string);
207     if (status != VDP_STATUS_OK)
208         return vdpau_error(status);
209     if (avctx->codec_id == AV_CODEC_ID_HEVC && strncmp(info_string, "NVIDIA ", 7) == 0 &&
210         !(avctx->hwaccel_flags & AV_HWACCEL_FLAG_ALLOW_PROFILE_MISMATCH)) {
211         int driver_version = 0;
212         sscanf(info_string, "NVIDIA VDPAU Driver Shared Library  %d", &driver_version);
213         if (driver_version < 410) {
214             av_log(avctx, AV_LOG_VERBOSE, "HEVC with NVIDIA VDPAU drivers is buggy, skipping.\n");
215             return AVERROR(ENOTSUP);
216         }
217     }
218
219     status = vdctx->get_proc_address(vdctx->device,
220                                      VDP_FUNC_ID_VIDEO_SURFACE_QUERY_CAPABILITIES,
221                                      &func);
222     if (status != VDP_STATUS_OK)
223         return vdpau_error(status);
224     else
225         surface_query_caps = func;
226
227     status = surface_query_caps(vdctx->device, type, &supported,
228                                 &max_width, &max_height);
229     if (status != VDP_STATUS_OK)
230         return vdpau_error(status);
231     if (supported != VDP_TRUE ||
232         max_width < width || max_height < height)
233         return AVERROR(ENOTSUP);
234
235     status = vdctx->get_proc_address(vdctx->device,
236                                      VDP_FUNC_ID_DECODER_QUERY_CAPABILITIES,
237                                      &func);
238     if (status != VDP_STATUS_OK)
239         return vdpau_error(status);
240     else
241         decoder_query_caps = func;
242
243     status = decoder_query_caps(vdctx->device, profile, &supported, &max_level,
244                                 &max_mb, &max_width, &max_height);
245 #ifdef VDP_DECODER_PROFILE_H264_CONSTRAINED_BASELINE
246     if ((status != VDP_STATUS_OK || supported != VDP_TRUE) && profile == VDP_DECODER_PROFILE_H264_CONSTRAINED_BASELINE) {
247         profile = VDP_DECODER_PROFILE_H264_MAIN;
248         status = decoder_query_caps(vdctx->device, profile, &supported,
249                                     &max_level, &max_mb,
250                                     &max_width, &max_height);
251     }
252 #endif
253     if (status != VDP_STATUS_OK)
254         return vdpau_error(status);
255
256     if (supported != VDP_TRUE || max_level < level ||
257         max_width < width || max_height < height)
258         return AVERROR(ENOTSUP);
259
260     status = vdctx->get_proc_address(vdctx->device, VDP_FUNC_ID_DECODER_CREATE,
261                                      &func);
262     if (status != VDP_STATUS_OK)
263         return vdpau_error(status);
264     else
265         create = func;
266
267     status = vdctx->get_proc_address(vdctx->device, VDP_FUNC_ID_DECODER_RENDER,
268                                      &func);
269     if (status != VDP_STATUS_OK)
270         return vdpau_error(status);
271     else
272         vdctx->render = func;
273
274     status = create(vdctx->device, profile, width, height, avctx->refs,
275                     &vdctx->decoder);
276     if (status == VDP_STATUS_OK) {
277         vdctx->width  = avctx->coded_width;
278         vdctx->height = avctx->coded_height;
279     }
280
281     return vdpau_error(status);
282 }
283
284 int ff_vdpau_common_uninit(AVCodecContext *avctx)
285 {
286     VDPAUContext *vdctx = avctx->internal->hwaccel_priv_data;
287     VdpDecoderDestroy *destroy;
288     void *func;
289     VdpStatus status;
290
291     if (vdctx->device == VDP_INVALID_HANDLE)
292         return 0; /* Decoder created and destroyed by user */
293     if (vdctx->width == UINT32_MAX && vdctx->height == UINT32_MAX)
294         return 0;
295
296     status = vdctx->get_proc_address(vdctx->device,
297                                      VDP_FUNC_ID_DECODER_DESTROY, &func);
298     if (status != VDP_STATUS_OK)
299         return vdpau_error(status);
300     else
301         destroy = func;
302
303     status = destroy(vdctx->decoder);
304     return vdpau_error(status);
305 }
306
307 static int ff_vdpau_common_reinit(AVCodecContext *avctx)
308 {
309     VDPAUHWContext *hwctx = avctx->hwaccel_context;
310     VDPAUContext *vdctx = avctx->internal->hwaccel_priv_data;
311
312     if (vdctx->device == VDP_INVALID_HANDLE)
313         return 0; /* Decoder created by user */
314     if (avctx->coded_width == vdctx->width &&
315         avctx->coded_height == vdctx->height && (!hwctx || !hwctx->reset))
316         return 0;
317
318     avctx->hwaccel->uninit(avctx);
319     return avctx->hwaccel->init(avctx);
320 }
321
322 int ff_vdpau_common_start_frame(struct vdpau_picture_context *pic_ctx,
323                                 av_unused const uint8_t *buffer,
324                                 av_unused uint32_t size)
325 {
326     pic_ctx->bitstream_buffers_allocated = 0;
327     pic_ctx->bitstream_buffers_used      = 0;
328     pic_ctx->bitstream_buffers           = NULL;
329     return 0;
330 }
331
332 int ff_vdpau_common_end_frame(AVCodecContext *avctx, AVFrame *frame,
333                               struct vdpau_picture_context *pic_ctx)
334 {
335     VDPAUContext *vdctx = avctx->internal->hwaccel_priv_data;
336     AVVDPAUContext *hwctx = avctx->hwaccel_context;
337     VdpVideoSurface surf = ff_vdpau_get_surface_id(frame);
338     VdpStatus status;
339     int val;
340
341     val = ff_vdpau_common_reinit(avctx);
342     if (val < 0)
343         return val;
344
345     if (hwctx && !hwctx->render && hwctx->render2) {
346         status = hwctx->render2(avctx, frame, (void *)&pic_ctx->info,
347                                 pic_ctx->bitstream_buffers_used, pic_ctx->bitstream_buffers);
348     } else
349     status = vdctx->render(vdctx->decoder, surf, &pic_ctx->info,
350                            pic_ctx->bitstream_buffers_used,
351                            pic_ctx->bitstream_buffers);
352
353     av_freep(&pic_ctx->bitstream_buffers);
354
355     return vdpau_error(status);
356 }
357
358 #if CONFIG_MPEG1_VDPAU_HWACCEL || \
359     CONFIG_MPEG2_VDPAU_HWACCEL || CONFIG_MPEG4_VDPAU_HWACCEL || \
360     CONFIG_VC1_VDPAU_HWACCEL   || CONFIG_WMV3_VDPAU_HWACCEL
361 int ff_vdpau_mpeg_end_frame(AVCodecContext *avctx)
362 {
363     MpegEncContext *s = avctx->priv_data;
364     Picture *pic = s->current_picture_ptr;
365     struct vdpau_picture_context *pic_ctx = pic->hwaccel_picture_private;
366     int val;
367
368     val = ff_vdpau_common_end_frame(avctx, pic->f, pic_ctx);
369     if (val < 0)
370         return val;
371
372     ff_mpeg_draw_horiz_band(s, 0, s->avctx->height);
373     return 0;
374 }
375 #endif
376
377 int ff_vdpau_add_buffer(struct vdpau_picture_context *pic_ctx,
378                         const uint8_t *buf, uint32_t size)
379 {
380     VdpBitstreamBuffer *buffers = pic_ctx->bitstream_buffers;
381
382     buffers = av_fast_realloc(buffers, &pic_ctx->bitstream_buffers_allocated,
383                               (pic_ctx->bitstream_buffers_used + 1) * sizeof(*buffers));
384     if (!buffers)
385         return AVERROR(ENOMEM);
386
387     pic_ctx->bitstream_buffers = buffers;
388     buffers += pic_ctx->bitstream_buffers_used++;
389
390     buffers->struct_version  = VDP_BITSTREAM_BUFFER_VERSION;
391     buffers->bitstream       = buf;
392     buffers->bitstream_bytes = size;
393     return 0;
394 }
395
396 #if FF_API_VDPAU_PROFILE
397 int av_vdpau_get_profile(AVCodecContext *avctx, VdpDecoderProfile *profile)
398 {
399 #define PROFILE(prof)                      \
400 do {                                       \
401     *profile = VDP_DECODER_PROFILE_##prof; \
402     return 0;                              \
403 } while (0)
404
405     switch (avctx->codec_id) {
406     case AV_CODEC_ID_MPEG1VIDEO:               PROFILE(MPEG1);
407     case AV_CODEC_ID_MPEG2VIDEO:
408         switch (avctx->profile) {
409         case FF_PROFILE_MPEG2_MAIN:            PROFILE(MPEG2_MAIN);
410         case FF_PROFILE_MPEG2_SIMPLE:          PROFILE(MPEG2_SIMPLE);
411         default:                               return AVERROR(EINVAL);
412         }
413     case AV_CODEC_ID_H263:                     PROFILE(MPEG4_PART2_ASP);
414     case AV_CODEC_ID_MPEG4:
415         switch (avctx->profile) {
416         case FF_PROFILE_MPEG4_SIMPLE:          PROFILE(MPEG4_PART2_SP);
417         case FF_PROFILE_MPEG4_ADVANCED_SIMPLE: PROFILE(MPEG4_PART2_ASP);
418         default:                               return AVERROR(EINVAL);
419         }
420     case AV_CODEC_ID_H264:
421         switch (avctx->profile & ~FF_PROFILE_H264_INTRA) {
422         case FF_PROFILE_H264_BASELINE:         PROFILE(H264_BASELINE);
423         case FF_PROFILE_H264_CONSTRAINED_BASELINE:
424         case FF_PROFILE_H264_MAIN:             PROFILE(H264_MAIN);
425         case FF_PROFILE_H264_HIGH:             PROFILE(H264_HIGH);
426 #ifdef VDP_DECODER_PROFILE_H264_EXTENDED
427         case FF_PROFILE_H264_EXTENDED:         PROFILE(H264_EXTENDED);
428 #endif
429         default:                               return AVERROR(EINVAL);
430         }
431     case AV_CODEC_ID_WMV3:
432     case AV_CODEC_ID_VC1:
433         switch (avctx->profile) {
434         case FF_PROFILE_VC1_SIMPLE:            PROFILE(VC1_SIMPLE);
435         case FF_PROFILE_VC1_MAIN:              PROFILE(VC1_MAIN);
436         case FF_PROFILE_VC1_ADVANCED:          PROFILE(VC1_ADVANCED);
437         default:                               return AVERROR(EINVAL);
438         }
439     }
440     return AVERROR(EINVAL);
441 #undef PROFILE
442 }
443 #endif /* FF_API_VDPAU_PROFILE */
444
445 AVVDPAUContext *av_vdpau_alloc_context(void)
446 {
447     return av_mallocz(sizeof(VDPAUHWContext));
448 }
449
450 int av_vdpau_bind_context(AVCodecContext *avctx, VdpDevice device,
451                           VdpGetProcAddress *get_proc, unsigned flags)
452 {
453     VDPAUHWContext *hwctx;
454
455     if (flags & ~(AV_HWACCEL_FLAG_IGNORE_LEVEL|AV_HWACCEL_FLAG_ALLOW_HIGH_DEPTH))
456         return AVERROR(EINVAL);
457
458     if (av_reallocp(&avctx->hwaccel_context, sizeof(*hwctx)))
459         return AVERROR(ENOMEM);
460
461     hwctx = avctx->hwaccel_context;
462
463     memset(hwctx, 0, sizeof(*hwctx));
464     hwctx->context.decoder  = VDP_INVALID_HANDLE;
465     hwctx->device           = device;
466     hwctx->get_proc_address = get_proc;
467     hwctx->flags            = flags;
468     hwctx->reset            = 1;
469     return 0;
470 }
471
472 /* @}*/