vdpau: force reinitialization when output resolution changes
[ffmpeg.git] / libavcodec / vdpau.c
1 /*
2  * Video Decode and Presentation API for UNIX (VDPAU) is used for
3  * HW decode acceleration for MPEG-1/2, MPEG-4 ASP, H.264 and VC-1.
4  *
5  * Copyright (c) 2008 NVIDIA
6  *
7  * This file is part of Libav.
8  *
9  * Libav is free software; you can redistribute it and/or
10  * modify it under the terms of the GNU Lesser General Public
11  * License as published by the Free Software Foundation; either
12  * version 2.1 of the License, or (at your option) any later version.
13  *
14  * Libav is distributed in the hope that it will be useful,
15  * but WITHOUT ANY WARRANTY; without even the implied warranty of
16  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
17  * Lesser General Public License for more details.
18  *
19  * You should have received a copy of the GNU Lesser General Public
20  * License along with Libav; if not, write to the Free Software
21  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
22  */
23
24 #include <limits.h>
25 #include "libavutil/avassert.h"
26 #include "avcodec.h"
27 #include "internal.h"
28 #include "h264.h"
29 #include "vc1.h"
30
31 #undef NDEBUG
32 #include <assert.h>
33
34 #include "vdpau.h"
35 #include "vdpau_internal.h"
36
37 /**
38  * @addtogroup VDPAU_Decoding
39  *
40  * @{
41  */
42
43 static int vdpau_error(VdpStatus status)
44 {
45     switch (status) {
46     case VDP_STATUS_OK:
47         return 0;
48     case VDP_STATUS_NO_IMPLEMENTATION:
49         return AVERROR(ENOSYS);
50     case VDP_STATUS_DISPLAY_PREEMPTED:
51         return AVERROR(EIO);
52     case VDP_STATUS_INVALID_HANDLE:
53         return AVERROR(EBADF);
54     case VDP_STATUS_INVALID_POINTER:
55         return AVERROR(EFAULT);
56     case VDP_STATUS_RESOURCES:
57         return AVERROR(ENOBUFS);
58     case VDP_STATUS_HANDLE_DEVICE_MISMATCH:
59         return AVERROR(EXDEV);
60     case VDP_STATUS_ERROR:
61         return AVERROR(EIO);
62     default:
63         return AVERROR(EINVAL);
64     }
65 }
66
67 int ff_vdpau_common_init(AVCodecContext *avctx, VdpDecoderProfile profile,
68                          int level)
69 {
70     VDPAUHWContext *hwctx = avctx->hwaccel_context;
71     VDPAUContext *vdctx = avctx->internal->hwaccel_priv_data;
72     VdpDecoderCreate *create;
73     void *func;
74     VdpStatus status;
75     /* See vdpau/vdpau.h for alignment constraints. */
76     uint32_t width  = (avctx->coded_width + 1) & ~1;
77     uint32_t height = (avctx->coded_height + 3) & ~3;
78
79     vdctx->width            = UINT32_MAX;
80     vdctx->height           = UINT32_MAX;
81
82     if (hwctx->context.decoder != VDP_INVALID_HANDLE) {
83         vdctx->decoder = hwctx->context.decoder;
84         vdctx->render  = hwctx->context.render;
85         vdctx->device  = VDP_INVALID_HANDLE;
86         return 0; /* Decoder created by user */
87     }
88
89     vdctx->device           = hwctx->device;
90     vdctx->get_proc_address = hwctx->get_proc_address;
91
92     status = vdctx->get_proc_address(vdctx->device, VDP_FUNC_ID_DECODER_CREATE,
93                                      &func);
94     if (status != VDP_STATUS_OK)
95         return vdpau_error(status);
96     else
97         create = func;
98
99     status = vdctx->get_proc_address(vdctx->device, VDP_FUNC_ID_DECODER_RENDER,
100                                      &func);
101     if (status != VDP_STATUS_OK)
102         return vdpau_error(status);
103     else
104         vdctx->render = func;
105
106     status = create(vdctx->device, profile, width, height, avctx->refs,
107                     &vdctx->decoder);
108     if (status == VDP_STATUS_OK) {
109         vdctx->width  = avctx->coded_width;
110         vdctx->height = avctx->coded_height;
111     }
112
113     return vdpau_error(status);
114 }
115
116 int ff_vdpau_common_uninit(AVCodecContext *avctx)
117 {
118     VDPAUContext *vdctx = avctx->internal->hwaccel_priv_data;
119     VdpDecoderDestroy *destroy;
120     void *func;
121     VdpStatus status;
122
123     if (vdctx->device == VDP_INVALID_HANDLE)
124         return 0; /* Decoder created and destroyed by user */
125     if (vdctx->width == UINT32_MAX && vdctx->height == UINT32_MAX)
126         return 0;
127
128     status = vdctx->get_proc_address(vdctx->device,
129                                      VDP_FUNC_ID_DECODER_DESTROY, &func);
130     if (status != VDP_STATUS_OK)
131         return vdpau_error(status);
132     else
133         destroy = func;
134
135     status = destroy(vdctx->decoder);
136     return vdpau_error(status);
137 }
138
139 static int ff_vdpau_common_reinit(AVCodecContext *avctx)
140 {
141     VDPAUContext *vdctx = avctx->internal->hwaccel_priv_data;
142
143     if (vdctx->device == VDP_INVALID_HANDLE)
144         return 0; /* Decoder created by user */
145     if (avctx->coded_width == vdctx->width &&
146         avctx->coded_height == vdctx->height)
147         return 0;
148
149     avctx->hwaccel->uninit(avctx);
150     return avctx->hwaccel->init(avctx);
151 }
152
153 int ff_vdpau_common_start_frame(struct vdpau_picture_context *pic_ctx,
154                                 av_unused const uint8_t *buffer,
155                                 av_unused uint32_t size)
156 {
157     pic_ctx->bitstream_buffers_allocated = 0;
158     pic_ctx->bitstream_buffers_used      = 0;
159     pic_ctx->bitstream_buffers           = NULL;
160     return 0;
161 }
162
163 int ff_vdpau_common_end_frame(AVCodecContext *avctx, AVFrame *frame,
164                               struct vdpau_picture_context *pic_ctx)
165 {
166     VDPAUContext *vdctx = avctx->internal->hwaccel_priv_data;
167     VdpVideoSurface surf = ff_vdpau_get_surface_id(frame);
168     VdpStatus status;
169     int val;
170
171     val = ff_vdpau_common_reinit(avctx);
172     if (val < 0)
173         return val;
174
175     status = vdctx->render(vdctx->decoder, surf, (void *)&pic_ctx->info,
176                            pic_ctx->bitstream_buffers_used,
177                            pic_ctx->bitstream_buffers);
178
179     av_freep(&pic_ctx->bitstream_buffers);
180     return vdpau_error(status);
181 }
182
183 #if CONFIG_H263_VDPAU_HWACCEL  || CONFIG_MPEG1_VDPAU_HWACCEL || \
184     CONFIG_MPEG2_VDPAU_HWACCEL || CONFIG_MPEG4_VDPAU_HWACCEL || \
185     CONFIG_VC1_VDPAU_HWACCEL   || CONFIG_WMV3_VDPAU_HWACCEL
186 int ff_vdpau_mpeg_end_frame(AVCodecContext *avctx)
187 {
188     MpegEncContext *s = avctx->priv_data;
189     Picture *pic = s->current_picture_ptr;
190     struct vdpau_picture_context *pic_ctx = pic->hwaccel_picture_private;
191     int val;
192
193     val = ff_vdpau_common_end_frame(avctx, pic->f, pic_ctx);
194     if (val < 0)
195         return val;
196
197     ff_mpeg_draw_horiz_band(s, 0, s->avctx->height);
198     return 0;
199 }
200 #endif
201
202 int ff_vdpau_add_buffer(struct vdpau_picture_context *pic_ctx,
203                         const uint8_t *buf, uint32_t size)
204 {
205     VdpBitstreamBuffer *buffers = pic_ctx->bitstream_buffers;
206
207     buffers = av_fast_realloc(buffers, &pic_ctx->bitstream_buffers_allocated,
208                               (pic_ctx->bitstream_buffers_used + 1) * sizeof(*buffers));
209     if (!buffers)
210         return AVERROR(ENOMEM);
211
212     pic_ctx->bitstream_buffers = buffers;
213     buffers += pic_ctx->bitstream_buffers_used++;
214
215     buffers->struct_version  = VDP_BITSTREAM_BUFFER_VERSION;
216     buffers->bitstream       = buf;
217     buffers->bitstream_bytes = size;
218     return 0;
219 }
220
221 int av_vdpau_get_profile(AVCodecContext *avctx, VdpDecoderProfile *profile)
222 {
223 #define PROFILE(prof)       \
224 do {                        \
225     *profile = prof;        \
226     return 0;               \
227 } while (0)
228
229     switch (avctx->codec_id) {
230     case AV_CODEC_ID_MPEG1VIDEO:               PROFILE(VDP_DECODER_PROFILE_MPEG1);
231     case AV_CODEC_ID_MPEG2VIDEO:
232         switch (avctx->profile) {
233         case FF_PROFILE_MPEG2_MAIN:            PROFILE(VDP_DECODER_PROFILE_MPEG2_MAIN);
234         case FF_PROFILE_MPEG2_SIMPLE:          PROFILE(VDP_DECODER_PROFILE_MPEG2_SIMPLE);
235         default:                               return AVERROR(EINVAL);
236         }
237     case AV_CODEC_ID_H263:                     PROFILE(VDP_DECODER_PROFILE_MPEG4_PART2_ASP);
238     case AV_CODEC_ID_MPEG4:
239         switch (avctx->profile) {
240         case FF_PROFILE_MPEG4_SIMPLE:          PROFILE(VDP_DECODER_PROFILE_MPEG4_PART2_SP);
241         case FF_PROFILE_MPEG4_ADVANCED_SIMPLE: PROFILE(VDP_DECODER_PROFILE_MPEG4_PART2_ASP);
242         default:                               return AVERROR(EINVAL);
243         }
244     case AV_CODEC_ID_H264:
245         switch (avctx->profile & ~FF_PROFILE_H264_INTRA) {
246         case FF_PROFILE_H264_CONSTRAINED_BASELINE:
247         case FF_PROFILE_H264_BASELINE:         PROFILE(VDP_DECODER_PROFILE_H264_BASELINE);
248         case FF_PROFILE_H264_MAIN:             PROFILE(VDP_DECODER_PROFILE_H264_MAIN);
249         case FF_PROFILE_H264_HIGH:             PROFILE(VDP_DECODER_PROFILE_H264_HIGH);
250         default:                               return AVERROR(EINVAL);
251         }
252     case AV_CODEC_ID_WMV3:
253     case AV_CODEC_ID_VC1:
254         switch (avctx->profile) {
255         case FF_PROFILE_VC1_SIMPLE:            PROFILE(VDP_DECODER_PROFILE_VC1_SIMPLE);
256         case FF_PROFILE_VC1_MAIN:              PROFILE(VDP_DECODER_PROFILE_VC1_MAIN);
257         case FF_PROFILE_VC1_ADVANCED:          PROFILE(VDP_DECODER_PROFILE_VC1_ADVANCED);
258         default:                               return AVERROR(EINVAL);
259         }
260     }
261     return AVERROR(EINVAL);
262 }
263
264 AVVDPAUContext *av_vdpau_alloc_context(void)
265 {
266     return av_mallocz(sizeof(AVVDPAUContext));
267 }
268
269 /* @}*/