Merge commit '7e2561fa8313982aa21f7657953eedeeb33b210d'
[ffmpeg.git] / libavfilter / vf_deinterlace_qsv.c
1 /*
2  * This file is part of FFmpeg.
3  *
4  * FFmpeg is free software; you can redistribute it and/or
5  * modify it under the terms of the GNU Lesser General Public
6  * License as published by the Free Software Foundation; either
7  * version 2.1 of the License, or (at your option) any later version.
8  *
9  * FFmpeg is distributed in the hope that it will be useful,
10  * but WITHOUT ANY WARRANTY; without even the implied warranty of
11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
12  * Lesser General Public License for more details.
13  *
14  * You should have received a copy of the GNU Lesser General Public
15  * License along with FFmpeg; if not, write to the Free Software
16  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
17  */
18
19 /**
20  * @file
21  * deinterlace video filter - QSV
22  */
23
24 #include <mfx/mfxvideo.h>
25
26 #include <stdio.h>
27 #include <string.h>
28
29 #include "libavutil/avstring.h"
30 #include "libavutil/common.h"
31 #include "libavutil/hwcontext.h"
32 #include "libavutil/hwcontext_qsv.h"
33 #include "libavutil/internal.h"
34 #include "libavutil/mathematics.h"
35 #include "libavutil/opt.h"
36 #include "libavutil/pixdesc.h"
37 #include "libavutil/time.h"
38
39 #include "avfilter.h"
40 #include "formats.h"
41 #include "internal.h"
42 #include "video.h"
43
44 enum {
45     QSVDEINT_MORE_OUTPUT = 1,
46     QSVDEINT_MORE_INPUT,
47 };
48
49 typedef struct QSVFrame {
50     AVFrame *frame;
51     mfxFrameSurface1 surface;
52     int used;
53
54     struct QSVFrame *next;
55 } QSVFrame;
56
57 typedef struct QSVDeintContext {
58     const AVClass *class;
59
60     AVBufferRef *hw_frames_ctx;
61     /* a clone of the main session, used internally for deinterlacing */
62     mfxSession   session;
63
64     mfxMemId *mem_ids;
65     int    nb_mem_ids;
66
67     mfxFrameSurface1 **surface_ptrs;
68     int             nb_surface_ptrs;
69
70     mfxExtOpaqueSurfaceAlloc opaque_alloc;
71     mfxExtBuffer            *ext_buffers[1];
72
73     QSVFrame *work_frames;
74
75     int64_t last_pts;
76
77     int eof;
78 } QSVDeintContext;
79
80 static void qsvdeint_uninit(AVFilterContext *ctx)
81 {
82     QSVDeintContext *s = ctx->priv;
83     QSVFrame *cur;
84
85     if (s->session) {
86         MFXClose(s->session);
87         s->session = NULL;
88     }
89     av_buffer_unref(&s->hw_frames_ctx);
90
91     cur = s->work_frames;
92     while (cur) {
93         s->work_frames = cur->next;
94         av_frame_free(&cur->frame);
95         av_freep(&cur);
96         cur = s->work_frames;
97     }
98
99     av_freep(&s->mem_ids);
100     s->nb_mem_ids = 0;
101
102     av_freep(&s->surface_ptrs);
103     s->nb_surface_ptrs = 0;
104 }
105
106 static int qsvdeint_query_formats(AVFilterContext *ctx)
107 {
108     static const enum AVPixelFormat pixel_formats[] = {
109         AV_PIX_FMT_QSV, AV_PIX_FMT_NONE,
110     };
111     AVFilterFormats *pix_fmts  = ff_make_format_list(pixel_formats);
112     int ret;
113
114     if ((ret = ff_set_common_formats(ctx, pix_fmts)) < 0)
115         return ret;
116
117     return 0;
118 }
119
120 static mfxStatus frame_alloc(mfxHDL pthis, mfxFrameAllocRequest *req,
121                              mfxFrameAllocResponse *resp)
122 {
123     AVFilterContext *ctx = pthis;
124     QSVDeintContext   *s = ctx->priv;
125
126     if (!(req->Type & MFX_MEMTYPE_VIDEO_MEMORY_PROCESSOR_TARGET) ||
127         !(req->Type & (MFX_MEMTYPE_FROM_VPPIN | MFX_MEMTYPE_FROM_VPPOUT)) ||
128         !(req->Type & MFX_MEMTYPE_EXTERNAL_FRAME))
129         return MFX_ERR_UNSUPPORTED;
130
131     resp->mids           = s->mem_ids;
132     resp->NumFrameActual = s->nb_mem_ids;
133
134     return MFX_ERR_NONE;
135 }
136
137 static mfxStatus frame_free(mfxHDL pthis, mfxFrameAllocResponse *resp)
138 {
139     return MFX_ERR_NONE;
140 }
141
142 static mfxStatus frame_lock(mfxHDL pthis, mfxMemId mid, mfxFrameData *ptr)
143 {
144     return MFX_ERR_UNSUPPORTED;
145 }
146
147 static mfxStatus frame_unlock(mfxHDL pthis, mfxMemId mid, mfxFrameData *ptr)
148 {
149     return MFX_ERR_UNSUPPORTED;
150 }
151
152 static mfxStatus frame_get_hdl(mfxHDL pthis, mfxMemId mid, mfxHDL *hdl)
153 {
154     *hdl = mid;
155     return MFX_ERR_NONE;
156 }
157
158 static const mfxHandleType handle_types[] = {
159     MFX_HANDLE_VA_DISPLAY,
160     MFX_HANDLE_D3D9_DEVICE_MANAGER,
161     MFX_HANDLE_D3D11_DEVICE,
162 };
163
164 static int init_out_session(AVFilterContext *ctx)
165 {
166
167     QSVDeintContext                  *s = ctx->priv;
168     AVHWFramesContext    *hw_frames_ctx = (AVHWFramesContext*)s->hw_frames_ctx->data;
169     AVQSVFramesContext *hw_frames_hwctx = hw_frames_ctx->hwctx;
170     AVQSVDeviceContext    *device_hwctx = hw_frames_ctx->device_ctx->hwctx;
171
172     int opaque = !!(hw_frames_hwctx->frame_type & MFX_MEMTYPE_OPAQUE_FRAME);
173
174     mfxHDL handle = NULL;
175     mfxHandleType handle_type;
176     mfxVersion ver;
177     mfxIMPL impl;
178     mfxVideoParam par;
179     mfxStatus err;
180     int i;
181
182     /* extract the properties of the "master" session given to us */
183     err = MFXQueryIMPL(device_hwctx->session, &impl);
184     if (err == MFX_ERR_NONE)
185         err = MFXQueryVersion(device_hwctx->session, &ver);
186     if (err != MFX_ERR_NONE) {
187         av_log(ctx, AV_LOG_ERROR, "Error querying the session attributes\n");
188         return AVERROR_UNKNOWN;
189     }
190
191     for (i = 0; i < FF_ARRAY_ELEMS(handle_types); i++) {
192         err = MFXVideoCORE_GetHandle(device_hwctx->session, handle_types[i], &handle);
193         if (err == MFX_ERR_NONE) {
194             handle_type = handle_types[i];
195             break;
196         }
197     }
198
199     /* create a "slave" session with those same properties, to be used for
200      * actual deinterlacing */
201     err = MFXInit(impl, &ver, &s->session);
202     if (err != MFX_ERR_NONE) {
203         av_log(ctx, AV_LOG_ERROR, "Error initializing a session for deinterlacing\n");
204         return AVERROR_UNKNOWN;
205     }
206
207     if (handle) {
208         err = MFXVideoCORE_SetHandle(s->session, handle_type, handle);
209         if (err != MFX_ERR_NONE)
210             return AVERROR_UNKNOWN;
211     }
212
213     memset(&par, 0, sizeof(par));
214
215     if (opaque) {
216         s->surface_ptrs = av_mallocz_array(hw_frames_hwctx->nb_surfaces,
217                                            sizeof(*s->surface_ptrs));
218         if (!s->surface_ptrs)
219             return AVERROR(ENOMEM);
220         for (i = 0; i < hw_frames_hwctx->nb_surfaces; i++)
221             s->surface_ptrs[i] = hw_frames_hwctx->surfaces + i;
222         s->nb_surface_ptrs = hw_frames_hwctx->nb_surfaces;
223
224         s->opaque_alloc.In.Surfaces   = s->surface_ptrs;
225         s->opaque_alloc.In.NumSurface = s->nb_surface_ptrs;
226         s->opaque_alloc.In.Type       = hw_frames_hwctx->frame_type;
227
228         s->opaque_alloc.Out = s->opaque_alloc.In;
229
230         s->opaque_alloc.Header.BufferId = MFX_EXTBUFF_OPAQUE_SURFACE_ALLOCATION;
231         s->opaque_alloc.Header.BufferSz = sizeof(s->opaque_alloc);
232
233         s->ext_buffers[0] = (mfxExtBuffer*)&s->opaque_alloc;
234
235         par.ExtParam    = s->ext_buffers;
236         par.NumExtParam = FF_ARRAY_ELEMS(s->ext_buffers);
237
238         par.IOPattern = MFX_IOPATTERN_IN_OPAQUE_MEMORY | MFX_IOPATTERN_OUT_OPAQUE_MEMORY;
239     } else {
240         mfxFrameAllocator frame_allocator = {
241             .pthis  = ctx,
242             .Alloc  = frame_alloc,
243             .Lock   = frame_lock,
244             .Unlock = frame_unlock,
245             .GetHDL = frame_get_hdl,
246             .Free   = frame_free,
247         };
248
249         s->mem_ids = av_mallocz_array(hw_frames_hwctx->nb_surfaces,
250                                       sizeof(*s->mem_ids));
251         if (!s->mem_ids)
252             return AVERROR(ENOMEM);
253         for (i = 0; i < hw_frames_hwctx->nb_surfaces; i++)
254             s->mem_ids[i] = hw_frames_hwctx->surfaces[i].Data.MemId;
255         s->nb_mem_ids = hw_frames_hwctx->nb_surfaces;
256
257         err = MFXVideoCORE_SetFrameAllocator(s->session, &frame_allocator);
258         if (err != MFX_ERR_NONE)
259             return AVERROR_UNKNOWN;
260
261         par.IOPattern = MFX_IOPATTERN_IN_VIDEO_MEMORY | MFX_IOPATTERN_OUT_VIDEO_MEMORY;
262     }
263
264     par.AsyncDepth = 1;    // TODO async
265
266     par.vpp.In = hw_frames_hwctx->surfaces[0].Info;
267
268     par.vpp.In.CropW = ctx->inputs[0]->w;
269     par.vpp.In.CropH = ctx->inputs[0]->h;
270
271     if (ctx->inputs[0]->frame_rate.num) {
272         par.vpp.In.FrameRateExtN = ctx->inputs[0]->frame_rate.num;
273         par.vpp.In.FrameRateExtD = ctx->inputs[0]->frame_rate.den;
274     } else {
275         par.vpp.In.FrameRateExtN = ctx->inputs[0]->time_base.num;
276         par.vpp.In.FrameRateExtD = ctx->inputs[0]->time_base.den;
277     }
278
279     par.vpp.Out = par.vpp.In;
280
281     if (ctx->outputs[0]->frame_rate.num) {
282         par.vpp.Out.FrameRateExtN = ctx->outputs[0]->frame_rate.num;
283         par.vpp.Out.FrameRateExtD = ctx->outputs[0]->frame_rate.den;
284     } else {
285         par.vpp.Out.FrameRateExtN = ctx->outputs[0]->time_base.num;
286         par.vpp.Out.FrameRateExtD = ctx->outputs[0]->time_base.den;
287     }
288
289     err = MFXVideoVPP_Init(s->session, &par);
290     if (err != MFX_ERR_NONE) {
291         av_log(ctx, AV_LOG_ERROR, "Error opening the VPP for deinterlacing: %d\n", err);
292         return AVERROR_UNKNOWN;
293     }
294
295     return 0;
296 }
297
298 static int qsvdeint_config_props(AVFilterLink *outlink)
299 {
300     AVFilterContext *ctx = outlink->src;
301     AVFilterLink *inlink = ctx->inputs[0];
302     QSVDeintContext  *s = ctx->priv;
303     int ret;
304
305     qsvdeint_uninit(ctx);
306
307     s->last_pts = AV_NOPTS_VALUE;
308     outlink->frame_rate = av_mul_q(inlink->frame_rate,
309                                    (AVRational){ 2, 1 });
310     outlink->time_base  = av_mul_q(inlink->time_base,
311                                    (AVRational){ 1, 2 });
312
313     /* check that we have a hw context */
314     if (!inlink->hw_frames_ctx) {
315         av_log(ctx, AV_LOG_ERROR, "No hw context provided on input\n");
316         return AVERROR(EINVAL);
317     }
318
319     s->hw_frames_ctx = av_buffer_ref(inlink->hw_frames_ctx);
320     if (!s->hw_frames_ctx)
321         return AVERROR(ENOMEM);
322
323     av_buffer_unref(&outlink->hw_frames_ctx);
324     outlink->hw_frames_ctx = av_buffer_ref(inlink->hw_frames_ctx);
325     if (!outlink->hw_frames_ctx) {
326         qsvdeint_uninit(ctx);
327         return AVERROR(ENOMEM);
328     }
329
330     ret = init_out_session(ctx);
331     if (ret < 0)
332         return ret;
333
334
335     return 0;
336 }
337
338 static void clear_unused_frames(QSVDeintContext *s)
339 {
340     QSVFrame *cur = s->work_frames;
341     while (cur) {
342         if (!cur->surface.Data.Locked) {
343             av_frame_free(&cur->frame);
344             cur->used = 0;
345         }
346         cur = cur->next;
347     }
348 }
349
350 static int get_free_frame(QSVDeintContext *s, QSVFrame **f)
351 {
352     QSVFrame *frame, **last;
353
354     clear_unused_frames(s);
355
356     frame = s->work_frames;
357     last  = &s->work_frames;
358     while (frame) {
359         if (!frame->used) {
360             *f = frame;
361             return 0;
362         }
363
364         last  = &frame->next;
365         frame = frame->next;
366     }
367
368     frame = av_mallocz(sizeof(*frame));
369     if (!frame)
370         return AVERROR(ENOMEM);
371     *last = frame;
372     *f    = frame;
373
374     return 0;
375 }
376
377 static int submit_frame(AVFilterContext *ctx, AVFrame *frame,
378                         mfxFrameSurface1 **surface)
379 {
380     QSVDeintContext *s = ctx->priv;
381     QSVFrame *qf;
382     int ret;
383
384     ret = get_free_frame(s, &qf);
385     if (ret < 0)
386         return ret;
387
388     qf->frame = frame;
389
390     qf->surface = *(mfxFrameSurface1*)qf->frame->data[3];
391
392     qf->surface.Data.Locked = 0;
393     qf->surface.Info.CropW  = qf->frame->width;
394     qf->surface.Info.CropH  = qf->frame->height;
395
396     qf->surface.Info.PicStruct = !qf->frame->interlaced_frame ? MFX_PICSTRUCT_PROGRESSIVE :
397                                  (qf->frame->top_field_first ? MFX_PICSTRUCT_FIELD_TFF :
398                                                            MFX_PICSTRUCT_FIELD_BFF);
399     if (qf->frame->repeat_pict == 1)
400         qf->surface.Info.PicStruct |= MFX_PICSTRUCT_FIELD_REPEATED;
401     else if (qf->frame->repeat_pict == 2)
402         qf->surface.Info.PicStruct |= MFX_PICSTRUCT_FRAME_DOUBLING;
403     else if (qf->frame->repeat_pict == 4)
404         qf->surface.Info.PicStruct |= MFX_PICSTRUCT_FRAME_TRIPLING;
405
406     if (ctx->inputs[0]->frame_rate.num) {
407         qf->surface.Info.FrameRateExtN = ctx->inputs[0]->frame_rate.num;
408         qf->surface.Info.FrameRateExtD = ctx->inputs[0]->frame_rate.den;
409     } else {
410         qf->surface.Info.FrameRateExtN = ctx->inputs[0]->time_base.num;
411         qf->surface.Info.FrameRateExtD = ctx->inputs[0]->time_base.den;
412     }
413
414     qf->surface.Data.TimeStamp = av_rescale_q(qf->frame->pts,
415                                               ctx->inputs[0]->time_base,
416                                               (AVRational){1, 90000});
417
418     *surface = &qf->surface;
419     qf->used = 1;
420
421     return 0;
422 }
423
424 static int process_frame(AVFilterContext *ctx, const AVFrame *in,
425                          mfxFrameSurface1 *surf_in)
426 {
427     QSVDeintContext    *s = ctx->priv;
428     AVFilterLink  *inlink = ctx->inputs[0];
429     AVFilterLink *outlink = ctx->outputs[0];
430
431     AVFrame *out;
432     mfxFrameSurface1 *surf_out;
433     mfxSyncPoint sync = NULL;
434     mfxStatus err;
435     int ret, again = 0;
436
437     out = ff_get_video_buffer(outlink, outlink->w, outlink->h);
438     if (!out) {
439         ret = AVERROR(ENOMEM);
440         goto fail;
441     }
442
443     surf_out = (mfxFrameSurface1*)out->data[3];
444     surf_out->Info.CropW     = outlink->w;
445     surf_out->Info.CropH     = outlink->h;
446     surf_out->Info.PicStruct = MFX_PICSTRUCT_PROGRESSIVE;
447
448     do {
449         err = MFXVideoVPP_RunFrameVPPAsync(s->session, surf_in, surf_out,
450                                            NULL, &sync);
451         if (err == MFX_WRN_DEVICE_BUSY)
452             av_usleep(1);
453     } while (err == MFX_WRN_DEVICE_BUSY);
454
455     if (err == MFX_ERR_MORE_DATA) {
456         av_frame_free(&out);
457         return QSVDEINT_MORE_INPUT;
458     }
459
460     if ((err < 0 && err != MFX_ERR_MORE_SURFACE) || !sync) {
461         av_log(ctx, AV_LOG_ERROR, "Error during deinterlacing: %d\n", err);
462         ret = AVERROR_UNKNOWN;
463         goto fail;
464     }
465     if (err == MFX_ERR_MORE_SURFACE)
466         again = 1;
467
468     do {
469         err = MFXVideoCORE_SyncOperation(s->session, sync, 1000);
470     } while (err == MFX_WRN_IN_EXECUTION);
471     if (err < 0) {
472         av_log(ctx, AV_LOG_ERROR, "Error synchronizing the operation: %d\n", err);
473         ret = AVERROR_UNKNOWN;
474         goto fail;
475     }
476
477     ret = av_frame_copy_props(out, in);
478     if (ret < 0)
479         goto fail;
480
481     out->width            = outlink->w;
482     out->height           = outlink->h;
483     out->interlaced_frame = 0;
484
485     out->pts = av_rescale_q(out->pts, inlink->time_base, outlink->time_base);
486     if (out->pts == s->last_pts)
487         out->pts++;
488     s->last_pts = out->pts;
489
490     ret = ff_filter_frame(outlink, out);
491     if (ret < 0)
492         return ret;
493
494     return again ? QSVDEINT_MORE_OUTPUT : 0;
495 fail:
496     av_frame_free(&out);
497     return ret;
498 }
499
500 static int qsvdeint_filter_frame(AVFilterLink *link, AVFrame *in)
501 {
502     AVFilterContext *ctx = link->dst;
503
504     mfxFrameSurface1 *surf_in;
505     int ret;
506
507     ret = submit_frame(ctx, in, &surf_in);
508     if (ret < 0) {
509         av_frame_free(&in);
510         return ret;
511     }
512
513     do {
514         ret = process_frame(ctx, in, surf_in);
515         if (ret < 0)
516             return ret;
517     } while (ret == QSVDEINT_MORE_OUTPUT);
518
519     return 0;
520 }
521
522 static int qsvdeint_request_frame(AVFilterLink *outlink)
523 {
524     AVFilterContext *ctx = outlink->src;
525
526     return ff_request_frame(ctx->inputs[0]);
527 }
528
529 #define OFFSET(x) offsetof(QSVDeintContext, x)
530 #define FLAGS AV_OPT_FLAG_VIDEO_PARAM
531 static const AVOption options[] = {
532     { NULL },
533 };
534
535 static const AVClass qsvdeint_class = {
536     .class_name = "deinterlace_qsv",
537     .item_name  = av_default_item_name,
538     .option     = options,
539     .version    = LIBAVUTIL_VERSION_INT,
540 };
541
542 static const AVFilterPad qsvdeint_inputs[] = {
543     {
544         .name         = "default",
545         .type         = AVMEDIA_TYPE_VIDEO,
546         .filter_frame = qsvdeint_filter_frame,
547     },
548     { NULL }
549 };
550
551 static const AVFilterPad qsvdeint_outputs[] = {
552     {
553         .name          = "default",
554         .type          = AVMEDIA_TYPE_VIDEO,
555         .config_props  = qsvdeint_config_props,
556         .request_frame = qsvdeint_request_frame,
557     },
558     { NULL }
559 };
560
561 AVFilter ff_vf_deinterlace_qsv = {
562     .name      = "deinterlace_qsv",
563     .description = NULL_IF_CONFIG_SMALL("QuickSync video deinterlacing"),
564
565     .uninit        = qsvdeint_uninit,
566     .query_formats = qsvdeint_query_formats,
567
568     .priv_size = sizeof(QSVDeintContext),
569     .priv_class = &qsvdeint_class,
570
571     .inputs    = qsvdeint_inputs,
572     .outputs   = qsvdeint_outputs,
573 };