lavd: add new API for iterating input and output devices
[ffmpeg.git] / libavdevice / libndi_newtek_dec.c
1 /*
2  * Newtek NDI input
3  * Copyright (c) 2017 Maksym Veremeyenko
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with FFmpeg; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 #include "libavformat/avformat.h"
23 #include "libavformat/internal.h"
24 #include "libavutil/opt.h"
25 #include "libavutil/imgutils.h"
26
27 #include "libndi_newtek_common.h"
28
29 struct NDIContext {
30     const AVClass *cclass;
31
32     /* Options */
33     int find_sources;
34     int64_t wait_sources;
35     int allow_video_fields;
36
37     /* Runtime */
38     NDIlib_recv_create_t *recv;
39     NDIlib_find_instance_t ndi_find;
40
41     /* Streams */
42     AVStream *video_st, *audio_st;
43 };
44
45 static int ndi_set_video_packet(AVFormatContext *avctx, NDIlib_video_frame_t *v, AVPacket *pkt)
46 {
47     int ret;
48     struct NDIContext *ctx = avctx->priv_data;
49
50     ret = av_new_packet(pkt, v->yres * v->line_stride_in_bytes);
51     if (ret < 0)
52         return ret;
53
54     pkt->dts = pkt->pts = av_rescale_q(v->timecode, NDI_TIME_BASE_Q, ctx->video_st->time_base);
55     pkt->duration = av_rescale_q(1, (AVRational){v->frame_rate_D, v->frame_rate_N}, ctx->video_st->time_base);
56
57     av_log(avctx, AV_LOG_DEBUG, "%s: pkt->dts = pkt->pts = %"PRId64", duration=%"PRId64", timecode=%"PRId64"\n",
58         __func__, pkt->dts, pkt->duration, v->timecode);
59
60     pkt->flags         |= AV_PKT_FLAG_KEY;
61     pkt->stream_index   = ctx->video_st->index;
62
63     memcpy(pkt->data, v->p_data, pkt->size);
64
65     return 0;
66 }
67
68 static int ndi_set_audio_packet(AVFormatContext *avctx, NDIlib_audio_frame_t *a, AVPacket *pkt)
69 {
70     int ret;
71     struct NDIContext *ctx = avctx->priv_data;
72
73     NDIlib_audio_frame_interleaved_16s_t dst;
74
75     ret = av_new_packet(pkt, 2 * a->no_samples * a->no_channels);
76     if (ret < 0)
77         return ret;
78
79     pkt->dts = pkt->pts = av_rescale_q(a->timecode, NDI_TIME_BASE_Q, ctx->audio_st->time_base);
80     pkt->duration = av_rescale_q(1, (AVRational){a->no_samples, a->sample_rate}, ctx->audio_st->time_base);
81
82     av_log(avctx, AV_LOG_DEBUG, "%s: pkt->dts = pkt->pts = %"PRId64", duration=%"PRId64", timecode=%"PRId64"\n",
83         __func__, pkt->dts, pkt->duration, a->timecode);
84
85     pkt->flags       |= AV_PKT_FLAG_KEY;
86     pkt->stream_index = ctx->audio_st->index;
87
88     dst.reference_level = 0;
89     dst.p_data = (short *)pkt->data;
90     NDIlib_util_audio_to_interleaved_16s(a, &dst);
91
92     return 0;
93 }
94
95 static int ndi_find_sources(AVFormatContext *avctx, const char *name, NDIlib_source_t *source_to_connect_to)
96 {
97     int j = AVERROR(ENODEV);
98     unsigned int n, i;
99     struct NDIContext *ctx = avctx->priv_data;
100     const NDIlib_source_t *ndi_srcs = NULL;
101     const NDIlib_find_create_t find_create_desc = { .show_local_sources = true,
102         .p_groups = NULL, .p_extra_ips = NULL };
103
104     if (!ctx->ndi_find)
105         ctx->ndi_find = NDIlib_find_create2(&find_create_desc);
106     if (!ctx->ndi_find) {
107         av_log(avctx, AV_LOG_ERROR, "NDIlib_find_create failed.\n");
108         return AVERROR(EIO);
109     }
110
111     while (1)
112     {
113         int f, t = ctx->wait_sources / 1000;
114         av_log(avctx, AV_LOG_DEBUG, "Waiting for sources %d miliseconds\n", t);
115         f = NDIlib_find_wait_for_sources(ctx->ndi_find, t);
116         av_log(avctx, AV_LOG_DEBUG, "NDIlib_find_wait_for_sources returns %d\n", f);
117         if (!f)
118             break;
119     };
120
121     ndi_srcs = NDIlib_find_get_current_sources(ctx->ndi_find, &n);
122
123     if (ctx->find_sources)
124         av_log(avctx, AV_LOG_INFO, "Found %d NDI sources:\n", n);
125
126     for (i = 0; i < n; i++) {
127         if (ctx->find_sources)
128             av_log(avctx, AV_LOG_INFO, "\t'%s'\t'%s'\n", ndi_srcs[i].p_ndi_name, ndi_srcs[i].p_ip_address);
129
130         if (!strcmp(name, ndi_srcs[i].p_ndi_name)) {
131             *source_to_connect_to = ndi_srcs[i];
132             j = i;
133         }
134     }
135
136     return j;
137 }
138
139 static int ndi_read_header(AVFormatContext *avctx)
140 {
141     int ret;
142     NDIlib_recv_create_t recv_create_desc;
143     const NDIlib_tally_t tally_state = { .on_program = true, .on_preview = false };
144     struct NDIContext *ctx = avctx->priv_data;
145
146     if (!NDIlib_initialize()) {
147         av_log(avctx, AV_LOG_ERROR, "NDIlib_initialize failed.\n");
148         return AVERROR_EXTERNAL;
149     }
150
151     /* Find available sources. */
152     ret = ndi_find_sources(avctx, avctx->url, &recv_create_desc.source_to_connect_to);
153     if (ctx->find_sources) {
154         return AVERROR_EXIT;
155     }
156     if (ret < 0)
157         return ret;
158
159     /* Create receiver description */
160     recv_create_desc.color_format = NDIlib_recv_color_format_e_UYVY_RGBA;
161     recv_create_desc.bandwidth = NDIlib_recv_bandwidth_highest;
162     recv_create_desc.allow_video_fields = ctx->allow_video_fields;
163
164     /* Create the receiver */
165     ctx->recv = NDIlib_recv_create(&recv_create_desc);
166     if (!ctx->recv) {
167         av_log(avctx, AV_LOG_ERROR, "NDIlib_recv_create2 failed.\n");
168         return AVERROR(EIO);
169     }
170
171     /* Set tally */
172     NDIlib_recv_set_tally(ctx->recv, &tally_state);
173
174     avctx->ctx_flags |= AVFMTCTX_NOHEADER;
175
176     return 0;
177 }
178
179 static int ndi_create_video_stream(AVFormatContext *avctx, NDIlib_video_frame_t *v)
180 {
181     AVStream *st;
182     AVRational tmp;
183     struct NDIContext *ctx = avctx->priv_data;
184
185     st = avformat_new_stream(avctx, NULL);
186     if (!st) {
187         av_log(avctx, AV_LOG_ERROR, "Cannot add video stream\n");
188         return AVERROR(ENOMEM);
189     }
190
191     st->time_base                   = NDI_TIME_BASE_Q;
192     st->r_frame_rate                = av_make_q(v->frame_rate_N, v->frame_rate_D);
193
194     tmp = av_mul_q(av_d2q(v->picture_aspect_ratio, INT_MAX), (AVRational){v->yres, v->xres});
195     av_reduce(&st->sample_aspect_ratio.num, &st->sample_aspect_ratio.den, tmp.num, tmp.den, 1000);
196     st->codecpar->sample_aspect_ratio = st->sample_aspect_ratio;
197
198     st->codecpar->codec_type        = AVMEDIA_TYPE_VIDEO;
199     st->codecpar->width             = v->xres;
200     st->codecpar->height            = v->yres;
201     st->codecpar->codec_id          = AV_CODEC_ID_RAWVIDEO;
202     st->codecpar->bit_rate          = av_rescale(v->xres * v->yres * 16, v->frame_rate_N, v->frame_rate_D);
203     st->codecpar->field_order       = v->frame_format_type == NDIlib_frame_format_type_progressive
204         ? AV_FIELD_PROGRESSIVE : AV_FIELD_TT;
205
206     if (NDIlib_FourCC_type_UYVY == v->FourCC || NDIlib_FourCC_type_UYVA == v->FourCC) {
207         st->codecpar->format        = AV_PIX_FMT_UYVY422;
208         st->codecpar->codec_tag     = MKTAG('U', 'Y', 'V', 'Y');
209         if (NDIlib_FourCC_type_UYVA == v->FourCC)
210             av_log(avctx, AV_LOG_WARNING, "Alpha channel ignored\n");
211     } else if (NDIlib_FourCC_type_BGRA == v->FourCC) {
212         st->codecpar->format        = AV_PIX_FMT_BGRA;
213         st->codecpar->codec_tag     = MKTAG('B', 'G', 'R', 'A');
214     } else if (NDIlib_FourCC_type_BGRX == v->FourCC) {
215         st->codecpar->format        = AV_PIX_FMT_BGR0;
216         st->codecpar->codec_tag     = MKTAG('B', 'G', 'R', '0');
217     } else if (NDIlib_FourCC_type_RGBA == v->FourCC) {
218         st->codecpar->format        = AV_PIX_FMT_RGBA;
219         st->codecpar->codec_tag     = MKTAG('R', 'G', 'B', 'A');
220     } else if (NDIlib_FourCC_type_RGBX == v->FourCC) {
221         st->codecpar->format        = AV_PIX_FMT_RGB0;
222         st->codecpar->codec_tag     = MKTAG('R', 'G', 'B', '0');
223     } else {
224         av_log(avctx, AV_LOG_ERROR, "Unsupported video stream format, v->FourCC=%d\n", v->FourCC);
225         return AVERROR(EINVAL);
226     }
227
228     avpriv_set_pts_info(st, 64, 1, NDI_TIME_BASE);
229
230     ctx->video_st = st;
231
232     return 0;
233 }
234
235 static int ndi_create_audio_stream(AVFormatContext *avctx, NDIlib_audio_frame_t *a)
236 {
237     AVStream *st;
238     struct NDIContext *ctx = avctx->priv_data;
239
240     st = avformat_new_stream(avctx, NULL);
241     if (!st) {
242         av_log(avctx, AV_LOG_ERROR, "Cannot add audio stream\n");
243         return AVERROR(ENOMEM);
244     }
245
246     st->codecpar->codec_type        = AVMEDIA_TYPE_AUDIO;
247     st->codecpar->codec_id          = AV_CODEC_ID_PCM_S16LE;
248     st->codecpar->sample_rate       = a->sample_rate;
249     st->codecpar->channels          = a->no_channels;
250
251     avpriv_set_pts_info(st, 64, 1, NDI_TIME_BASE);
252
253     ctx->audio_st = st;
254
255     return 0;
256 }
257
258 static int ndi_read_packet(AVFormatContext *avctx, AVPacket *pkt)
259 {
260     int ret = 0;
261     struct NDIContext *ctx = avctx->priv_data;
262
263     while (!ret) {
264         NDIlib_video_frame_t v;
265         NDIlib_audio_frame_t a;
266         NDIlib_metadata_frame_t m;
267         NDIlib_frame_type_e t;
268
269         av_log(avctx, AV_LOG_DEBUG, "NDIlib_recv_capture...\n");
270         t = NDIlib_recv_capture(ctx->recv, &v, &a, &m, 40);
271         av_log(avctx, AV_LOG_DEBUG, "NDIlib_recv_capture=%d\n", t);
272
273         if (t == NDIlib_frame_type_video) {
274             if (!ctx->video_st)
275                 ret = ndi_create_video_stream(avctx, &v);
276             if (!ret)
277                 ret = ndi_set_video_packet(avctx, &v, pkt);
278             NDIlib_recv_free_video(ctx->recv, &v);
279             break;
280         }
281         else if (t == NDIlib_frame_type_audio) {
282             if (!ctx->audio_st)
283                 ret = ndi_create_audio_stream(avctx, &a);
284             if (!ret)
285                 ret = ndi_set_audio_packet(avctx, &a, pkt);
286             NDIlib_recv_free_audio(ctx->recv, &a);
287             break;
288         }
289         else if (t == NDIlib_frame_type_metadata)
290             NDIlib_recv_free_metadata(ctx->recv, &m);
291         else if (t == NDIlib_frame_type_error){
292             av_log(avctx, AV_LOG_ERROR, "NDIlib_recv_capture failed with error\n");
293             ret = AVERROR(EIO);
294         }
295     };
296
297     return ret;
298 }
299
300 static int ndi_read_close(AVFormatContext *avctx)
301 {
302     struct NDIContext *ctx = (struct NDIContext *)avctx->priv_data;
303
304     if (ctx->recv)
305         NDIlib_recv_destroy(ctx->recv);
306
307     if (ctx->ndi_find)
308         NDIlib_find_destroy(ctx->ndi_find);
309
310     return 0;
311 }
312
313 #define OFFSET(x) offsetof(struct NDIContext, x)
314 #define DEC AV_OPT_FLAG_DECODING_PARAM
315
316 static const AVOption options[] = {
317     { "find_sources", "Find available sources"  , OFFSET(find_sources), AV_OPT_TYPE_BOOL, { .i64 = 0 }, 0, 1, DEC },
318     { "wait_sources", "Time to wait until the number of online sources have changed"  , OFFSET(wait_sources), AV_OPT_TYPE_DURATION, { .i64 = 1000000 }, 100000, 20000000, DEC },
319     { "allow_video_fields", "When this flag is FALSE, all video that you receive will be progressive"  , OFFSET(allow_video_fields), AV_OPT_TYPE_BOOL, { .i64 = 1 }, 0, 1, DEC },
320     { NULL },
321 };
322
323 static const AVClass libndi_newtek_demuxer_class = {
324     .class_name = "NDI demuxer",
325     .item_name  = av_default_item_name,
326     .option     = options,
327     .version    = LIBAVUTIL_VERSION_INT,
328     .category   = AV_CLASS_CATEGORY_DEVICE_VIDEO_INPUT,
329 };
330
331 AVInputFormat ff_libndi_newtek_demuxer = {
332     .name           = "libndi_newtek",
333     .long_name      = NULL_IF_CONFIG_SMALL("Network Device Interface (NDI) input using NewTek library"),
334     .flags          = AVFMT_NOFILE,
335     .priv_class     = &libndi_newtek_demuxer_class,
336     .priv_data_size = sizeof(struct NDIContext),
337     .read_header   = ndi_read_header,
338     .read_packet   = ndi_read_packet,
339     .read_close    = ndi_read_close,
340 };