lavd/fbdev_enc: more stream validation restrictive
[ffmpeg.git] / libavdevice / fbdev_enc.c
1 /*
2  * Copyright (c) 2013 Lukasz Marek
3  *
4  * This file is part of FFmpeg.
5  *
6  * FFmpeg is free software; you can redistribute it and/or
7  * modify it under the terms of the GNU Lesser General Public
8  * License as published by the Free Software Foundation; either
9  * version 2.1 of the License, or (at your option) any later version.
10  *
11  * FFmpeg is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14  * Lesser General Public License for more details.
15  *
16  * You should have received a copy of the GNU Lesser General Public
17  * License along with FFmpeg; if not, write to the Free Software
18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
19  */
20
21 #include <unistd.h>
22 #include <fcntl.h>
23 #include <sys/ioctl.h>
24 #include <sys/mman.h>
25 #include <linux/fb.h>
26 #include "libavutil/pixdesc.h"
27 #include "libavutil/log.h"
28 #include "libavutil/mem.h"
29 #include "libavutil/opt.h"
30 #include "libavformat/avformat.h"
31 #include "fbdev_common.h"
32
33 typedef struct {
34     AVClass *class;                   ///< class for private options
35     int xoffset;                      ///< x coordinate of top left corner
36     int yoffset;                      ///< y coordinate of top left corner
37     struct fb_var_screeninfo varinfo; ///< framebuffer variable info
38     struct fb_fix_screeninfo fixinfo; ///< framebuffer fixed info
39     int fd;                           ///< framebuffer device file descriptor
40     uint8_t *data;                    ///< framebuffer data
41 } FBDevContext;
42
43 static av_cold int fbdev_write_header(AVFormatContext *h)
44 {
45     FBDevContext *fbdev = h->priv_data;
46     enum AVPixelFormat pix_fmt;
47     AVStream *st = NULL;
48     int ret, flags = O_RDWR;
49     int i;
50
51     if (h->nb_streams != 1 || h->streams[0]->codec->codec_type != AVMEDIA_TYPE_VIDEO) {
52         av_log(fbdev, AV_LOG_ERROR, "Only a single video stream is supported.\n");
53         return AVERROR(EINVAL);
54     }
55     st = h->streams[0];
56
57     if ((fbdev->fd = avpriv_open(h->filename, flags)) == -1) {
58         ret = AVERROR(errno);
59         av_log(h, AV_LOG_ERROR,
60                "Could not open framebuffer device '%s': %s\n",
61                h->filename, av_err2str(ret));
62         return ret;
63     }
64
65     if (ioctl(fbdev->fd, FBIOGET_VSCREENINFO, &fbdev->varinfo) < 0) {
66         ret = AVERROR(errno);
67         av_log(h, AV_LOG_ERROR, "FBIOGET_VSCREENINFO: %s\n", av_err2str(ret));
68         goto fail;
69     }
70
71     if (ioctl(fbdev->fd, FBIOGET_FSCREENINFO, &fbdev->fixinfo) < 0) {
72         ret = AVERROR(errno);
73         av_log(h, AV_LOG_ERROR, "FBIOGET_FSCREENINFO: %s\n", av_err2str(ret));
74         goto fail;
75     }
76
77     pix_fmt = ff_get_pixfmt_from_fb_varinfo(&fbdev->varinfo);
78     if (pix_fmt == AV_PIX_FMT_NONE) {
79         ret = AVERROR(EINVAL);
80         av_log(h, AV_LOG_ERROR, "Framebuffer pixel format not supported.\n");
81         goto fail;
82     }
83
84     fbdev->data = mmap(NULL, fbdev->fixinfo.smem_len, PROT_WRITE, MAP_SHARED, fbdev->fd, 0);
85     if (fbdev->data == MAP_FAILED) {
86         ret = AVERROR(errno);
87         av_log(h, AV_LOG_ERROR, "Error in mmap(): %s\n", av_err2str(ret));
88         goto fail;
89     }
90
91     return 0;
92   fail:
93     close(fbdev->fd);
94     return ret;
95 }
96
97 static int fbdev_write_packet(AVFormatContext *h, AVPacket *pkt)
98 {
99     FBDevContext *fbdev = h->priv_data;
100     uint8_t *pin, *pout;
101     enum AVPixelFormat fb_pix_fmt;
102     int disp_height;
103     int bytes_to_copy;
104     AVCodecContext *codec_ctx = h->streams[0]->codec;
105     enum AVPixelFormat video_pix_fmt = codec_ctx->pix_fmt;
106     int video_width = codec_ctx->width;
107     int video_height = codec_ctx->height;
108     int bytes_per_pixel = ((codec_ctx->bits_per_coded_sample + 7) >> 3);
109     int src_line_size = video_width * bytes_per_pixel;
110     int i;
111
112     if (ioctl(fbdev->fd, FBIOGET_VSCREENINFO, &fbdev->varinfo) < 0)
113         av_log(h, AV_LOG_WARNING,
114                "Error refreshing variable info: %s\n", av_err2str(AVERROR(errno)));
115
116     fb_pix_fmt = ff_get_pixfmt_from_fb_varinfo(&fbdev->varinfo);
117
118     if (fb_pix_fmt != video_pix_fmt) {
119         av_log(h, AV_LOG_ERROR, "Pixel format %s is not supported, use %s\n",
120                av_get_pix_fmt_name(video_pix_fmt), av_get_pix_fmt_name(fb_pix_fmt));
121         return AVERROR(EINVAL);
122     }
123
124     disp_height = FFMIN(fbdev->varinfo.yres, video_height);
125     bytes_to_copy = FFMIN(fbdev->varinfo.xres, video_width) * bytes_per_pixel;
126
127     pin  = pkt->data;
128     pout = fbdev->data +
129            bytes_per_pixel * fbdev->varinfo.xoffset +
130            fbdev->varinfo.yoffset * fbdev->fixinfo.line_length;
131
132     if (fbdev->xoffset) {
133         if (fbdev->xoffset < 0) {
134             if (-fbdev->xoffset >= video_width) //nothing to display
135                 return 0;
136             bytes_to_copy += fbdev->xoffset * bytes_per_pixel;
137             pin -= fbdev->xoffset * bytes_per_pixel;
138         } else {
139             int diff = (video_width + fbdev->xoffset) - fbdev->varinfo.xres;
140             if (diff > 0) {
141                 if (diff >= video_width) //nothing to display
142                     return 0;
143                 bytes_to_copy -= diff * bytes_per_pixel;
144             }
145             pout += bytes_per_pixel * fbdev->xoffset;
146         }
147     }
148
149     if (fbdev->yoffset) {
150         if (fbdev->yoffset < 0) {
151             if (-fbdev->yoffset >= video_height) //nothing to display
152                 return 0;
153             disp_height += fbdev->yoffset;
154             pin -= fbdev->yoffset * src_line_size;
155         } else {
156             int diff = (video_height + fbdev->yoffset) - fbdev->varinfo.yres;
157             if (diff > 0) {
158                 if (diff >= video_height) //nothing to display
159                     return 0;
160                 disp_height -= diff;
161             }
162             pout += fbdev->yoffset * fbdev->fixinfo.line_length;
163         }
164     }
165
166     for (i = 0; i < disp_height; i++) {
167         memcpy(pout, pin, bytes_to_copy);
168         pout += fbdev->fixinfo.line_length;
169         pin  += src_line_size;
170     }
171
172     return 0;
173 }
174
175 static av_cold int fbdev_write_trailer(AVFormatContext *h)
176 {
177     FBDevContext *fbdev = h->priv_data;
178     munmap(fbdev->data, fbdev->fixinfo.smem_len);
179     close(fbdev->fd);
180     return 0;
181 }
182
183 #define OFFSET(x) offsetof(FBDevContext, x)
184 #define ENC AV_OPT_FLAG_ENCODING_PARAM
185 static const AVOption options[] = {
186     { "xoffset", "set x coordinate of top left corner", OFFSET(xoffset), AV_OPT_TYPE_INT, {.i64 = 0}, INT_MIN, INT_MAX, ENC },
187     { "yoffset", "set y coordinate of top left corner", OFFSET(yoffset), AV_OPT_TYPE_INT, {.i64 = 0}, INT_MIN, INT_MAX, ENC },
188     { NULL }
189 };
190
191 static const AVClass fbdev_class = {
192     .class_name = "fbdev outdev",
193     .item_name  = av_default_item_name,
194     .option     = options,
195     .version    = LIBAVUTIL_VERSION_INT,
196 };
197
198 AVOutputFormat ff_fbdev_muxer = {
199     .name           = "fbdev",
200     .long_name      = NULL_IF_CONFIG_SMALL("Linux framebuffer"),
201     .priv_data_size = sizeof(FBDevContext),
202     .audio_codec    = AV_CODEC_ID_NONE,
203     .video_codec    = AV_CODEC_ID_RAWVIDEO,
204     .write_header   = fbdev_write_header,
205     .write_packet   = fbdev_write_packet,
206     .write_trailer  = fbdev_write_trailer,
207     .flags          = AVFMT_NOFILE | AVFMT_VARIABLE_FPS | AVFMT_NOTIMESTAMPS,
208     .priv_class     = &fbdev_class,
209 };