Fix a segfault (buffer overflow for win32 only).
[vlc.git] / modules / video_output / drawable.c
1 /**
2  * @file drawable.c
3  * @brief Legacy monolithic LibVLC video window provider
4  */
5 /*****************************************************************************
6  * Copyright © 2009 Rémi Denis-Courmont
7  *
8  * This library is free software; you can redistribute it and/or
9  * modify it under the terms of the GNU General Public License
10  * as published by the Free Software Foundation; either version 2.0
11  * of the License, or (at your option) any later version.
12  *
13  * This library is distributed in the hope that it will be useful,
14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
16  * GNU General Public License for more details.
17  *
18  * You should have received a copy of the GNU Lesser General Public
19  * License along with this library; if not, write to the Free Software
20  * Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA  02110-1301  USA
21  ****************************************************************************/
22
23 #ifdef HAVE_CONFIG_H
24 # include <config.h>
25 #endif
26
27 #include <stdarg.h>
28 #include <assert.h>
29
30 #include <vlc_common.h>
31 #include <vlc_plugin.h>
32 #include <vlc_vout.h>
33 #include <vlc_window.h>
34
35 static int  OpenXID (vlc_object_t *);
36 static int  OpenHWND (vlc_object_t *);
37 static void Close (vlc_object_t *);
38
39 #define XID_TEXT N_("ID of the video output X window")
40 #define XID_LONGTEXT N_( \
41     "VLC can embed its video output in an existing X11 window. " \
42     "This is the X identifier of that window (0 means none).")
43
44 /*
45  * Module descriptor
46  */
47 vlc_module_begin ()
48     set_shortname (N_("Drawable"))
49     set_description (N_("Embedded X window video"))
50     set_category (CAT_VIDEO)
51     set_subcategory (SUBCAT_VIDEO_VOUT)
52     set_capability ("xwindow", 70)
53     set_callbacks (OpenXID, Close)
54     add_integer ("drawable-xid", 0, NULL, XID_TEXT, XID_LONGTEXT, true)
55         change_unsaveable ()
56         /*change_integer_range (0, 0xffffffff)*/
57
58     add_submodule ()
59         set_description (N_("Embedded Windows video"))
60         set_capability ("hwnd", 70)
61         set_callbacks (OpenHWND, Close)
62
63 vlc_module_end ()
64
65 static int Control (vout_window_t *, int, va_list);
66
67 /* TODO: move to vlc_variables.h */
68 static inline void *var_GetAddress (vlc_object_t *o, const char *name)
69 {
70     vlc_value_t val;
71     return var_Get (o, name, &val) ? NULL : val.p_address;
72 }
73
74 static vlc_mutex_t serializer = VLC_STATIC_MUTEX;
75
76 /**
77  * Find the drawable set by libvlc application.
78  */
79 static int Open (vlc_object_t *obj, const char *varname, bool ptr)
80 {
81     vout_window_t *wnd = (vout_window_t *)obj;
82     void **used, *val;
83     size_t n = 0;
84
85     if (var_Create (obj->p_libvlc, "drawables-in-use", VLC_VAR_ADDRESS)
86      || var_Create (obj, varname, VLC_VAR_DOINHERIT
87                                   | (ptr ? VLC_VAR_ADDRESS : VLC_VAR_INTEGER)))
88         return VLC_ENOMEM;
89
90     if (ptr)
91         val = var_GetAddress (obj, varname);
92     else
93         val = (void *)(uintptr_t)var_GetInteger (obj, varname);
94     var_Destroy (obj, varname);
95
96     /* Keep a list of busy drawables, so we don't overlap videos if there are
97      * more than one video track in the stream. */
98     vlc_mutex_lock (&serializer);
99     /* TODO: per-type list of busy drawables */
100     used = var_GetAddress (VLC_OBJECT (obj->p_libvlc), "drawables-in-use");
101     if (used != NULL)
102     {
103         while (used[n] != NULL)
104         {
105             if (used[n] == val)
106                 goto skip;
107             n++;
108         }
109     }
110
111     used = realloc (used, sizeof (*used) * (n + 2));
112     if (used != NULL)
113     {
114         used[n] = val;
115         used[n + 1] = NULL;
116         var_SetAddress (obj->p_libvlc, "drawables-in-use", used);
117     }
118     else
119     {
120 skip:
121         msg_Warn (wnd, "drawable %p is busy", val);
122         val = NULL;
123     }
124     vlc_mutex_unlock (&serializer);
125
126     if (val == NULL)
127         return VLC_EGENERIC;
128
129     if (ptr)
130         wnd->handle.hwnd = val;
131     else
132         wnd->handle.xid = (uintptr_t)val;
133
134     /* FIXME: check that X server matches --x11-display (if specified) */
135     /* FIXME: get window size (in platform-dependent ways) */
136
137     wnd->control = Control;
138     wnd->p_sys = val;
139     return VLC_SUCCESS;
140 }
141
142 static int  OpenXID (vlc_object_t *obj)
143 {
144     return Open (obj, "drawable-xid", false);
145 }
146
147 static int  OpenHWND (vlc_object_t *obj)
148 {
149     return Open (obj, "drawable-hwnd", true);
150 }
151
152
153 /**
154  * Release the drawable.
155  */
156 static void Close (vlc_object_t *obj)
157 {
158     vout_window_t *wnd = (vout_window_t *)obj;
159     void **used, *val = wnd->p_sys;
160     size_t n = 0;
161
162     /* Remove this drawable from the list of busy ones */
163     vlc_mutex_lock (&serializer);
164     used = var_GetAddress (VLC_OBJECT (obj->p_libvlc), "drawables-in-use");
165     assert (used);
166     while (used[n] != val)
167     {
168         assert (used[n]);
169         n++;
170     }
171     do
172         used[n] = used[n + 1];
173     while (used[++n] != NULL);
174
175     if (n == 0)
176       /* should not be needed (var_Destroy...) but better safe than sorry: */
177          var_SetAddress (obj->p_libvlc, "drawables-in-use", NULL);
178     vlc_mutex_unlock (&serializer);
179
180     if (n == 0)
181         free (used);
182     /* Variables are reference-counted... */
183     var_Destroy (obj->p_libvlc, "drawables-in-use");
184 }
185
186
187 static int Control (vout_window_t *wnd, int query, va_list ap)
188 {
189     switch (query)
190     {
191         case VOUT_SET_SIZE: /* not allowed */
192         case VOUT_SET_STAY_ON_TOP: /* not allowed either, would be ugly */
193             return VLC_EGENERIC;
194     }
195
196     msg_Warn (wnd, "unsupported control query %d", query);
197     return VLC_EGENERIC;
198 }
199