XCB window: set background color to black
[vlc.git] / modules / video_output / xcb / xcb.c
1 /**
2  * @file xcb.c
3  * @brief X C Bindings video output module for VLC media player
4  */
5 /*****************************************************************************
6  * Copyright © 2009 Rémi Denis-Courmont
7  *
8  * This library is free software; you can redistribute it and/or
9  * modify it under the terms of the GNU General Public License
10  * as published by the Free Software Foundation; either version 2.0
11  * of the License, or (at your option) any later version.
12  *
13  * This library is distributed in the hope that it will be useful,
14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
16  * GNU General Public License for more details.
17  *
18  * You should have received a copy of the GNU Lesser General Public
19  * License along with this library; if not, write to the Free Software
20  * Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA  02110-1301  USA
21  ****************************************************************************/
22
23 #ifdef HAVE_CONFIG_H
24 # include <config.h>
25 #endif
26
27 #include <stdlib.h>
28 #include <assert.h>
29
30 #include <sys/types.h>
31 #include <sys/shm.h>
32
33 #include <xcb/xcb.h>
34 #include <xcb/shm.h>
35
36 #include <xcb/xcb_aux.h>
37 #include <xcb/xcb_image.h>
38
39 #include <vlc_common.h>
40 #include <vlc_plugin.h>
41 #include <vlc_vout.h>
42 #include <vlc_window.h>
43
44 #include "xcb_vlc.h"
45
46 #define DISPLAY_TEXT N_("X11 display")
47 #define DISPLAY_LONGTEXT N_( \
48     "X11 hardware display to use. By default VLC will " \
49     "use the value of the DISPLAY environment variable.")
50
51 #define SHM_TEXT N_("Use shared memory")
52 #define SHM_LONGTEXT N_( \
53     "Use shared memory to communicate between VLC and the X server.")
54
55 static int  Open (vlc_object_t *);
56 static void Close (vlc_object_t *);
57
58 /*
59  * Module descriptor
60  */
61 vlc_module_begin ()
62     set_shortname (N_("XCB"))
63     set_description (N_("(Experimental) XCB video output"))
64     set_category (CAT_VIDEO)
65     set_subcategory (SUBCAT_VIDEO_VOUT)
66     set_capability ("video output", 0)
67     set_callbacks (Open, Close)
68
69     add_string ("x11-display", NULL, NULL,
70                 DISPLAY_TEXT, DISPLAY_LONGTEXT, true)
71     add_bool ("x11-shm", true, NULL, SHM_TEXT, SHM_LONGTEXT, true)
72 vlc_module_end ()
73
74 struct vout_sys_t
75 {
76     xcb_connection_t *conn;
77     xcb_screen_t *screen;
78     vout_window_t *embed; /* VLC window (when windowed) */
79     key_handler_t *keys;
80
81     xcb_visualid_t vid;
82     xcb_window_t parent; /* parent X window */
83     xcb_window_t window; /* drawable X window */
84     xcb_gcontext_t gc; /* context to put images */
85     bool shm; /* whether to use MIT-SHM */
86     bool gray; /* whether display is grayscale */
87     uint8_t bpp; /* bits per pixel */
88 };
89
90 static int Init (vout_thread_t *);
91 static void Deinit (vout_thread_t *);
92 static void Display (vout_thread_t *, picture_t *);
93 static int Manage (vout_thread_t *);
94
95 int CheckError (vout_thread_t *vout, const char *str, xcb_void_cookie_t ck)
96 {
97     xcb_generic_error_t *err;
98
99     err = xcb_request_check (vout->p_sys->conn, ck);
100     if (err)
101     {
102         msg_Err (vout, "%s: X11 error %d", str, err->error_code);
103         return VLC_EGENERIC;
104     }
105     return VLC_SUCCESS;
106 }
107
108 #define p_vout vout
109
110 /**
111  * Probe the X server.
112  */
113 static int Open (vlc_object_t *obj)
114 {
115     vout_thread_t *vout = (vout_thread_t *)obj;
116     vout_sys_t *p_sys = malloc (sizeof (*p_sys));
117     if (p_sys == NULL)
118         return VLC_ENOMEM;
119
120     vout->p_sys = p_sys;
121     p_sys->conn = NULL;
122 #ifndef NDEBUG
123     p_sys->embed = NULL;
124 #endif
125
126     /* Connect to X */
127     char *display = var_CreateGetNonEmptyString (vout, "x11-display");
128     int snum;
129     p_sys->conn = xcb_connect (display, &snum);
130     if (xcb_connection_has_error (p_sys->conn) /*== NULL*/)
131     {
132         msg_Err (vout, "cannot connect to X server %s",
133                  display ? display : "");
134         free (display);
135         goto error;
136     }
137     free (display);
138
139     /* Get the preferred screen */
140     xcb_screen_t *scr = xcb_aux_get_screen (p_sys->conn, snum);
141     p_sys->screen = scr;
142     assert (p_sys->screen);
143     msg_Dbg (vout, "using screen %d (depth %"PRIu8")", snum, scr->root_depth);
144
145     if (strchr ("\x08\x0f\x10\x18\x20", scr->root_depth) == NULL)
146     {
147         msg_Err (vout, "unsupported %"PRIu8"-bits color depth",
148                  scr->root_depth);
149         goto error;
150     }
151
152     /* Determine the visual (color depth and palette) */
153     xcb_visualtype_t *vt = NULL;
154     p_sys->gray = false;
155     if ((vt = xcb_aux_find_visual_by_attrs (scr, XCB_VISUAL_CLASS_TRUE_COLOR,
156                                             scr->root_depth)) != NULL)
157         msg_Dbg (vout, "using TrueColor visual ID %d", (int)vt->visual_id);
158     else
159     if ((vt = xcb_aux_find_visual_by_attrs (scr, XCB_VISUAL_CLASS_STATIC_COLOR,
160                                             scr->root_depth)) != NULL)
161         msg_Dbg (vout, "using static color visual ID %d", (int)vt->visual_id);
162     else
163     if ((scr->root_depth == 8)
164      && (vt = xcb_aux_find_visual_by_attrs (scr, XCB_VISUAL_CLASS_STATIC_GRAY,
165                                             scr->root_depth)) != NULL)
166     {
167         msg_Dbg (vout, "using static gray visual ID %d", (int)vt->visual_id);
168         p_sys->gray = true;
169     }
170     else
171     {
172         vt = xcb_aux_find_visual_by_id (scr, scr->root_visual);
173         assert (vt);
174         msg_Err (vout, "unsupported visual class %"PRIu8, vt->_class);
175         goto error;
176     }
177     p_sys->vid = vt->visual_id;
178
179     p_sys->shm = var_CreateGetBool (vout, "x11-shm") > 0;
180     if (p_sys->shm)
181     {
182         xcb_shm_query_version_cookie_t ck;
183         xcb_shm_query_version_reply_t *r;
184         xcb_generic_error_t *err;
185
186         ck = xcb_shm_query_version (p_sys->conn);
187         r = xcb_shm_query_version_reply (p_sys->conn, ck, &err);
188         if (!r)
189         {
190             msg_Err (vout, "shared memory (MIT-SHM) not available");
191             msg_Warn (vout, "display will be slow");
192             p_sys->shm = false;
193         }
194     }
195
196     /* Prefetch keyboard mappings */
197     p_sys->keys = CreateKeyHandler (obj, p_sys->conn);
198
199     vout->pf_init = Init;
200     vout->pf_end = Deinit;
201     vout->pf_display = Display;
202     vout->pf_manage = Manage;
203     return VLC_SUCCESS;
204
205 error:
206     Close (obj);
207     return VLC_EGENERIC;
208 }
209
210
211 /**
212  * Disconnect from the X server.
213  */
214 static void Close (vlc_object_t *obj)
215 {
216     vout_thread_t *vout = (vout_thread_t *)obj;
217     vout_sys_t *p_sys = vout->p_sys;
218
219     assert (p_sys->embed == NULL);
220     if (p_sys->keys)
221         DestroyKeyHandler (p_sys->keys);
222     if (p_sys->conn)
223         xcb_disconnect (p_sys->conn);
224     free (p_sys);
225 }
226
227 struct picture_sys_t
228 {
229     xcb_connection_t *conn;
230     xcb_image_t *image;
231     xcb_shm_seg_t segment;
232 };
233
234 static void PictureRelease (picture_t *pic);
235 static void PictureShmRelease (picture_t *pic);
236 #define SHM_ERR ((void *)(intptr_t)(-1))
237
238 static int PictureInit (vout_thread_t *vout, picture_t *pic)
239 {
240     vout_sys_t *p_sys = vout->p_sys;
241     picture_sys_t *priv = malloc (sizeof (*p_sys));
242
243     if (priv == NULL)
244         return VLC_ENOMEM;
245
246     assert (pic->i_status == FREE_PICTURE);
247     vout_InitPicture (vout, pic, vout->output.i_chroma,
248                       vout->output.i_width, vout->output.i_height,
249                       vout->output.i_aspect);
250
251     void *shm = SHM_ERR;
252     const size_t size = pic->p->i_pitch * pic->p->i_lines;
253
254     if (p_sys->shm)
255     {   /* Allocate shared memory segment */
256         int id = shmget (IPC_PRIVATE, size, IPC_CREAT | 0700);
257
258         if (id == -1)
259         {
260             msg_Err (vout, "shared memory allocation error: %m");
261             goto error;
262         }
263
264         /* Attach the segment to VLC */
265         shm = shmat (id, NULL, 0 /* read/write */);
266         if (shm == SHM_ERR)
267         {
268             msg_Err (vout, "shared memory attachment error: %m");
269             shmctl (id, IPC_RMID, 0);
270             goto error;
271         }
272
273         /* Attach the segment to X */
274         xcb_void_cookie_t ck;
275
276         priv->segment = xcb_generate_id (p_sys->conn);
277         ck = xcb_shm_attach_checked (p_sys->conn, priv->segment, id, 1);
278         shmctl (id, IPC_RMID, 0);
279
280         if (CheckError (vout, "shared memory server-side error", ck))
281         {
282             msg_Info (vout, "using buggy X (remote) server? SSH?");
283             shmdt (shm);
284             shm = SHM_ERR;
285         }
286     }
287
288     const unsigned real_width = pic->p->i_pitch / (p_sys->bpp >> 3);
289     /* FIXME: anyway to getthing more intuitive than that?? */
290
291     /* NOTE: 32-bits scanline_pad assumed, FIXME? (see xdpyinfo) */
292     xcb_image_t *img;
293     img = xcb_image_create (real_width, pic->p->i_lines,
294                             XCB_IMAGE_FORMAT_Z_PIXMAP, 32,
295                             p_sys->screen->root_depth, p_sys->bpp, p_sys->bpp,
296 #ifdef WORDS_BIGENDIAN
297                             XCB_IMAGE_ORDER_MSB_FIRST,
298 #else
299                             XCB_IMAGE_ORDER_LSB_FIRST,
300 #endif
301                             XCB_IMAGE_ORDER_MSB_FIRST,
302                             NULL,
303                             (shm != SHM_ERR) ? size : 0,
304                             (shm != SHM_ERR) ? shm : NULL);
305
306     if (img == NULL)
307     {
308         if (shm != SHM_ERR)
309             xcb_shm_detach (p_sys->conn, priv->segment);
310         goto error;
311     }
312     if (shm != SHM_ERR && xcb_image_native (p_sys->conn, img, 0) == NULL)
313     {
314         msg_Err (vout, "incompatible X server image format");
315         xcb_image_destroy (img);
316         goto error;
317     }
318
319     priv->conn = p_sys->conn;
320     priv->image = img;
321     pic->p_sys = priv;
322     pic->p->p_pixels = img->data;
323     pic->pf_release = (shm != SHM_ERR) ? PictureShmRelease
324                                        : PictureRelease;
325     pic->i_status = DESTROYED_PICTURE;
326     pic->i_type = DIRECT_PICTURE;
327     return VLC_SUCCESS;
328
329 error:
330     if (shm != SHM_ERR)
331         shmdt (shm);
332     free (p_sys);
333     return VLC_EGENERIC;
334 }
335
336
337 /**
338  * Release picture private data
339  */
340 static void PictureRelease (picture_t *pic)
341 {
342     struct picture_sys_t *p_sys = pic->p_sys;
343
344     xcb_image_destroy (p_sys->image);
345     free (p_sys);
346 }
347
348 /**
349  * Release shared memory picture private data
350  */
351 static void PictureShmRelease (picture_t *pic)
352 {
353     struct picture_sys_t *p_sys = pic->p_sys;
354
355     xcb_shm_detach (p_sys->conn, p_sys->segment);
356     shmdt (p_sys->image->data);
357     PictureRelease (pic);
358 }
359
360 /**
361  * Allocate drawable window and picture buffers.
362  */
363 static int Init (vout_thread_t *vout)
364 {
365     vout_sys_t *p_sys = vout->p_sys;
366     const xcb_screen_t *screen = p_sys->screen;
367     unsigned x, y, width, height;
368
369     /* Determine parent window */
370     if (vout->b_fullscreen)
371     {
372         p_sys->embed = NULL;
373         p_sys->parent = screen->root;
374         width = screen->width_in_pixels;
375         height = screen->height_in_pixels;
376     }
377     else
378     {
379         p_sys->embed = vout_RequestXWindow (vout, &(int){ 0 }, &(int){ 0 },
380                                             &width, &height);
381         if (p_sys->embed == NULL)
382         {
383             msg_Err (vout, "cannot get window");
384             return VLC_EGENERIC;
385         }
386         p_sys->parent = p_sys->embed->handle.xid;
387     }
388
389     /* Determine our input format */
390     p_sys->bpp = screen->root_depth;
391     switch (screen->root_depth)
392     {
393         case 24:
394             p_sys->bpp = 32;
395         case 32: /* FIXME: untested */
396             vout->output.i_chroma = VLC_FOURCC ('R', 'V', '3', '2');
397             break;
398
399         case 16:
400             vout->output.i_chroma = VLC_FOURCC ('R', 'V', '1', '6');
401             break;
402
403         case 15:
404             p_sys->bpp = 16;
405             vout->output.i_chroma = VLC_FOURCC ('R', 'V', '1', '5');
406             break;
407
408         case 8: /* FIXME: VLC cannot convert */
409             vout->output.i_chroma =
410                 p_sys->gray ? VLC_FOURCC ('G', 'R', 'E', 'Y')
411                             : VLC_FOURCC ('R', 'G', 'B', '2');
412             break;
413
414         default:
415             assert (0);
416     }
417     vout_PlacePicture (vout, width, height, &x, &y, &width, &height);
418
419     /* FIXME: I don't get the subtlety between output and fmt_out here */
420     vout->fmt_out.i_chroma = vout->output.i_chroma;
421     vout->fmt_out.i_visible_width = width;
422     vout->fmt_out.i_visible_height = height;
423     vout->fmt_out.i_sar_num = vout->fmt_out.i_sar_den = 1;
424
425     vout->output.i_width = vout->fmt_out.i_width =
426         width * vout->fmt_in.i_width / vout->fmt_in.i_visible_width;
427     vout->output.i_height = vout->fmt_out.i_height =
428         height * vout->fmt_in.i_height / vout->fmt_in.i_visible_height;
429     vout->fmt_out.i_x_offset =
430         width * vout->fmt_in.i_x_offset / vout->fmt_in.i_visible_width;
431     p_vout->fmt_out.i_y_offset =
432         height * vout->fmt_in.i_y_offset / vout->fmt_in.i_visible_height;
433
434     assert (height > 0);
435     vout->output.i_aspect = vout->fmt_out.i_aspect =
436         width * VOUT_ASPECT_FACTOR / height;
437
438     /* Create window */
439     const uint32_t mask = XCB_CW_BACK_PIXEL | XCB_CW_EVENT_MASK;
440     uint32_t values[2] = {
441         /* XCB_CW_BACK_PIXEL */
442         screen->black_pixel,
443         /* XCB_CW_EVENT_MASK */
444         XCB_EVENT_MASK_KEY_PRESS |
445         XCB_EVENT_MASK_BUTTON_PRESS | XCB_EVENT_MASK_BUTTON_RELEASE |
446         XCB_EVENT_MASK_POINTER_MOTION,
447     };
448     xcb_void_cookie_t c;
449     xcb_window_t window = xcb_generate_id (p_sys->conn);
450
451     c = xcb_create_window_checked (p_sys->conn, screen->root_depth, window,
452                                    p_sys->parent, x, y, width, height, 0,
453                                    XCB_WINDOW_CLASS_INPUT_OUTPUT,
454                                    screen->root_visual, mask, values);
455     if (CheckError (vout, "cannot create X11 window", c))
456         goto error;
457     p_sys->window = window;
458     msg_Dbg (vout, "using X11 window %08"PRIx32, p_sys->window);
459     xcb_map_window (p_sys->conn, window);
460
461     /* Create graphic context (I wonder why the heck do we need this) */
462     p_sys->gc = xcb_generate_id (p_sys->conn);
463     xcb_create_gc (p_sys->conn, p_sys->gc, p_sys->window, 0, NULL);
464     msg_Dbg (vout, "using X11 graphic context %08"PRIx32, p_sys->gc);
465     xcb_flush (p_sys->conn);
466
467     /* Allocate picture buffers */
468     do
469     {
470         picture_t *pic = vout->p_picture + I_OUTPUTPICTURES;
471
472         if (PictureInit (vout, pic))
473             break;
474         PP_OUTPUTPICTURE[I_OUTPUTPICTURES++] = pic;
475     }
476     while (I_OUTPUTPICTURES < 2);
477
478     return VLC_SUCCESS;
479
480 error:
481     Deinit (vout);
482     return VLC_EGENERIC;
483 }
484
485 /**
486  * Free picture buffers.
487  */
488 static void Deinit (vout_thread_t *vout)
489 {
490     vout_sys_t *p_sys = vout->p_sys;
491
492     while (I_OUTPUTPICTURES > 0)
493         picture_Release (PP_OUTPUTPICTURE[--I_OUTPUTPICTURES]);
494
495     xcb_unmap_window (p_sys->conn, p_sys->window);
496     xcb_destroy_window (p_sys->conn, p_sys->window);
497     vout_ReleaseWindow (p_sys->embed);
498     p_sys->embed = NULL;
499 }
500
501 /**
502  * Sends an image to the X server.
503  */
504 static void Display (vout_thread_t *vout, picture_t *pic)
505 {
506     vout_sys_t *p_sys = vout->p_sys;
507     picture_sys_t *priv = pic->p_sys;
508     xcb_image_t *img = priv->image;
509
510     if (img->base == NULL)
511     {
512         xcb_shm_segment_info_t info = {
513             .shmseg = priv->segment,
514             .shmid = -1, /* lost track of it, unimportant */
515             .shmaddr = img->data,
516         };
517
518         xcb_image_shm_put (p_sys->conn, p_sys->window, p_sys->gc, img, info,
519                         0, 0, 0, 0, img->width, img->height, 0);
520     }
521     else
522     {
523         xcb_image_t *native = xcb_image_native (p_sys->conn, img, 1);
524
525         if (native == NULL)
526             return;
527
528         xcb_image_put (p_sys->conn, p_sys->window, p_sys->gc, native, 0, 0, 0);
529         if (native != img)
530             xcb_image_destroy (native);
531     }
532     xcb_flush (p_sys->conn);
533 }
534
535 /**
536  * Process incoming X events.
537  */
538 static int Manage (vout_thread_t *vout)
539 {
540     vout_sys_t *p_sys = vout->p_sys;
541     xcb_generic_event_t *ev;
542
543     while ((ev = xcb_poll_for_event (p_sys->conn)) != NULL)
544     {
545         if (p_sys->keys && (ProcessKeyEvent (p_sys->keys, ev) == 0))
546             continue;
547         ProcessEvent (vout, ev);
548     }
549
550     if (xcb_connection_has_error (p_sys->conn))
551     {
552         msg_Err (vout, "X server failure");
553         return VLC_EGENERIC;
554     }
555     return VLC_SUCCESS;
556 }