decomp: add assertion against #2409
[vlc.git] / modules / stream_filter / decomp.c
1 /*****************************************************************************
2  * decomp.c : Decompression module for vlc
3  *****************************************************************************
4  * Copyright © 2008 Rémi Denis-Courmont
5  *
6  * This program is free software; you can redistribute it and/or modify
7  * it under the terms of the GNU Lesser General Public License as published by
8  * the Free Software Foundation; either version 2.1 of the License, or
9  * (at your option) any later version.
10  *
11  * This program is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14  * GNU General Public License for more details.
15  *
16  * You should have received a copy of the GNU General Public License
17  * along with this program; if not, write to the Free Software
18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston MA 02110-1301, USA.
19  *****************************************************************************/
20
21 #ifdef HAVE_CONFIG_H
22 # include "config.h"
23 #endif
24
25 #include <vlc_common.h>
26 #include <vlc_plugin.h>
27 #include <vlc_stream.h>
28 #include <vlc_network.h>
29 #include <assert.h>
30 #include <unistd.h>
31 #ifndef _POSIX_SPAWN
32 # define _POSIX_SPAWN (-1)
33 #endif
34 #include <fcntl.h>
35 #if (_POSIX_SPAWN >= 0)
36 # include <spawn.h>
37 #endif
38 #include <sys/wait.h>
39 #include <sys/ioctl.h>
40 #if defined (__linux__) && defined (HAVE_VMSPLICE)
41 # include <sys/uio.h>
42 # include <sys/mman.h>
43 #else
44 # undef HAVE_VMSPLICE
45 #endif
46
47 static int  OpenGzip (vlc_object_t *);
48 static int  OpenBzip2 (vlc_object_t *);
49 static void Close (vlc_object_t *);
50
51 vlc_module_begin ()
52     set_description (N_("Decompression"))
53     set_category (CAT_INPUT)
54     set_subcategory (SUBCAT_INPUT_STREAM_FILTER)
55     set_capability ("stream_filter", 20)
56     set_callbacks (OpenBzip2, Close)
57     /* TODO: access shortnames for stream_UrlNew() */
58
59     add_submodule ()
60     set_callbacks (OpenGzip, Close)
61 vlc_module_end ()
62
63 struct stream_sys_t
64 {
65     block_t      *peeked;
66     uint64_t     offset;
67     vlc_thread_t thread;
68     pid_t        pid;
69     int          write_fd, read_fd;
70 };
71
72 static void cloexec (int fd)
73 {
74     int flags = fcntl (fd, F_GETFD);
75     fcntl (fd, F_SETFD, FD_CLOEXEC | ((flags != -1) ? flags : 0));
76 }
77
78 extern char **environ;
79
80 static const size_t bufsize = 65536;
81 #ifdef HAVE_VMSPLICE
82 static void cleanup_mmap (void *addr)
83 {
84     munmap (addr, bufsize);
85 }
86 #endif
87
88 static void *Thread (void *data)
89 {
90     stream_t *stream = data;
91     stream_sys_t *p_sys = stream->p_sys;
92 #ifdef HAVE_VMSPLICE
93     ssize_t page_mask = sysconf (_SC_PAGE_SIZE) - 1;
94 #endif
95     int fd = p_sys->write_fd;
96     bool error = false;
97
98     do
99     {
100         ssize_t len;
101         int canc = vlc_savecancel ();
102 #ifdef HAVE_VMSPLICE
103         unsigned char *buf = mmap (NULL, bufsize, PROT_READ|PROT_WRITE,
104                                    MAP_PRIVATE|MAP_ANONYMOUS, -1, 0);
105         vlc_cleanup_push (cleanup_mmap, buf);
106 #else
107         unsigned char buf[bufsize];
108 #endif
109
110         len = stream_Read (stream->p_source, buf, bufsize);
111         vlc_restorecancel (canc);
112         error = len <= 0;
113
114         for (ssize_t i = 0, j; i < len; i += j)
115         {
116 #ifdef HAVE_VMSPLICE
117             if ((len - i) <= page_mask) /* incomplete last page */
118                 j = write (fd, buf + i, len - i);
119             else
120             {
121                 struct iovec iov = { buf + i, (len - i) & ~page_mask, };
122                 j = vmsplice (fd, &iov, 1, SPLICE_F_GIFT);
123             }
124             if (j == -1 && errno == ENOSYS) /* vmsplice() not supported */
125 #endif
126             j = write (fd, buf + i, len - i);
127             if (j <= 0)
128             {
129                 if (j == 0)
130                     errno = EPIPE;
131                 msg_Err (stream, "cannot write data (%m)");
132                 error = true;
133                 break;
134             }
135         }
136 #ifdef HAVE_VMSPLICE
137         vlc_cleanup_run (); /* munmap (buf, bufsize) */
138 #endif
139     }
140     while (!error);
141
142     msg_Dbg (stream, "compressed stream at EOF");
143     return NULL;
144 }
145
146
147 static int Peek (stream_t *, const uint8_t **, unsigned int);
148
149 #define MIN_BLOCK (1 << 10)
150 #define MAX_BLOCK (1 << 20)
151 /**
152  * Reads decompressed from the decompression program
153  * @return -1 for EAGAIN, 0 for EOF, byte count otherwise.
154  */
155 static int Read (stream_t *stream, void *buf, unsigned int buflen)
156 {
157     stream_sys_t *p_sys = stream->p_sys;
158     block_t *peeked;
159     ssize_t length;
160
161     if (buf == NULL) /* caller skips data, get big enough peek buffer */
162         buflen = Peek (stream, &(const uint8_t *){ NULL }, buflen);
163
164     if ((peeked = p_sys->peeked) != NULL)
165     {   /* dequeue peeked data */
166         length = (buflen > peeked->i_buffer) ? peeked->i_buffer : buflen;
167         if (buf != NULL)
168         {
169             memcpy (buf, peeked->p_buffer, length);
170             buf = ((char *)buf) + length;
171         }
172         buflen -= length;
173         peeked->p_buffer += length;
174         peeked->i_buffer -= length;
175         if (peeked->i_buffer == 0)
176         {
177             block_Release (peeked);
178             p_sys->peeked = NULL;
179         }
180         p_sys->offset += length;
181
182         if (buflen > 0)
183             length += Read (stream, ((char *)buf) + length, buflen - length);
184         return length;
185     }
186     assert ((buf != NULL) || (buflen == 0));
187
188     length = net_Read (stream, p_sys->read_fd, NULL, buf, buflen, false);
189     if (length < 0)
190         return 0;
191     p_sys->offset += length;
192     return length;
193 }
194
195 /**
196  *
197  */
198 static int Peek (stream_t *stream, const uint8_t **pbuf, unsigned int len)
199 {
200     stream_sys_t *p_sys = stream->p_sys;
201     block_t *peeked = p_sys->peeked;
202     size_t curlen = 0;
203     int fd = p_sys->read_fd;
204
205     if (peeked == NULL)
206         peeked = block_Alloc (len);
207     else if ((curlen = peeked->i_buffer) < len)
208         peeked = block_Realloc (peeked, 0, len);
209
210     if ((p_sys->peeked = peeked) == NULL)
211         return 0;
212
213     if (curlen < len)
214     {
215         ssize_t val = net_Read (stream, fd, NULL, peeked->p_buffer + curlen,
216                                 len - curlen, true);
217         if (val >= 0)
218         {
219             curlen += val;
220             peeked->i_buffer = curlen;
221         }
222     }
223     *pbuf = peeked->p_buffer;
224     return curlen;
225 }
226
227 /**
228  *
229  */
230 static int Control (stream_t *stream, int query, va_list args)
231 {
232     stream_sys_t *p_sys = stream->p_sys;
233
234     switch (query)
235     {
236         case STREAM_CAN_SEEK:
237         case STREAM_CAN_FASTSEEK:
238             *(va_arg (args, bool *)) = false;
239             break;
240         case STREAM_GET_POSITION:
241             *(va_arg (args, int64_t *)) = p_sys->offset;
242             break;
243         case STREAM_GET_SIZE:
244             *(va_arg (args, int64_t *)) = 0;
245             break;
246         case STREAM_GET_MTU:
247             *(va_arg (args, int *)) = 0;
248             break;
249         default:
250             return VLC_EGENERIC;
251     }
252     return VLC_SUCCESS;
253 }
254
255 /**
256  * Pipe data through an external executable.
257  * @param stream the stream filter object.
258  * @param path path to the executable.
259  */
260 static int Open (stream_t *stream, const char *path)
261 {
262     stream_sys_t *p_sys = stream->p_sys = malloc (sizeof (*p_sys));
263     if (p_sys == NULL)
264         return VLC_ENOMEM;
265
266     stream->pf_read = Read;
267     stream->pf_peek = Peek;
268     stream->pf_control = Control;
269     p_sys->peeked = NULL;
270     p_sys->offset = 0;
271     p_sys->pid = -1;
272
273     /* I am not a big fan of the pyramid style, but I cannot think of anything
274      * better here. There are too many failure cases. */
275     int ret = VLC_EGENERIC;
276     int comp[2];
277
278     /* We use two pipes rather than one stream socket pair, so that we can
279      * use vmsplice() on Linux. */
280     if (pipe (comp) == 0)
281     {
282         cloexec (comp[1]);
283         p_sys->write_fd = comp[1];
284
285         int uncomp[2];
286         if (pipe (uncomp) == 0)
287         {
288             cloexec (uncomp[0]);
289             p_sys->read_fd = uncomp[0];
290
291 #if (_POSIX_SPAWN >= 0)
292             posix_spawn_file_actions_t actions;
293             if (posix_spawn_file_actions_init (&actions) == 0)
294             {
295                 char *const argv[] = { (char *)path, NULL };
296
297                 if (!posix_spawn_file_actions_adddup2 (&actions, comp[0], 0)
298                  && !posix_spawn_file_actions_addclose (&actions, comp[0])
299                  && !posix_spawn_file_actions_adddup2 (&actions, uncomp[1], 1)
300                  && !posix_spawn_file_actions_addclose (&actions, uncomp[1])
301                  && !posix_spawnp (&p_sys->pid, path, &actions, NULL, argv,
302                                    environ))
303                 {
304                     if (vlc_clone (&p_sys->thread, Thread, stream,
305                                    VLC_THREAD_PRIORITY_INPUT) == 0)
306                         ret = VLC_SUCCESS;
307                 }
308                 else
309                 {
310                     msg_Err (stream, "Cannot execute %s", path);
311                     p_sys->pid = -1;
312                 }
313                 posix_spawn_file_actions_destroy (&actions);
314             }
315 #else /* _POSIX_SPAWN */
316             switch (p_sys->pid = fork ())
317             {
318                 case -1:
319                     msg_Err (stream, "Cannot fork (%m)");
320                     break;
321                 case 0:
322                     dup2 (comp[0], 0);
323                     close (comp[0]);
324                     dup2 (uncomp[1], 1);
325                     close (uncomp[1]);
326                     execlp (path, path, (char *)NULL);
327                     exit (1); /* if we get, execlp() failed! */
328                 default:
329                     if (vlc_clone (&p_sys->thread, Thread, stream,
330                                    VLC_THREAD_PRIORITY_INPUT) == 0)
331                         ret = VLC_SUCCESS;
332             }
333 #endif /* _POSIX_SPAWN < 0 */
334             close (uncomp[1]);
335             if (ret != VLC_SUCCESS)
336                 close (uncomp[0]);
337         }
338         close (comp[0]);
339         if (ret != VLC_SUCCESS)
340         {
341             close (comp[1]);
342             if (p_sys->pid != -1)
343                 while (waitpid (p_sys->pid, &(int){ 0 }, 0) == -1);
344         }
345     }
346     return ret;
347 }
348
349
350 /**
351  * Releases allocate resources.
352  */
353 static void Close (vlc_object_t *obj)
354 {
355     stream_t *stream = (stream_t *)obj;
356     stream_sys_t *p_sys = stream->p_sys;
357     int status;
358
359     vlc_cancel (p_sys->thread);
360     close (p_sys->read_fd);
361     vlc_join (p_sys->thread, NULL);
362     close (p_sys->write_fd);
363
364     msg_Dbg (obj, "waiting for PID %u", (unsigned)p_sys->pid);
365     while (waitpid (p_sys->pid, &status, 0) == -1);
366     msg_Dbg (obj, "exit status %d", status);
367
368     if (p_sys->peeked)
369         block_Release (p_sys->peeked);
370     free (p_sys);
371 }
372
373
374 /**
375  * Detects gzip file format
376  */
377 static int OpenGzip (vlc_object_t *obj)
378 {
379     stream_t      *stream = (stream_t *)obj;
380     const uint8_t *peek;
381
382     if (stream_Peek (stream->p_source, &peek, 3) < 3)
383         return VLC_EGENERIC;
384
385     if (memcmp (peek, "\x1f\x8b\x08", 3))
386         return VLC_EGENERIC;
387
388     msg_Dbg (obj, "detected gzip compressed stream");
389     return Open (stream, "zcat");
390 }
391
392
393 /**
394  * Detects bzip2 file format
395  */
396 static int OpenBzip2 (vlc_object_t *obj)
397 {
398     stream_t      *stream = (stream_t *)obj;
399     const uint8_t *peek;
400
401     /* (Try to) parse the bzip2 header */
402     if (stream_Peek (stream->p_source, &peek, 10) < 10)
403         return VLC_EGENERIC;
404
405     if (memcmp (peek, "BZh", 3) || (peek[3] < '1') || (peek[3] > '9')
406      || memcmp (peek + 4, "\x31\x41\x59\x26\x53\x59", 6))
407         return VLC_EGENERIC;
408
409     msg_Dbg (obj, "detected bzip2 compressed stream");
410     return Open (stream, "bzcat");
411 }
412