macosx: allow simultanous video or SPU track selection
[vlc.git] / modules / codec / libass.c
1 /*****************************************************************************
2  * SSA/ASS subtitle decoder using libass.
3  *****************************************************************************
4  * Copyright (C) 2008-2009 VLC authors and VideoLAN
5  *
6  * Authors: Laurent Aimar <fenrir@videolan.org>
7  *
8  * This program is free software; you can redistribute it and/or modify it
9  * under the terms of the GNU Lesser General Public License as published by
10  * the Free Software Foundation; either version 2.1 of the License, or
11  * (at your option) any later version.
12  *
13  * This program is distributed in the hope that it will be useful,
14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16  * GNU Lesser General Public License for more details.
17  *
18  * You should have received a copy of the GNU Lesser General Public License
19  * along with this program; if not, write to the Free Software Foundation,
20  * Inc., 51 Franklin Street, Fifth Floor, Boston MA 02110-1301, USA.
21  *****************************************************************************/
22
23 /*****************************************************************************
24  * Preamble
25  *****************************************************************************/
26
27 #ifdef HAVE_CONFIG_H
28 #   include "config.h"
29 #endif
30
31 #include <string.h>
32 #include <limits.h>
33 #include <assert.h>
34 #include <math.h>
35
36 #include <vlc_common.h>
37 #include <vlc_plugin.h>
38 #include <vlc_codec.h>
39 #include <vlc_input.h>
40 #include <vlc_dialog.h>
41
42 #include <ass/ass.h>
43
44 #if LIBASS_VERSION < 0x01300000
45 # define ASS_FONTPROVIDER_AUTODETECT 1
46 #endif
47
48 #if defined(_WIN32)
49 #   include <vlc_charset.h>
50 #endif
51
52 /*****************************************************************************
53  * Module descriptor
54  *****************************************************************************/
55 static int  Create ( vlc_object_t * );
56 static void Destroy( vlc_object_t * );
57
58 vlc_module_begin ()
59     set_shortname( N_("Subtitles (advanced)"))
60     set_description( N_("Subtitle renderers using libass") )
61     set_capability( "spu decoder", 100 )
62     set_category( CAT_INPUT )
63     set_subcategory( SUBCAT_INPUT_SCODEC )
64     set_callbacks( Create, Destroy )
65 vlc_module_end ()
66
67 /*****************************************************************************
68  * Local prototypes
69  *****************************************************************************/
70 static int DecodeBlock( decoder_t *, block_t * );
71 static void Flush( decoder_t * );
72
73 /* */
74 typedef struct
75 {
76     vlc_tick_t     i_max_stop;
77
78     /* The following fields of decoder_sys_t are shared between decoder and spu units */
79     vlc_mutex_t    lock;
80     int            i_refcount;
81
82     /* */
83     ASS_Library    *p_library;
84     ASS_Renderer   *p_renderer;
85     video_format_t fmt;
86
87     /* */
88     ASS_Track      *p_track;
89 } decoder_sys_t;
90 static void DecSysRelease( decoder_sys_t *p_sys );
91 static void DecSysHold( decoder_sys_t *p_sys );
92
93 /* */
94 static int SubpictureValidate( subpicture_t *,
95                                bool, const video_format_t *,
96                                bool, const video_format_t *,
97                                vlc_tick_t );
98 static void SubpictureUpdate( subpicture_t *,
99                               const video_format_t *,
100                               const video_format_t *,
101                               vlc_tick_t );
102 static void SubpictureDestroy( subpicture_t * );
103
104 typedef struct
105 {
106     decoder_sys_t *p_dec_sys;
107     void          *p_subs_data;
108     int           i_subs_len;
109     vlc_tick_t    i_pts;
110
111     ASS_Image     *p_img;
112 } libass_spu_updater_sys_t;
113
114 typedef struct
115 {
116     int x0;
117     int y0;
118     int x1;
119     int y1;
120 } rectangle_t;
121
122 static int BuildRegions( rectangle_t *p_region, int i_max_region, ASS_Image *p_img_list, int i_width, int i_height );
123 static void RegionDraw( subpicture_region_t *p_region, ASS_Image *p_img );
124
125 //#define DEBUG_REGION
126
127 /*****************************************************************************
128  * Create: Open libass decoder.
129  *****************************************************************************/
130 static int Create( vlc_object_t *p_this )
131 {
132     decoder_t *p_dec = (decoder_t *)p_this;
133     decoder_sys_t *p_sys;
134
135     if( p_dec->fmt_in.i_codec != VLC_CODEC_SSA )
136         return VLC_EGENERIC;
137
138     p_dec->pf_decode = DecodeBlock;
139     p_dec->pf_flush  = Flush;
140
141     p_dec->p_sys = p_sys = malloc( sizeof( decoder_sys_t ) );
142     if( !p_sys )
143         return VLC_ENOMEM;
144
145     /* */
146     vlc_mutex_init( &p_sys->lock );
147     p_sys->i_refcount = 1;
148     memset( &p_sys->fmt, 0, sizeof(p_sys->fmt) );
149     p_sys->i_max_stop = VLC_TICK_INVALID;
150     p_sys->p_library  = NULL;
151     p_sys->p_renderer = NULL;
152     p_sys->p_track    = NULL;
153
154     /* Create libass library */
155     ASS_Library *p_library = p_sys->p_library = ass_library_init();
156     if( !p_library )
157     {
158         msg_Warn( p_dec, "Libass library creation failed" );
159         DecSysRelease( p_sys );
160         return VLC_EGENERIC;
161     }
162
163     /* load attachments */
164     input_attachment_t  **pp_attachments;
165     int                   i_attachments;
166     if( decoder_GetInputAttachments( p_dec, &pp_attachments, &i_attachments ))
167     {
168         i_attachments = 0;
169         pp_attachments = NULL;
170     }
171     for( int k = 0; k < i_attachments; k++ )
172     {
173         input_attachment_t *p_attach = pp_attachments[k];
174
175         bool found = false;
176
177         /* Check mimetype*/
178         if( !strcasecmp( p_attach->psz_mime, "application/x-truetype-font" ) )
179             found = true;
180         /* Then extension */
181         else if( !found && strlen( p_attach->psz_name ) > 4 )
182         {
183             char *ext = p_attach->psz_name + strlen( p_attach->psz_name ) - 4;
184
185             if( !strcasecmp( ext, ".ttf" ) || !strcasecmp( ext, ".otf" ) || !strcasecmp( ext, ".ttc" ) )
186                 found = true;
187         }
188
189         if( found )
190         {
191             msg_Dbg( p_dec, "adding embedded font %s", p_attach->psz_name );
192
193             ass_add_font( p_sys->p_library, p_attach->psz_name, p_attach->p_data, p_attach->i_data );
194         }
195         vlc_input_attachment_Delete( p_attach );
196     }
197     free( pp_attachments );
198
199     ass_set_extract_fonts( p_library, true );
200     ass_set_style_overrides( p_library, NULL );
201
202     /* Create the renderer */
203     ASS_Renderer *p_renderer = p_sys->p_renderer = ass_renderer_init( p_library );
204     if( !p_renderer )
205     {
206         msg_Warn( p_dec, "Libass renderer creation failed" );
207         DecSysRelease( p_sys );
208         return VLC_EGENERIC;
209     }
210
211     ass_set_use_margins( p_renderer, false);
212     //if( false )
213     //    ass_set_margins( p_renderer, int t, int b, int l, int r);
214     ass_set_font_scale( p_renderer, 1.0 );
215     ass_set_line_spacing( p_renderer, 0.0 );
216
217 #if defined( __ANDROID__ )
218     const char *psz_font, *psz_family;
219     const char *psz_font_droid = "/system/fonts/DroidSans-Bold.ttf";
220     const char *psz_family_droid = "Droid Sans Bold";
221     const char *psz_font_noto = "/system/fonts/NotoSansCJK-Regular.ttc";
222     const char *psz_family_noto = "Noto Sans";
223
224     // Workaround for Android 5.0+, since libass doesn't parse the XML yet
225     if( access( psz_font_noto, R_OK ) != -1 )
226     {
227         psz_font = psz_font_noto;
228         psz_family = psz_family_noto;
229     }
230     else
231     {
232         psz_font = psz_font_droid;
233         psz_family = psz_family_droid;
234     }
235
236 #elif defined( __APPLE__ )
237     const char *psz_font = NULL; /* We don't ship a default font with VLC */
238     const char *psz_family = "Helvetica Neue"; /* Use HN if we can't find anything more suitable - Arial is not on all Apple platforms */
239 #else
240     const char *psz_font = NULL; /* We don't ship a default font with VLC */
241     const char *psz_family = "Arial"; /* Use Arial if we can't find anything more suitable */
242 #endif
243
244 #ifdef HAVE_FONTCONFIG
245 #if defined(_WIN32)
246     vlc_dialog_id *p_dialog_id =
247         vlc_dialog_display_progress( p_dec, true, 0.0, NULL,
248                                     _("Building font cache"),
249                                     _( "Please wait while your font cache is rebuilt.\n"
250                                     "This should take less than a minute." ) );
251 #endif
252     ass_set_fonts( p_renderer, psz_font, psz_family, ASS_FONTPROVIDER_AUTODETECT, NULL, 1 );  // setup default font/family
253 #if defined(_WIN32)
254     if( p_dialog_id != 0 )
255         vlc_dialog_release( p_dec, p_dialog_id );
256 #endif
257 #else
258     ass_set_fonts( p_renderer, psz_font, psz_family, ASS_FONTPROVIDER_AUTODETECT, NULL, 0 );
259 #endif
260
261     /* Anything else than NONE will break smooth img updating.
262        TODO: List and force ASS_HINTING_LIGHT for known problematic fonts */
263     ass_set_hinting( p_renderer, ASS_HINTING_NONE );
264
265     /* Add a track */
266     ASS_Track *p_track = p_sys->p_track = ass_new_track( p_sys->p_library );
267     if( !p_track )
268     {
269         DecSysRelease( p_sys );
270         return VLC_EGENERIC;
271     }
272     ass_process_codec_private( p_track, p_dec->fmt_in.p_extra, p_dec->fmt_in.i_extra );
273
274     p_dec->fmt_out.i_codec = VLC_CODEC_RGBA;
275
276     return VLC_SUCCESS;
277 }
278
279 /*****************************************************************************
280  * Destroy: finish
281  *****************************************************************************/
282 static void Destroy( vlc_object_t *p_this )
283 {
284     decoder_t *p_dec = (decoder_t *)p_this;
285
286     DecSysRelease( p_dec->p_sys );
287 }
288
289 static void DecSysHold( decoder_sys_t *p_sys )
290 {
291     vlc_mutex_lock( &p_sys->lock );
292     p_sys->i_refcount++;
293     vlc_mutex_unlock( &p_sys->lock );
294 }
295 static void DecSysRelease( decoder_sys_t *p_sys )
296 {
297     /* */
298     vlc_mutex_lock( &p_sys->lock );
299     p_sys->i_refcount--;
300     if( p_sys->i_refcount > 0 )
301     {
302         vlc_mutex_unlock( &p_sys->lock );
303         return;
304     }
305     vlc_mutex_unlock( &p_sys->lock );
306     vlc_mutex_destroy( &p_sys->lock );
307
308     if( p_sys->p_track )
309         ass_free_track( p_sys->p_track );
310     if( p_sys->p_renderer )
311         ass_renderer_done( p_sys->p_renderer );
312     if( p_sys->p_library )
313         ass_library_done( p_sys->p_library );
314
315     free( p_sys );
316 }
317
318 /*****************************************************************************
319  * Flush:
320  *****************************************************************************/
321 static void Flush( decoder_t *p_dec )
322 {
323     decoder_sys_t *p_sys = p_dec->p_sys;
324
325     p_sys->i_max_stop = VLC_TICK_INVALID;
326 }
327
328 /****************************************************************************
329  * DecodeBlock:
330  ****************************************************************************/
331 static int DecodeBlock( decoder_t *p_dec, block_t *p_block )
332 {
333     decoder_sys_t *p_sys = p_dec->p_sys;
334
335     subpicture_t *p_spu = NULL;
336
337     if( p_block == NULL ) /* No Drain */
338         return VLCDEC_SUCCESS;
339
340     if( p_block->i_flags & BLOCK_FLAG_CORRUPTED )
341     {
342         Flush( p_dec );
343         block_Release( p_block );
344         return VLCDEC_SUCCESS;
345     }
346
347     if( p_block->i_buffer == 0 || p_block->p_buffer[0] == '\0' )
348     {
349         block_Release( p_block );
350         return VLCDEC_SUCCESS;
351     }
352
353     libass_spu_updater_sys_t *p_spu_sys = malloc( sizeof(*p_spu_sys) );
354     if( !p_spu_sys )
355     {
356         block_Release( p_block );
357         return VLCDEC_SUCCESS;
358     }
359
360     subpicture_updater_t updater = {
361         .pf_validate = SubpictureValidate,
362         .pf_update   = SubpictureUpdate,
363         .pf_destroy  = SubpictureDestroy,
364         .p_sys       = p_spu_sys,
365     };
366     p_spu = decoder_NewSubpicture( p_dec, &updater );
367     if( !p_spu )
368     {
369         msg_Warn( p_dec, "can't get spu buffer" );
370         free( p_spu_sys );
371         block_Release( p_block );
372         return VLCDEC_SUCCESS;
373     }
374
375     p_spu_sys->p_img = NULL;
376     p_spu_sys->p_dec_sys = p_sys;
377     p_spu_sys->i_subs_len = p_block->i_buffer;
378     p_spu_sys->p_subs_data = malloc( p_block->i_buffer );
379     p_spu_sys->i_pts = p_block->i_pts;
380     if( !p_spu_sys->p_subs_data )
381     {
382         subpicture_Delete( p_spu );
383         block_Release( p_block );
384         return VLCDEC_SUCCESS;
385     }
386     memcpy( p_spu_sys->p_subs_data, p_block->p_buffer,
387             p_block->i_buffer );
388
389     p_spu->i_start = p_block->i_pts;
390     p_spu->i_stop = __MAX( p_sys->i_max_stop, p_block->i_pts + p_block->i_length );
391     p_spu->b_ephemer = true;
392     p_spu->b_absolute = true;
393
394     p_sys->i_max_stop = p_spu->i_stop;
395
396     vlc_mutex_lock( &p_sys->lock );
397     if( p_sys->p_track )
398     {
399         ass_process_chunk( p_sys->p_track, p_spu_sys->p_subs_data, p_spu_sys->i_subs_len,
400                            MS_FROM_VLC_TICK( p_block->i_pts ), MS_FROM_VLC_TICK( p_block->i_length ) );
401     }
402     vlc_mutex_unlock( &p_sys->lock );
403
404     DecSysHold( p_sys ); /* Keep a reference for the returned subpicture */
405
406     block_Release( p_block );
407
408     decoder_QueueSub( p_dec, p_spu );
409     return VLCDEC_SUCCESS;
410 }
411
412 /****************************************************************************
413  *
414  ****************************************************************************/
415 static int SubpictureValidate( subpicture_t *p_subpic,
416                                bool b_fmt_src, const video_format_t *p_fmt_src,
417                                bool b_fmt_dst, const video_format_t *p_fmt_dst,
418                                vlc_tick_t i_ts )
419 {
420     libass_spu_updater_sys_t *p_spusys = p_subpic->updater.p_sys;
421     decoder_sys_t *p_sys = p_spusys->p_dec_sys;
422
423     vlc_mutex_lock( &p_sys->lock );
424
425     video_format_t fmt = *p_fmt_dst;
426     fmt.i_chroma         = VLC_CODEC_RGBA;
427     fmt.i_bits_per_pixel = 0;
428     fmt.i_x_offset       = 0;
429     fmt.i_y_offset       = 0;
430     if( b_fmt_src || b_fmt_dst )
431     {
432         ass_set_frame_size( p_sys->p_renderer, fmt.i_visible_width, fmt.i_visible_height );
433         const double src_ratio = (double)p_fmt_src->i_visible_width / p_fmt_src->i_visible_height;
434         const double dst_ratio = (double)p_fmt_dst->i_visible_width / p_fmt_dst->i_visible_height;
435         ass_set_aspect_ratio( p_sys->p_renderer, dst_ratio / src_ratio, 1 );
436         p_sys->fmt = fmt;
437     }
438
439     /* */
440     const vlc_tick_t i_stream_date = p_spusys->i_pts + (i_ts - p_subpic->i_start);
441     int i_changed;
442     ASS_Image *p_img = ass_render_frame( p_sys->p_renderer, p_sys->p_track,
443                                          MS_FROM_VLC_TICK( i_stream_date ), &i_changed );
444
445     if( !i_changed && !b_fmt_src && !b_fmt_dst &&
446         (p_img != NULL) == (p_subpic->p_region != NULL) )
447     {
448         vlc_mutex_unlock( &p_sys->lock );
449         return VLC_SUCCESS;
450     }
451     p_spusys->p_img = p_img;
452
453     /* The lock is released by SubpictureUpdate */
454     return VLC_EGENERIC;
455 }
456
457 static void SubpictureUpdate( subpicture_t *p_subpic,
458                               const video_format_t *p_fmt_src,
459                               const video_format_t *p_fmt_dst,
460                               vlc_tick_t i_ts )
461 {
462     VLC_UNUSED( p_fmt_src ); VLC_UNUSED( p_fmt_dst ); VLC_UNUSED( i_ts );
463
464     libass_spu_updater_sys_t *p_spusys = p_subpic->updater.p_sys;
465     decoder_sys_t *p_sys = p_spusys->p_dec_sys;
466
467     video_format_t fmt = p_sys->fmt;
468     ASS_Image *p_img = p_spusys->p_img;
469
470     /* */
471     p_subpic->i_original_picture_height = fmt.i_visible_height;
472     p_subpic->i_original_picture_width = fmt.i_visible_width;
473
474     /* XXX to improve efficiency we merge regions that are close minimizing
475      * the lost surface.
476      * libass tends to create a lot of small regions and thus spu engine
477      * reinstanciate a lot the scaler, and as we do not support subpel blending
478      * it looks ugly (text unaligned).
479      */
480     const int i_max_region = 4;
481     rectangle_t region[i_max_region];
482     const int i_region = BuildRegions( region, i_max_region, p_img, fmt.i_width, fmt.i_height );
483
484     if( i_region <= 0 )
485     {
486         vlc_mutex_unlock( &p_sys->lock );
487         return;
488     }
489
490     /* Allocate the regions and draw them */
491     subpicture_region_t **pp_region_last = &p_subpic->p_region;
492
493     for( int i = 0; i < i_region; i++ )
494     {
495         subpicture_region_t *r;
496         video_format_t fmt_region;
497
498         /* */
499         fmt_region = fmt;
500         fmt_region.i_width =
501         fmt_region.i_visible_width  = region[i].x1 - region[i].x0;
502         fmt_region.i_height =
503         fmt_region.i_visible_height = region[i].y1 - region[i].y0;
504
505         r = subpicture_region_New( &fmt_region );
506         if( !r )
507             break;
508         r->i_x = region[i].x0;
509         r->i_y = region[i].y0;
510         r->i_align = SUBPICTURE_ALIGN_TOP | SUBPICTURE_ALIGN_LEFT;
511
512         /* */
513         RegionDraw( r, p_img );
514
515         /* */
516         *pp_region_last = r;
517         pp_region_last = &r->p_next;
518     }
519     vlc_mutex_unlock( &p_sys->lock );
520
521 }
522 static void SubpictureDestroy( subpicture_t *p_subpic )
523 {
524     libass_spu_updater_sys_t *p_spusys = p_subpic->updater.p_sys;
525
526     DecSysRelease( p_spusys->p_dec_sys );
527     free( p_spusys->p_subs_data );
528     free( p_spusys );
529 }
530
531 static rectangle_t r_create( int x0, int y0, int x1, int y1 )
532 {
533     rectangle_t r = { x0, y0, x1, y1 };
534     return r;
535 }
536 static rectangle_t r_img( const ASS_Image *p_img )
537 {
538     return r_create( p_img->dst_x, p_img->dst_y, p_img->dst_x+p_img->w, p_img->dst_y+p_img->h );
539 }
540 static void r_add( rectangle_t *r, const rectangle_t *n )
541 {
542     r->x0 = __MIN( r->x0, n->x0 );
543     r->y0 = __MIN( r->y0, n->y0 );
544     r->x1 = __MAX( r->x1, n->x1 );
545     r->y1 = __MAX( r->y1, n->y1 );
546 }
547 static int r_surface( const rectangle_t *r )
548 {
549     return (r->x1-r->x0) * (r->y1-r->y0);
550 }
551 static bool r_overlap( const rectangle_t *a, const rectangle_t *b, int i_dx, int i_dy )
552 {
553     return  __MAX(a->x0-i_dx, b->x0) < __MIN( a->x1+i_dx, b->x1 ) &&
554             __MAX(a->y0-i_dy, b->y0) < __MIN( a->y1+i_dy, b->y1 );
555 }
556
557 static int BuildRegions( rectangle_t *p_region, int i_max_region, ASS_Image *p_img_list, int i_width, int i_height )
558 {
559     ASS_Image *p_tmp;
560     int i_count;
561
562 #ifdef DEBUG_REGION
563     int64_t i_ck_start = vlc_tick_now();
564 #endif
565
566     for( p_tmp = p_img_list, i_count = 0; p_tmp != NULL; p_tmp = p_tmp->next )
567         if( p_tmp->w > 0 && p_tmp->h > 0 )
568             i_count++;
569     if( i_count <= 0 )
570         return 0;
571
572     ASS_Image **pp_img = calloc( i_count, sizeof(*pp_img) );
573     if( !pp_img )
574         return 0;
575
576     for( p_tmp = p_img_list, i_count = 0; p_tmp != NULL; p_tmp = p_tmp->next )
577         if( p_tmp->w > 0 && p_tmp->h > 0 )
578             pp_img[i_count++] = p_tmp;
579
580     /* */
581     const int i_w_inc = __MAX( ( i_width + 49 ) / 50, 32 );
582     const int i_h_inc = __MAX( ( i_height + 99 ) / 100, 32 );
583     int i_maxh = i_w_inc;
584     int i_maxw = i_h_inc;
585     int i_region;
586     rectangle_t region[i_max_region+1];
587
588     i_region = 0;
589     for( int i_used = 0; i_used < i_count; )
590     {
591         int n;
592         for( n = 0; n < i_count; n++ )
593         {
594             if( pp_img[n] )
595                 break;
596         }
597         assert( i_region < i_max_region + 1 );
598         region[i_region++] = r_img( pp_img[n] );
599         pp_img[n] = NULL; i_used++;
600
601         bool b_ok;
602         do {
603             b_ok = false;
604             for( n = 0; n < i_count; n++ )
605             {
606                 ASS_Image *p_img = pp_img[n];
607                 if( !p_img )
608                     continue;
609                 rectangle_t r = r_img( p_img );
610
611                 int k;
612                 int i_best = -1;
613                 int i_best_s = INT_MAX;
614                 for( k = 0; k < i_region; k++ )
615                 {
616                     if( !r_overlap( &region[k], &r, i_maxw, i_maxh ) )
617                         continue;
618                     int s = r_surface( &r );
619                     if( s < i_best_s )
620                     {
621                         i_best_s = s;
622                         i_best = k;
623                     }
624                 }
625                 if( i_best >= 0 )
626                 {
627                     r_add( &region[i_best], &r );
628                     pp_img[n] = NULL; i_used++;
629                     b_ok = true;
630                 }
631             }
632         } while( b_ok );
633
634         if( i_region > i_max_region )
635         {
636             int i_best_i = -1;
637             int i_best_j = -1;
638             int i_best_ds = INT_MAX;
639
640             /* merge best */
641             for( int i = 0; i < i_region; i++ )
642             {
643                 for( int j = i+1; j < i_region; j++ )
644                 {
645                     rectangle_t rect = region[i];
646                     r_add( &rect, &region[j] );
647                     int ds = r_surface( &rect ) - r_surface( &region[i] ) - r_surface( &region[j] );
648
649                     if( ds < i_best_ds )
650                     {
651                         i_best_i = i;
652                         i_best_j = j;
653                         i_best_ds = ds;
654                     }
655                 }
656             }
657 #ifdef DEBUG_REGION
658             msg_Err( p_spu, "Merging %d and %d", i_best_i, i_best_j );
659 #endif
660             if( i_best_j >= 0 && i_best_i >= 0 )
661             {
662                 r_add( &region[i_best_i], &region[i_best_j] );
663
664                 if( i_best_j+1 < i_region )
665                     memmove( &region[i_best_j], &region[i_best_j+1], sizeof(*region) * ( i_region - (i_best_j+1)  ) );
666                 i_region--;
667             }
668         }
669     }
670
671     /* */
672     for( int n = 0; n < i_region; n++ )
673         p_region[n] = region[n];
674
675 #ifdef DEBUG_REGION
676     int64_t i_ck_time = vlc_tick_now() - i_ck_start;
677     msg_Err( p_spu, "ASS: %d objects merged into %d region in %d micros", i_count, i_region, (int)(i_ck_time) );
678 #endif
679
680     free( pp_img );
681
682     return i_region;
683 }
684
685 static void RegionDraw( subpicture_region_t *p_region, ASS_Image *p_img )
686 {
687     const plane_t *p = &p_region->p_picture->p[0];
688     const int i_x = p_region->i_x;
689     const int i_y = p_region->i_y;
690     const int i_width  = p_region->fmt.i_width;
691     const int i_height = p_region->fmt.i_height;
692
693     memset( p->p_pixels, 0x00, p->i_pitch * p->i_lines );
694     for( ; p_img != NULL; p_img = p_img->next )
695     {
696         if( p_img->dst_x < i_x || p_img->dst_x + p_img->w > i_x + i_width ||
697             p_img->dst_y < i_y || p_img->dst_y + p_img->h > i_y + i_height )
698             continue;
699
700         const unsigned r = (p_img->color >> 24)&0xff;
701         const unsigned g = (p_img->color >> 16)&0xff;
702         const unsigned b = (p_img->color >>  8)&0xff;
703         const unsigned a = (p_img->color      )&0xff;
704         int x, y;
705
706         for( y = 0; y < p_img->h; y++ )
707         {
708             for( x = 0; x < p_img->w; x++ )
709             {
710                 const unsigned alpha = p_img->bitmap[y*p_img->stride+x];
711                 const unsigned an = (255 - a) * alpha / 255;
712
713                 uint8_t *p_rgba = &p->p_pixels[(y+p_img->dst_y-i_y) * p->i_pitch + 4 * (x+p_img->dst_x-i_x)];
714                 const unsigned ao = p_rgba[3];
715
716                 /* Native endianness, but RGBA ordering */
717                 if( ao == 0 )
718                 {
719                     /* Optimized but the else{} will produce the same result */
720                     p_rgba[0] = r;
721                     p_rgba[1] = g;
722                     p_rgba[2] = b;
723                     p_rgba[3] = an;
724                 }
725                 else
726                 {
727                     p_rgba[3] = 255 - ( 255 - p_rgba[3] ) * ( 255 - an ) / 255;
728                     if( p_rgba[3] != 0 )
729                     {
730                         p_rgba[0] = ( p_rgba[0] * ao * (255-an) / 255 + r * an ) / p_rgba[3];
731                         p_rgba[1] = ( p_rgba[1] * ao * (255-an) / 255 + g * an ) / p_rgba[3];
732                         p_rgba[2] = ( p_rgba[2] * ao * (255-an) / 255 + b * an ) / p_rgba[3];
733                     }
734                 }
735             }
736         }
737     }
738
739 #ifdef DEBUG_REGION
740     /* XXX Draw a box for debug */
741 #define P(x,y) ((uint32_t*)&p->p_pixels[(y)*p->i_pitch + 4*(x)])
742     for( int y = 0; y < p->i_lines; y++ )
743         *P(0,y) = *P(p->i_visible_pitch/4-1,y) = 0xff000000;
744     for( int x = 0; x < p->i_visible_pitch; x++ )
745         *P(x/4,0) = *P(x/4,p->i_visible_lines-1) = 0xff000000;
746 #undef P
747 #endif
748 }
749