movtextdec: Use default style information from movtext header
[ffmpeg.git] / libavcodec / movtextdec.c
1 /*
2  * 3GPP TS 26.245 Timed Text decoder
3  * Copyright (c) 2012  Philip Langdale <philipl@overt.org>
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with FFmpeg; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 #include "avcodec.h"
23 #include "ass.h"
24 #include "libavutil/avstring.h"
25 #include "libavutil/common.h"
26 #include "libavutil/bprint.h"
27 #include "libavutil/intreadwrite.h"
28 #include "libavutil/mem.h"
29
30 #define STYLE_FLAG_BOLD         (1<<0)
31 #define STYLE_FLAG_ITALIC       (1<<1)
32 #define STYLE_FLAG_UNDERLINE    (1<<2)
33
34 #define BOX_SIZE_INITIAL    40
35
36 #define STYL_BOX   (1<<0)
37 #define HLIT_BOX   (1<<1)
38 #define HCLR_BOX   (1<<2)
39
40 #define BOTTOM_LEFT     1
41 #define BOTTOM_CENTER   2
42 #define BOTTOM_RIGHT    3
43 #define MIDDLE_LEFT     4
44 #define MIDDLE_CENTER   5
45 #define MIDDLE_RIGHT    6
46 #define TOP_LEFT        7
47 #define TOP_CENTER      8
48 #define TOP_RIGHT       9
49
50 typedef struct {
51     char *font;
52     int fontsize;
53     int color;
54     int back_color;
55     int bold;
56     int italic;
57     int underline;
58     int alignment;
59 } MovTextDefault;
60
61 typedef struct {
62     uint16_t fontID;
63     char *font;
64 } FontRecord;
65
66 typedef struct {
67     uint16_t style_start;
68     uint16_t style_end;
69     uint8_t style_flag;
70     uint8_t fontsize;
71     uint16_t style_fontID;
72 } StyleBox;
73
74 typedef struct {
75     uint16_t hlit_start;
76     uint16_t hlit_end;
77 } HighlightBox;
78
79 typedef struct {
80    uint8_t hlit_color[4];
81 } HilightcolorBox;
82
83 typedef struct {
84     StyleBox **s;
85     StyleBox *s_temp;
86     HighlightBox h;
87     HilightcolorBox c;
88     FontRecord **ftab;
89     FontRecord *ftab_temp;
90     MovTextDefault d;
91     uint8_t box_flags;
92     uint16_t style_entries, ftab_entries;
93     uint64_t tracksize;
94     int size_var;
95     int count_s, count_f;
96 } MovTextContext;
97
98 typedef struct {
99     uint32_t type;
100     size_t base_size;
101     int (*decode)(const uint8_t *tsmb, MovTextContext *m, AVPacket *avpkt);
102 } Box;
103
104 static void mov_text_cleanup(MovTextContext *m)
105 {
106     int i;
107     if (m->box_flags & STYL_BOX) {
108         for(i = 0; i < m->count_s; i++) {
109             av_freep(&m->s[i]);
110         }
111         av_freep(&m->s);
112     }
113 }
114
115 static void mov_text_cleanup_ftab(MovTextContext *m)
116 {
117     int i;
118     if (m->ftab) {
119         for(i = 0; i < m->count_f; i++) {
120             av_freep(&m->ftab[i]->font);
121             av_freep(&m->ftab[i]);
122         }
123     }
124     av_freep(&m->ftab);
125 }
126
127 static int mov_text_tx3g(AVCodecContext *avctx, MovTextContext *m)
128 {
129     char *tx3g_ptr = avctx->extradata;
130     int i, box_size, font_length;
131     int8_t v_align, h_align;
132     int style_fontID;
133     StyleBox s_default;
134
135     m->count_f = 0;
136     m->ftab_entries = 0;
137     box_size = BOX_SIZE_INITIAL; /* Size till ftab_entries */
138     if (avctx->extradata_size < box_size)
139         return -1;
140
141     // Display Flags
142     tx3g_ptr += 4;
143     // Alignment
144     h_align = *tx3g_ptr++;
145     v_align = *tx3g_ptr++;
146     if (h_align == 0) {
147         if (v_align == 0)
148             m->d.alignment = TOP_LEFT;
149         if (v_align == 1)
150             m->d.alignment = MIDDLE_LEFT;
151         if (v_align == -1)
152             m->d.alignment = BOTTOM_LEFT;
153     }
154     if (h_align == 1) {
155         if (v_align == 0)
156             m->d.alignment = TOP_CENTER;
157         if (v_align == 1)
158             m->d.alignment = MIDDLE_CENTER;
159         if (v_align == -1)
160             m->d.alignment = BOTTOM_CENTER;
161     }
162     if (h_align == -1) {
163         if (v_align == 0)
164             m->d.alignment = TOP_RIGHT;
165         if (v_align == 1)
166             m->d.alignment = MIDDLE_RIGHT;
167         if (v_align == -1)
168             m->d.alignment = BOTTOM_RIGHT;
169     }
170     // Background Color
171     m->d.back_color = AV_RB24(tx3g_ptr);
172     tx3g_ptr += 4;
173     // BoxRecord
174     tx3g_ptr += 8;
175     // StyleRecord
176     tx3g_ptr += 4;
177     // fontID
178     style_fontID = AV_RB16(tx3g_ptr);
179     tx3g_ptr += 2;
180     // face-style-flags
181     s_default.style_flag = *tx3g_ptr++;
182     m->d.bold = s_default.style_flag & STYLE_FLAG_BOLD;
183     m->d.italic = s_default.style_flag & STYLE_FLAG_ITALIC;
184     m->d.underline = s_default.style_flag & STYLE_FLAG_UNDERLINE;
185     // fontsize
186     m->d.fontsize = *tx3g_ptr++;
187     // Primary color
188     m->d.color = AV_RB24(tx3g_ptr);
189     tx3g_ptr += 4;
190     // FontRecord
191     // FontRecord Size
192     tx3g_ptr += 4;
193     // ftab
194     tx3g_ptr += 4;
195
196     m->ftab_entries = AV_RB16(tx3g_ptr);
197     tx3g_ptr += 2;
198
199     for (i = 0; i < m->ftab_entries; i++) {
200
201         box_size += 3;
202         if (avctx->extradata_size < box_size) {
203             mov_text_cleanup_ftab(m);
204             m->ftab_entries = 0;
205             return -1;
206         }
207         m->ftab_temp = av_malloc(sizeof(*m->ftab_temp));
208         if (!m->ftab_temp) {
209             mov_text_cleanup_ftab(m);
210             return AVERROR(ENOMEM);
211         }
212         m->ftab_temp->fontID = AV_RB16(tx3g_ptr);
213         tx3g_ptr += 2;
214         font_length = *tx3g_ptr++;
215
216         box_size = box_size + font_length;
217         if (avctx->extradata_size < box_size) {
218             mov_text_cleanup_ftab(m);
219             m->ftab_entries = 0;
220             return -1;
221         }
222         m->ftab_temp->font = av_malloc(font_length + 1);
223         if (!m->ftab_temp->font) {
224             mov_text_cleanup_ftab(m);
225             return AVERROR(ENOMEM);
226         }
227         memcpy(m->ftab_temp->font, tx3g_ptr, font_length);
228         m->ftab_temp->font[font_length] = '\0';
229         av_dynarray_add(&m->ftab, &m->count_f, m->ftab_temp);
230         if (!m->ftab) {
231             mov_text_cleanup_ftab(m);
232             return AVERROR(ENOMEM);
233         }
234         tx3g_ptr = tx3g_ptr + font_length;
235     }
236     for (i = 0; i < m->ftab_entries; i++) {
237         if (style_fontID == m->ftab[i]->fontID)
238             m->d.font = m->ftab[i]->font;
239     }
240     return 0;
241 }
242
243 static int decode_hlit(const uint8_t *tsmb, MovTextContext *m, AVPacket *avpkt)
244 {
245     m->box_flags |= HLIT_BOX;
246     m->h.hlit_start = AV_RB16(tsmb);
247     tsmb += 2;
248     m->h.hlit_end = AV_RB16(tsmb);
249     tsmb += 2;
250     return 0;
251 }
252
253 static int decode_hclr(const uint8_t *tsmb, MovTextContext *m, AVPacket *avpkt)
254 {
255     m->box_flags |= HCLR_BOX;
256     memcpy(m->c.hlit_color, tsmb, 4);
257     tsmb += 4;
258     return 0;
259 }
260
261 static int decode_styl(const uint8_t *tsmb, MovTextContext *m, AVPacket *avpkt)
262 {
263     int i;
264     m->style_entries = AV_RB16(tsmb);
265     tsmb += 2;
266     // A single style record is of length 12 bytes.
267     if (m->tracksize + m->size_var + 2 + m->style_entries * 12 > avpkt->size)
268         return -1;
269
270     m->box_flags |= STYL_BOX;
271     for(i = 0; i < m->style_entries; i++) {
272         m->s_temp = av_malloc(sizeof(*m->s_temp));
273         if (!m->s_temp) {
274             mov_text_cleanup(m);
275             return AVERROR(ENOMEM);
276         }
277         m->s_temp->style_start = AV_RB16(tsmb);
278         tsmb += 2;
279         m->s_temp->style_end = AV_RB16(tsmb);
280         tsmb += 2;
281         m->s_temp->style_fontID = AV_RB16(tsmb);
282         tsmb += 2;
283         m->s_temp->style_flag = AV_RB8(tsmb);
284         tsmb++;
285         m->s_temp->fontsize = AV_RB8(tsmb);
286         av_dynarray_add(&m->s, &m->count_s, m->s_temp);
287         if(!m->s) {
288             mov_text_cleanup(m);
289             return AVERROR(ENOMEM);
290         }
291         tsmb++;
292         // text-color-rgba
293         tsmb += 4;
294     }
295     return 0;
296 }
297
298 static const Box box_types[] = {
299     { MKBETAG('s','t','y','l'), 2, decode_styl },
300     { MKBETAG('h','l','i','t'), 4, decode_hlit },
301     { MKBETAG('h','c','l','r'), 4, decode_hclr }
302 };
303
304 const static size_t box_count = FF_ARRAY_ELEMS(box_types);
305
306 static int text_to_ass(AVBPrint *buf, const char *text, const char *text_end,
307                         MovTextContext *m)
308 {
309     int i = 0;
310     int j = 0;
311     int text_pos = 0;
312     while (text < text_end) {
313         if (m->box_flags & STYL_BOX) {
314             for (i = 0; i < m->style_entries; i++) {
315                 if (m->s[i]->style_flag && text_pos == m->s[i]->style_end) {
316                     av_bprintf(buf, "{\\r}");
317                 }
318             }
319             for (i = 0; i < m->style_entries; i++) {
320                 if (m->s[i]->style_flag && text_pos == m->s[i]->style_start) {
321                     if (m->s[i]->style_flag & STYLE_FLAG_BOLD)
322                         av_bprintf(buf, "{\\b1}");
323                     if (m->s[i]->style_flag & STYLE_FLAG_ITALIC)
324                         av_bprintf(buf, "{\\i1}");
325                     if (m->s[i]->style_flag & STYLE_FLAG_UNDERLINE)
326                         av_bprintf(buf, "{\\u1}");
327                     av_bprintf(buf, "{\\fs%d}", m->s[i]->fontsize);
328                     for (j = 0; j < m->ftab_entries; j++) {
329                         if (m->s[i]->style_fontID == m->ftab[j]->fontID)
330                             av_bprintf(buf, "{\\fn%s}", m->ftab[j]->font);
331                     }
332                 }
333             }
334         }
335         if (m->box_flags & HLIT_BOX) {
336             if (text_pos == m->h.hlit_start) {
337                 /* If hclr box is present, set the secondary color to the color
338                  * specified. Otherwise, set primary color to white and secondary
339                  * color to black. These colors will come from TextSampleModifier
340                  * boxes in future and inverse video technique for highlight will
341                  * be implemented.
342                  */
343                 if (m->box_flags & HCLR_BOX) {
344                     av_bprintf(buf, "{\\2c&H%02x%02x%02x&}", m->c.hlit_color[2],
345                                 m->c.hlit_color[1], m->c.hlit_color[0]);
346                 } else {
347                     av_bprintf(buf, "{\\1c&H000000&}{\\2c&HFFFFFF&}");
348                 }
349             }
350             if (text_pos == m->h.hlit_end) {
351                 if (m->box_flags & HCLR_BOX) {
352                     av_bprintf(buf, "{\\2c&H000000&}");
353                 } else {
354                     av_bprintf(buf, "{\\1c&HFFFFFF&}{\\2c&H000000&}");
355                 }
356             }
357         }
358
359         switch (*text) {
360         case '\r':
361             break;
362         case '\n':
363             av_bprintf(buf, "\\N");
364             break;
365         default:
366             av_bprint_chars(buf, *text, 1);
367             break;
368         }
369         text++;
370         text_pos++;
371     }
372
373     return 0;
374 }
375
376 static int mov_text_init(AVCodecContext *avctx) {
377     /*
378      * TODO: Handle the default text style.
379      * NB: Most players ignore styles completely, with the result that
380      * it's very common to find files where the default style is broken
381      * and respecting it results in a worse experience than ignoring it.
382      */
383     int ret;
384     MovTextContext *m = avctx->priv_data;
385     ret = mov_text_tx3g(avctx, m);
386     if (ret == 0) {
387         return ff_ass_subtitle_header(avctx, m->d.font, m->d.fontsize, m->d.color,
388                                 m->d.back_color, m->d.bold, m->d.italic,
389                                 m->d.underline, m->d.alignment);
390     } else
391         return ff_ass_subtitle_header_default(avctx);
392 }
393
394 static int mov_text_decode_frame(AVCodecContext *avctx,
395                             void *data, int *got_sub_ptr, AVPacket *avpkt)
396 {
397     AVSubtitle *sub = data;
398     MovTextContext *m = avctx->priv_data;
399     int ret, ts_start, ts_end;
400     AVBPrint buf;
401     char *ptr = avpkt->data;
402     char *end;
403     int text_length, tsmb_type, ret_tsmb;
404     uint64_t tsmb_size;
405     const uint8_t *tsmb;
406
407     if (!ptr || avpkt->size < 2)
408         return AVERROR_INVALIDDATA;
409
410     /*
411      * A packet of size two with value zero is an empty subtitle
412      * used to mark the end of the previous non-empty subtitle.
413      * We can just drop them here as we have duration information
414      * already. If the value is non-zero, then it's technically a
415      * bad packet.
416      */
417     if (avpkt->size == 2)
418         return AV_RB16(ptr) == 0 ? 0 : AVERROR_INVALIDDATA;
419
420     /*
421      * The first two bytes of the packet are the length of the text string
422      * In complex cases, there are style descriptors appended to the string
423      * so we can't just assume the packet size is the string size.
424      */
425     text_length = AV_RB16(ptr);
426     end = ptr + FFMIN(2 + text_length, avpkt->size);
427     ptr += 2;
428
429     ts_start = av_rescale_q(avpkt->pts,
430                             avctx->time_base,
431                             (AVRational){1,100});
432     ts_end   = av_rescale_q(avpkt->pts + avpkt->duration,
433                             avctx->time_base,
434                             (AVRational){1,100});
435
436     tsmb_size = 0;
437     m->tracksize = 2 + text_length;
438     m->style_entries = 0;
439     m->box_flags = 0;
440     m->count_s = 0;
441     // Note that the spec recommends lines be no longer than 2048 characters.
442     av_bprint_init(&buf, 0, AV_BPRINT_SIZE_UNLIMITED);
443     if (text_length + 2 != avpkt->size) {
444         while (m->tracksize + 8 <= avpkt->size) {
445             // A box is a minimum of 8 bytes.
446             tsmb = ptr + m->tracksize - 2;
447             tsmb_size = AV_RB32(tsmb);
448             tsmb += 4;
449             tsmb_type = AV_RB32(tsmb);
450             tsmb += 4;
451
452             if (tsmb_size == 1) {
453                 if (m->tracksize + 16 > avpkt->size)
454                     break;
455                 tsmb_size = AV_RB64(tsmb);
456                 tsmb += 8;
457                 m->size_var = 16;
458             } else
459                 m->size_var = 8;
460             //size_var is equal to 8 or 16 depending on the size of box
461
462             if (m->tracksize + tsmb_size > avpkt->size)
463                 break;
464
465             for (size_t i = 0; i < box_count; i++) {
466                 if (tsmb_type == box_types[i].type) {
467                     if (m->tracksize + m->size_var + box_types[i].base_size > avpkt->size)
468                         break;
469                     ret_tsmb = box_types[i].decode(tsmb, m, avpkt);
470                     if (ret_tsmb == -1)
471                         break;
472                 }
473             }
474             m->tracksize = m->tracksize + tsmb_size;
475         }
476         text_to_ass(&buf, ptr, end, m);
477         mov_text_cleanup(m);
478     } else
479         text_to_ass(&buf, ptr, end, m);
480
481     ret = ff_ass_add_rect_bprint(sub, &buf, ts_start, ts_end - ts_start);
482     av_bprint_finalize(&buf, NULL);
483     if (ret < 0)
484         return ret;
485     *got_sub_ptr = sub->num_rects > 0;
486     return avpkt->size;
487 }
488
489 static int mov_text_decode_close(AVCodecContext *avctx)
490 {
491     MovTextContext *m = avctx->priv_data;
492     mov_text_cleanup_ftab(m);
493     return 0;
494 }
495
496 AVCodec ff_movtext_decoder = {
497     .name         = "mov_text",
498     .long_name    = NULL_IF_CONFIG_SMALL("3GPP Timed Text subtitle"),
499     .type         = AVMEDIA_TYPE_SUBTITLE,
500     .id           = AV_CODEC_ID_MOV_TEXT,
501     .priv_data_size = sizeof(MovTextContext),
502     .init         = mov_text_init,
503     .decode       = mov_text_decode_frame,
504     .close        = mov_text_decode_close,
505 };