lavc/aacsbr: fix make checkheaders warning
[ffmpeg.git] / libavcodec / g2meet.c
1 /*
2  * Go2Webinar / Go2Meeting decoder
3  * Copyright (c) 2012 Konstantin Shishkov
4  * Copyright (c) 2013 Maxim Poliakovski
5  *
6  * This file is part of FFmpeg.
7  *
8  * FFmpeg is free software; you can redistribute it and/or
9  * modify it under the terms of the GNU Lesser General Public
10  * License as published by the Free Software Foundation; either
11  * version 2.1 of the License, or (at your option) any later version.
12  *
13  * FFmpeg is distributed in the hope that it will be useful,
14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
16  * Lesser General Public License for more details.
17  *
18  * You should have received a copy of the GNU Lesser General Public
19  * License along with FFmpeg; if not, write to the Free Software
20  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
21  */
22
23 /**
24  * @file
25  * Go2Webinar / Go2Meeting decoder
26  */
27
28 #include <inttypes.h>
29 #include <zlib.h>
30
31 #include "libavutil/imgutils.h"
32 #include "libavutil/intreadwrite.h"
33
34 #include "avcodec.h"
35 #include "blockdsp.h"
36 #include "bytestream.h"
37 #include "elsdec.h"
38 #include "get_bits.h"
39 #include "idctdsp.h"
40 #include "internal.h"
41 #include "jpegtables.h"
42 #include "mjpeg.h"
43
44 #define EPIC_PIX_STACK_SIZE 1024
45 #define EPIC_PIX_STACK_MAX  (EPIC_PIX_STACK_SIZE - 1)
46
47 enum ChunkType {
48     DISPLAY_INFO = 0xC8,
49     TILE_DATA,
50     CURSOR_POS,
51     CURSOR_SHAPE,
52     CHUNK_CC,
53     CHUNK_CD
54 };
55
56 enum Compression {
57     COMPR_EPIC_J_B = 2,
58     COMPR_KEMPF_J_B,
59 };
60
61 static const uint8_t luma_quant[64] = {
62      8,  6,  5,  8, 12, 20, 26, 31,
63      6,  6,  7, 10, 13, 29, 30, 28,
64      7,  7,  8, 12, 20, 29, 35, 28,
65      7,  9, 11, 15, 26, 44, 40, 31,
66      9, 11, 19, 28, 34, 55, 52, 39,
67     12, 18, 28, 32, 41, 52, 57, 46,
68     25, 32, 39, 44, 52, 61, 60, 51,
69     36, 46, 48, 49, 56, 50, 52, 50
70 };
71
72 static const uint8_t chroma_quant[64] = {
73      9,  9, 12, 24, 50, 50, 50, 50,
74      9, 11, 13, 33, 50, 50, 50, 50,
75     12, 13, 28, 50, 50, 50, 50, 50,
76     24, 33, 50, 50, 50, 50, 50, 50,
77     50, 50, 50, 50, 50, 50, 50, 50,
78     50, 50, 50, 50, 50, 50, 50, 50,
79     50, 50, 50, 50, 50, 50, 50, 50,
80     50, 50, 50, 50, 50, 50, 50, 50,
81 };
82
83 typedef struct ePICPixListElem {
84     struct ePICPixListElem *next;
85     uint32_t               pixel;
86     uint8_t                rung;
87 } ePICPixListElem;
88
89 typedef struct ePICPixHashElem {
90     uint32_t                pix_id;
91     struct ePICPixListElem  *list;
92 } ePICPixHashElem;
93
94 #define EPIC_HASH_SIZE 256
95 typedef struct ePICPixHash {
96     ePICPixHashElem *bucket[EPIC_HASH_SIZE];
97     int              bucket_size[EPIC_HASH_SIZE];
98     int              bucket_fill[EPIC_HASH_SIZE];
99 } ePICPixHash;
100
101 typedef struct ePICContext {
102     ElsDecCtx        els_ctx;
103     int              next_run_pos;
104     ElsUnsignedRung  unsigned_rung;
105     uint8_t          W_flag_rung;
106     uint8_t          N_flag_rung;
107     uint8_t          W_ctx_rung[256];
108     uint8_t          N_ctx_rung[512];
109     uint8_t          nw_pred_rung[256];
110     uint8_t          ne_pred_rung[256];
111     uint8_t          prev_row_rung[14];
112     uint8_t          runlen_zeroes[14];
113     uint8_t          runlen_one;
114     int              stack_pos;
115     uint32_t         stack[EPIC_PIX_STACK_SIZE];
116     ePICPixHash      hash;
117 } ePICContext;
118
119 typedef struct JPGContext {
120     BlockDSPContext bdsp;
121     IDCTDSPContext idsp;
122     ScanTable  scantable;
123
124     VLC        dc_vlc[2], ac_vlc[2];
125     int        prev_dc[3];
126     DECLARE_ALIGNED(32, int16_t, block)[6][64];
127
128     uint8_t    *buf;
129 } JPGContext;
130
131 typedef struct G2MContext {
132     ePICContext ec;
133     JPGContext jc;
134
135     int        version;
136
137     int        compression;
138     int        width, height, bpp;
139     int        orig_width, orig_height;
140     int        tile_width, tile_height;
141     int        tiles_x, tiles_y, tile_x, tile_y;
142
143     int        got_header;
144
145     uint8_t    *framebuf;
146     int        framebuf_stride, old_width, old_height;
147
148     uint8_t    *synth_tile, *jpeg_tile, *epic_buf, *epic_buf_base;
149     int        tile_stride, epic_buf_stride, old_tile_w, old_tile_h;
150     int        swapuv;
151
152     uint8_t    *kempf_buf, *kempf_flags;
153
154     uint8_t    *cursor;
155     int        cursor_stride;
156     int        cursor_fmt;
157     int        cursor_w, cursor_h, cursor_x, cursor_y;
158     int        cursor_hot_x, cursor_hot_y;
159 } G2MContext;
160
161 static av_cold int build_vlc(VLC *vlc, const uint8_t *bits_table,
162                              const uint8_t *val_table, int nb_codes,
163                              int is_ac)
164 {
165     uint8_t  huff_size[256] = { 0 };
166     uint16_t huff_code[256];
167     uint16_t huff_sym[256];
168     int i;
169
170     ff_mjpeg_build_huffman_codes(huff_size, huff_code, bits_table, val_table);
171
172     for (i = 0; i < 256; i++)
173         huff_sym[i] = i + 16 * is_ac;
174
175     if (is_ac)
176         huff_sym[0] = 16 * 256;
177
178     return ff_init_vlc_sparse(vlc, 9, nb_codes, huff_size, 1, 1,
179                               huff_code, 2, 2, huff_sym, 2, 2, 0);
180 }
181
182 static av_cold int jpg_init(AVCodecContext *avctx, JPGContext *c)
183 {
184     int ret;
185
186     ret = build_vlc(&c->dc_vlc[0], avpriv_mjpeg_bits_dc_luminance,
187                     avpriv_mjpeg_val_dc, 12, 0);
188     if (ret)
189         return ret;
190     ret = build_vlc(&c->dc_vlc[1], avpriv_mjpeg_bits_dc_chrominance,
191                     avpriv_mjpeg_val_dc, 12, 0);
192     if (ret)
193         return ret;
194     ret = build_vlc(&c->ac_vlc[0], avpriv_mjpeg_bits_ac_luminance,
195                     avpriv_mjpeg_val_ac_luminance, 251, 1);
196     if (ret)
197         return ret;
198     ret = build_vlc(&c->ac_vlc[1], avpriv_mjpeg_bits_ac_chrominance,
199                     avpriv_mjpeg_val_ac_chrominance, 251, 1);
200     if (ret)
201         return ret;
202
203     ff_blockdsp_init(&c->bdsp, avctx);
204     ff_idctdsp_init(&c->idsp, avctx);
205     ff_init_scantable(c->idsp.idct_permutation, &c->scantable,
206                       ff_zigzag_direct);
207
208     return 0;
209 }
210
211 static av_cold void jpg_free_context(JPGContext *ctx)
212 {
213     int i;
214
215     for (i = 0; i < 2; i++) {
216         ff_free_vlc(&ctx->dc_vlc[i]);
217         ff_free_vlc(&ctx->ac_vlc[i]);
218     }
219
220     av_freep(&ctx->buf);
221 }
222
223 static void jpg_unescape(const uint8_t *src, int src_size,
224                          uint8_t *dst, int *dst_size)
225 {
226     const uint8_t *src_end = src + src_size;
227     uint8_t *dst_start = dst;
228
229     while (src < src_end) {
230         uint8_t x = *src++;
231
232         *dst++ = x;
233
234         if (x == 0xFF && !*src)
235             src++;
236     }
237     *dst_size = dst - dst_start;
238 }
239
240 static int jpg_decode_block(JPGContext *c, GetBitContext *gb,
241                             int plane, int16_t *block)
242 {
243     int dc, val, pos;
244     const int is_chroma = !!plane;
245     const uint8_t *qmat = is_chroma ? chroma_quant : luma_quant;
246
247     c->bdsp.clear_block(block);
248     dc = get_vlc2(gb, c->dc_vlc[is_chroma].table, 9, 3);
249     if (dc < 0)
250         return AVERROR_INVALIDDATA;
251     if (dc)
252         dc = get_xbits(gb, dc);
253     dc                = dc * qmat[0] + c->prev_dc[plane];
254     block[0]          = dc;
255     c->prev_dc[plane] = dc;
256
257     pos = 0;
258     while (pos < 63) {
259         val = get_vlc2(gb, c->ac_vlc[is_chroma].table, 9, 3);
260         if (val < 0)
261             return AVERROR_INVALIDDATA;
262         pos += val >> 4;
263         val &= 0xF;
264         if (pos > 63)
265             return val ? AVERROR_INVALIDDATA : 0;
266         if (val) {
267             int nbits = val;
268
269             val                                 = get_xbits(gb, nbits);
270             val                                *= qmat[ff_zigzag_direct[pos]];
271             block[c->scantable.permutated[pos]] = val;
272         }
273     }
274     return 0;
275 }
276
277 static inline void yuv2rgb(uint8_t *out, int ridx, int Y, int U, int V)
278 {
279     out[ridx]     = av_clip_uint8(Y +              (91881 * V + 32768 >> 16));
280     out[1]        = av_clip_uint8(Y + (-22554 * U - 46802 * V + 32768 >> 16));
281     out[2 - ridx] = av_clip_uint8(Y + (116130 * U             + 32768 >> 16));
282 }
283
284 static int jpg_decode_data(JPGContext *c, int width, int height,
285                            const uint8_t *src, int src_size,
286                            uint8_t *dst, int dst_stride,
287                            const uint8_t *mask, int mask_stride, int num_mbs,
288                            int swapuv)
289 {
290     GetBitContext gb;
291     int mb_w, mb_h, mb_x, mb_y, i, j;
292     int bx, by;
293     int unesc_size;
294     int ret;
295     const int ridx = swapuv ? 2 : 0;
296
297     if ((ret = av_reallocp(&c->buf,
298                            src_size + AV_INPUT_BUFFER_PADDING_SIZE)) < 0)
299         return ret;
300     jpg_unescape(src, src_size, c->buf, &unesc_size);
301     memset(c->buf + unesc_size, 0, AV_INPUT_BUFFER_PADDING_SIZE);
302     if((ret = init_get_bits8(&gb, c->buf, unesc_size)) < 0)
303         return ret;
304
305     width = FFALIGN(width, 16);
306     mb_w  =  width        >> 4;
307     mb_h  = (height + 15) >> 4;
308
309     if (!num_mbs)
310         num_mbs = mb_w * mb_h * 4;
311
312     for (i = 0; i < 3; i++)
313         c->prev_dc[i] = 1024;
314     bx =
315     by = 0;
316     c->bdsp.clear_blocks(c->block[0]);
317     for (mb_y = 0; mb_y < mb_h; mb_y++) {
318         for (mb_x = 0; mb_x < mb_w; mb_x++) {
319             if (mask && !mask[mb_x * 2] && !mask[mb_x * 2 + 1] &&
320                 !mask[mb_x * 2 +     mask_stride] &&
321                 !mask[mb_x * 2 + 1 + mask_stride]) {
322                 bx += 16;
323                 continue;
324             }
325             for (j = 0; j < 2; j++) {
326                 for (i = 0; i < 2; i++) {
327                     if (mask && !mask[mb_x * 2 + i + j * mask_stride])
328                         continue;
329                     num_mbs--;
330                     if ((ret = jpg_decode_block(c, &gb, 0,
331                                                 c->block[i + j * 2])) != 0)
332                         return ret;
333                     c->idsp.idct(c->block[i + j * 2]);
334                 }
335             }
336             for (i = 1; i < 3; i++) {
337                 if ((ret = jpg_decode_block(c, &gb, i, c->block[i + 3])) != 0)
338                     return ret;
339                 c->idsp.idct(c->block[i + 3]);
340             }
341
342             for (j = 0; j < 16; j++) {
343                 uint8_t *out = dst + bx * 3 + (by + j) * dst_stride;
344                 for (i = 0; i < 16; i++) {
345                     int Y, U, V;
346
347                     Y = c->block[(j >> 3) * 2 + (i >> 3)][(i & 7) + (j & 7) * 8];
348                     U = c->block[4][(i >> 1) + (j >> 1) * 8] - 128;
349                     V = c->block[5][(i >> 1) + (j >> 1) * 8] - 128;
350                     yuv2rgb(out + i * 3, ridx, Y, U, V);
351                 }
352             }
353
354             if (!num_mbs)
355                 return 0;
356             bx += 16;
357         }
358         bx  = 0;
359         by += 16;
360         if (mask)
361             mask += mask_stride * 2;
362     }
363
364     return 0;
365 }
366
367 #define LOAD_NEIGHBOURS(x)      \
368     W   = curr_row[(x)   - 1];  \
369     N   = above_row[(x)];       \
370     WW  = curr_row[(x)   - 2];  \
371     NW  = above_row[(x)  - 1];  \
372     NE  = above_row[(x)  + 1];  \
373     NN  = above2_row[(x)];      \
374     NNW = above2_row[(x) - 1];  \
375     NWW = above_row[(x)  - 2];  \
376     NNE = above2_row[(x) + 1]
377
378 #define UPDATE_NEIGHBOURS(x)    \
379     NNW = NN;                   \
380     NN  = NNE;                  \
381     NWW = NW;                   \
382     NW  = N;                    \
383     N   = NE;                   \
384     NE  = above_row[(x)  + 1];  \
385     NNE = above2_row[(x) + 1]
386
387 #define R_shift 16
388 #define G_shift  8
389 #define B_shift  0
390
391 /* improved djb2 hash from http://www.cse.yorku.ca/~oz/hash.html */
392 static int djb2_hash(uint32_t key)
393 {
394     uint32_t h = 5381;
395
396     h = (h * 33) ^ ((key >> 24) & 0xFF); // xxx: probably not needed at all
397     h = (h * 33) ^ ((key >> 16) & 0xFF);
398     h = (h * 33) ^ ((key >>  8) & 0xFF);
399     h = (h * 33) ^  (key        & 0xFF);
400
401     return h & (EPIC_HASH_SIZE - 1);
402 }
403
404 static void epic_hash_init(ePICPixHash *hash)
405 {
406     memset(hash, 0, sizeof(*hash));
407 }
408
409 static ePICPixHashElem *epic_hash_find(const ePICPixHash *hash, uint32_t key)
410 {
411     int i, idx = djb2_hash(key);
412     ePICPixHashElem *bucket = hash->bucket[idx];
413
414     for (i = 0; i < hash->bucket_fill[idx]; i++)
415         if (bucket[i].pix_id == key)
416             return &bucket[i];
417
418     return NULL;
419 }
420
421 static ePICPixHashElem *epic_hash_add(ePICPixHash *hash, uint32_t key)
422 {
423     ePICPixHashElem *bucket, *ret;
424     int idx = djb2_hash(key);
425
426     if (hash->bucket_size[idx] > INT_MAX / sizeof(**hash->bucket))
427         return NULL;
428
429     if (!(hash->bucket_fill[idx] < hash->bucket_size[idx])) {
430         int new_size = hash->bucket_size[idx] + 16;
431         bucket = av_realloc(hash->bucket[idx], new_size * sizeof(*bucket));
432         if (!bucket)
433             return NULL;
434         hash->bucket[idx]      = bucket;
435         hash->bucket_size[idx] = new_size;
436     }
437
438     ret = &hash->bucket[idx][hash->bucket_fill[idx]++];
439     memset(ret, 0, sizeof(*ret));
440     ret->pix_id = key;
441     return ret;
442 }
443
444 static int epic_add_pixel_to_cache(ePICPixHash *hash, uint32_t key, uint32_t pix)
445 {
446     ePICPixListElem *new_elem;
447     ePICPixHashElem *hash_elem = epic_hash_find(hash, key);
448
449     if (!hash_elem) {
450         if (!(hash_elem = epic_hash_add(hash, key)))
451             return AVERROR(ENOMEM);
452     }
453
454     new_elem = av_mallocz(sizeof(*new_elem));
455     if (!new_elem)
456         return AVERROR(ENOMEM);
457
458     new_elem->pixel = pix;
459     new_elem->next  = hash_elem->list;
460     hash_elem->list = new_elem;
461
462     return 0;
463 }
464
465 static inline int epic_cache_entries_for_pixel(const ePICPixHash *hash,
466                                                uint32_t pix)
467 {
468     ePICPixHashElem *hash_elem = epic_hash_find(hash, pix);
469
470     if (hash_elem != NULL && hash_elem->list != NULL)
471         return 1;
472
473     return 0;
474 }
475
476 static void epic_free_pixel_cache(ePICPixHash *hash)
477 {
478     int i, j;
479
480     for (i = 0; i < EPIC_HASH_SIZE; i++) {
481         for (j = 0; j < hash->bucket_fill[i]; j++) {
482             ePICPixListElem *list_elem = hash->bucket[i][j].list;
483             while (list_elem) {
484                 ePICPixListElem *tmp = list_elem->next;
485                 av_free(list_elem);
486                 list_elem = tmp;
487             }
488         }
489         av_freep(&hash->bucket[i]);
490         hash->bucket_size[i] =
491         hash->bucket_fill[i] = 0;
492     }
493 }
494
495 static inline int is_pixel_on_stack(const ePICContext *dc, uint32_t pix)
496 {
497     int i;
498
499     for (i = 0; i < dc->stack_pos; i++)
500         if (dc->stack[i] == pix)
501             break;
502
503     return i != dc->stack_pos;
504 }
505
506 #define TOSIGNED(val) (((val) >> 1) ^ -((val) & 1))
507
508 static inline int epic_decode_component_pred(ePICContext *dc,
509                                              int N, int W, int NW)
510 {
511     unsigned delta = ff_els_decode_unsigned(&dc->els_ctx, &dc->unsigned_rung);
512     return mid_pred(N, N + W - NW, W) - TOSIGNED(delta);
513 }
514
515 static uint32_t epic_decode_pixel_pred(ePICContext *dc, int x, int y,
516                                        const uint32_t *curr_row,
517                                        const uint32_t *above_row)
518 {
519     uint32_t N, W, NW, pred;
520     unsigned delta;
521     int GN, GW, GNW, R, G, B;
522
523     if (x && y) {
524         W  = curr_row[x  - 1];
525         N  = above_row[x];
526         NW = above_row[x - 1];
527
528         GN  = (N  >> G_shift) & 0xFF;
529         GW  = (W  >> G_shift) & 0xFF;
530         GNW = (NW >> G_shift) & 0xFF;
531
532         G = epic_decode_component_pred(dc, GN, GW, GNW);
533
534         R = G + epic_decode_component_pred(dc,
535                                            ((N  >> R_shift) & 0xFF) - GN,
536                                            ((W  >> R_shift) & 0xFF) - GW,
537                                            ((NW >> R_shift) & 0xFF) - GNW);
538
539         B = G + epic_decode_component_pred(dc,
540                                            ((N  >> B_shift) & 0xFF) - GN,
541                                            ((W  >> B_shift) & 0xFF) - GW,
542                                            ((NW >> B_shift) & 0xFF) - GNW);
543     } else {
544         if (x)
545             pred = curr_row[x - 1];
546         else
547             pred = above_row[x];
548
549         delta = ff_els_decode_unsigned(&dc->els_ctx, &dc->unsigned_rung);
550         R     = ((pred >> R_shift) & 0xFF) - TOSIGNED(delta);
551
552         delta = ff_els_decode_unsigned(&dc->els_ctx, &dc->unsigned_rung);
553         G     = ((pred >> G_shift) & 0xFF) - TOSIGNED(delta);
554
555         delta = ff_els_decode_unsigned(&dc->els_ctx, &dc->unsigned_rung);
556         B     = ((pred >> B_shift) & 0xFF) - TOSIGNED(delta);
557     }
558
559     if (R<0 || G<0 || B<0 || R > 255 || G > 255 || B > 255) {
560         avpriv_request_sample(NULL, "RGB %d %d %d is out of range\n", R, G, B);
561         return 0;
562     }
563
564     return (R << R_shift) | (G << G_shift) | (B << B_shift);
565 }
566
567 static int epic_predict_pixel(ePICContext *dc, uint8_t *rung,
568                               uint32_t *pPix, uint32_t pix)
569 {
570     if (!ff_els_decode_bit(&dc->els_ctx, rung)) {
571         *pPix = pix;
572         return 1;
573     }
574     dc->stack[dc->stack_pos++ & EPIC_PIX_STACK_MAX] = pix;
575     return 0;
576 }
577
578 static int epic_handle_edges(ePICContext *dc, int x, int y,
579                              const uint32_t *curr_row,
580                              const uint32_t *above_row, uint32_t *pPix)
581 {
582     uint32_t pix;
583
584     if (!x && !y) { /* special case: top-left pixel */
585         /* the top-left pixel is coded independently with 3 unsigned numbers */
586         *pPix = (ff_els_decode_unsigned(&dc->els_ctx, &dc->unsigned_rung) << R_shift) |
587                 (ff_els_decode_unsigned(&dc->els_ctx, &dc->unsigned_rung) << G_shift) |
588                 (ff_els_decode_unsigned(&dc->els_ctx, &dc->unsigned_rung) << B_shift);
589         return 1;
590     }
591
592     if (x) { /* predict from W first */
593         pix = curr_row[x - 1];
594         if (epic_predict_pixel(dc, &dc->W_flag_rung, pPix, pix))
595             return 1;
596     }
597
598     if (y) { /* then try to predict from N */
599         pix = above_row[x];
600         if (!dc->stack_pos || dc->stack[0] != pix) {
601             if (epic_predict_pixel(dc, &dc->N_flag_rung, pPix, pix))
602                 return 1;
603         }
604     }
605
606     return 0;
607 }
608
609 static int epic_decode_run_length(ePICContext *dc, int x, int y, int tile_width,
610                                   const uint32_t *curr_row,
611                                   const uint32_t *above_row,
612                                   const uint32_t *above2_row,
613                                   uint32_t *pPix, int *pRun)
614 {
615     int idx, got_pixel = 0, WWneW, old_WWneW = 0;
616     uint32_t W, WW, N, NN, NW, NE, NWW, NNW, NNE;
617
618     *pRun = 0;
619
620     LOAD_NEIGHBOURS(x);
621
622     if (dc->next_run_pos == x) {
623         /* can't reuse W for the new pixel in this case */
624         WWneW = 1;
625     } else {
626         idx = (WW  != W)  << 7 |
627               (NW  != W)  << 6 |
628               (N   != NE) << 5 |
629               (NW  != N)  << 4 |
630               (NWW != NW) << 3 |
631               (NNE != NE) << 2 |
632               (NN  != N)  << 1 |
633               (NNW != NW);
634         WWneW = ff_els_decode_bit(&dc->els_ctx, &dc->W_ctx_rung[idx]);
635         if (WWneW < 0)
636             return WWneW;
637     }
638
639     if (WWneW)
640         dc->stack[dc->stack_pos++ & EPIC_PIX_STACK_MAX] = W;
641     else {
642         *pPix     = W;
643         got_pixel = 1;
644     }
645
646     do {
647         int NWneW = 1;
648         if (got_pixel) // pixel value already known (derived from either W or N)
649             NWneW = *pPix != N;
650         else { // pixel value is unknown and will be decoded later
651             NWneW = *pRun ? NWneW : NW != W;
652
653             /* TODO: RFC this mess! */
654             switch (((NW != N) << 2) | (NWneW << 1) | WWneW) {
655             case 0:
656                 break; // do nothing here
657             case 3:
658             case 5:
659             case 6:
660             case 7:
661                 if (!is_pixel_on_stack(dc, N)) {
662                     idx = WWneW       << 8 |
663                           (*pRun ? old_WWneW : WW != W) << 7 |
664                           NWneW       << 6 |
665                           (N   != NE) << 5 |
666                           (NW  != N)  << 4 |
667                           (NWW != NW) << 3 |
668                           (NNE != NE) << 2 |
669                           (NN  != N)  << 1 |
670                           (NNW != NW);
671                     if (!ff_els_decode_bit(&dc->els_ctx, &dc->N_ctx_rung[idx])) {
672                         NWneW = 0;
673                         *pPix = N;
674                         got_pixel = 1;
675                         break;
676                     }
677                 }
678                 /* fall through */
679             default:
680                 NWneW = 1;
681                 old_WWneW = WWneW;
682                 if (!is_pixel_on_stack(dc, N))
683                     dc->stack[dc->stack_pos++ & EPIC_PIX_STACK_MAX] = N;
684             }
685         }
686
687         (*pRun)++;
688         if (x + *pRun >= tile_width - 1)
689             break;
690
691         UPDATE_NEIGHBOURS(x + *pRun);
692
693         if (!NWneW && NW == N && N == NE) {
694             int pos, run, rle;
695             int start_pos = x + *pRun;
696
697             /* scan for a run of pix in the line above */
698             uint32_t pix = above_row[start_pos + 1];
699             for (pos = start_pos + 2; pos < tile_width; pos++)
700                 if (!(above_row[pos] == pix))
701                     break;
702             run = pos - start_pos - 1;
703             idx = av_ceil_log2(run);
704             if (ff_els_decode_bit(&dc->els_ctx, &dc->prev_row_rung[idx]))
705                 *pRun += run;
706             else {
707                 int flag;
708                 /* run-length is coded as plain binary number of idx - 1 bits */
709                 for (pos = idx - 1, rle = 0, flag = 0; pos >= 0; pos--) {
710                     if ((1 << pos) + rle < run &&
711                         ff_els_decode_bit(&dc->els_ctx,
712                                           flag ? &dc->runlen_one
713                                                : &dc->runlen_zeroes[pos])) {
714                         flag = 1;
715                         rle |= 1 << pos;
716                     }
717                 }
718                 *pRun += rle;
719                 break; // return immediately
720             }
721             if (x + *pRun >= tile_width - 1)
722                 break;
723
724             LOAD_NEIGHBOURS(x + *pRun);
725             WWneW = 0;
726             NWneW = 0;
727         }
728
729         idx = WWneW       << 7 |
730               NWneW       << 6 |
731               (N   != NE) << 5 |
732               (NW  != N)  << 4 |
733               (NWW != NW) << 3 |
734               (NNE != NE) << 2 |
735               (NN  != N)  << 1 |
736               (NNW != NW);
737         WWneW = ff_els_decode_bit(&dc->els_ctx, &dc->W_ctx_rung[idx]);
738     } while (!WWneW);
739
740     dc->next_run_pos = x + *pRun;
741     return got_pixel;
742 }
743
744 static int epic_predict_pixel2(ePICContext *dc, uint8_t *rung,
745                                uint32_t *pPix, uint32_t pix)
746 {
747     if (ff_els_decode_bit(&dc->els_ctx, rung)) {
748         *pPix = pix;
749         return 1;
750     }
751     dc->stack[dc->stack_pos++ & EPIC_PIX_STACK_MAX] = pix;
752     return 0;
753 }
754
755 static int epic_predict_from_NW_NE(ePICContext *dc, int x, int y, int run,
756                                    int tile_width, const uint32_t *curr_row,
757                                    const uint32_t *above_row, uint32_t *pPix)
758 {
759     int pos;
760
761     /* try to reuse the NW pixel first */
762     if (x && y) {
763         uint32_t NW = above_row[x - 1];
764         if (NW != curr_row[x - 1] && NW != above_row[x] && !is_pixel_on_stack(dc, NW)) {
765             if (epic_predict_pixel2(dc, &dc->nw_pred_rung[NW & 0xFF], pPix, NW))
766                 return 1;
767         }
768     }
769
770     /* try to reuse the NE[x + run, y] pixel */
771     pos = x + run - 1;
772     if (pos < tile_width - 1 && y) {
773         uint32_t NE = above_row[pos + 1];
774         if (NE != above_row[pos] && !is_pixel_on_stack(dc, NE)) {
775             if (epic_predict_pixel2(dc, &dc->ne_pred_rung[NE & 0xFF], pPix, NE))
776                 return 1;
777         }
778     }
779
780     return 0;
781 }
782
783 static int epic_decode_from_cache(ePICContext *dc, uint32_t W, uint32_t *pPix)
784 {
785     ePICPixListElem *list, *prev = NULL;
786     ePICPixHashElem *hash_elem = epic_hash_find(&dc->hash, W);
787
788     if (!hash_elem || !hash_elem->list)
789         return 0;
790
791     list = hash_elem->list;
792     while (list) {
793         if (!is_pixel_on_stack(dc, list->pixel)) {
794             if (ff_els_decode_bit(&dc->els_ctx, &list->rung)) {
795                 *pPix = list->pixel;
796                 if (list != hash_elem->list) {
797                     prev->next      = list->next;
798                     list->next      = hash_elem->list;
799                     hash_elem->list = list;
800                 }
801                 return 1;
802             }
803             dc->stack[dc->stack_pos++ & EPIC_PIX_STACK_MAX] = list->pixel;
804         }
805         prev = list;
806         list = list->next;
807     }
808
809     return 0;
810 }
811
812 static int epic_decode_tile(ePICContext *dc, uint8_t *out, int tile_height,
813                             int tile_width, int stride)
814 {
815     int x, y;
816     uint32_t pix;
817     uint32_t *curr_row = NULL, *above_row = NULL, *above2_row;
818
819     for (y = 0; y < tile_height; y++, out += stride) {
820         above2_row = above_row;
821         above_row  = curr_row;
822         curr_row   = (uint32_t *) out;
823
824         for (x = 0, dc->next_run_pos = 0; x < tile_width;) {
825             if (dc->els_ctx.err)
826                 return AVERROR_INVALIDDATA; // bail out in the case of ELS overflow
827
828             pix = curr_row[x - 1]; // get W pixel
829
830             if (y >= 1 && x >= 2 &&
831                 pix != curr_row[x - 2]  && pix != above_row[x - 1] &&
832                 pix != above_row[x - 2] && pix != above_row[x] &&
833                 !epic_cache_entries_for_pixel(&dc->hash, pix)) {
834                 curr_row[x] = epic_decode_pixel_pred(dc, x, y, curr_row, above_row);
835                 x++;
836             } else {
837                 int got_pixel, run;
838                 dc->stack_pos = 0; // empty stack
839
840                 if (y < 2 || x < 2 || x == tile_width - 1) {
841                     run       = 1;
842                     got_pixel = epic_handle_edges(dc, x, y, curr_row, above_row, &pix);
843                 } else {
844                     got_pixel = epic_decode_run_length(dc, x, y, tile_width,
845                                                        curr_row, above_row,
846                                                        above2_row, &pix, &run);
847                     if (got_pixel < 0)
848                         return got_pixel;
849                 }
850
851                 if (!got_pixel && !epic_predict_from_NW_NE(dc, x, y, run,
852                                                            tile_width, curr_row,
853                                                            above_row, &pix)) {
854                     uint32_t ref_pix = curr_row[x - 1];
855                     if (!x || !epic_decode_from_cache(dc, ref_pix, &pix)) {
856                         pix = epic_decode_pixel_pred(dc, x, y, curr_row, above_row);
857                         if (x) {
858                             int ret = epic_add_pixel_to_cache(&dc->hash,
859                                                               ref_pix,
860                                                               pix);
861                             if (ret)
862                                 return ret;
863                         }
864                     }
865                 }
866                 for (; run > 0; x++, run--)
867                     curr_row[x] = pix;
868             }
869         }
870     }
871
872     return 0;
873 }
874
875 static int epic_jb_decode_tile(G2MContext *c, int tile_x, int tile_y,
876                                const uint8_t *src, size_t src_size,
877                                AVCodecContext *avctx)
878 {
879     uint8_t prefix, mask = 0x80;
880     int extrabytes, tile_width, tile_height, awidth, aheight;
881     size_t els_dsize;
882     uint8_t *dst;
883
884     if (!src_size)
885         return 0;
886
887     /* get data size of the ELS partition as unsigned variable-length integer */
888     prefix = *src++;
889     src_size--;
890     for (extrabytes = 0; (prefix & mask) && (extrabytes < 7); extrabytes++)
891         mask >>= 1;
892     if (extrabytes > 3 || src_size < extrabytes) {
893         av_log(avctx, AV_LOG_ERROR, "ePIC: invalid data size VLI\n");
894         return AVERROR_INVALIDDATA;
895     }
896
897     els_dsize = prefix & ((0x80 >> extrabytes) - 1); // mask out the length prefix
898     while (extrabytes-- > 0) {
899         els_dsize = (els_dsize << 8) | *src++;
900         src_size--;
901     }
902
903     if (src_size < els_dsize) {
904         av_log(avctx, AV_LOG_ERROR, "ePIC: data too short, needed %"SIZE_SPECIFIER", got %"SIZE_SPECIFIER"\n",
905                els_dsize, src_size);
906         return AVERROR_INVALIDDATA;
907     }
908
909     tile_width  = FFMIN(c->width  - tile_x * c->tile_width,  c->tile_width);
910     tile_height = FFMIN(c->height - tile_y * c->tile_height, c->tile_height);
911     awidth      = FFALIGN(tile_width,  16);
912     aheight     = FFALIGN(tile_height, 16);
913
914     if (els_dsize) {
915         int ret, i, j, k;
916         uint8_t tr_r, tr_g, tr_b, *buf;
917         uint32_t *in;
918         /* ELS decoder initializations */
919         memset(&c->ec, 0, sizeof(c->ec));
920         ff_els_decoder_init(&c->ec.els_ctx, src, els_dsize);
921         epic_hash_init(&c->ec.hash);
922
923         /* decode transparent pixel value */
924         tr_r = ff_els_decode_unsigned(&c->ec.els_ctx, &c->ec.unsigned_rung);
925         tr_g = ff_els_decode_unsigned(&c->ec.els_ctx, &c->ec.unsigned_rung);
926         tr_b = ff_els_decode_unsigned(&c->ec.els_ctx, &c->ec.unsigned_rung);
927         if (c->ec.els_ctx.err != 0) {
928             av_log(avctx, AV_LOG_ERROR,
929                    "ePIC: couldn't decode transparency pixel!\n");
930             ff_els_decoder_uninit(&c->ec.unsigned_rung);
931             return AVERROR_INVALIDDATA;
932         }
933
934         ret = epic_decode_tile(&c->ec, c->epic_buf, tile_height, tile_width,
935                                c->epic_buf_stride);
936
937         epic_free_pixel_cache(&c->ec.hash);
938         ff_els_decoder_uninit(&c->ec.unsigned_rung);
939
940         if (ret) {
941             av_log(avctx, AV_LOG_ERROR,
942                    "ePIC: tile decoding failed, frame=%d, tile_x=%d, tile_y=%d\n",
943                    avctx->frame_number, tile_x, tile_y);
944             return AVERROR_INVALIDDATA;
945         }
946
947         buf = c->epic_buf;
948         dst = c->framebuf + tile_x * c->tile_width * 3 +
949               tile_y * c->tile_height * c->framebuf_stride;
950
951         for (j = 0; j < tile_height; j++) {
952             uint8_t *out = dst;
953             in  = (uint32_t *) buf;
954             for (i = 0; i < tile_width; i++) {
955                 out[0] = (in[i] >> R_shift) & 0xFF;
956                 out[1] = (in[i] >> G_shift) & 0xFF;
957                 out[2] = (in[i] >> B_shift) & 0xFF;
958                 out   += 3;
959             }
960             buf += c->epic_buf_stride;
961             dst += c->framebuf_stride;
962         }
963
964         if (src_size > els_dsize) {
965             uint8_t *jpg;
966             uint32_t tr;
967             int bstride = FFALIGN(tile_width, 16) >> 3;
968             int nblocks = 0;
969             int estride = c->epic_buf_stride >> 2;
970
971             src      += els_dsize;
972             src_size -= els_dsize;
973
974             in = (uint32_t *) c->epic_buf;
975             tr = (tr_r << R_shift) | (tr_g << G_shift) | (tr_b << B_shift);
976
977             memset(c->kempf_flags, 0,
978                    (aheight >> 3) * bstride * sizeof(*c->kempf_flags));
979             for (j = 0; j < tile_height; j += 8) {
980                 for (i = 0; i < tile_width; i += 8) {
981                     c->kempf_flags[(i >> 3) + (j >> 3) * bstride] = 0;
982                     for (k = 0; k < 8 * 8; k++) {
983                         if (in[i + (k & 7) + (k >> 3) * estride] == tr) {
984                             c->kempf_flags[(i >> 3) + (j >> 3) * bstride] = 1;
985                             nblocks++;
986                             break;
987                         }
988                     }
989                 }
990                 in += 8 * estride;
991             }
992
993             memset(c->jpeg_tile, 0, c->tile_stride * aheight);
994             jpg_decode_data(&c->jc, awidth, aheight, src, src_size,
995                             c->jpeg_tile, c->tile_stride,
996                             c->kempf_flags, bstride, nblocks, c->swapuv);
997
998             in  = (uint32_t *) c->epic_buf;
999             dst = c->framebuf + tile_x * c->tile_width * 3 +
1000                   tile_y * c->tile_height * c->framebuf_stride;
1001             jpg = c->jpeg_tile;
1002             for (j = 0; j < tile_height; j++) {
1003                 for (i = 0; i < tile_width; i++)
1004                     if (in[i] == tr)
1005                         memcpy(dst + i * 3, jpg + i * 3, 3);
1006                 in  += c->epic_buf_stride >> 2;
1007                 dst += c->framebuf_stride;
1008                 jpg += c->tile_stride;
1009             }
1010         }
1011     } else {
1012         dst = c->framebuf + tile_x * c->tile_width * 3 +
1013               tile_y * c->tile_height * c->framebuf_stride;
1014         return jpg_decode_data(&c->jc, tile_width, tile_height, src, src_size,
1015                                dst, c->framebuf_stride, NULL, 0, 0, c->swapuv);
1016     }
1017
1018     return 0;
1019 }
1020
1021 static int kempf_restore_buf(const uint8_t *src, int len,
1022                               uint8_t *dst, int stride,
1023                               const uint8_t *jpeg_tile, int tile_stride,
1024                               int width, int height,
1025                               const uint8_t *pal, int npal, int tidx)
1026 {
1027     GetBitContext gb;
1028     int i, j, nb, col;
1029     int ret;
1030     int align_width = FFALIGN(width, 16);
1031
1032     if ((ret = init_get_bits8(&gb, src, len)) < 0)
1033         return ret;
1034
1035     if (npal <= 2)       nb = 1;
1036     else if (npal <= 4)  nb = 2;
1037     else if (npal <= 16) nb = 4;
1038     else                 nb = 8;
1039
1040     for (j = 0; j < height; j++, dst += stride, jpeg_tile += tile_stride) {
1041         if (get_bits(&gb, 8))
1042             continue;
1043         for (i = 0; i < width; i++) {
1044             col = get_bits(&gb, nb);
1045             if (col != tidx)
1046                 memcpy(dst + i * 3, pal + col * 3, 3);
1047             else
1048                 memcpy(dst + i * 3, jpeg_tile + i * 3, 3);
1049         }
1050         skip_bits_long(&gb, nb * (align_width - width));
1051     }
1052
1053     return 0;
1054 }
1055
1056 static int kempf_decode_tile(G2MContext *c, int tile_x, int tile_y,
1057                              const uint8_t *src, int src_size)
1058 {
1059     int width, height;
1060     int hdr, zsize, npal, tidx = -1, ret;
1061     int i, j;
1062     const uint8_t *src_end = src + src_size;
1063     uint8_t pal[768], transp[3];
1064     uLongf dlen = (c->tile_width + 1) * c->tile_height;
1065     int sub_type;
1066     int nblocks, cblocks, bstride;
1067     int bits, bitbuf, coded;
1068     uint8_t *dst = c->framebuf + tile_x * c->tile_width * 3 +
1069                    tile_y * c->tile_height * c->framebuf_stride;
1070
1071     if (src_size < 2)
1072         return AVERROR_INVALIDDATA;
1073
1074     width  = FFMIN(c->width  - tile_x * c->tile_width,  c->tile_width);
1075     height = FFMIN(c->height - tile_y * c->tile_height, c->tile_height);
1076
1077     hdr      = *src++;
1078     sub_type = hdr >> 5;
1079     if (sub_type == 0) {
1080         int j;
1081         memcpy(transp, src, 3);
1082         src += 3;
1083         for (j = 0; j < height; j++, dst += c->framebuf_stride)
1084             for (i = 0; i < width; i++)
1085                 memcpy(dst + i * 3, transp, 3);
1086         return 0;
1087     } else if (sub_type == 1) {
1088         return jpg_decode_data(&c->jc, width, height, src, src_end - src,
1089                                dst, c->framebuf_stride, NULL, 0, 0, 0);
1090     }
1091
1092     if (sub_type != 2) {
1093         memcpy(transp, src, 3);
1094         src += 3;
1095     }
1096     npal = *src++ + 1;
1097     if (src_end - src < npal * 3)
1098         return AVERROR_INVALIDDATA;
1099     memcpy(pal, src, npal * 3);
1100     src += npal * 3;
1101     if (sub_type != 2) {
1102         for (i = 0; i < npal; i++) {
1103             if (!memcmp(pal + i * 3, transp, 3)) {
1104                 tidx = i;
1105                 break;
1106             }
1107         }
1108     }
1109
1110     if (src_end - src < 2)
1111         return 0;
1112     zsize = (src[0] << 8) | src[1];
1113     src  += 2;
1114
1115     if (src_end - src < zsize + (sub_type != 2))
1116         return AVERROR_INVALIDDATA;
1117
1118     ret = uncompress(c->kempf_buf, &dlen, src, zsize);
1119     if (ret)
1120         return AVERROR_INVALIDDATA;
1121     src += zsize;
1122
1123     if (sub_type == 2) {
1124         kempf_restore_buf(c->kempf_buf, dlen, dst, c->framebuf_stride,
1125                           NULL, 0, width, height, pal, npal, tidx);
1126         return 0;
1127     }
1128
1129     nblocks = *src++ + 1;
1130     cblocks = 0;
1131     bstride = FFALIGN(width, 16) >> 3;
1132     // blocks are coded LSB and we need normal bitreader for JPEG data
1133     bits = 0;
1134     for (i = 0; i < (FFALIGN(height, 16) >> 4); i++) {
1135         for (j = 0; j < (FFALIGN(width, 16) >> 4); j++) {
1136             if (!bits) {
1137                 if (src >= src_end)
1138                     return AVERROR_INVALIDDATA;
1139                 bitbuf = *src++;
1140                 bits   = 8;
1141             }
1142             coded = bitbuf & 1;
1143             bits--;
1144             bitbuf >>= 1;
1145             cblocks += coded;
1146             if (cblocks > nblocks)
1147                 return AVERROR_INVALIDDATA;
1148             c->kempf_flags[j * 2 +      i * 2      * bstride] =
1149             c->kempf_flags[j * 2 + 1 +  i * 2      * bstride] =
1150             c->kempf_flags[j * 2 +     (i * 2 + 1) * bstride] =
1151             c->kempf_flags[j * 2 + 1 + (i * 2 + 1) * bstride] = coded;
1152         }
1153     }
1154
1155     memset(c->jpeg_tile, 0, c->tile_stride * height);
1156     jpg_decode_data(&c->jc, width, height, src, src_end - src,
1157                     c->jpeg_tile, c->tile_stride,
1158                     c->kempf_flags, bstride, nblocks * 4, 0);
1159
1160     kempf_restore_buf(c->kempf_buf, dlen, dst, c->framebuf_stride,
1161                       c->jpeg_tile, c->tile_stride,
1162                       width, height, pal, npal, tidx);
1163
1164     return 0;
1165 }
1166
1167 static int g2m_init_buffers(G2MContext *c)
1168 {
1169     int aligned_height;
1170
1171     if (!c->framebuf || c->old_width < c->width || c->old_height < c->height) {
1172         c->framebuf_stride = FFALIGN(c->width + 15, 16) * 3;
1173         aligned_height     = c->height + 15;
1174         av_free(c->framebuf);
1175         c->framebuf = av_mallocz_array(c->framebuf_stride, aligned_height);
1176         if (!c->framebuf)
1177             return AVERROR(ENOMEM);
1178     }
1179     if (!c->synth_tile || !c->jpeg_tile ||
1180         (c->compression == 2 && !c->epic_buf_base) ||
1181         c->old_tile_w < c->tile_width ||
1182         c->old_tile_h < c->tile_height) {
1183         c->tile_stride     = FFALIGN(c->tile_width, 16) * 3;
1184         c->epic_buf_stride = FFALIGN(c->tile_width * 4, 16);
1185         aligned_height     = FFALIGN(c->tile_height,    16);
1186         av_freep(&c->synth_tile);
1187         av_freep(&c->jpeg_tile);
1188         av_freep(&c->kempf_buf);
1189         av_freep(&c->kempf_flags);
1190         av_freep(&c->epic_buf_base);
1191         c->epic_buf    = NULL;
1192         c->synth_tile  = av_mallocz(c->tile_stride      * aligned_height);
1193         c->jpeg_tile   = av_mallocz(c->tile_stride      * aligned_height);
1194         c->kempf_buf   = av_mallocz((c->tile_width + 1) * aligned_height +
1195                                     AV_INPUT_BUFFER_PADDING_SIZE);
1196         c->kempf_flags = av_mallocz(c->tile_width       * aligned_height);
1197         if (!c->synth_tile || !c->jpeg_tile ||
1198             !c->kempf_buf || !c->kempf_flags)
1199             return AVERROR(ENOMEM);
1200         if (c->compression == 2) {
1201             c->epic_buf_base = av_mallocz(c->epic_buf_stride * aligned_height + 4);
1202             if (!c->epic_buf_base)
1203                 return AVERROR(ENOMEM);
1204             c->epic_buf = c->epic_buf_base + 4;
1205         }
1206     }
1207
1208     return 0;
1209 }
1210
1211 static int g2m_load_cursor(AVCodecContext *avctx, G2MContext *c,
1212                            GetByteContext *gb)
1213 {
1214     int i, j, k;
1215     uint8_t *dst;
1216     uint32_t bits;
1217     uint32_t cur_size, cursor_w, cursor_h, cursor_stride;
1218     uint32_t cursor_hot_x, cursor_hot_y;
1219     int cursor_fmt, err;
1220
1221     cur_size     = bytestream2_get_be32(gb);
1222     cursor_w     = bytestream2_get_byte(gb);
1223     cursor_h     = bytestream2_get_byte(gb);
1224     cursor_hot_x = bytestream2_get_byte(gb);
1225     cursor_hot_y = bytestream2_get_byte(gb);
1226     cursor_fmt   = bytestream2_get_byte(gb);
1227
1228     cursor_stride = FFALIGN(cursor_w, cursor_fmt==1 ? 32 : 1) * 4;
1229
1230     if (cursor_w < 1 || cursor_w > 256 ||
1231         cursor_h < 1 || cursor_h > 256) {
1232         av_log(avctx, AV_LOG_ERROR, "Invalid cursor dimensions %"PRIu32"x%"PRIu32"\n",
1233                cursor_w, cursor_h);
1234         return AVERROR_INVALIDDATA;
1235     }
1236     if (cursor_hot_x > cursor_w || cursor_hot_y > cursor_h) {
1237         av_log(avctx, AV_LOG_WARNING, "Invalid hotspot position %"PRIu32",%"PRIu32"\n",
1238                cursor_hot_x, cursor_hot_y);
1239         cursor_hot_x = FFMIN(cursor_hot_x, cursor_w - 1);
1240         cursor_hot_y = FFMIN(cursor_hot_y, cursor_h - 1);
1241     }
1242     if (cur_size - 9 > bytestream2_get_bytes_left(gb) ||
1243         c->cursor_w * c->cursor_h / 4 > cur_size) {
1244         av_log(avctx, AV_LOG_ERROR, "Invalid cursor data size %"PRIu32"/%u\n",
1245                cur_size, bytestream2_get_bytes_left(gb));
1246         return AVERROR_INVALIDDATA;
1247     }
1248     if (cursor_fmt != 1 && cursor_fmt != 32) {
1249         avpriv_report_missing_feature(avctx, "Cursor format %d",
1250                                       cursor_fmt);
1251         return AVERROR_PATCHWELCOME;
1252     }
1253
1254     if ((err = av_reallocp(&c->cursor, cursor_stride * cursor_h)) < 0) {
1255         av_log(avctx, AV_LOG_ERROR, "Cannot allocate cursor buffer\n");
1256         return err;
1257     }
1258
1259     c->cursor_w      = cursor_w;
1260     c->cursor_h      = cursor_h;
1261     c->cursor_hot_x  = cursor_hot_x;
1262     c->cursor_hot_y  = cursor_hot_y;
1263     c->cursor_fmt    = cursor_fmt;
1264     c->cursor_stride = cursor_stride;
1265
1266     dst = c->cursor;
1267     switch (c->cursor_fmt) {
1268     case 1: // old monochrome
1269         for (j = 0; j < c->cursor_h; j++) {
1270             for (i = 0; i < c->cursor_w; i += 32) {
1271                 bits = bytestream2_get_be32(gb);
1272                 for (k = 0; k < 32; k++) {
1273                     dst[0] = !!(bits & 0x80000000);
1274                     dst   += 4;
1275                     bits <<= 1;
1276                 }
1277             }
1278         }
1279
1280         dst = c->cursor;
1281         for (j = 0; j < c->cursor_h; j++) {
1282             for (i = 0; i < c->cursor_w; i += 32) {
1283                 bits = bytestream2_get_be32(gb);
1284                 for (k = 0; k < 32; k++) {
1285                     int mask_bit = !!(bits & 0x80000000);
1286                     switch (dst[0] * 2 + mask_bit) {
1287                     case 0:
1288                         dst[0] = 0xFF;
1289                         dst[1] = 0x00;
1290                         dst[2] = 0x00;
1291                         dst[3] = 0x00;
1292                         break;
1293                     case 1:
1294                         dst[0] = 0xFF;
1295                         dst[1] = 0xFF;
1296                         dst[2] = 0xFF;
1297                         dst[3] = 0xFF;
1298                         break;
1299                     default:
1300                         dst[0] = 0x00;
1301                         dst[1] = 0x00;
1302                         dst[2] = 0x00;
1303                         dst[3] = 0x00;
1304                     }
1305                     dst   += 4;
1306                     bits <<= 1;
1307                 }
1308             }
1309         }
1310         break;
1311     case 32: // full colour
1312         /* skip monochrome version of the cursor and decode RGBA instead */
1313         bytestream2_skip(gb, c->cursor_h * (FFALIGN(c->cursor_w, 32) >> 3));
1314         for (j = 0; j < c->cursor_h; j++) {
1315             for (i = 0; i < c->cursor_w; i++) {
1316                 int val = bytestream2_get_be32(gb);
1317                 *dst++ = val >>  0;
1318                 *dst++ = val >>  8;
1319                 *dst++ = val >> 16;
1320                 *dst++ = val >> 24;
1321             }
1322         }
1323         break;
1324     default:
1325         return AVERROR_PATCHWELCOME;
1326     }
1327     return 0;
1328 }
1329
1330 #define APPLY_ALPHA(src, new, alpha) \
1331     src = (src * (256 - alpha) + new * alpha) >> 8
1332
1333 static void g2m_paint_cursor(G2MContext *c, uint8_t *dst, int stride)
1334 {
1335     int i, j;
1336     int x, y, w, h;
1337     const uint8_t *cursor;
1338
1339     if (!c->cursor)
1340         return;
1341
1342     x = c->cursor_x - c->cursor_hot_x;
1343     y = c->cursor_y - c->cursor_hot_y;
1344
1345     cursor = c->cursor;
1346     w      = c->cursor_w;
1347     h      = c->cursor_h;
1348
1349     if (x + w > c->width)
1350         w = c->width - x;
1351     if (y + h > c->height)
1352         h = c->height - y;
1353     if (x < 0) {
1354         w      +=  x;
1355         cursor += -x * 4;
1356     } else {
1357         dst    +=  x * 3;
1358     }
1359
1360     if (y < 0)
1361         h      +=  y;
1362     if (w < 0 || h < 0)
1363         return;
1364     if (y < 0) {
1365         cursor += -y * c->cursor_stride;
1366     } else {
1367         dst    +=  y * stride;
1368     }
1369
1370     for (j = 0; j < h; j++) {
1371         for (i = 0; i < w; i++) {
1372             uint8_t alpha = cursor[i * 4];
1373             APPLY_ALPHA(dst[i * 3 + 0], cursor[i * 4 + 1], alpha);
1374             APPLY_ALPHA(dst[i * 3 + 1], cursor[i * 4 + 2], alpha);
1375             APPLY_ALPHA(dst[i * 3 + 2], cursor[i * 4 + 3], alpha);
1376         }
1377         dst    += stride;
1378         cursor += c->cursor_stride;
1379     }
1380 }
1381
1382 static int g2m_decode_frame(AVCodecContext *avctx, void *data,
1383                             int *got_picture_ptr, AVPacket *avpkt)
1384 {
1385     const uint8_t *buf = avpkt->data;
1386     int buf_size = avpkt->size;
1387     G2MContext *c = avctx->priv_data;
1388     AVFrame *pic = data;
1389     GetByteContext bc, tbc;
1390     int magic;
1391     int got_header = 0;
1392     uint32_t chunk_size, r_mask, g_mask, b_mask;
1393     int chunk_type, chunk_start;
1394     int i;
1395     int ret;
1396
1397     if (buf_size < 12) {
1398         av_log(avctx, AV_LOG_ERROR,
1399                "Frame should have at least 12 bytes, got %d instead\n",
1400                buf_size);
1401         return AVERROR_INVALIDDATA;
1402     }
1403
1404     bytestream2_init(&bc, buf, buf_size);
1405
1406     magic = bytestream2_get_be32(&bc);
1407     if ((magic & ~0xF) != MKBETAG('G', '2', 'M', '0') ||
1408         (magic & 0xF) < 2 || (magic & 0xF) > 5) {
1409         av_log(avctx, AV_LOG_ERROR, "Wrong magic %08X\n", magic);
1410         return AVERROR_INVALIDDATA;
1411     }
1412
1413     c->swapuv = magic == MKBETAG('G', '2', 'M', '2');
1414
1415     while (bytestream2_get_bytes_left(&bc) > 5) {
1416         chunk_size  = bytestream2_get_le32(&bc) - 1;
1417         chunk_type  = bytestream2_get_byte(&bc);
1418         chunk_start = bytestream2_tell(&bc);
1419         if (chunk_size > bytestream2_get_bytes_left(&bc)) {
1420             av_log(avctx, AV_LOG_ERROR, "Invalid chunk size %"PRIu32" type %02X\n",
1421                    chunk_size, chunk_type);
1422             break;
1423         }
1424         switch (chunk_type) {
1425         case DISPLAY_INFO:
1426             got_header =
1427             c->got_header = 0;
1428             if (chunk_size < 21) {
1429                 av_log(avctx, AV_LOG_ERROR, "Invalid display info size %"PRIu32"\n",
1430                        chunk_size);
1431                 break;
1432             }
1433             c->width  = bytestream2_get_be32(&bc);
1434             c->height = bytestream2_get_be32(&bc);
1435             if (c->width < 16 || c->height < 16) {
1436                 av_log(avctx, AV_LOG_ERROR,
1437                        "Invalid frame dimensions %dx%d\n",
1438                        c->width, c->height);
1439                 ret = AVERROR_INVALIDDATA;
1440                 goto header_fail;
1441             }
1442             if (c->width != avctx->width || c->height != avctx->height) {
1443                 ret = ff_set_dimensions(avctx, c->width, c->height);
1444                 if (ret < 0)
1445                     goto header_fail;
1446             }
1447             c->compression = bytestream2_get_be32(&bc);
1448             if (c->compression != 2 && c->compression != 3) {
1449                 avpriv_report_missing_feature(avctx, "Compression method %d",
1450                                               c->compression);
1451                 ret = AVERROR_PATCHWELCOME;
1452                 goto header_fail;
1453             }
1454             c->tile_width  = bytestream2_get_be32(&bc);
1455             c->tile_height = bytestream2_get_be32(&bc);
1456             if (c->tile_width <= 0 || c->tile_height <= 0 ||
1457                 ((c->tile_width | c->tile_height) & 0xF) ||
1458                 c->tile_width * (uint64_t)c->tile_height >= INT_MAX / 4 ||
1459                 av_image_check_size2(c->tile_width, c->tile_height, avctx->max_pixels, avctx->pix_fmt, 0, avctx) < 0
1460             ) {
1461                 av_log(avctx, AV_LOG_ERROR,
1462                        "Invalid tile dimensions %dx%d\n",
1463                        c->tile_width, c->tile_height);
1464                 ret = AVERROR_INVALIDDATA;
1465                 goto header_fail;
1466             }
1467             c->tiles_x = (c->width  + c->tile_width  - 1) / c->tile_width;
1468             c->tiles_y = (c->height + c->tile_height - 1) / c->tile_height;
1469             c->bpp     = bytestream2_get_byte(&bc);
1470             if (c->bpp == 32) {
1471                 if (bytestream2_get_bytes_left(&bc) < 16 ||
1472                     (chunk_size - 21) < 16) {
1473                     av_log(avctx, AV_LOG_ERROR,
1474                            "Display info: missing bitmasks!\n");
1475                     ret = AVERROR_INVALIDDATA;
1476                     goto header_fail;
1477                 }
1478                 r_mask = bytestream2_get_be32(&bc);
1479                 g_mask = bytestream2_get_be32(&bc);
1480                 b_mask = bytestream2_get_be32(&bc);
1481                 if (r_mask != 0xFF0000 || g_mask != 0xFF00 || b_mask != 0xFF) {
1482                     avpriv_report_missing_feature(avctx,
1483                                                   "Bitmasks: R=%"PRIX32", G=%"PRIX32", B=%"PRIX32,
1484                                                   r_mask, g_mask, b_mask);
1485                     ret = AVERROR_PATCHWELCOME;
1486                     goto header_fail;
1487                 }
1488             } else {
1489                 avpriv_request_sample(avctx, "bpp=%d", c->bpp);
1490                 ret = AVERROR_PATCHWELCOME;
1491                 goto header_fail;
1492             }
1493             if (g2m_init_buffers(c)) {
1494                 ret = AVERROR(ENOMEM);
1495                 goto header_fail;
1496             }
1497             got_header = 1;
1498             break;
1499         case TILE_DATA:
1500             if (!c->tiles_x || !c->tiles_y) {
1501                 av_log(avctx, AV_LOG_WARNING,
1502                        "No display info - skipping tile\n");
1503                 break;
1504             }
1505             if (chunk_size < 2) {
1506                 av_log(avctx, AV_LOG_ERROR, "Invalid tile data size %"PRIu32"\n",
1507                        chunk_size);
1508                 break;
1509             }
1510             c->tile_x = bytestream2_get_byte(&bc);
1511             c->tile_y = bytestream2_get_byte(&bc);
1512             if (c->tile_x >= c->tiles_x || c->tile_y >= c->tiles_y) {
1513                 av_log(avctx, AV_LOG_ERROR,
1514                        "Invalid tile pos %d,%d (in %dx%d grid)\n",
1515                        c->tile_x, c->tile_y, c->tiles_x, c->tiles_y);
1516                 break;
1517             }
1518             ret = 0;
1519             switch (c->compression) {
1520             case COMPR_EPIC_J_B:
1521                 ret = epic_jb_decode_tile(c, c->tile_x, c->tile_y,
1522                                           buf + bytestream2_tell(&bc),
1523                                           chunk_size - 2, avctx);
1524                 break;
1525             case COMPR_KEMPF_J_B:
1526                 ret = kempf_decode_tile(c, c->tile_x, c->tile_y,
1527                                         buf + bytestream2_tell(&bc),
1528                                         chunk_size - 2);
1529                 break;
1530             }
1531             if (ret && c->framebuf)
1532                 av_log(avctx, AV_LOG_ERROR, "Error decoding tile %d,%d\n",
1533                        c->tile_x, c->tile_y);
1534             break;
1535         case CURSOR_POS:
1536             if (chunk_size < 5) {
1537                 av_log(avctx, AV_LOG_ERROR, "Invalid cursor pos size %"PRIu32"\n",
1538                        chunk_size);
1539                 break;
1540             }
1541             c->cursor_x = bytestream2_get_be16(&bc);
1542             c->cursor_y = bytestream2_get_be16(&bc);
1543             break;
1544         case CURSOR_SHAPE:
1545             if (chunk_size < 8) {
1546                 av_log(avctx, AV_LOG_ERROR, "Invalid cursor data size %"PRIu32"\n",
1547                        chunk_size);
1548                 break;
1549             }
1550             bytestream2_init(&tbc, buf + bytestream2_tell(&bc),
1551                              chunk_size - 4);
1552             g2m_load_cursor(avctx, c, &tbc);
1553             break;
1554         case CHUNK_CC:
1555         case CHUNK_CD:
1556             break;
1557         default:
1558             av_log(avctx, AV_LOG_WARNING, "Skipping chunk type %02d\n",
1559                    chunk_type);
1560         }
1561
1562         /* navigate to next chunk */
1563         bytestream2_skip(&bc, chunk_start + chunk_size - bytestream2_tell(&bc));
1564     }
1565     if (got_header)
1566         c->got_header = 1;
1567
1568     if (c->width && c->height && c->framebuf) {
1569         if ((ret = ff_get_buffer(avctx, pic, 0)) < 0)
1570             return ret;
1571
1572         pic->key_frame = got_header;
1573         pic->pict_type = got_header ? AV_PICTURE_TYPE_I : AV_PICTURE_TYPE_P;
1574
1575         for (i = 0; i < avctx->height; i++)
1576             memcpy(pic->data[0] + i * pic->linesize[0],
1577                    c->framebuf + i * c->framebuf_stride,
1578                    c->width * 3);
1579         g2m_paint_cursor(c, pic->data[0], pic->linesize[0]);
1580
1581         *got_picture_ptr = 1;
1582     }
1583
1584     return buf_size;
1585
1586 header_fail:
1587     c->width   =
1588     c->height  = 0;
1589     c->tiles_x =
1590     c->tiles_y = 0;
1591     c->tile_width =
1592     c->tile_height = 0;
1593     return ret;
1594 }
1595
1596 static av_cold int g2m_decode_init(AVCodecContext *avctx)
1597 {
1598     G2MContext *const c = avctx->priv_data;
1599     int ret;
1600
1601     if ((ret = jpg_init(avctx, &c->jc)) != 0) {
1602         av_log(avctx, AV_LOG_ERROR, "Cannot initialise VLCs\n");
1603         jpg_free_context(&c->jc);
1604         return AVERROR(ENOMEM);
1605     }
1606
1607     avctx->pix_fmt = AV_PIX_FMT_RGB24;
1608
1609     // store original sizes and check against those if resize happens
1610     c->orig_width  = avctx->width;
1611     c->orig_height = avctx->height;
1612
1613     return 0;
1614 }
1615
1616 static av_cold int g2m_decode_end(AVCodecContext *avctx)
1617 {
1618     G2MContext *const c = avctx->priv_data;
1619
1620     jpg_free_context(&c->jc);
1621
1622     av_freep(&c->epic_buf_base);
1623     c->epic_buf = NULL;
1624     av_freep(&c->kempf_buf);
1625     av_freep(&c->kempf_flags);
1626     av_freep(&c->synth_tile);
1627     av_freep(&c->jpeg_tile);
1628     av_freep(&c->cursor);
1629     av_freep(&c->framebuf);
1630
1631     return 0;
1632 }
1633
1634 AVCodec ff_g2m_decoder = {
1635     .name           = "g2m",
1636     .long_name      = NULL_IF_CONFIG_SMALL("Go2Meeting"),
1637     .type           = AVMEDIA_TYPE_VIDEO,
1638     .id             = AV_CODEC_ID_G2M,
1639     .priv_data_size = sizeof(G2MContext),
1640     .init           = g2m_decode_init,
1641     .close          = g2m_decode_end,
1642     .decode         = g2m_decode_frame,
1643     .capabilities   = AV_CODEC_CAP_DR1,
1644     .caps_internal  = FF_CODEC_CAP_INIT_THREADSAFE,
1645 };