avcodec/faxcompr: Support uncompressed escapes in decode_group3_1d_line()
[ffmpeg.git] / libavcodec / faxcompr.c
1 /*
2  * CCITT Fax Group 3 and 4 decompression
3  * Copyright (c) 2008 Konstantin Shishkov
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with FFmpeg; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 /**
23  * @file
24  * CCITT Fax Group 3 and 4 decompression
25  * @author Konstantin Shishkov
26  */
27 #include "avcodec.h"
28 #include "get_bits.h"
29 #include "put_bits.h"
30 #include "faxcompr.h"
31
32 #define CCITT_SYMS 104
33
34 static const uint16_t ccitt_syms[CCITT_SYMS] = {
35     0,    1,    2,    3,    4,    5,    6,    7,    8,    9,   10,   11,   12,
36    13,   14,   15,   16,   17,   18,   19,   20,   21,   22,   23,   24,   25,
37    26,   27,   28,   29,   30,   31,   32,   33,   34,   35,   36,   37,   38,
38    39,   40,   41,   42,   43,   44,   45,   46,   47,   48,   49,   50,   51,
39    52,   53,   54,   55,   56,   57,   58,   59,   60,   61,   62,   63,   64,
40   128,  192,  256,  320,  384,  448,  512,  576,  640,  704,  768,  832,  896,
41   960, 1024, 1088, 1152, 1216, 1280, 1344, 1408, 1472, 1536, 1600, 1664, 1728,
42  1792, 1856, 1920, 1984, 2048, 2112, 2176, 2240, 2304, 2368, 2432, 2496, 2560
43 };
44
45 static const uint8_t ccitt_codes_bits[2][CCITT_SYMS] =
46 {
47   {
48     0x35, 0x07, 0x07, 0x08, 0x0B, 0x0C, 0x0E, 0x0F, 0x13, 0x14, 0x07, 0x08, 0x08,
49     0x03, 0x34, 0x35, 0x2A, 0x2B, 0x27, 0x0C, 0x08, 0x17, 0x03, 0x04, 0x28, 0x2B,
50     0x13, 0x24, 0x18, 0x02, 0x03, 0x1A, 0x1B, 0x12, 0x13, 0x14, 0x15, 0x16, 0x17,
51     0x28, 0x29, 0x2A, 0x2B, 0x2C, 0x2D, 0x04, 0x05, 0x0A, 0x0B, 0x52, 0x53, 0x54,
52     0x55, 0x24, 0x25, 0x58, 0x59, 0x5A, 0x5B, 0x4A, 0x4B, 0x32, 0x33, 0x34, 0x1B,
53     0x12, 0x17, 0x37, 0x36, 0x37, 0x64, 0x65, 0x68, 0x67, 0xCC, 0xCD, 0xD2, 0xD3,
54     0xD4, 0xD5, 0xD6, 0xD7, 0xD8, 0xD9, 0xDA, 0xDB, 0x98, 0x99, 0x9A, 0x18, 0x9B,
55     0x08, 0x0C, 0x0D, 0x12, 0x13, 0x14, 0x15, 0x16, 0x17, 0x1C, 0x1D, 0x1E, 0x1F
56   },
57   {
58     0x37, 0x02, 0x03, 0x02, 0x03, 0x03, 0x02, 0x03, 0x05, 0x04, 0x04, 0x05, 0x07,
59     0x04, 0x07, 0x18, 0x17, 0x18, 0x08, 0x67, 0x68, 0x6C, 0x37, 0x28, 0x17, 0x18,
60     0xCA, 0xCB, 0xCC, 0xCD, 0x68, 0x69, 0x6A, 0x6B, 0xD2, 0xD3, 0xD4, 0xD5, 0xD6,
61     0xD7, 0x6C, 0x6D, 0xDA, 0xDB, 0x54, 0x55, 0x56, 0x57, 0x64, 0x65, 0x52, 0x53,
62     0x24, 0x37, 0x38, 0x27, 0x28, 0x58, 0x59, 0x2B, 0x2C, 0x5A, 0x66, 0x67, 0x0F,
63     0xC8, 0xC9, 0x5B, 0x33, 0x34, 0x35, 0x6C, 0x6D, 0x4A, 0x4B, 0x4C, 0x4D, 0x72,
64     0x73, 0x74, 0x75, 0x76, 0x77, 0x52, 0x53, 0x54, 0x55, 0x5A, 0x5B, 0x64, 0x65,
65     0x08, 0x0C, 0x0D, 0x12, 0x13, 0x14, 0x15, 0x16, 0x17, 0x1C, 0x1D, 0x1E, 0x1F
66   }
67 };
68
69 static const uint8_t ccitt_codes_lens[2][CCITT_SYMS] =
70 {
71   {
72      8,  6,  4,  4,  4,  4,  4,  4,  5,  5,  5,  5,  6,  6,  6,  6,  6,  6,  7,  7,
73      7,  7,  7,  7,  7,  7,  7,  7,  7,  8,  8,  8,  8,  8,  8,  8,  8,  8,  8,  8,
74      8,  8,  8,  8,  8,  8,  8,  8,  8,  8,  8,  8,  8,  8,  8,  8,  8,  8,  8,  8,
75      8,  8,  8,  8,  5,  5,  6,  7,  8,  8,  8,  8,  8,  8,  9,  9,  9,  9,  9,  9,
76      9,  9,  9,  9,  9,  9,  9,  9,  9,  6,  9, 11, 11, 11, 12, 12, 12, 12, 12, 12,
77     12, 12, 12, 12
78   },
79   {
80     10,  3,  2,  2,  3,  4,  4,  5,  6,  6,  7,  7,  7,  8,  8,  9, 10, 10, 10, 11,
81     11, 11, 11, 11, 11, 11, 12, 12, 12, 12, 12, 12, 12, 12, 12, 12, 12, 12, 12, 12,
82     12, 12, 12, 12, 12, 12, 12, 12, 12, 12, 12, 12, 12, 12, 12, 12, 12, 12, 12, 12,
83     12, 12, 12, 12, 10, 12, 12, 12, 12, 12, 12, 13, 13, 13, 13, 13, 13, 13, 13, 13,
84     13, 13, 13, 13, 13, 13, 13, 13, 13, 13, 13, 11, 11, 11, 12, 12, 12, 12, 12, 12,
85     12, 12, 12, 12
86   }
87 };
88
89 static const uint8_t ccitt_group3_2d_bits[11] = {
90     1, 1, 2, 2, 2, 1, 3, 3, 3, 1, 1
91 };
92
93 static const uint8_t ccitt_group3_2d_lens[11] = {
94     4, 3, 7, 6, 3, 1, 3, 6, 7, 7, 9
95 };
96
97 static VLC ccitt_vlc[2], ccitt_group3_2d_vlc;
98
99 av_cold void ff_ccitt_unpack_init(void)
100 {
101     static VLC_TYPE code_table1[528][2];
102     static VLC_TYPE code_table2[648][2];
103     int i;
104     static int initialized = 0;
105
106     if (initialized)
107         return;
108     ccitt_vlc[0].table = code_table1;
109     ccitt_vlc[0].table_allocated = 528;
110     ccitt_vlc[1].table = code_table2;
111     ccitt_vlc[1].table_allocated = 648;
112     for (i = 0; i < 2; i++) {
113         ff_init_vlc_sparse(&ccitt_vlc[i], 9, CCITT_SYMS,
114                            ccitt_codes_lens[i], 1, 1,
115                            ccitt_codes_bits[i], 1, 1,
116                            ccitt_syms, 2, 2,
117                            INIT_VLC_USE_NEW_STATIC);
118     }
119     INIT_VLC_STATIC(&ccitt_group3_2d_vlc, 9, 11,
120                     ccitt_group3_2d_lens, 1, 1,
121                     ccitt_group3_2d_bits, 1, 1, 512);
122     initialized = 1;
123 }
124
125
126 static int decode_group3_1d_line(AVCodecContext *avctx, GetBitContext *gb,
127                                  unsigned int pix_left, int *runs,
128                                  const int *runend)
129 {
130     int mode         = 0;
131     unsigned int run = 0;
132     unsigned int t;
133     for (;;) {
134         t    = get_vlc2(gb, ccitt_vlc[mode].table, 9, 2);
135         run += t;
136         if (t < 64) {
137             *runs++ = run;
138             if (runs >= runend) {
139                 av_log(avctx, AV_LOG_ERROR, "Run overrun\n");
140                 return AVERROR_INVALIDDATA;
141             }
142             if (pix_left <= run) {
143                 if (pix_left == run)
144                     break;
145                 av_log(avctx, AV_LOG_ERROR, "Run went out of bounds\n");
146                 return AVERROR_INVALIDDATA;
147             }
148             pix_left -= run;
149             run       = 0;
150             mode      = !mode;
151         } else if ((int)t == -1) {
152             if (show_bits(gb, 12) == 15) {
153                 int eob = 0;
154                 int newmode;
155                 int saved_run = 0;
156                 skip_bits(gb, 12);
157
158                 do {
159                     int cwi, k;
160                     int cw = 0;
161                     int codes[2];
162                     do {
163                         cwi = show_bits(gb, 11);
164                         if (!cwi) {
165                             av_log(avctx, AV_LOG_ERROR, "Invalid uncompressed codeword\n");
166                             return AVERROR_INVALIDDATA;
167                         }
168                         cwi = 10 - av_log2(cwi);
169                         skip_bits(gb, cwi + 1);
170                         if (cwi > 5) {
171                             newmode = get_bits1(gb);
172                             eob = 1;
173                             cwi -= 6;
174                         }
175                         cw += cwi;
176                     } while(cwi == 5);
177
178                     codes[0] = cw;
179                     codes[1] = !eob;
180
181                     for (k = 0; k < 2; k++) {
182                         if (codes[k]) {
183                             if (mode == k) {
184                                 *runs++ = saved_run;
185                                 if (runs >= runend) {
186                                     av_log(avctx, AV_LOG_ERROR, "uncompressed run overrun\n");
187                                     return AVERROR_INVALIDDATA;
188                                 }
189                                 if (pix_left <= saved_run) {
190                                     av_log(avctx, AV_LOG_ERROR, "uncompressed run went out of bounds\n");
191                                     return AVERROR_INVALIDDATA;
192                                 }
193                                 pix_left -= saved_run;
194                                 saved_run = 0;
195                                 mode = !mode;
196                             }
197                             saved_run += codes[k];
198                         }
199                     }
200                 } while (!eob);
201                 *runs++ = saved_run;
202                 if (runs >= runend) {
203                     av_log(avctx, AV_LOG_ERROR, "uncompressed run overrun\n");
204                     return AVERROR_INVALIDDATA;
205                 }
206                 if (pix_left <= saved_run) {
207                     if (pix_left == saved_run)
208                         break;
209                     av_log(avctx, AV_LOG_ERROR, "uncompressed run went out of boundsE\n");
210                     return AVERROR_INVALIDDATA;
211                 }
212                 pix_left -= saved_run;
213                 saved_run = 0;
214                 mode = !mode;
215                 if (newmode != mode) { //FIXME CHECK
216                     *runs++ = 0;
217                     mode = newmode;
218                 }
219             } else {
220                 av_log(avctx, AV_LOG_ERROR, "Incorrect code\n");
221                 return AVERROR_INVALIDDATA;
222             }
223         }
224     }
225     *runs++ = 0;
226     return 0;
227 }
228
229 static int decode_group3_2d_line(AVCodecContext *avctx, GetBitContext *gb,
230                                  unsigned int width, int *runs,
231                                  const int *runend, const int *ref)
232 {
233     int mode          = 0, saved_run = 0, t;
234     int run_off       = *ref++;
235     unsigned int offs = 0, run = 0;
236
237     while (offs < width) {
238         int cmode = get_vlc2(gb, ccitt_group3_2d_vlc.table, 9, 1);
239         if (cmode == -1) {
240             av_log(avctx, AV_LOG_ERROR, "Incorrect mode VLC\n");
241             return AVERROR_INVALIDDATA;
242         }
243         if (!cmode) { //pass mode
244             if (run_off < width)
245                 run_off += *ref++;
246             run      = run_off - offs;
247             offs     = run_off;
248             if (run_off < width)
249                 run_off += *ref++;
250             if (offs > width) {
251                 av_log(avctx, AV_LOG_ERROR, "Run went out of bounds\n");
252                 return AVERROR_INVALIDDATA;
253             }
254             saved_run += run;
255         } else if (cmode == 1) { //horizontal mode
256             int k;
257             for (k = 0; k < 2; k++) {
258                 run = 0;
259                 for (;;) {
260                     t = get_vlc2(gb, ccitt_vlc[mode].table, 9, 2);
261                     if (t == -1) {
262                         av_log(avctx, AV_LOG_ERROR, "Incorrect code\n");
263                         return AVERROR_INVALIDDATA;
264                     }
265                     run += t;
266                     if (t < 64)
267                         break;
268                 }
269                 *runs++ = run + saved_run;
270                 if (runs >= runend) {
271                     av_log(avctx, AV_LOG_ERROR, "Run overrun\n");
272                     return AVERROR_INVALIDDATA;
273                 }
274                 saved_run = 0;
275                 offs     += run;
276                 if (offs > width || run > width) {
277                     av_log(avctx, AV_LOG_ERROR, "Run went out of bounds\n");
278                     return AVERROR_INVALIDDATA;
279                 }
280                 mode = !mode;
281             }
282         } else if (cmode == 9 || cmode == 10) {
283             int xxx = get_bits(gb, 3);
284             if (cmode == 9 && xxx == 7) {
285                 int eob = 0;
286                 int newmode;
287
288                 if (saved_run) {
289                     av_log(avctx, AV_LOG_ERROR, "saved run %d on entering uncompressed mode\n", saved_run);
290                     return AVERROR_INVALIDDATA;
291                 }
292
293                 do {
294                     int cwi, k;
295                     int cw = 0;
296                     int codes[2];
297                     do {
298                         cwi = show_bits(gb, 11);
299                         if (!cwi) {
300                             av_log(avctx, AV_LOG_ERROR, "Invalid uncompressed codeword\n");
301                             return AVERROR_INVALIDDATA;
302                         }
303                         cwi = 10 - av_log2(cwi);
304                         skip_bits(gb, cwi + 1);
305                         if (cwi > 5) {
306                             newmode = get_bits1(gb);
307                             eob = 1;
308                             cwi -= 6;
309                         }
310                         cw += cwi;
311                     } while(cwi == 5);
312
313                     codes[0] = cw;
314                     codes[1] = !eob;
315
316                     for (k = 0; k < 2; k++) {
317                         if (codes[k]) {
318                             if (mode == k) {
319                                 *runs++ = saved_run;
320                                 if (runs >= runend) {
321                                     av_log(avctx, AV_LOG_ERROR, "uncompressed run overrun\n");
322                                     return AVERROR_INVALIDDATA;
323                                 }
324                                 offs += saved_run;
325                                 if (offs > width || run > width) {
326                                     av_log(avctx, AV_LOG_ERROR, "uncompressed run went out of bounds\n");
327                                     return AVERROR_INVALIDDATA;
328                                 }
329                                 saved_run = 0;
330                                 mode = !mode;
331                             }
332                             saved_run += codes[k];
333                         }
334                     }
335                 } while (!eob);
336                 *runs++ = saved_run;
337                 if (runs >= runend) {
338                     av_log(avctx, AV_LOG_ERROR, "uncompressed run overrun\n");
339                     return AVERROR_INVALIDDATA;
340                 }
341                 offs += saved_run;
342                 if (offs > width || run > width) {
343                     av_log(avctx, AV_LOG_ERROR, "uncompressed run went out of bounds\n");
344                     return AVERROR_INVALIDDATA;
345                 }
346                 saved_run = 0;
347                 mode = !mode;
348                 if (newmode != mode) { //FIXME CHECK
349                     *runs++ = 0;
350                     mode = newmode;
351                 }
352             } else {
353                 avpriv_report_missing_feature(avctx, "Special mode %d xxx=%d support", cmode, xxx);
354                 return AVERROR_PATCHWELCOME;
355             }
356         } else { //vertical mode
357             run      = run_off - offs + (cmode - 5);
358             run_off -= *--ref;
359             offs    += run;
360             if (offs > width || run > width) {
361                 av_log(avctx, AV_LOG_ERROR, "Run went out of bounds\n");
362                 return AVERROR_INVALIDDATA;
363             }
364             *runs++ = run + saved_run;
365             if (runs >= runend) {
366                 av_log(avctx, AV_LOG_ERROR, "Run overrun\n");
367                 return AVERROR_INVALIDDATA;
368             }
369             saved_run = 0;
370             mode      = !mode;
371         }
372         //sync line pointers
373         while (offs < width && run_off <= offs) {
374             run_off += *ref++;
375             run_off += *ref++;
376         }
377     }
378     *runs++ = saved_run;
379     if (saved_run) {
380         if (runs >= runend) {
381             av_log(avctx, AV_LOG_ERROR, "Run overrun\n");
382             return -1;
383         }
384         *runs++ = 0;
385     }
386     return 0;
387 }
388
389 static void put_line(uint8_t *dst, int size, int width, const int *runs)
390 {
391     PutBitContext pb;
392     int run, mode = ~0, pix_left = width, run_idx = 0;
393
394     init_put_bits(&pb, dst, size);
395     while (pix_left > 0) {
396         run       = runs[run_idx++];
397         mode      = ~mode;
398         pix_left -= run;
399         for (; run > 16; run -= 16)
400             put_sbits(&pb, 16, mode);
401         if (run)
402             put_sbits(&pb, run, mode);
403     }
404     flush_put_bits(&pb);
405 }
406
407 static int find_group3_syncmarker(GetBitContext *gb, int srcsize)
408 {
409     unsigned int state = -1;
410     srcsize -= get_bits_count(gb);
411     while (srcsize-- > 0) {
412         state += state + get_bits1(gb);
413         if ((state & 0xFFF) == 1)
414             return 0;
415     }
416     return -1;
417 }
418
419 int ff_ccitt_unpack(AVCodecContext *avctx, const uint8_t *src, int srcsize,
420                     uint8_t *dst, int height, int stride,
421                     enum TiffCompr compr, int opts)
422 {
423     int j;
424     GetBitContext gb;
425     int *runs, *ref = NULL, *runend;
426     int ret;
427     int runsize = avctx->width + 2;
428     int has_eol;
429
430     runs = av_malloc_array(runsize, sizeof(runs[0]));
431     ref  = av_malloc_array(runsize, sizeof(ref[0]));
432     if (!runs || !ref) {
433         ret = AVERROR(ENOMEM);
434         goto fail;
435     }
436     ref[0] = avctx->width;
437     ref[1] = 0;
438     ref[2] = 0;
439     if ((ret = init_get_bits8(&gb, src, srcsize)) < 0)
440         goto fail;
441     has_eol = show_bits(&gb, 12) == 1 || show_bits(&gb, 16) == 1;
442
443     for (j = 0; j < height; j++) {
444         runend = runs + runsize;
445         if (compr == TIFF_G4) {
446             ret = decode_group3_2d_line(avctx, &gb, avctx->width, runs, runend,
447                                         ref);
448             if (ret < 0)
449                 goto fail;
450         } else {
451             int g3d1 = (compr == TIFF_G3) && !(opts & 1);
452             if (compr != TIFF_CCITT_RLE &&
453                 has_eol &&
454                 find_group3_syncmarker(&gb, srcsize * 8) < 0)
455                 break;
456             if (compr == TIFF_CCITT_RLE || g3d1 || get_bits1(&gb))
457                 ret = decode_group3_1d_line(avctx, &gb, avctx->width, runs,
458                                             runend);
459             else
460                 ret = decode_group3_2d_line(avctx, &gb, avctx->width, runs,
461                                             runend, ref);
462             if (compr == TIFF_CCITT_RLE)
463                 align_get_bits(&gb);
464         }
465         if (avctx->err_recognition & AV_EF_EXPLODE && ret < 0)
466             goto fail;
467
468         if (ret < 0) {
469             put_line(dst, stride, avctx->width, ref);
470         } else {
471             put_line(dst, stride, avctx->width, runs);
472             FFSWAP(int *, runs, ref);
473         }
474         dst += stride;
475     }
476     ret = 0;
477 fail:
478     av_free(runs);
479     av_free(ref);
480     return ret;
481 }