jpeg2000: remove unneeded variable initialization
[ffmpeg.git] / libavcodec / jpeg2000.c
1 /*
2  * JPEG 2000 encoder and decoder common functions
3  * Copyright (c) 2007 Kamil Nowosad
4  * Copyright (c) 2013 Nicolas Bertrand <nicoinattendu@gmail.com>
5  *
6  * This file is part of FFmpeg.
7  *
8  * FFmpeg is free software; you can redistribute it and/or
9  * modify it under the terms of the GNU Lesser General Public
10  * License as published by the Free Software Foundation; either
11  * version 2.1 of the License, or (at your option) any later version.
12  *
13  * FFmpeg is distributed in the hope that it will be useful,
14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
16  * Lesser General Public License for more details.
17  *
18  * You should have received a copy of the GNU Lesser General Public
19  * License along with FFmpeg; if not, write to the Free Software
20  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
21  */
22
23 /**
24  * @file
25  * JPEG 2000 image encoder and decoder common functions
26  */
27
28 #include "libavutil/avassert.h"
29 #include "libavutil/common.h"
30 #include "libavutil/mem.h"
31 #include "avcodec.h"
32 #include "jpeg2000.h"
33
34 #define SHL(a, n) ((n) >= 0 ? (a) << (n) : (a) >> -(n))
35
36 /* tag tree routines */
37
38 /* allocate the memory for tag tree */
39 static int32_t tag_tree_size(uint16_t w, uint16_t h)
40 {
41     uint32_t res = 0;
42     while (w > 1 || h > 1) {
43         res += w * h;
44         av_assert0(res + 1 < INT32_MAX);
45         w = (w + 1) >> 1;
46         h = (h + 1) >> 1;
47     }
48     return (int32_t)(res + 1);
49 }
50
51 static Jpeg2000TgtNode *ff_jpeg2000_tag_tree_init(int w, int h)
52 {
53     int pw = w, ph = h;
54     Jpeg2000TgtNode *res, *t, *t2;
55     int32_t tt_size;
56
57     tt_size = tag_tree_size(w, h);
58
59     t = res = av_mallocz_array(tt_size, sizeof(*t));
60     if (!res)
61         return NULL;
62
63     while (w > 1 || h > 1) {
64         int i, j;
65         pw = w;
66         ph = h;
67
68         w  = (w + 1) >> 1;
69         h  = (h + 1) >> 1;
70         t2 = t + pw * ph;
71
72         for (i = 0; i < ph; i++)
73             for (j = 0; j < pw; j++)
74                 t[i * pw + j].parent = &t2[(i >> 1) * w + (j >> 1)];
75
76         t = t2;
77     }
78     t[0].parent = NULL;
79     return res;
80 }
81
82 uint8_t ff_jpeg2000_sigctxno_lut[256][4];
83
84 static int getsigctxno(int flag, int bandno)
85 {
86     int h, v, d;
87
88     h = ((flag & JPEG2000_T1_SIG_E)  ? 1 : 0) +
89         ((flag & JPEG2000_T1_SIG_W)  ? 1 : 0);
90     v = ((flag & JPEG2000_T1_SIG_N)  ? 1 : 0) +
91         ((flag & JPEG2000_T1_SIG_S)  ? 1 : 0);
92     d = ((flag & JPEG2000_T1_SIG_NE) ? 1 : 0) +
93         ((flag & JPEG2000_T1_SIG_NW) ? 1 : 0) +
94         ((flag & JPEG2000_T1_SIG_SE) ? 1 : 0) +
95         ((flag & JPEG2000_T1_SIG_SW) ? 1 : 0);
96
97     if (bandno < 3) {
98         if (bandno == 1)
99             FFSWAP(int, h, v);
100         if (h == 2) return 8;
101         if (h == 1) {
102             if (v >= 1) return 7;
103             if (d >= 1) return 6;
104             return 5;
105         }
106         if (v == 2) return 4;
107         if (v == 1) return 3;
108         if (d >= 2) return 2;
109         if (d == 1) return 1;
110     } else {
111         if (d >= 3) return 8;
112         if (d == 2) {
113             if (h+v >= 1) return 7;
114             return 6;
115         }
116         if (d == 1) {
117             if (h+v >= 2) return 5;
118             if (h+v == 1) return 4;
119             return 3;
120         }
121         if (h+v >= 2) return 2;
122         if (h+v == 1) return 1;
123     }
124     return 0;
125 }
126
127 uint8_t ff_jpeg2000_sgnctxno_lut[16][16], ff_jpeg2000_xorbit_lut[16][16];
128
129 static const int contribtab[3][3] = { {  0, -1,  1 }, { -1, -1,  0 }, {  1,  0,  1 } };
130 static const int  ctxlbltab[3][3] = { { 13, 12, 11 }, { 10,  9, 10 }, { 11, 12, 13 } };
131 static const int  xorbittab[3][3] = { {  1,  1,  1 }, {  1,  0,  0 }, {  0,  0,  0 } };
132
133 static int getsgnctxno(int flag, uint8_t *xorbit)
134 {
135     int vcontrib, hcontrib;
136
137     hcontrib = contribtab[flag & JPEG2000_T1_SIG_E ? flag & JPEG2000_T1_SGN_E ? 1 : 2 : 0]
138                          [flag & JPEG2000_T1_SIG_W ? flag & JPEG2000_T1_SGN_W ? 1 : 2 : 0] + 1;
139     vcontrib = contribtab[flag & JPEG2000_T1_SIG_S ? flag & JPEG2000_T1_SGN_S ? 1 : 2 : 0]
140                          [flag & JPEG2000_T1_SIG_N ? flag & JPEG2000_T1_SGN_N ? 1 : 2 : 0] + 1;
141     *xorbit = xorbittab[hcontrib][vcontrib];
142
143     return ctxlbltab[hcontrib][vcontrib];
144 }
145
146 void ff_jpeg2000_init_tier1_luts(void)
147 {
148     int i, j;
149     for (i = 0; i < 256; i++)
150         for (j = 0; j < 4; j++)
151             ff_jpeg2000_sigctxno_lut[i][j] = getsigctxno(i, j);
152     for (i = 0; i < 16; i++)
153         for (j = 0; j < 16; j++)
154             ff_jpeg2000_sgnctxno_lut[i][j] =
155                 getsgnctxno(i + (j << 8), &ff_jpeg2000_xorbit_lut[i][j]);
156 }
157
158 void ff_jpeg2000_set_significance(Jpeg2000T1Context *t1, int x, int y,
159                                   int negative)
160 {
161     x++;
162     y++;
163     t1->flags[y][x] |= JPEG2000_T1_SIG;
164     if (negative) {
165         t1->flags[y][x + 1] |= JPEG2000_T1_SIG_W | JPEG2000_T1_SGN_W;
166         t1->flags[y][x - 1] |= JPEG2000_T1_SIG_E | JPEG2000_T1_SGN_E;
167         t1->flags[y + 1][x] |= JPEG2000_T1_SIG_N | JPEG2000_T1_SGN_N;
168         t1->flags[y - 1][x] |= JPEG2000_T1_SIG_S | JPEG2000_T1_SGN_S;
169     } else {
170         t1->flags[y][x + 1] |= JPEG2000_T1_SIG_W;
171         t1->flags[y][x - 1] |= JPEG2000_T1_SIG_E;
172         t1->flags[y + 1][x] |= JPEG2000_T1_SIG_N;
173         t1->flags[y - 1][x] |= JPEG2000_T1_SIG_S;
174     }
175     t1->flags[y + 1][x + 1] |= JPEG2000_T1_SIG_NW;
176     t1->flags[y + 1][x - 1] |= JPEG2000_T1_SIG_NE;
177     t1->flags[y - 1][x + 1] |= JPEG2000_T1_SIG_SW;
178     t1->flags[y - 1][x - 1] |= JPEG2000_T1_SIG_SE;
179 }
180
181 static const uint8_t lut_gain[2][4] = { { 0, 0, 0, 0 }, { 0, 1, 1, 2 } };
182
183 int ff_jpeg2000_init_component(Jpeg2000Component *comp,
184                                Jpeg2000CodingStyle *codsty,
185                                Jpeg2000QuantStyle *qntsty,
186                                int cbps, int dx, int dy,
187                                AVCodecContext *avctx)
188 {
189     uint8_t log2_band_prec_width, log2_band_prec_height;
190     int reslevelno, bandno, gbandno = 0, ret, i, j;
191     uint32_t csize;
192
193     if (ret = ff_jpeg2000_dwt_init(&comp->dwt, comp->coord,
194                                    codsty->nreslevels2decode - 1,
195                                    codsty->transform))
196         return ret;
197     // component size comp->coord is uint16_t so ir cannot overflow
198     csize = (comp->coord[0][1] - comp->coord[0][0]) *
199             (comp->coord[1][1] - comp->coord[1][0]);
200
201     if (codsty->transform == FF_DWT97) {
202         comp->i_data = NULL;
203         comp->f_data = av_malloc_array(csize, sizeof(*comp->f_data));
204         if (!comp->f_data)
205             return AVERROR(ENOMEM);
206     } else {
207         comp->f_data = NULL;
208         comp->i_data = av_malloc_array(csize, sizeof(*comp->i_data));
209         if (!comp->i_data)
210             return AVERROR(ENOMEM);
211     }
212     comp->reslevel = av_malloc_array(codsty->nreslevels, sizeof(*comp->reslevel));
213     if (!comp->reslevel)
214         return AVERROR(ENOMEM);
215     /* LOOP on resolution levels */
216     for (reslevelno = 0; reslevelno < codsty->nreslevels; reslevelno++) {
217         int declvl = codsty->nreslevels - reslevelno;    // N_L -r see  ISO/IEC 15444-1:2002 B.5
218         Jpeg2000ResLevel *reslevel = comp->reslevel + reslevelno;
219
220         /* Compute borders for each resolution level.
221          * Computation of trx_0, trx_1, try_0 and try_1.
222          * see ISO/IEC 15444-1:2002 eq. B.5 and B-14 */
223         for (i = 0; i < 2; i++)
224             for (j = 0; j < 2; j++)
225                 reslevel->coord[i][j] =
226                     ff_jpeg2000_ceildivpow2(comp->coord_o[i][j], declvl - 1);
227         // update precincts size: 2^n value
228         reslevel->log2_prec_width  = codsty->log2_prec_widths[reslevelno];
229         reslevel->log2_prec_height = codsty->log2_prec_heights[reslevelno];
230
231         /* Number of bands for each resolution level */
232         if (reslevelno == 0)
233             reslevel->nbands = 1;
234         else
235             reslevel->nbands = 3;
236
237         /* Number of precincts wich span the tile for resolution level reslevelno
238          * see B.6 in ISO/IEC 15444-1:2002 eq. B-16
239          * num_precincts_x = |- trx_1 / 2 ^ log2_prec_width) -| - (trx_0 / 2 ^ log2_prec_width)
240          * num_precincts_y = |- try_1 / 2 ^ log2_prec_width) -| - (try_0 / 2 ^ log2_prec_width)
241          * for Dcinema profiles in JPEG 2000
242          * num_precincts_x = |- trx_1 / 2 ^ log2_prec_width) -|
243          * num_precincts_y = |- try_1 / 2 ^ log2_prec_width) -| */
244         if (reslevel->coord[0][1] == reslevel->coord[0][0])
245             reslevel->num_precincts_x = 0;
246         else
247             reslevel->num_precincts_x =
248                 ff_jpeg2000_ceildivpow2(reslevel->coord[0][1],
249                                         reslevel->log2_prec_width) -
250                 (reslevel->coord[0][0] >> reslevel->log2_prec_width);
251
252         if (reslevel->coord[1][1] == reslevel->coord[1][0])
253             reslevel->num_precincts_y = 0;
254         else
255             reslevel->num_precincts_y =
256                 ff_jpeg2000_ceildivpow2(reslevel->coord[1][1],
257                                         reslevel->log2_prec_height) -
258                 (reslevel->coord[1][0] >> reslevel->log2_prec_height);
259
260         reslevel->band = av_malloc_array(reslevel->nbands, sizeof(*reslevel->band));
261         if (!reslevel->band)
262             return AVERROR(ENOMEM);
263
264         for (bandno = 0; bandno < reslevel->nbands; bandno++, gbandno++) {
265             Jpeg2000Band *band = reslevel->band + bandno;
266             int cblkno, precno;
267             int nb_precincts;
268
269             /* TODO: Implementation of quantization step not finished,
270              * see ISO/IEC 15444-1:2002 E.1 and A.6.4. */
271             switch (qntsty->quantsty) {
272                 uint8_t gain;
273                 int numbps;
274             case JPEG2000_QSTY_NONE:
275                 /* TODO: to verify. No quantization in this case */
276                 band->f_stepsize = (float) (1 << 13);
277                 break;
278             case JPEG2000_QSTY_SI:
279                 /*TODO: Compute formula to implement. */
280                 numbps = cbps +
281                          lut_gain[codsty->transform][bandno + (reslevelno > 0)];
282                 band->f_stepsize = (float)SHL(2048 + qntsty->mant[gbandno],
283                                             2 + numbps - qntsty->expn[gbandno]);
284                 break;
285             case JPEG2000_QSTY_SE:
286                 /* Exponent quantization step.
287                  * Formula:
288                  * delta_b = 2 ^ (R_b - expn_b) * (1 + (mant_b / 2 ^ 11))
289                  * R_b = R_I + log2 (gain_b )
290                  * see ISO/IEC 15444-1:2002 E.1.1 eqn. E-3 and E-4 */
291                 /* TODO/WARN: value of log2 (gain_b ) not taken into account
292                  * but it works (compared to OpenJPEG). Why?
293                  * Further investigation needed. */
294                 gain            = cbps;
295                 band->f_stepsize  = pow(2.0, gain - qntsty->expn[gbandno]);
296                 band->f_stepsize *= (float)qntsty->mant[gbandno] / 2048.0 + 1.0;
297                 break;
298             default:
299                 band->f_stepsize = 0;
300                 av_log(avctx, AV_LOG_ERROR, "Unknown quantization format\n");
301                 break;
302             }
303             /* FIXME: In openjepg code stespize = stepsize * 0.5. Why?
304                 * If not set output of entropic decoder is not correct. */
305             if (!av_codec_is_encoder(avctx->codec))
306                 band->f_stepsize *= 0.5;
307
308             band->i_stepsize = (int32_t)(band->f_stepsize * (1 << 16));
309
310             /* computation of tbx_0, tbx_1, tby_0, tby_1
311              * see ISO/IEC 15444-1:2002 B.5 eq. B-15 and tbl B.1
312              * codeblock width and height is computed for
313              * DCI JPEG 2000 codeblock_width = codeblock_width = 32 = 2 ^ 5 */
314             if (reslevelno == 0) {
315                 /* for reslevelno = 0, only one band, x0_b = y0_b = 0 */
316                 for (i = 0; i < 2; i++)
317                     for (j = 0; j < 2; j++)
318                         band->coord[i][j] =
319                             ff_jpeg2000_ceildivpow2(comp->coord_o[i][j],
320                                                     declvl - 1);
321
322                 log2_band_prec_width  = reslevel->log2_prec_width;
323                 log2_band_prec_height = reslevel->log2_prec_height;
324                 /* see ISO/IEC 15444-1:2002 eq. B-17 and eq. B-15 */
325                 band->log2_cblk_width  = FFMIN(codsty->log2_cblk_width,
326                                                reslevel->log2_prec_width);
327                 band->log2_cblk_height = FFMIN(codsty->log2_cblk_height,
328                                                reslevel->log2_prec_height);
329             } else {
330                 /* 3 bands x0_b = 1 y0_b = 0; x0_b = 0 y0_b = 1; x0_b = y0_b = 1 */
331                 /* x0_b and y0_b are computed with ((bandno + 1 >> i) & 1) */
332                 for (i = 0; i < 2; i++)
333                     for (j = 0; j < 2; j++)
334                         /* Formula example for tbx_0 = ceildiv((tcx_0 - 2 ^ (declvl - 1) * x0_b) / declvl) */
335                         band->coord[i][j] =
336                             ff_jpeg2000_ceildivpow2(comp->coord_o[i][j] -
337                                                     (((bandno + 1 >> i) & 1) << declvl - 1),
338                                                     declvl);
339                 /* TODO: Manage case of 3 band offsets here or
340                  * in coding/decoding function? */
341
342                 /* see ISO/IEC 15444-1:2002 eq. B-17 and eq. B-15 */
343                 band->log2_cblk_width  = FFMIN(codsty->log2_cblk_width,
344                                                reslevel->log2_prec_width - 1);
345                 band->log2_cblk_height = FFMIN(codsty->log2_cblk_height,
346                                                reslevel->log2_prec_height - 1);
347
348                 log2_band_prec_width  = reslevel->log2_prec_width  - 1;
349                 log2_band_prec_height = reslevel->log2_prec_height - 1;
350             }
351
352             band->prec = av_malloc_array(reslevel->num_precincts_x *
353                                          reslevel->num_precincts_y,
354                                          sizeof(*band->prec));
355             if (!band->prec)
356                 return AVERROR(ENOMEM);
357
358             nb_precincts = reslevel->num_precincts_x * reslevel->num_precincts_y;
359
360             for (precno = 0; precno < nb_precincts; precno++) {
361                 Jpeg2000Prec *prec = band->prec + precno;
362
363                 /* TODO: Explain formula for JPEG200 DCINEMA. */
364                 /* TODO: Verify with previous count of codeblocks per band */
365
366                 /* Compute P_x0 */
367                 prec->coord[0][0] = (precno % reslevel->num_precincts_x) *
368                                     (1 << log2_band_prec_width);
369                 prec->coord[0][0] = FFMAX(prec->coord[0][0], band->coord[0][0]);
370
371                 /* Compute P_y0 */
372                 prec->coord[1][0] = (precno / reslevel->num_precincts_x) *
373                                     (1 << log2_band_prec_height);
374                 prec->coord[1][0] = FFMAX(prec->coord[1][0], band->coord[1][0]);
375
376                 /* Compute P_x1 */
377                 prec->coord[0][1] = prec->coord[0][0] +
378                                     (1 << log2_band_prec_width);
379                 prec->coord[0][1] = FFMIN(prec->coord[0][1], band->coord[0][1]);
380
381                 /* Compute P_y1 */
382                 prec->coord[1][1] = prec->coord[1][0] +
383                                     (1 << log2_band_prec_height);
384                 prec->coord[1][1] = FFMIN(prec->coord[1][1], band->coord[1][1]);
385
386                 prec->nb_codeblocks_width =
387                     ff_jpeg2000_ceildivpow2(prec->coord[0][1] -
388                                             prec->coord[0][0],
389                                             band->log2_cblk_width);
390                 prec->nb_codeblocks_height =
391                     ff_jpeg2000_ceildivpow2(prec->coord[1][1] -
392                                             prec->coord[1][0],
393                                             band->log2_cblk_height);
394
395                 /* Tag trees initialization */
396                 prec->cblkincl =
397                     ff_jpeg2000_tag_tree_init(prec->nb_codeblocks_width,
398                                               prec->nb_codeblocks_height);
399                 if (!prec->cblkincl)
400                     return AVERROR(ENOMEM);
401
402                 prec->zerobits =
403                     ff_jpeg2000_tag_tree_init(prec->nb_codeblocks_width,
404                                               prec->nb_codeblocks_height);
405                 if (!prec->zerobits)
406                     return AVERROR(ENOMEM);
407
408                 prec->cblk = av_malloc_array(prec->nb_codeblocks_width *
409                                              prec->nb_codeblocks_height,
410                                              sizeof(*prec->cblk));
411                 if (!prec->cblk)
412                     return AVERROR(ENOMEM);
413                 for (cblkno = 0; cblkno < prec->nb_codeblocks_width * prec->nb_codeblocks_height; cblkno++) {
414                     Jpeg2000Cblk *cblk = prec->cblk + cblkno;
415                     uint16_t Cx0, Cy0;
416
417                     /* Compute coordinates of codeblocks */
418                     /* Compute Cx0*/
419                     Cx0 = (prec->coord[0][0] >> band->log2_cblk_width) << band->log2_cblk_width;
420                     Cx0 = Cx0 + ((cblkno % prec->nb_codeblocks_width)  << band->log2_cblk_width);
421                     cblk->coord[0][0] = FFMAX(Cx0, prec->coord[0][0]);
422
423                     /* Compute Cy0*/
424                     Cy0 = (prec->coord[1][0] >> band->log2_cblk_height) << band->log2_cblk_height;
425                     Cy0 = Cy0 + ((cblkno / prec->nb_codeblocks_width)   << band->log2_cblk_height);
426                     cblk->coord[1][0] = FFMAX(Cy0, prec->coord[1][0]);
427
428                     /* Compute Cx1 */
429                     cblk->coord[0][1] = FFMIN(Cx0 + (1 << band->log2_cblk_width),
430                                               prec->coord[0][1]);
431
432                     /* Compute Cy1 */
433                     cblk->coord[1][1] = FFMIN(Cy0 + (1 << band->log2_cblk_height),
434                                               prec->coord[1][1]);
435
436                     if((bandno + !!reslevelno) & 1) {
437                         cblk->coord[0][0] += comp->reslevel[reslevelno-1].coord[0][1] - comp->reslevel[reslevelno-1].coord[0][0];
438                         cblk->coord[0][1] += comp->reslevel[reslevelno-1].coord[0][1] - comp->reslevel[reslevelno-1].coord[0][0];
439                     }
440                     if((bandno + !!reslevelno) & 2) {
441                         cblk->coord[1][0] += comp->reslevel[reslevelno-1].coord[1][1] - comp->reslevel[reslevelno-1].coord[1][0];
442                         cblk->coord[1][1] += comp->reslevel[reslevelno-1].coord[1][1] - comp->reslevel[reslevelno-1].coord[1][0];
443                     }
444
445                     cblk->zero      = 0;
446                     cblk->lblock    = 3;
447                     cblk->length    = 0;
448                     cblk->lengthinc = 0;
449                     cblk->npasses   = 0;
450                 }
451             }
452         }
453     }
454     return 0;
455 }
456
457 void ff_jpeg2000_cleanup(Jpeg2000Component *comp, Jpeg2000CodingStyle *codsty)
458 {
459     int reslevelno, bandno, precno;
460     for (reslevelno = 0; reslevelno < codsty->nreslevels; reslevelno++) {
461         Jpeg2000ResLevel *reslevel = comp->reslevel + reslevelno;
462
463         for (bandno = 0; bandno < reslevel->nbands; bandno++) {
464             Jpeg2000Band *band = reslevel->band + bandno;
465             for (precno = 0; precno < reslevel->num_precincts_x * reslevel->num_precincts_y; precno++) {
466                 Jpeg2000Prec *prec = band->prec + precno;
467                 av_freep(&prec->zerobits);
468                 av_freep(&prec->cblkincl);
469                 av_freep(&prec->cblk);
470             }
471
472             av_freep(&band->prec);
473         }
474         av_freep(&reslevel->band);
475     }
476
477     ff_dwt_destroy(&comp->dwt);
478     av_freep(&comp->reslevel);
479     av_freep(&comp->i_data);
480     av_freep(&comp->f_data);
481 }