dwt: use av_freep()
[ffmpeg.git] / libavcodec / dwt.c
1 /*
2  * Copyright (C) 2004-2010 Michael Niedermayer <michaelni@gmx.at>
3  * Copyright (C) 2008 David Conrad
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with FFmpeg; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 #include "libavutil/attributes.h"
23 #include "dsputil.h"
24 #include "dwt.h"
25 #include "libavcodec/x86/dwt.h"
26
27 void ff_slice_buffer_init(slice_buffer *buf, int line_count,
28                           int max_allocated_lines, int line_width,
29                           IDWTELEM *base_buffer)
30 {
31     int i;
32
33     buf->base_buffer = base_buffer;
34     buf->line_count  = line_count;
35     buf->line_width  = line_width;
36     buf->data_count  = max_allocated_lines;
37     buf->line        = av_mallocz(sizeof(IDWTELEM *) * line_count);
38     if (!buf->line)
39         return AVERROR(ENOMEM);
40     buf->data_stack  = av_malloc(sizeof(IDWTELEM *) * max_allocated_lines);
41     if (!buf->data_stack) {
42         av_freep(&buf->line);
43         return AVERROR(ENOMEM);
44     }
45
46     for (i = 0; i < max_allocated_lines; i++) {
47         buf->data_stack[i] = av_malloc(sizeof(IDWTELEM) * line_width);
48         if (!buf->data_stack[i]) {
49             for (i--; i >=0; i--)
50                 av_freep(&buf->data_stack[i]);
51             av_freep(&buf->data_stack);
52             av_freep(&buf->line);
53             return AVERROR(ENOMEM);
54         }
55     }
56
57     buf->data_stack_top = max_allocated_lines - 1;
58 }
59
60 IDWTELEM *ff_slice_buffer_load_line(slice_buffer *buf, int line)
61 {
62     IDWTELEM *buffer;
63
64     assert(buf->data_stack_top >= 0);
65 //  assert(!buf->line[line]);
66     if (buf->line[line])
67         return buf->line[line];
68
69     buffer = buf->data_stack[buf->data_stack_top];
70     buf->data_stack_top--;
71     buf->line[line] = buffer;
72
73     return buffer;
74 }
75
76 void ff_slice_buffer_release(slice_buffer *buf, int line)
77 {
78     IDWTELEM *buffer;
79
80     assert(line >= 0 && line < buf->line_count);
81     assert(buf->line[line]);
82
83     buffer = buf->line[line];
84     buf->data_stack_top++;
85     buf->data_stack[buf->data_stack_top] = buffer;
86     buf->line[line]                      = NULL;
87 }
88
89 void ff_slice_buffer_flush(slice_buffer *buf)
90 {
91     int i;
92     for (i = 0; i < buf->line_count; i++)
93         if (buf->line[i])
94             ff_slice_buffer_release(buf, i);
95 }
96
97 void ff_slice_buffer_destroy(slice_buffer *buf)
98 {
99     int i;
100     ff_slice_buffer_flush(buf);
101
102     for (i = buf->data_count - 1; i >= 0; i--)
103         av_freep(&buf->data_stack[i]);
104     av_freep(&buf->data_stack);
105     av_freep(&buf->line);
106 }
107
108 static inline int mirror(int v, int m)
109 {
110     while ((unsigned)v > (unsigned)m) {
111         v = -v;
112         if (v < 0)
113             v += 2 * m;
114     }
115     return v;
116 }
117
118 static av_always_inline void lift(DWTELEM *dst, DWTELEM *src, DWTELEM *ref,
119                                   int dst_step, int src_step, int ref_step,
120                                   int width, int mul, int add, int shift,
121                                   int highpass, int inverse)
122 {
123     const int mirror_left  = !highpass;
124     const int mirror_right = (width & 1) ^ highpass;
125     const int w            = (width >> 1) - 1 + (highpass & width);
126     int i;
127
128 #define LIFT(src, ref, inv) ((src) + ((inv) ? -(ref) : +(ref)))
129     if (mirror_left) {
130         dst[0] = LIFT(src[0], ((mul * 2 * ref[0] + add) >> shift), inverse);
131         dst   += dst_step;
132         src   += src_step;
133     }
134
135     for (i = 0; i < w; i++)
136         dst[i * dst_step] = LIFT(src[i * src_step],
137                                  ((mul * (ref[i * ref_step] +
138                                           ref[(i + 1) * ref_step]) +
139                                    add) >> shift),
140                                  inverse);
141
142     if (mirror_right)
143         dst[w * dst_step] = LIFT(src[w * src_step],
144                                  ((mul * 2 * ref[w * ref_step] + add) >> shift),
145                                  inverse);
146 }
147
148 static av_always_inline void inv_lift(IDWTELEM *dst, IDWTELEM *src, IDWTELEM *ref,
149                                       int dst_step, int src_step, int ref_step,
150                                       int width, int mul, int add, int shift,
151                                       int highpass, int inverse)
152 {
153     const int mirror_left  = !highpass;
154     const int mirror_right = (width & 1) ^ highpass;
155     const int w            = (width >> 1) - 1 + (highpass & width);
156     int i;
157
158 #define LIFT(src, ref, inv) ((src) + ((inv) ? -(ref) : +(ref)))
159     if (mirror_left) {
160         dst[0] = LIFT(src[0], ((mul * 2 * ref[0] + add) >> shift), inverse);
161         dst   += dst_step;
162         src   += src_step;
163     }
164
165     for (i = 0; i < w; i++)
166         dst[i * dst_step] = LIFT(src[i * src_step],
167                                  ((mul * (ref[i * ref_step] +
168                                           ref[(i + 1) * ref_step]) +
169                                    add) >> shift),
170                                  inverse);
171
172     if (mirror_right) {
173         dst[w * dst_step] = LIFT(src[w * src_step],
174                                  ((mul * 2 * ref[w * ref_step] + add) >> shift),
175                                  inverse);
176     }
177 }
178
179 #ifndef liftS
180 static av_always_inline void liftS(DWTELEM *dst, DWTELEM *src, DWTELEM *ref,
181                                    int dst_step, int src_step, int ref_step,
182                                    int width, int mul, int add, int shift,
183                                    int highpass, int inverse)
184 {
185     const int mirror_left  = !highpass;
186     const int mirror_right = (width & 1) ^ highpass;
187     const int w            = (width >> 1) - 1 + (highpass & width);
188     int i;
189
190     assert(shift == 4);
191 #define LIFTS(src, ref, inv)                                            \
192     ((inv) ? (src) + (((ref) + 4 * (src)) >> shift)                     \
193            : -((-16 * (src) + (ref) + add /                             \
194                 4 + 1 + (5 << 25)) / (5 * 4) - (1 << 23)))
195     if (mirror_left) {
196         dst[0] = LIFTS(src[0], mul * 2 * ref[0] + add, inverse);
197         dst   += dst_step;
198         src   += src_step;
199     }
200
201     for (i = 0; i < w; i++)
202         dst[i * dst_step] = LIFTS(src[i * src_step],
203                                   mul * (ref[i * ref_step] +
204                                          ref[(i + 1) * ref_step]) + add,
205                                   inverse);
206
207     if (mirror_right)
208         dst[w * dst_step] = LIFTS(src[w * src_step],
209                                   mul * 2 * ref[w * ref_step] + add,
210                                   inverse);
211 }
212
213 static av_always_inline void inv_liftS(IDWTELEM *dst, IDWTELEM *src,
214                                        IDWTELEM *ref, int dst_step,
215                                        int src_step, int ref_step,
216                                        int width, int mul, int add, int shift,
217                                        int highpass, int inverse)
218 {
219     const int mirror_left  = !highpass;
220     const int mirror_right = (width & 1) ^ highpass;
221     const int w            = (width >> 1) - 1 + (highpass & width);
222     int i;
223
224     assert(shift == 4);
225 #define LIFTS(src, ref, inv)                                            \
226     ((inv) ? (src) + (((ref) + 4 * (src)) >> shift)                     \
227            : -((-16 * (src) + (ref) + add /                             \
228                 4 + 1 + (5 << 25)) / (5 * 4) - (1 << 23)))
229     if (mirror_left) {
230         dst[0] = LIFTS(src[0], mul * 2 * ref[0] + add, inverse);
231         dst   += dst_step;
232         src   += src_step;
233     }
234
235     for (i = 0; i < w; i++)
236         dst[i * dst_step] = LIFTS(src[i * src_step],
237                                   mul * (ref[i * ref_step] +
238                                          ref[(i + 1) * ref_step]) + add,
239                                   inverse);
240
241     if (mirror_right)
242         dst[w * dst_step] = LIFTS(src[w * src_step],
243                                   mul * 2 * ref[w * ref_step] + add, inverse);
244 }
245 #endif /* ! liftS */
246
247 static void horizontal_decompose53i(DWTELEM *b, int width)
248 {
249     DWTELEM temp[width];
250     const int width2 = width >> 1;
251     int x;
252     const int w2 = (width + 1) >> 1;
253
254     for (x = 0; x < width2; x++) {
255         temp[x]      = b[2 * x];
256         temp[x + w2] = b[2 * x + 1];
257     }
258     if (width & 1)
259         temp[x] = b[2 * x];
260 #if 0
261     {
262         int A1, A2, A3, A4;
263         A2             = temp[1];
264         A4             = temp[0];
265         A1             = temp[0 + width2];
266         A1            -= (A2 + A4) >> 1;
267         A4            += (A1 +  1) >> 1;
268         b[0 + width2]  = A1;
269         b[0]           = A4;
270         for (x = 1; x + 1 < width2; x += 2) {
271             A3                 = temp[x + width2];
272             A4                 = temp[x + 1];
273             A3                -= (A2 + A4)     >> 1;
274             A2                += (A1 + A3 + 2) >> 2;
275             b[x + width2]      = A3;
276             b[x]               = A2;
277
278             A1                 = temp[x + 1 + width2];
279             A2                 = temp[x + 2];
280             A1                -= (A2 + A4)     >> 1;
281             A4                += (A1 + A3 + 2) >> 2;
282             b[x + 1 + width2]  = A1;
283             b[x + 1]           = A4;
284         }
285         A3            = temp[width - 1];
286         A3           -= A2;
287         A2           += (A1 + A3 + 2) >> 2;
288         b[width  - 1] = A3;
289         b[width2 - 1] = A2;
290     }
291 #else
292     lift(b + w2, temp + w2, temp,   1, 1, 1, width, -1, 0, 1, 1, 0);
293     lift(b,      temp,      b + w2, 1, 1, 1, width,  1, 2, 2, 0, 0);
294 #endif /* 0 */
295 }
296
297 static void vertical_decompose53iH0(DWTELEM *b0, DWTELEM *b1, DWTELEM *b2,
298                                     int width)
299 {
300     int i;
301
302     for (i = 0; i < width; i++)
303         b1[i] -= (b0[i] + b2[i]) >> 1;
304 }
305
306 static void vertical_decompose53iL0(DWTELEM *b0, DWTELEM *b1, DWTELEM *b2,
307                                     int width)
308 {
309     int i;
310
311     for (i = 0; i < width; i++)
312         b1[i] += (b0[i] + b2[i] + 2) >> 2;
313 }
314
315 static void spatial_decompose53i(DWTELEM *buffer, int width, int height,
316                                  int stride)
317 {
318     int y;
319     DWTELEM *b0 = buffer + mirror(-2 - 1, height - 1) * stride;
320     DWTELEM *b1 = buffer + mirror(-2,     height - 1) * stride;
321
322     for (y = -2; y < height; y += 2) {
323         DWTELEM *b2 = buffer + mirror(y + 1, height - 1) * stride;
324         DWTELEM *b3 = buffer + mirror(y + 2, height - 1) * stride;
325
326         if (y + 1 < (unsigned)height)
327             horizontal_decompose53i(b2, width);
328         if (y + 2 < (unsigned)height)
329             horizontal_decompose53i(b3, width);
330
331         if (y + 1 < (unsigned)height)
332             vertical_decompose53iH0(b1, b2, b3, width);
333         if (y + 0 < (unsigned)height)
334             vertical_decompose53iL0(b0, b1, b2, width);
335
336         b0 = b2;
337         b1 = b3;
338     }
339 }
340
341 static void horizontal_decompose97i(DWTELEM *b, int width)
342 {
343     DWTELEM temp[width];
344     const int w2 = (width + 1) >> 1;
345
346     lift(temp + w2, b + 1, b,         1, 2, 2, width, W_AM, W_AO, W_AS, 1, 1);
347     liftS(temp,     b,     temp + w2, 1, 2, 1, width, W_BM, W_BO, W_BS, 0, 0);
348     lift(b + w2, temp + w2, temp,     1, 1, 1, width, W_CM, W_CO, W_CS, 1, 0);
349     lift(b,      temp,      b + w2,   1, 1, 1, width, W_DM, W_DO, W_DS, 0, 0);
350 }
351
352 static void vertical_decompose97iH0(DWTELEM *b0, DWTELEM *b1, DWTELEM *b2,
353                                     int width)
354 {
355     int i;
356
357     for (i = 0; i < width; i++)
358         b1[i] -= (W_AM * (b0[i] + b2[i]) + W_AO) >> W_AS;
359 }
360
361 static void vertical_decompose97iH1(DWTELEM *b0, DWTELEM *b1, DWTELEM *b2,
362                                     int width)
363 {
364     int i;
365
366     for (i = 0; i < width; i++)
367         b1[i] += (W_CM * (b0[i] + b2[i]) + W_CO) >> W_CS;
368 }
369
370 static void vertical_decompose97iL0(DWTELEM *b0, DWTELEM *b1, DWTELEM *b2,
371                                     int width)
372 {
373     int i;
374
375     for (i = 0; i < width; i++)
376 #ifdef liftS
377         b1[i] -= (W_BM * (b0[i] + b2[i]) + W_BO) >> W_BS;
378 #else
379         b1[i] = (16 * 4 * b1[i] - 4 * (b0[i] + b2[i]) + W_BO * 5 + (5 << 27)) /
380                 (5 * 16) - (1 << 23);
381 #endif
382 }
383
384 static void vertical_decompose97iL1(DWTELEM *b0, DWTELEM *b1, DWTELEM *b2,
385                                     int width)
386 {
387     int i;
388
389     for (i = 0; i < width; i++)
390         b1[i] += (W_DM * (b0[i] + b2[i]) + W_DO) >> W_DS;
391 }
392
393 static void spatial_decompose97i(DWTELEM *buffer, int width, int height,
394                                  int stride)
395 {
396     int y;
397     DWTELEM *b0 = buffer + mirror(-4 - 1, height - 1) * stride;
398     DWTELEM *b1 = buffer + mirror(-4,     height - 1) * stride;
399     DWTELEM *b2 = buffer + mirror(-4 + 1, height - 1) * stride;
400     DWTELEM *b3 = buffer + mirror(-4 + 2, height - 1) * stride;
401
402     for (y = -4; y < height; y += 2) {
403         DWTELEM *b4 = buffer + mirror(y + 3, height - 1) * stride;
404         DWTELEM *b5 = buffer + mirror(y + 4, height - 1) * stride;
405
406         if (y + 3 < (unsigned)height)
407             horizontal_decompose97i(b4, width);
408         if (y + 4 < (unsigned)height)
409             horizontal_decompose97i(b5, width);
410
411         if (y + 3 < (unsigned)height)
412             vertical_decompose97iH0(b3, b4, b5, width);
413         if (y + 2 < (unsigned)height)
414             vertical_decompose97iL0(b2, b3, b4, width);
415         if (y + 1 < (unsigned)height)
416             vertical_decompose97iH1(b1, b2, b3, width);
417         if (y + 0 < (unsigned)height)
418             vertical_decompose97iL1(b0, b1, b2, width);
419
420         b0 = b2;
421         b1 = b3;
422         b2 = b4;
423         b3 = b5;
424     }
425 }
426
427 void ff_spatial_dwt(DWTELEM *buffer, int width, int height, int stride,
428                     int type, int decomposition_count)
429 {
430     int level;
431
432     for (level = 0; level < decomposition_count; level++) {
433         switch (type) {
434         case DWT_97:
435             spatial_decompose97i(buffer,
436                                  width >> level, height >> level,
437                                  stride << level);
438             break;
439         case DWT_53:
440             spatial_decompose53i(buffer,
441                                  width >> level, height >> level,
442                                  stride << level);
443             break;
444         }
445     }
446 }
447
448 static void horizontal_compose53i(IDWTELEM *b, int width)
449 {
450     IDWTELEM temp[width];
451     const int width2 = width >> 1;
452     const int w2     = (width + 1) >> 1;
453     int x;
454
455     for (x = 0; x < width2; x++) {
456         temp[2 * x]     = b[x];
457         temp[2 * x + 1] = b[x + w2];
458     }
459     if (width & 1)
460         temp[2 * x] = b[x];
461
462     b[0] = temp[0] - ((temp[1] + 1) >> 1);
463     for (x = 2; x < width - 1; x += 2) {
464         b[x]     = temp[x]     - ((temp[x - 1] + temp[x + 1] + 2) >> 2);
465         b[x - 1] = temp[x - 1] + ((b[x - 2]    + b[x]        + 1) >> 1);
466     }
467     if (width & 1) {
468         b[x]     = temp[x]     - ((temp[x - 1]     + 1) >> 1);
469         b[x - 1] = temp[x - 1] + ((b[x - 2] + b[x] + 1) >> 1);
470     } else
471         b[x - 1] = temp[x - 1] + b[x - 2];
472 }
473
474 static void vertical_compose53iH0(IDWTELEM *b0, IDWTELEM *b1, IDWTELEM *b2,
475                                   int width)
476 {
477     int i;
478
479     for (i = 0; i < width; i++)
480         b1[i] += (b0[i] + b2[i]) >> 1;
481 }
482
483 static void vertical_compose53iL0(IDWTELEM *b0, IDWTELEM *b1, IDWTELEM *b2,
484                                   int width)
485 {
486     int i;
487
488     for (i = 0; i < width; i++)
489         b1[i] -= (b0[i] + b2[i] + 2) >> 2;
490 }
491
492 static void spatial_compose53i_buffered_init(DWTCompose *cs, slice_buffer *sb,
493                                              int height, int stride_line)
494 {
495     cs->b0 = slice_buffer_get_line(sb,
496                                    mirror(-1 - 1, height - 1) * stride_line);
497     cs->b1 = slice_buffer_get_line(sb, mirror(-1, height - 1) * stride_line);
498     cs->y  = -1;
499 }
500
501 static void spatial_compose53i_init(DWTCompose *cs, IDWTELEM *buffer,
502                                     int height, int stride)
503 {
504     cs->b0 = buffer + mirror(-1 - 1, height - 1) * stride;
505     cs->b1 = buffer + mirror(-1,     height - 1) * stride;
506     cs->y  = -1;
507 }
508
509 static void spatial_compose53i_dy_buffered(DWTCompose *cs, slice_buffer *sb,
510                                            int width, int height,
511                                            int stride_line)
512 {
513     int y = cs->y;
514
515     IDWTELEM *b0 = cs->b0;
516     IDWTELEM *b1 = cs->b1;
517     IDWTELEM *b2 = slice_buffer_get_line(sb,
518                                          mirror(y + 1, height - 1) *
519                                          stride_line);
520     IDWTELEM *b3 = slice_buffer_get_line(sb,
521                                          mirror(y + 2, height - 1) *
522                                          stride_line);
523
524     if (y + 1 < (unsigned)height && y < (unsigned)height) {
525         int x;
526
527         for (x = 0; x < width; x++) {
528             b2[x] -= (b1[x] + b3[x] + 2) >> 2;
529             b1[x] += (b0[x] + b2[x])     >> 1;
530         }
531     } else {
532         if (y + 1 < (unsigned)height)
533             vertical_compose53iL0(b1, b2, b3, width);
534         if (y + 0 < (unsigned)height)
535             vertical_compose53iH0(b0, b1, b2, width);
536     }
537
538     if (y - 1 < (unsigned)height)
539         horizontal_compose53i(b0, width);
540     if (y + 0 < (unsigned)height)
541         horizontal_compose53i(b1, width);
542
543     cs->b0  = b2;
544     cs->b1  = b3;
545     cs->y  += 2;
546 }
547
548 static void spatial_compose53i_dy(DWTCompose *cs, IDWTELEM *buffer, int width,
549                                   int height, int stride)
550 {
551     int y        = cs->y;
552     IDWTELEM *b0 = cs->b0;
553     IDWTELEM *b1 = cs->b1;
554     IDWTELEM *b2 = buffer + mirror(y + 1, height - 1) * stride;
555     IDWTELEM *b3 = buffer + mirror(y + 2, height - 1) * stride;
556
557     if (y + 1 < (unsigned)height)
558         vertical_compose53iL0(b1, b2, b3, width);
559     if (y + 0 < (unsigned)height)
560         vertical_compose53iH0(b0, b1, b2, width);
561
562     if (y - 1 < (unsigned)height)
563         horizontal_compose53i(b0, width);
564     if (y + 0 < (unsigned)height)
565         horizontal_compose53i(b1, width);
566
567     cs->b0  = b2;
568     cs->b1  = b3;
569     cs->y  += 2;
570 }
571
572 static void av_unused spatial_compose53i(IDWTELEM *buffer, int width,
573                                          int height, int stride)
574 {
575     DWTCompose cs;
576     spatial_compose53i_init(&cs, buffer, height, stride);
577     while (cs.y <= height)
578         spatial_compose53i_dy(&cs, buffer, width, height, stride);
579 }
580
581 void ff_snow_horizontal_compose97i(IDWTELEM *b, int width)
582 {
583     IDWTELEM temp[width];
584     const int w2 = (width + 1) >> 1;
585
586 #if 0 //maybe more understadable but slower
587     inv_lift(temp,     b,      b + w2, 2, 1, 1, width, W_DM, W_DO, W_DS, 0, 1);
588     inv_lift(temp + 1, b + w2, temp,   2, 1, 2, width, W_CM, W_CO, W_CS, 1, 1);
589
590     inv_liftS(b,    temp,     temp + 1, 2, 2, 2, width, W_BM, W_BO, W_BS, 0, 1);
591     inv_lift(b + 1, temp + 1, b,        2, 2, 2, width, W_AM, W_AO, W_AS, 1, 0);
592 #else
593     int x;
594     temp[0] = b[0] - ((3 * b[w2] + 2) >> 2);
595     for (x = 1; x < (width >> 1); x++) {
596         temp[2 * x]     = b[x] - ((3 * (b[x + w2 - 1] + b[x + w2]) + 4) >> 3);
597         temp[2 * x - 1] = b[x + w2 - 1] - temp[2 * x - 2] - temp[2 * x];
598     }
599     if (width & 1) {
600         temp[2 * x]     = b[x] - ((3 * b[x + w2 - 1] + 2) >> 2);
601         temp[2 * x - 1] = b[x + w2 - 1] - temp[2 * x - 2] - temp[2 * x];
602     } else
603         temp[2 * x - 1] = b[x + w2 - 1] - 2 * temp[2 * x - 2];
604
605     b[0] = temp[0] + ((2 * temp[0] + temp[1] + 4) >> 3);
606     for (x = 2; x < width - 1; x += 2) {
607         b[x]     = temp[x] + ((4 * temp[x] + temp[x - 1] + temp[x + 1] + 8) >> 4);
608         b[x - 1] = temp[x - 1] + ((3 * (b[x - 2] + b[x])) >> 1);
609     }
610     if (width & 1) {
611         b[x]     = temp[x] + ((2 * temp[x] + temp[x - 1] + 4) >> 3);
612         b[x - 1] = temp[x - 1] + ((3 * (b[x - 2] + b[x])) >> 1);
613     } else
614         b[x - 1] = temp[x - 1] + 3 * b[x - 2];
615 #endif
616 }
617
618 static void vertical_compose97iH0(IDWTELEM *b0, IDWTELEM *b1, IDWTELEM *b2,
619                                   int width)
620 {
621     int i;
622
623     for (i = 0; i < width; i++)
624         b1[i] += (W_AM * (b0[i] + b2[i]) + W_AO) >> W_AS;
625 }
626
627 static void vertical_compose97iH1(IDWTELEM *b0, IDWTELEM *b1, IDWTELEM *b2,
628                                   int width)
629 {
630     int i;
631
632     for (i = 0; i < width; i++)
633         b1[i] -= (W_CM * (b0[i] + b2[i]) + W_CO) >> W_CS;
634 }
635
636 static void vertical_compose97iL0(IDWTELEM *b0, IDWTELEM *b1, IDWTELEM *b2,
637                                   int width)
638 {
639     int i;
640
641     for (i = 0; i < width; i++)
642 #ifdef liftS
643         b1[i] += (W_BM * (b0[i] + b2[i]) + W_BO) >> W_BS;
644 #else
645         b1[i] += (W_BM * (b0[i] + b2[i]) + 4 * b1[i] + W_BO) >> W_BS;
646 #endif
647 }
648
649 static void vertical_compose97iL1(IDWTELEM *b0, IDWTELEM *b1, IDWTELEM *b2,
650                                   int width)
651 {
652     int i;
653
654     for (i = 0; i < width; i++)
655         b1[i] -= (W_DM * (b0[i] + b2[i]) + W_DO) >> W_DS;
656 }
657
658 void ff_snow_vertical_compose97i(IDWTELEM *b0, IDWTELEM *b1, IDWTELEM *b2,
659                                  IDWTELEM *b3, IDWTELEM *b4, IDWTELEM *b5,
660                                  int width)
661 {
662     int i;
663
664     for (i = 0; i < width; i++) {
665         b4[i] -= (W_DM * (b3[i] + b5[i]) + W_DO) >> W_DS;
666         b3[i] -= (W_CM * (b2[i] + b4[i]) + W_CO) >> W_CS;
667 #ifdef liftS
668         b2[i] += (W_BM * (b1[i] + b3[i]) + W_BO) >> W_BS;
669 #else
670         b2[i] += (W_BM * (b1[i] + b3[i]) + 4 * b2[i] + W_BO) >> W_BS;
671 #endif
672         b1[i] += (W_AM * (b0[i] + b2[i]) + W_AO) >> W_AS;
673     }
674 }
675
676 static void spatial_compose97i_buffered_init(DWTCompose *cs, slice_buffer *sb,
677                                              int height, int stride_line)
678 {
679     cs->b0 = slice_buffer_get_line(sb, mirror(-3 - 1, height - 1) * stride_line);
680     cs->b1 = slice_buffer_get_line(sb, mirror(-3,     height - 1) * stride_line);
681     cs->b2 = slice_buffer_get_line(sb, mirror(-3 + 1, height - 1) * stride_line);
682     cs->b3 = slice_buffer_get_line(sb, mirror(-3 + 2, height - 1) * stride_line);
683     cs->y  = -3;
684 }
685
686 static void spatial_compose97i_init(DWTCompose *cs, IDWTELEM *buffer, int height,
687                                     int stride)
688 {
689     cs->b0 = buffer + mirror(-3 - 1, height - 1) * stride;
690     cs->b1 = buffer + mirror(-3,     height - 1) * stride;
691     cs->b2 = buffer + mirror(-3 + 1, height - 1) * stride;
692     cs->b3 = buffer + mirror(-3 + 2, height - 1) * stride;
693     cs->y  = -3;
694 }
695
696 static void spatial_compose97i_dy_buffered(DWTContext *dsp, DWTCompose *cs,
697                                            slice_buffer *sb, int width,
698                                            int height, int stride_line)
699 {
700     int y = cs->y;
701
702     IDWTELEM *b0 = cs->b0;
703     IDWTELEM *b1 = cs->b1;
704     IDWTELEM *b2 = cs->b2;
705     IDWTELEM *b3 = cs->b3;
706     IDWTELEM *b4 = slice_buffer_get_line(sb,
707                                          mirror(y + 3, height - 1) *
708                                          stride_line);
709     IDWTELEM *b5 = slice_buffer_get_line(sb,
710                                          mirror(y + 4, height - 1) *
711                                          stride_line);
712
713     if (y > 0 && y + 4 < height) {
714         dsp->vertical_compose97i(b0, b1, b2, b3, b4, b5, width);
715     } else {
716         if (y + 3 < (unsigned)height)
717             vertical_compose97iL1(b3, b4, b5, width);
718         if (y + 2 < (unsigned)height)
719             vertical_compose97iH1(b2, b3, b4, width);
720         if (y + 1 < (unsigned)height)
721             vertical_compose97iL0(b1, b2, b3, width);
722         if (y + 0 < (unsigned)height)
723             vertical_compose97iH0(b0, b1, b2, width);
724     }
725
726     if (y - 1 < (unsigned)height)
727         dsp->horizontal_compose97i(b0, width);
728     if (y + 0 < (unsigned)height)
729         dsp->horizontal_compose97i(b1, width);
730
731     cs->b0  = b2;
732     cs->b1  = b3;
733     cs->b2  = b4;
734     cs->b3  = b5;
735     cs->y  += 2;
736 }
737
738 static void spatial_compose97i_dy(DWTCompose *cs, IDWTELEM *buffer, int width,
739                                   int height, int stride)
740 {
741     int y        = cs->y;
742     IDWTELEM *b0 = cs->b0;
743     IDWTELEM *b1 = cs->b1;
744     IDWTELEM *b2 = cs->b2;
745     IDWTELEM *b3 = cs->b3;
746     IDWTELEM *b4 = buffer + mirror(y + 3, height - 1) * stride;
747     IDWTELEM *b5 = buffer + mirror(y + 4, height - 1) * stride;
748
749     if (y + 3 < (unsigned)height)
750         vertical_compose97iL1(b3, b4, b5, width);
751     if (y + 2 < (unsigned)height)
752         vertical_compose97iH1(b2, b3, b4, width);
753     if (y + 1 < (unsigned)height)
754         vertical_compose97iL0(b1, b2, b3, width);
755     if (y + 0 < (unsigned)height)
756         vertical_compose97iH0(b0, b1, b2, width);
757
758     if (y - 1 < (unsigned)height)
759         ff_snow_horizontal_compose97i(b0, width);
760     if (y + 0 < (unsigned)height)
761         ff_snow_horizontal_compose97i(b1, width);
762
763     cs->b0  = b2;
764     cs->b1  = b3;
765     cs->b2  = b4;
766     cs->b3  = b5;
767     cs->y  += 2;
768 }
769
770 static void av_unused spatial_compose97i(IDWTELEM *buffer, int width,
771                                          int height, int stride)
772 {
773     DWTCompose cs;
774     spatial_compose97i_init(&cs, buffer, height, stride);
775     while (cs.y <= height)
776         spatial_compose97i_dy(&cs, buffer, width, height, stride);
777 }
778
779 void ff_spatial_idwt_buffered_init(DWTCompose *cs, slice_buffer *sb, int width,
780                                    int height, int stride_line, int type,
781                                    int decomposition_count)
782 {
783     int level;
784     for (level = decomposition_count - 1; level >= 0; level--) {
785         switch (type) {
786         case DWT_97:
787             spatial_compose97i_buffered_init(cs + level, sb, height >> level,
788                                              stride_line << level);
789             break;
790         case DWT_53:
791             spatial_compose53i_buffered_init(cs + level, sb, height >> level,
792                                              stride_line << level);
793             break;
794         }
795     }
796 }
797
798 void ff_spatial_idwt_buffered_slice(DWTContext *dsp, DWTCompose *cs,
799                                     slice_buffer *slice_buf, int width,
800                                     int height, int stride_line, int type,
801                                     int decomposition_count, int y)
802 {
803     const int support = type == 1 ? 3 : 5;
804     int level;
805     if (type == 2)
806         return;
807
808     for (level = decomposition_count - 1; level >= 0; level--)
809         while (cs[level].y <= FFMIN((y >> level) + support, height >> level)) {
810             switch (type) {
811             case DWT_97:
812                 spatial_compose97i_dy_buffered(dsp, cs + level, slice_buf,
813                                                width >> level,
814                                                height >> level,
815                                                stride_line << level);
816                 break;
817             case DWT_53:
818                 spatial_compose53i_dy_buffered(cs + level, slice_buf,
819                                                width >> level,
820                                                height >> level,
821                                                stride_line << level);
822                 break;
823             }
824         }
825 }
826
827 static void ff_spatial_idwt_init(DWTCompose *cs, IDWTELEM *buffer, int width,
828                                  int height, int stride, int type,
829                                  int decomposition_count)
830 {
831     int level;
832     for (level = decomposition_count - 1; level >= 0; level--) {
833         switch (type) {
834         case DWT_97:
835             spatial_compose97i_init(cs + level, buffer, height >> level,
836                                     stride << level);
837             break;
838         case DWT_53:
839             spatial_compose53i_init(cs + level, buffer, height >> level,
840                                     stride << level);
841             break;
842         }
843     }
844 }
845
846 static void ff_spatial_idwt_slice(DWTCompose *cs, IDWTELEM *buffer, int width,
847                                   int height, int stride, int type,
848                                   int decomposition_count, int y)
849 {
850     const int support = type == 1 ? 3 : 5;
851     int level;
852     if (type == 2)
853         return;
854
855     for (level = decomposition_count - 1; level >= 0; level--)
856         while (cs[level].y <= FFMIN((y >> level) + support, height >> level)) {
857             switch (type) {
858             case DWT_97:
859                 spatial_compose97i_dy(cs + level, buffer, width >> level,
860                                       height >> level, stride << level);
861                 break;
862             case DWT_53:
863                 spatial_compose53i_dy(cs + level, buffer, width >> level,
864                                       height >> level, stride << level);
865                 break;
866             }
867         }
868 }
869
870 void ff_spatial_idwt(IDWTELEM *buffer, int width, int height, int stride,
871                      int type, int decomposition_count)
872 {
873     DWTCompose cs[MAX_DECOMPOSITIONS];
874     int y;
875     ff_spatial_idwt_init(cs, buffer, width, height, stride, type,
876                          decomposition_count);
877     for (y = 0; y < height; y += 4)
878         ff_spatial_idwt_slice(cs, buffer, width, height, stride, type,
879                               decomposition_count, y);
880 }
881
882 static inline int w_c(void *v, uint8_t *pix1, uint8_t *pix2, int line_size,
883                       int w, int h, int type)
884 {
885     int s, i, j;
886     const int dec_count = w == 8 ? 3 : 4;
887     int tmp[32 * 32];
888     int level, ori;
889     static const int scale[2][2][4][4] = {
890         {
891             { // 9/7 8x8 dec=3
892                 { 268, 239, 239, 213 },
893                 { 0,   224, 224, 152 },
894                 { 0,   135, 135, 110 },
895             },
896             { // 9/7 16x16 or 32x32 dec=4
897                 { 344, 310, 310, 280 },
898                 { 0,   320, 320, 228 },
899                 { 0,   175, 175, 136 },
900                 { 0,   129, 129, 102 },
901             }
902         },
903         {
904             { // 5/3 8x8 dec=3
905                 { 275, 245, 245, 218 },
906                 { 0,   230, 230, 156 },
907                 { 0,   138, 138, 113 },
908             },
909             { // 5/3 16x16 or 32x32 dec=4
910                 { 352, 317, 317, 286 },
911                 { 0,   328, 328, 233 },
912                 { 0,   180, 180, 140 },
913                 { 0,   132, 132, 105 },
914             }
915         }
916     };
917
918     for (i = 0; i < h; i++) {
919         for (j = 0; j < w; j += 4) {
920             tmp[32 * i + j + 0] = (pix1[j + 0] - pix2[j + 0]) << 4;
921             tmp[32 * i + j + 1] = (pix1[j + 1] - pix2[j + 1]) << 4;
922             tmp[32 * i + j + 2] = (pix1[j + 2] - pix2[j + 2]) << 4;
923             tmp[32 * i + j + 3] = (pix1[j + 3] - pix2[j + 3]) << 4;
924         }
925         pix1 += line_size;
926         pix2 += line_size;
927     }
928
929     ff_spatial_dwt(tmp, w, h, 32, type, dec_count);
930
931     s = 0;
932     assert(w == h);
933     for (level = 0; level < dec_count; level++)
934         for (ori = level ? 1 : 0; ori < 4; ori++) {
935             int size   = w >> (dec_count - level);
936             int sx     = (ori & 1) ? size : 0;
937             int stride = 32 << (dec_count - level);
938             int sy     = (ori & 2) ? stride >> 1 : 0;
939
940             for (i = 0; i < size; i++)
941                 for (j = 0; j < size; j++) {
942                     int v = tmp[sx + sy + i * stride + j] *
943                             scale[type][dec_count - 3][level][ori];
944                     s += FFABS(v);
945                 }
946         }
947     assert(s >= 0);
948     return s >> 9;
949 }
950
951 static int w53_8_c(void *v, uint8_t *pix1, uint8_t *pix2, int line_size, int h)
952 {
953     return w_c(v, pix1, pix2, line_size, 8, h, 1);
954 }
955
956 static int w97_8_c(void *v, uint8_t *pix1, uint8_t *pix2, int line_size, int h)
957 {
958     return w_c(v, pix1, pix2, line_size, 8, h, 0);
959 }
960
961 static int w53_16_c(void *v, uint8_t *pix1, uint8_t *pix2, int line_size, int h)
962 {
963     return w_c(v, pix1, pix2, line_size, 16, h, 1);
964 }
965
966 static int w97_16_c(void *v, uint8_t *pix1, uint8_t *pix2, int line_size, int h)
967 {
968     return w_c(v, pix1, pix2, line_size, 16, h, 0);
969 }
970
971 int ff_w53_32_c(void *v, uint8_t *pix1, uint8_t *pix2, int line_size, int h)
972 {
973     return w_c(v, pix1, pix2, line_size, 32, h, 1);
974 }
975
976 int ff_w97_32_c(void *v, uint8_t *pix1, uint8_t *pix2, int line_size, int h)
977 {
978     return w_c(v, pix1, pix2, line_size, 32, h, 0);
979 }
980
981 void ff_dsputil_init_dwt(DSPContext *c)
982 {
983     c->w53[0] = w53_16_c;
984     c->w53[1] = w53_8_c;
985     c->w97[0] = w97_16_c;
986     c->w97[1] = w97_8_c;
987 }
988
989 void ff_dwt_init(DWTContext *c)
990 {
991     c->vertical_compose97i   = ff_snow_vertical_compose97i;
992     c->horizontal_compose97i = ff_snow_horizontal_compose97i;
993     c->inner_add_yblock      = ff_snow_inner_add_yblock;
994
995     if (HAVE_MMX)
996         ff_dwt_init_x86(c);
997 }
998
999
1000 static av_always_inline
1001 void interleave(IDWTELEM *dst, IDWTELEM *src0, IDWTELEM *src1, int w2, int add, int shift)
1002 {
1003     int i;
1004     for (i = 0; i < w2; i++) {
1005         dst[2*i  ] = (src0[i] + add) >> shift;
1006         dst[2*i+1] = (src1[i] + add) >> shift;
1007     }
1008 }
1009
1010 static void horizontal_compose_dirac53i(IDWTELEM *b, IDWTELEM *temp, int w)
1011 {
1012     const int w2 = w >> 1;
1013     int x;
1014
1015     temp[0] = COMPOSE_53iL0(b[w2], b[0], b[w2]);
1016     for (x = 1; x < w2; x++) {
1017         temp[x     ] = COMPOSE_53iL0     (b[x+w2-1], b[x     ], b[x+w2]);
1018         temp[x+w2-1] = COMPOSE_DIRAC53iH0(temp[x-1], b[x+w2-1], temp[x]);
1019     }
1020     temp[w-1] = COMPOSE_DIRAC53iH0(temp[w2-1], b[w-1], temp[w2-1]);
1021
1022     interleave(b, temp, temp+w2, w2, 1, 1);
1023 }
1024
1025 static void horizontal_compose_dd97i(IDWTELEM *b, IDWTELEM *tmp, int w)
1026 {
1027     const int w2 = w >> 1;
1028     int x;
1029
1030     tmp[0] = COMPOSE_53iL0(b[w2], b[0], b[w2]);
1031     for (x = 1; x < w2; x++)
1032         tmp[x] = COMPOSE_53iL0(b[x+w2-1], b[x], b[x+w2]);
1033
1034     // extend the edges
1035     tmp[-1]   = tmp[0];
1036     tmp[w2+1] = tmp[w2] = tmp[w2-1];
1037
1038     for (x = 0; x < w2; x++) {
1039         b[2*x  ] = (tmp[x] + 1)>>1;
1040         b[2*x+1] = (COMPOSE_DD97iH0(tmp[x-1], tmp[x], b[x+w2], tmp[x+1], tmp[x+2]) + 1)>>1;
1041     }
1042 }
1043
1044 static void horizontal_compose_dd137i(IDWTELEM *b, IDWTELEM *tmp, int w)
1045 {
1046     const int w2 = w >> 1;
1047     int x;
1048
1049     tmp[0] = COMPOSE_DD137iL0(b[w2], b[w2], b[0], b[w2  ], b[w2+1]);
1050     tmp[1] = COMPOSE_DD137iL0(b[w2], b[w2], b[1], b[w2+1], b[w2+2]);
1051     for (x = 2; x < w2-1; x++)
1052         tmp[x] = COMPOSE_DD137iL0(b[x+w2-2], b[x+w2-1], b[x], b[x+w2], b[x+w2+1]);
1053     tmp[w2-1] = COMPOSE_DD137iL0(b[w-3], b[w-2], b[w2-1], b[w-1], b[w-1]);
1054
1055     // extend the edges
1056     tmp[-1]   = tmp[0];
1057     tmp[w2+1] = tmp[w2] = tmp[w2-1];
1058
1059     for (x = 0; x < w2; x++) {
1060         b[2*x  ] = (tmp[x] + 1)>>1;
1061         b[2*x+1] = (COMPOSE_DD97iH0(tmp[x-1], tmp[x], b[x+w2], tmp[x+1], tmp[x+2]) + 1)>>1;
1062     }
1063 }
1064
1065 static av_always_inline
1066 void horizontal_compose_haari(IDWTELEM *b, IDWTELEM *temp, int w, int shift)
1067 {
1068     const int w2 = w >> 1;
1069     int x;
1070
1071     for (x = 0; x < w2; x++) {
1072         temp[x   ] = COMPOSE_HAARiL0(b[x   ], b[x+w2]);
1073         temp[x+w2] = COMPOSE_HAARiH0(b[x+w2], temp[x]);
1074     }
1075
1076     interleave(b, temp, temp+w2, w2, shift, shift);
1077 }
1078
1079 static void horizontal_compose_haar0i(IDWTELEM *b, IDWTELEM *temp, int w)
1080 {
1081     horizontal_compose_haari(b, temp, w, 0);
1082 }
1083
1084 static void horizontal_compose_haar1i(IDWTELEM *b, IDWTELEM *temp, int w)
1085 {
1086     horizontal_compose_haari(b, temp, w, 1);
1087 }
1088
1089 static void horizontal_compose_fidelityi(IDWTELEM *b, IDWTELEM *tmp, int w)
1090 {
1091     const int w2 = w >> 1;
1092     int i, x;
1093     IDWTELEM v[8];
1094
1095     for (x = 0; x < w2; x++) {
1096         for (i = 0; i < 8; i++)
1097             v[i] = b[av_clip(x-3+i, 0, w2-1)];
1098         tmp[x] = COMPOSE_FIDELITYiH0(v[0], v[1], v[2], v[3], b[x+w2], v[4], v[5], v[6], v[7]);
1099     }
1100
1101     for (x = 0; x < w2; x++) {
1102         for (i = 0; i < 8; i++)
1103             v[i] = tmp[av_clip(x-4+i, 0, w2-1)];
1104         tmp[x+w2] = COMPOSE_FIDELITYiL0(v[0], v[1], v[2], v[3], b[x], v[4], v[5], v[6], v[7]);
1105     }
1106
1107     interleave(b, tmp+w2, tmp, w2, 0, 0);
1108 }
1109
1110 static void horizontal_compose_daub97i(IDWTELEM *b, IDWTELEM *temp, int w)
1111 {
1112     const int w2 = w >> 1;
1113     int x, b0, b1, b2;
1114
1115     temp[0] = COMPOSE_DAUB97iL1(b[w2], b[0], b[w2]);
1116     for (x = 1; x < w2; x++) {
1117         temp[x     ] = COMPOSE_DAUB97iL1(b[x+w2-1], b[x     ], b[x+w2]);
1118         temp[x+w2-1] = COMPOSE_DAUB97iH1(temp[x-1], b[x+w2-1], temp[x]);
1119     }
1120     temp[w-1] = COMPOSE_DAUB97iH1(temp[w2-1], b[w-1], temp[w2-1]);
1121
1122     // second stage combined with interleave and shift
1123     b0 = b2 = COMPOSE_DAUB97iL0(temp[w2], temp[0], temp[w2]);
1124     b[0] = (b0 + 1) >> 1;
1125     for (x = 1; x < w2; x++) {
1126         b2 = COMPOSE_DAUB97iL0(temp[x+w2-1], temp[x     ], temp[x+w2]);
1127         b1 = COMPOSE_DAUB97iH0(          b0, temp[x+w2-1], b2        );
1128         b[2*x-1] = (b1 + 1) >> 1;
1129         b[2*x  ] = (b2 + 1) >> 1;
1130         b0 = b2;
1131     }
1132     b[w-1] = (COMPOSE_DAUB97iH0(b2, temp[w-1], b2) + 1) >> 1;
1133 }
1134
1135 static void vertical_compose_dirac53iH0(IDWTELEM *b0, IDWTELEM *b1, IDWTELEM *b2, int width)
1136 {
1137     int i;
1138
1139     for(i=0; i<width; i++){
1140         b1[i] = COMPOSE_DIRAC53iH0(b0[i], b1[i], b2[i]);
1141     }
1142 }
1143
1144 static void vertical_compose_dd97iH0(IDWTELEM *b0, IDWTELEM *b1, IDWTELEM *b2,
1145                                   IDWTELEM *b3, IDWTELEM *b4, int width)
1146 {
1147     int i;
1148
1149     for(i=0; i<width; i++){
1150         b2[i] = COMPOSE_DD97iH0(b0[i], b1[i], b2[i], b3[i], b4[i]);
1151     }
1152 }
1153
1154 static void vertical_compose_dd137iL0(IDWTELEM *b0, IDWTELEM *b1, IDWTELEM *b2,
1155                                       IDWTELEM *b3, IDWTELEM *b4, int width)
1156 {
1157     int i;
1158
1159     for(i=0; i<width; i++){
1160         b2[i] = COMPOSE_DD137iL0(b0[i], b1[i], b2[i], b3[i], b4[i]);
1161     }
1162 }
1163
1164 static void vertical_compose_haar(IDWTELEM *b0, IDWTELEM *b1, int width)
1165 {
1166     int i;
1167
1168     for (i = 0; i < width; i++) {
1169         b0[i] = COMPOSE_HAARiL0(b0[i], b1[i]);
1170         b1[i] = COMPOSE_HAARiH0(b1[i], b0[i]);
1171     }
1172 }
1173
1174 static void vertical_compose_fidelityiH0(IDWTELEM *dst, IDWTELEM *b[8], int width)
1175 {
1176     int i;
1177
1178     for(i=0; i<width; i++){
1179         dst[i] = COMPOSE_FIDELITYiH0(b[0][i], b[1][i], b[2][i], b[3][i], dst[i], b[4][i], b[5][i], b[6][i], b[7][i]);
1180     }
1181 }
1182
1183 static void vertical_compose_fidelityiL0(IDWTELEM *dst, IDWTELEM *b[8], int width)
1184 {
1185     int i;
1186
1187     for(i=0; i<width; i++){
1188         dst[i] = COMPOSE_FIDELITYiL0(b[0][i], b[1][i], b[2][i], b[3][i], dst[i], b[4][i], b[5][i], b[6][i], b[7][i]);
1189     }
1190 }
1191
1192 static void vertical_compose_daub97iH0(IDWTELEM *b0, IDWTELEM *b1, IDWTELEM *b2, int width)
1193 {
1194     int i;
1195
1196     for(i=0; i<width; i++){
1197         b1[i] = COMPOSE_DAUB97iH0(b0[i], b1[i], b2[i]);
1198     }
1199 }
1200
1201 static void vertical_compose_daub97iH1(IDWTELEM *b0, IDWTELEM *b1, IDWTELEM *b2, int width)
1202 {
1203     int i;
1204
1205     for(i=0; i<width; i++){
1206         b1[i] = COMPOSE_DAUB97iH1(b0[i], b1[i], b2[i]);
1207     }
1208 }
1209
1210 static void vertical_compose_daub97iL0(IDWTELEM *b0, IDWTELEM *b1, IDWTELEM *b2, int width)
1211 {
1212     int i;
1213
1214     for(i=0; i<width; i++){
1215         b1[i] = COMPOSE_DAUB97iL0(b0[i], b1[i], b2[i]);
1216     }
1217 }
1218
1219 static void vertical_compose_daub97iL1(IDWTELEM *b0, IDWTELEM *b1, IDWTELEM *b2, int width)
1220 {
1221     int i;
1222
1223     for(i=0; i<width; i++){
1224         b1[i] = COMPOSE_DAUB97iL1(b0[i], b1[i], b2[i]);
1225     }
1226 }
1227
1228
1229 static void spatial_compose_dd97i_dy(DWTContext *d, int level, int width, int height, int stride)
1230 {
1231     vertical_compose_3tap vertical_compose_l0 = (void*)d->vertical_compose_l0;
1232     vertical_compose_5tap vertical_compose_h0 = (void*)d->vertical_compose_h0;
1233     DWTCompose *cs = d->cs + level;
1234
1235     int i, y = cs->y;
1236     IDWTELEM *b[8];
1237     for (i = 0; i < 6; i++)
1238         b[i] = cs->b[i];
1239     b[6] = d->buffer + av_clip(y+5, 0, height-2)*stride;
1240     b[7] = d->buffer + av_clip(y+6, 1, height-1)*stride;
1241
1242         if(y+5<(unsigned)height) vertical_compose_l0(      b[5], b[6], b[7],       width);
1243         if(y+1<(unsigned)height) vertical_compose_h0(b[0], b[2], b[3], b[4], b[6], width);
1244
1245         if(y-1<(unsigned)height) d->horizontal_compose(b[0], d->temp, width);
1246         if(y+0<(unsigned)height) d->horizontal_compose(b[1], d->temp, width);
1247
1248     for (i = 0; i < 6; i++)
1249         cs->b[i] = b[i+2];
1250     cs->y += 2;
1251 }
1252
1253 static void spatial_compose_dirac53i_dy(DWTContext *d, int level, int width, int height, int stride)
1254 {
1255     vertical_compose_3tap vertical_compose_l0 = (void*)d->vertical_compose_l0;
1256     vertical_compose_3tap vertical_compose_h0 = (void*)d->vertical_compose_h0;
1257     DWTCompose *cs = d->cs + level;
1258
1259     int y= cs->y;
1260     IDWTELEM *b[4] = { cs->b[0], cs->b[1] };
1261     b[2] = d->buffer + mirror(y+1, height-1)*stride;
1262     b[3] = d->buffer + mirror(y+2, height-1)*stride;
1263
1264         if(y+1<(unsigned)height) vertical_compose_l0(b[1], b[2], b[3], width);
1265         if(y+0<(unsigned)height) vertical_compose_h0(b[0], b[1], b[2], width);
1266
1267         if(y-1<(unsigned)height) d->horizontal_compose(b[0], d->temp, width);
1268         if(y+0<(unsigned)height) d->horizontal_compose(b[1], d->temp, width);
1269
1270     cs->b[0] = b[2];
1271     cs->b[1] = b[3];
1272     cs->y += 2;
1273 }
1274
1275
1276 static void spatial_compose_dd137i_dy(DWTContext *d, int level, int width, int height, int stride)
1277 {
1278     vertical_compose_5tap vertical_compose_l0 = (void*)d->vertical_compose_l0;
1279     vertical_compose_5tap vertical_compose_h0 = (void*)d->vertical_compose_h0;
1280     DWTCompose *cs = d->cs + level;
1281
1282     int i, y = cs->y;
1283     IDWTELEM *b[10];
1284     for (i = 0; i < 8; i++)
1285         b[i] = cs->b[i];
1286     b[8] = d->buffer + av_clip(y+7, 0, height-2)*stride;
1287     b[9] = d->buffer + av_clip(y+8, 1, height-1)*stride;
1288
1289         if(y+5<(unsigned)height) vertical_compose_l0(b[3], b[5], b[6], b[7], b[9], width);
1290         if(y+1<(unsigned)height) vertical_compose_h0(b[0], b[2], b[3], b[4], b[6], width);
1291
1292         if(y-1<(unsigned)height) d->horizontal_compose(b[0], d->temp, width);
1293         if(y+0<(unsigned)height) d->horizontal_compose(b[1], d->temp, width);
1294
1295     for (i = 0; i < 8; i++)
1296         cs->b[i] = b[i+2];
1297     cs->y += 2;
1298 }
1299
1300 // haar makes the assumption that height is even (always true for dirac)
1301 static void spatial_compose_haari_dy(DWTContext *d, int level, int width, int height, int stride)
1302 {
1303     vertical_compose_2tap vertical_compose = (void*)d->vertical_compose;
1304     int y = d->cs[level].y;
1305     IDWTELEM *b0 = d->buffer + (y-1)*stride;
1306     IDWTELEM *b1 = d->buffer + (y  )*stride;
1307
1308     vertical_compose(b0, b1, width);
1309     d->horizontal_compose(b0, d->temp, width);
1310     d->horizontal_compose(b1, d->temp, width);
1311
1312     d->cs[level].y += 2;
1313 }
1314
1315 // Don't do sliced idwt for fidelity; the 9 tap filter makes it a bit annoying
1316 // Fortunately, this filter isn't used in practice.
1317 static void spatial_compose_fidelity(DWTContext *d, int level, int width, int height, int stride)
1318 {
1319     vertical_compose_9tap vertical_compose_l0 = (void*)d->vertical_compose_l0;
1320     vertical_compose_9tap vertical_compose_h0 = (void*)d->vertical_compose_h0;
1321     int i, y;
1322     IDWTELEM *b[8];
1323
1324     for (y = 1; y < height; y += 2) {
1325         for (i = 0; i < 8; i++)
1326             b[i] = d->buffer + av_clip((y-7 + 2*i), 0, height-2)*stride;
1327         vertical_compose_h0(d->buffer + y*stride, b, width);
1328     }
1329
1330     for (y = 0; y < height; y += 2) {
1331         for (i = 0; i < 8; i++)
1332             b[i] = d->buffer + av_clip((y-7 + 2*i), 1, height-1)*stride;
1333         vertical_compose_l0(d->buffer + y*stride, b, width);
1334     }
1335
1336     for (y = 0; y < height; y++)
1337         d->horizontal_compose(d->buffer + y*stride, d->temp, width);
1338
1339     d->cs[level].y = height+1;
1340 }
1341
1342 static void spatial_compose_daub97i_dy(DWTContext *d, int level, int width, int height, int stride)
1343 {
1344     vertical_compose_3tap vertical_compose_l0 = (void*)d->vertical_compose_l0;
1345     vertical_compose_3tap vertical_compose_h0 = (void*)d->vertical_compose_h0;
1346     vertical_compose_3tap vertical_compose_l1 = (void*)d->vertical_compose_l1;
1347     vertical_compose_3tap vertical_compose_h1 = (void*)d->vertical_compose_h1;
1348     DWTCompose *cs = d->cs + level;
1349
1350     int i, y = cs->y;
1351     IDWTELEM *b[6];
1352     for (i = 0; i < 4; i++)
1353         b[i] = cs->b[i];
1354     b[4] = d->buffer + mirror(y+3, height-1)*stride;
1355     b[5] = d->buffer + mirror(y+4, height-1)*stride;
1356
1357         if(y+3<(unsigned)height) vertical_compose_l1(b[3], b[4], b[5], width);
1358         if(y+2<(unsigned)height) vertical_compose_h1(b[2], b[3], b[4], width);
1359         if(y+1<(unsigned)height) vertical_compose_l0(b[1], b[2], b[3], width);
1360         if(y+0<(unsigned)height) vertical_compose_h0(b[0], b[1], b[2], width);
1361
1362         if(y-1<(unsigned)height) d->horizontal_compose(b[0], d->temp, width);
1363         if(y+0<(unsigned)height) d->horizontal_compose(b[1], d->temp, width);
1364
1365     for (i = 0; i < 4; i++)
1366         cs->b[i] = b[i+2];
1367     cs->y += 2;
1368 }
1369
1370
1371 static void spatial_compose97i_init2(DWTCompose *cs, IDWTELEM *buffer, int height, int stride)
1372 {
1373     cs->b[0] = buffer + mirror(-3-1, height-1)*stride;
1374     cs->b[1] = buffer + mirror(-3  , height-1)*stride;
1375     cs->b[2] = buffer + mirror(-3+1, height-1)*stride;
1376     cs->b[3] = buffer + mirror(-3+2, height-1)*stride;
1377     cs->y = -3;
1378 }
1379
1380 static void spatial_compose53i_init2(DWTCompose *cs, IDWTELEM *buffer, int height, int stride)
1381 {
1382     cs->b[0] = buffer + mirror(-1-1, height-1)*stride;
1383     cs->b[1] = buffer + mirror(-1  , height-1)*stride;
1384     cs->y = -1;
1385 }
1386
1387 static void spatial_compose_dd97i_init(DWTCompose *cs, IDWTELEM *buffer, int height, int stride)
1388 {
1389     cs->b[0] = buffer + av_clip(-5-1, 0, height-2)*stride;
1390     cs->b[1] = buffer + av_clip(-5  , 1, height-1)*stride;
1391     cs->b[2] = buffer + av_clip(-5+1, 0, height-2)*stride;
1392     cs->b[3] = buffer + av_clip(-5+2, 1, height-1)*stride;
1393     cs->b[4] = buffer + av_clip(-5+3, 0, height-2)*stride;
1394     cs->b[5] = buffer + av_clip(-5+4, 1, height-1)*stride;
1395     cs->y = -5;
1396 }
1397
1398 static void spatial_compose_dd137i_init(DWTCompose *cs, IDWTELEM *buffer, int height, int stride)
1399 {
1400     cs->b[0] = buffer + av_clip(-5-1, 0, height-2)*stride;
1401     cs->b[1] = buffer + av_clip(-5  , 1, height-1)*stride;
1402     cs->b[2] = buffer + av_clip(-5+1, 0, height-2)*stride;
1403     cs->b[3] = buffer + av_clip(-5+2, 1, height-1)*stride;
1404     cs->b[4] = buffer + av_clip(-5+3, 0, height-2)*stride;
1405     cs->b[5] = buffer + av_clip(-5+4, 1, height-1)*stride;
1406     cs->b[6] = buffer + av_clip(-5+5, 0, height-2)*stride;
1407     cs->b[7] = buffer + av_clip(-5+6, 1, height-1)*stride;
1408     cs->y = -5;
1409 }
1410
1411 int ff_spatial_idwt_init2(DWTContext *d, IDWTELEM *buffer, int width, int height,
1412                           int stride, enum dwt_type type, int decomposition_count,
1413                           IDWTELEM *temp)
1414 {
1415     int level;
1416
1417     d->buffer = buffer;
1418     d->width = width;
1419     d->height = height;
1420     d->stride = stride;
1421     d->decomposition_count = decomposition_count;
1422     d->temp = temp + 8;
1423
1424     for(level=decomposition_count-1; level>=0; level--){
1425         int hl = height >> level;
1426         int stride_l = stride << level;
1427
1428         switch(type){
1429         case DWT_DIRAC_DD9_7:
1430             spatial_compose_dd97i_init(d->cs+level, buffer, hl, stride_l);
1431             break;
1432         case DWT_DIRAC_LEGALL5_3:
1433             spatial_compose53i_init2(d->cs+level, buffer, hl, stride_l);
1434             break;
1435         case DWT_DIRAC_DD13_7:
1436             spatial_compose_dd137i_init(d->cs+level, buffer, hl, stride_l);
1437             break;
1438         case DWT_DIRAC_HAAR0:
1439         case DWT_DIRAC_HAAR1:
1440             d->cs[level].y = 1;
1441             break;
1442         case DWT_DIRAC_DAUB9_7:
1443             spatial_compose97i_init2(d->cs+level, buffer, hl, stride_l);
1444             break;
1445         default:
1446             d->cs[level].y = 0;
1447             break;
1448         }
1449     }
1450
1451     switch (type) {
1452     case DWT_DIRAC_DD9_7:
1453         d->spatial_compose = spatial_compose_dd97i_dy;
1454         d->vertical_compose_l0 = (void*)vertical_compose53iL0;
1455         d->vertical_compose_h0 = (void*)vertical_compose_dd97iH0;
1456         d->horizontal_compose = horizontal_compose_dd97i;
1457         d->support = 7;
1458         break;
1459     case DWT_DIRAC_LEGALL5_3:
1460         d->spatial_compose = spatial_compose_dirac53i_dy;
1461         d->vertical_compose_l0 = (void*)vertical_compose53iL0;
1462         d->vertical_compose_h0 = (void*)vertical_compose_dirac53iH0;
1463         d->horizontal_compose = horizontal_compose_dirac53i;
1464         d->support = 3;
1465         break;
1466     case DWT_DIRAC_DD13_7:
1467         d->spatial_compose = spatial_compose_dd137i_dy;
1468         d->vertical_compose_l0 = (void*)vertical_compose_dd137iL0;
1469         d->vertical_compose_h0 = (void*)vertical_compose_dd97iH0;
1470         d->horizontal_compose = horizontal_compose_dd137i;
1471         d->support = 7;
1472         break;
1473     case DWT_DIRAC_HAAR0:
1474     case DWT_DIRAC_HAAR1:
1475         d->spatial_compose = spatial_compose_haari_dy;
1476         d->vertical_compose = (void*)vertical_compose_haar;
1477         if (type == DWT_DIRAC_HAAR0)
1478             d->horizontal_compose = horizontal_compose_haar0i;
1479         else
1480             d->horizontal_compose = horizontal_compose_haar1i;
1481         d->support = 1;
1482         break;
1483     case DWT_DIRAC_FIDELITY:
1484         d->spatial_compose = spatial_compose_fidelity;
1485         d->vertical_compose_l0 = (void*)vertical_compose_fidelityiL0;
1486         d->vertical_compose_h0 = (void*)vertical_compose_fidelityiH0;
1487         d->horizontal_compose = horizontal_compose_fidelityi;
1488         break;
1489     case DWT_DIRAC_DAUB9_7:
1490         d->spatial_compose = spatial_compose_daub97i_dy;
1491         d->vertical_compose_l0 = (void*)vertical_compose_daub97iL0;
1492         d->vertical_compose_h0 = (void*)vertical_compose_daub97iH0;
1493         d->vertical_compose_l1 = (void*)vertical_compose_daub97iL1;
1494         d->vertical_compose_h1 = (void*)vertical_compose_daub97iH1;
1495         d->horizontal_compose = horizontal_compose_daub97i;
1496         d->support = 5;
1497         break;
1498     default:
1499         av_log(NULL, AV_LOG_ERROR, "Unknown wavelet type %d\n", type);
1500         return -1;
1501     }
1502
1503     if (HAVE_MMX) ff_spatial_idwt_init_mmx(d, type);
1504
1505     return 0;
1506 }
1507
1508 void ff_spatial_idwt_slice2(DWTContext *d, int y)
1509 {
1510     int level, support = d->support;
1511
1512     for (level = d->decomposition_count-1; level >= 0; level--) {
1513         int wl = d->width  >> level;
1514         int hl = d->height >> level;
1515         int stride_l = d->stride << level;
1516
1517         while (d->cs[level].y <= FFMIN((y>>level)+support, hl))
1518             d->spatial_compose(d, level, wl, hl, stride_l);
1519     }
1520 }
1521
1522 int ff_spatial_idwt2(IDWTELEM *buffer, int width, int height, int stride,
1523                      enum dwt_type type, int decomposition_count, IDWTELEM *temp)
1524 {
1525     DWTContext d;
1526     int y;
1527
1528     if (ff_spatial_idwt_init2(&d, buffer, width, height, stride, type, decomposition_count, temp))
1529         return -1;
1530
1531     for (y = 0; y < d.height; y += 4)
1532         ff_spatial_idwt_slice2(&d, y);
1533
1534     return 0;
1535 }