5d5b298766256dcc1baad8356462ed54b4e70f1c
[ffmpeg.git] / libavcodec / dwt.c
1 /*
2  * Copyright (C) 2004-2010 Michael Niedermayer <michaelni@gmx.at>
3  * Copyright (C) 2008 David Conrad
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with FFmpeg; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 #include "libavutil/attributes.h"
23 #include "dsputil.h"
24 #include "dwt.h"
25 #include "libavcodec/x86/dwt.h"
26
27 void ff_slice_buffer_init(slice_buffer *buf, int line_count,
28                           int max_allocated_lines, int line_width,
29                           IDWTELEM *base_buffer)
30 {
31     int i;
32
33     buf->base_buffer = base_buffer;
34     buf->line_count  = line_count;
35     buf->line_width  = line_width;
36     buf->data_count  = max_allocated_lines;
37     buf->line        = av_mallocz(sizeof(IDWTELEM *) * line_count);
38     buf->data_stack  = av_malloc(sizeof(IDWTELEM *) * max_allocated_lines);
39
40     for (i = 0; i < max_allocated_lines; i++)
41         buf->data_stack[i] = av_malloc(sizeof(IDWTELEM) * line_width);
42
43     buf->data_stack_top = max_allocated_lines - 1;
44 }
45
46 IDWTELEM *ff_slice_buffer_load_line(slice_buffer *buf, int line)
47 {
48     IDWTELEM *buffer;
49
50     assert(buf->data_stack_top >= 0);
51 //  assert(!buf->line[line]);
52     if (buf->line[line])
53         return buf->line[line];
54
55     buffer = buf->data_stack[buf->data_stack_top];
56     buf->data_stack_top--;
57     buf->line[line] = buffer;
58
59     return buffer;
60 }
61
62 void ff_slice_buffer_release(slice_buffer *buf, int line)
63 {
64     IDWTELEM *buffer;
65
66     assert(line >= 0 && line < buf->line_count);
67     assert(buf->line[line]);
68
69     buffer = buf->line[line];
70     buf->data_stack_top++;
71     buf->data_stack[buf->data_stack_top] = buffer;
72     buf->line[line]                      = NULL;
73 }
74
75 void ff_slice_buffer_flush(slice_buffer *buf)
76 {
77     int i;
78     for (i = 0; i < buf->line_count; i++)
79         if (buf->line[i])
80             ff_slice_buffer_release(buf, i);
81 }
82
83 void ff_slice_buffer_destroy(slice_buffer *buf)
84 {
85     int i;
86     ff_slice_buffer_flush(buf);
87
88     for (i = buf->data_count - 1; i >= 0; i--)
89         av_freep(&buf->data_stack[i]);
90     av_freep(&buf->data_stack);
91     av_freep(&buf->line);
92 }
93
94 static inline int mirror(int v, int m)
95 {
96     while ((unsigned)v > (unsigned)m) {
97         v = -v;
98         if (v < 0)
99             v += 2 * m;
100     }
101     return v;
102 }
103
104 static av_always_inline void lift(DWTELEM *dst, DWTELEM *src, DWTELEM *ref,
105                                   int dst_step, int src_step, int ref_step,
106                                   int width, int mul, int add, int shift,
107                                   int highpass, int inverse)
108 {
109     const int mirror_left  = !highpass;
110     const int mirror_right = (width & 1) ^ highpass;
111     const int w            = (width >> 1) - 1 + (highpass & width);
112     int i;
113
114 #define LIFT(src, ref, inv) ((src) + ((inv) ? -(ref) : +(ref)))
115     if (mirror_left) {
116         dst[0] = LIFT(src[0], ((mul * 2 * ref[0] + add) >> shift), inverse);
117         dst   += dst_step;
118         src   += src_step;
119     }
120
121     for (i = 0; i < w; i++)
122         dst[i * dst_step] = LIFT(src[i * src_step],
123                                  ((mul * (ref[i * ref_step] +
124                                           ref[(i + 1) * ref_step]) +
125                                    add) >> shift),
126                                  inverse);
127
128     if (mirror_right)
129         dst[w * dst_step] = LIFT(src[w * src_step],
130                                  ((mul * 2 * ref[w * ref_step] + add) >> shift),
131                                  inverse);
132 }
133
134 static av_always_inline void inv_lift(IDWTELEM *dst, IDWTELEM *src, IDWTELEM *ref,
135                                       int dst_step, int src_step, int ref_step,
136                                       int width, int mul, int add, int shift,
137                                       int highpass, int inverse)
138 {
139     const int mirror_left  = !highpass;
140     const int mirror_right = (width & 1) ^ highpass;
141     const int w            = (width >> 1) - 1 + (highpass & width);
142     int i;
143
144 #define LIFT(src, ref, inv) ((src) + ((inv) ? -(ref) : +(ref)))
145     if (mirror_left) {
146         dst[0] = LIFT(src[0], ((mul * 2 * ref[0] + add) >> shift), inverse);
147         dst   += dst_step;
148         src   += src_step;
149     }
150
151     for (i = 0; i < w; i++)
152         dst[i * dst_step] = LIFT(src[i * src_step],
153                                  ((mul * (ref[i * ref_step] +
154                                           ref[(i + 1) * ref_step]) +
155                                    add) >> shift),
156                                  inverse);
157
158     if (mirror_right) {
159         dst[w * dst_step] = LIFT(src[w * src_step],
160                                  ((mul * 2 * ref[w * ref_step] + add) >> shift),
161                                  inverse);
162     }
163 }
164
165 #ifndef liftS
166 static av_always_inline void liftS(DWTELEM *dst, DWTELEM *src, DWTELEM *ref,
167                                    int dst_step, int src_step, int ref_step,
168                                    int width, int mul, int add, int shift,
169                                    int highpass, int inverse)
170 {
171     const int mirror_left  = !highpass;
172     const int mirror_right = (width & 1) ^ highpass;
173     const int w            = (width >> 1) - 1 + (highpass & width);
174     int i;
175
176     assert(shift == 4);
177 #define LIFTS(src, ref, inv)                                            \
178     ((inv) ? (src) + (((ref) + 4 * (src)) >> shift)                     \
179            : -((-16 * (src) + (ref) + add /                             \
180                 4 + 1 + (5 << 25)) / (5 * 4) - (1 << 23)))
181     if (mirror_left) {
182         dst[0] = LIFTS(src[0], mul * 2 * ref[0] + add, inverse);
183         dst   += dst_step;
184         src   += src_step;
185     }
186
187     for (i = 0; i < w; i++)
188         dst[i * dst_step] = LIFTS(src[i * src_step],
189                                   mul * (ref[i * ref_step] +
190                                          ref[(i + 1) * ref_step]) + add,
191                                   inverse);
192
193     if (mirror_right)
194         dst[w * dst_step] = LIFTS(src[w * src_step],
195                                   mul * 2 * ref[w * ref_step] + add,
196                                   inverse);
197 }
198
199 static av_always_inline void inv_liftS(IDWTELEM *dst, IDWTELEM *src,
200                                        IDWTELEM *ref, int dst_step,
201                                        int src_step, int ref_step,
202                                        int width, int mul, int add, int shift,
203                                        int highpass, int inverse)
204 {
205     const int mirror_left  = !highpass;
206     const int mirror_right = (width & 1) ^ highpass;
207     const int w            = (width >> 1) - 1 + (highpass & width);
208     int i;
209
210     assert(shift == 4);
211 #define LIFTS(src, ref, inv)                                            \
212     ((inv) ? (src) + (((ref) + 4 * (src)) >> shift)                     \
213            : -((-16 * (src) + (ref) + add /                             \
214                 4 + 1 + (5 << 25)) / (5 * 4) - (1 << 23)))
215     if (mirror_left) {
216         dst[0] = LIFTS(src[0], mul * 2 * ref[0] + add, inverse);
217         dst   += dst_step;
218         src   += src_step;
219     }
220
221     for (i = 0; i < w; i++)
222         dst[i * dst_step] = LIFTS(src[i * src_step],
223                                   mul * (ref[i * ref_step] +
224                                          ref[(i + 1) * ref_step]) + add,
225                                   inverse);
226
227     if (mirror_right)
228         dst[w * dst_step] = LIFTS(src[w * src_step],
229                                   mul * 2 * ref[w * ref_step] + add, inverse);
230 }
231 #endif /* ! liftS */
232
233 static void horizontal_decompose53i(DWTELEM *b, int width)
234 {
235     DWTELEM temp[width];
236     const int width2 = width >> 1;
237     int x;
238     const int w2 = (width + 1) >> 1;
239
240     for (x = 0; x < width2; x++) {
241         temp[x]      = b[2 * x];
242         temp[x + w2] = b[2 * x + 1];
243     }
244     if (width & 1)
245         temp[x] = b[2 * x];
246 #if 0
247     {
248         int A1, A2, A3, A4;
249         A2             = temp[1];
250         A4             = temp[0];
251         A1             = temp[0 + width2];
252         A1            -= (A2 + A4) >> 1;
253         A4            += (A1 +  1) >> 1;
254         b[0 + width2]  = A1;
255         b[0]           = A4;
256         for (x = 1; x + 1 < width2; x += 2) {
257             A3                 = temp[x + width2];
258             A4                 = temp[x + 1];
259             A3                -= (A2 + A4)     >> 1;
260             A2                += (A1 + A3 + 2) >> 2;
261             b[x + width2]      = A3;
262             b[x]               = A2;
263
264             A1                 = temp[x + 1 + width2];
265             A2                 = temp[x + 2];
266             A1                -= (A2 + A4)     >> 1;
267             A4                += (A1 + A3 + 2) >> 2;
268             b[x + 1 + width2]  = A1;
269             b[x + 1]           = A4;
270         }
271         A3            = temp[width - 1];
272         A3           -= A2;
273         A2           += (A1 + A3 + 2) >> 2;
274         b[width  - 1] = A3;
275         b[width2 - 1] = A2;
276     }
277 #else
278     lift(b + w2, temp + w2, temp,   1, 1, 1, width, -1, 0, 1, 1, 0);
279     lift(b,      temp,      b + w2, 1, 1, 1, width,  1, 2, 2, 0, 0);
280 #endif /* 0 */
281 }
282
283 static void vertical_decompose53iH0(DWTELEM *b0, DWTELEM *b1, DWTELEM *b2,
284                                     int width)
285 {
286     int i;
287
288     for (i = 0; i < width; i++)
289         b1[i] -= (b0[i] + b2[i]) >> 1;
290 }
291
292 static void vertical_decompose53iL0(DWTELEM *b0, DWTELEM *b1, DWTELEM *b2,
293                                     int width)
294 {
295     int i;
296
297     for (i = 0; i < width; i++)
298         b1[i] += (b0[i] + b2[i] + 2) >> 2;
299 }
300
301 static void spatial_decompose53i(DWTELEM *buffer, int width, int height,
302                                  int stride)
303 {
304     int y;
305     DWTELEM *b0 = buffer + mirror(-2 - 1, height - 1) * stride;
306     DWTELEM *b1 = buffer + mirror(-2,     height - 1) * stride;
307
308     for (y = -2; y < height; y += 2) {
309         DWTELEM *b2 = buffer + mirror(y + 1, height - 1) * stride;
310         DWTELEM *b3 = buffer + mirror(y + 2, height - 1) * stride;
311
312         if (y + 1 < (unsigned)height)
313             horizontal_decompose53i(b2, width);
314         if (y + 2 < (unsigned)height)
315             horizontal_decompose53i(b3, width);
316
317         if (y + 1 < (unsigned)height)
318             vertical_decompose53iH0(b1, b2, b3, width);
319         if (y + 0 < (unsigned)height)
320             vertical_decompose53iL0(b0, b1, b2, width);
321
322         b0 = b2;
323         b1 = b3;
324     }
325 }
326
327 static void horizontal_decompose97i(DWTELEM *b, int width)
328 {
329     DWTELEM temp[width];
330     const int w2 = (width + 1) >> 1;
331
332     lift(temp + w2, b + 1, b,         1, 2, 2, width, W_AM, W_AO, W_AS, 1, 1);
333     liftS(temp,     b,     temp + w2, 1, 2, 1, width, W_BM, W_BO, W_BS, 0, 0);
334     lift(b + w2, temp + w2, temp,     1, 1, 1, width, W_CM, W_CO, W_CS, 1, 0);
335     lift(b,      temp,      b + w2,   1, 1, 1, width, W_DM, W_DO, W_DS, 0, 0);
336 }
337
338 static void vertical_decompose97iH0(DWTELEM *b0, DWTELEM *b1, DWTELEM *b2,
339                                     int width)
340 {
341     int i;
342
343     for (i = 0; i < width; i++)
344         b1[i] -= (W_AM * (b0[i] + b2[i]) + W_AO) >> W_AS;
345 }
346
347 static void vertical_decompose97iH1(DWTELEM *b0, DWTELEM *b1, DWTELEM *b2,
348                                     int width)
349 {
350     int i;
351
352     for (i = 0; i < width; i++)
353         b1[i] += (W_CM * (b0[i] + b2[i]) + W_CO) >> W_CS;
354 }
355
356 static void vertical_decompose97iL0(DWTELEM *b0, DWTELEM *b1, DWTELEM *b2,
357                                     int width)
358 {
359     int i;
360
361     for (i = 0; i < width; i++)
362 #ifdef liftS
363         b1[i] -= (W_BM * (b0[i] + b2[i]) + W_BO) >> W_BS;
364 #else
365         b1[i] = (16 * 4 * b1[i] - 4 * (b0[i] + b2[i]) + W_BO * 5 + (5 << 27)) /
366                 (5 * 16) - (1 << 23);
367 #endif
368 }
369
370 static void vertical_decompose97iL1(DWTELEM *b0, DWTELEM *b1, DWTELEM *b2,
371                                     int width)
372 {
373     int i;
374
375     for (i = 0; i < width; i++)
376         b1[i] += (W_DM * (b0[i] + b2[i]) + W_DO) >> W_DS;
377 }
378
379 static void spatial_decompose97i(DWTELEM *buffer, int width, int height,
380                                  int stride)
381 {
382     int y;
383     DWTELEM *b0 = buffer + mirror(-4 - 1, height - 1) * stride;
384     DWTELEM *b1 = buffer + mirror(-4,     height - 1) * stride;
385     DWTELEM *b2 = buffer + mirror(-4 + 1, height - 1) * stride;
386     DWTELEM *b3 = buffer + mirror(-4 + 2, height - 1) * stride;
387
388     for (y = -4; y < height; y += 2) {
389         DWTELEM *b4 = buffer + mirror(y + 3, height - 1) * stride;
390         DWTELEM *b5 = buffer + mirror(y + 4, height - 1) * stride;
391
392         if (y + 3 < (unsigned)height)
393             horizontal_decompose97i(b4, width);
394         if (y + 4 < (unsigned)height)
395             horizontal_decompose97i(b5, width);
396
397         if (y + 3 < (unsigned)height)
398             vertical_decompose97iH0(b3, b4, b5, width);
399         if (y + 2 < (unsigned)height)
400             vertical_decompose97iL0(b2, b3, b4, width);
401         if (y + 1 < (unsigned)height)
402             vertical_decompose97iH1(b1, b2, b3, width);
403         if (y + 0 < (unsigned)height)
404             vertical_decompose97iL1(b0, b1, b2, width);
405
406         b0 = b2;
407         b1 = b3;
408         b2 = b4;
409         b3 = b5;
410     }
411 }
412
413 void ff_spatial_dwt(DWTELEM *buffer, int width, int height, int stride,
414                     int type, int decomposition_count)
415 {
416     int level;
417
418     for (level = 0; level < decomposition_count; level++) {
419         switch (type) {
420         case DWT_97:
421             spatial_decompose97i(buffer,
422                                  width >> level, height >> level,
423                                  stride << level);
424             break;
425         case DWT_53:
426             spatial_decompose53i(buffer,
427                                  width >> level, height >> level,
428                                  stride << level);
429             break;
430         }
431     }
432 }
433
434 static void horizontal_compose53i(IDWTELEM *b, int width)
435 {
436     IDWTELEM temp[width];
437     const int width2 = width >> 1;
438     const int w2     = (width + 1) >> 1;
439     int x;
440
441     for (x = 0; x < width2; x++) {
442         temp[2 * x]     = b[x];
443         temp[2 * x + 1] = b[x + w2];
444     }
445     if (width & 1)
446         temp[2 * x] = b[x];
447
448     b[0] = temp[0] - ((temp[1] + 1) >> 1);
449     for (x = 2; x < width - 1; x += 2) {
450         b[x]     = temp[x]     - ((temp[x - 1] + temp[x + 1] + 2) >> 2);
451         b[x - 1] = temp[x - 1] + ((b[x - 2]    + b[x]        + 1) >> 1);
452     }
453     if (width & 1) {
454         b[x]     = temp[x]     - ((temp[x - 1]     + 1) >> 1);
455         b[x - 1] = temp[x - 1] + ((b[x - 2] + b[x] + 1) >> 1);
456     } else
457         b[x - 1] = temp[x - 1] + b[x - 2];
458 }
459
460 static void vertical_compose53iH0(IDWTELEM *b0, IDWTELEM *b1, IDWTELEM *b2,
461                                   int width)
462 {
463     int i;
464
465     for (i = 0; i < width; i++)
466         b1[i] += (b0[i] + b2[i]) >> 1;
467 }
468
469 static void vertical_compose53iL0(IDWTELEM *b0, IDWTELEM *b1, IDWTELEM *b2,
470                                   int width)
471 {
472     int i;
473
474     for (i = 0; i < width; i++)
475         b1[i] -= (b0[i] + b2[i] + 2) >> 2;
476 }
477
478 static void spatial_compose53i_buffered_init(DWTCompose *cs, slice_buffer *sb,
479                                              int height, int stride_line)
480 {
481     cs->b0 = slice_buffer_get_line(sb,
482                                    mirror(-1 - 1, height - 1) * stride_line);
483     cs->b1 = slice_buffer_get_line(sb, mirror(-1, height - 1) * stride_line);
484     cs->y  = -1;
485 }
486
487 static void spatial_compose53i_init(DWTCompose *cs, IDWTELEM *buffer,
488                                     int height, int stride)
489 {
490     cs->b0 = buffer + mirror(-1 - 1, height - 1) * stride;
491     cs->b1 = buffer + mirror(-1,     height - 1) * stride;
492     cs->y  = -1;
493 }
494
495 static void spatial_compose53i_dy_buffered(DWTCompose *cs, slice_buffer *sb,
496                                            int width, int height,
497                                            int stride_line)
498 {
499     int y = cs->y;
500
501     IDWTELEM *b0 = cs->b0;
502     IDWTELEM *b1 = cs->b1;
503     IDWTELEM *b2 = slice_buffer_get_line(sb,
504                                          mirror(y + 1, height - 1) *
505                                          stride_line);
506     IDWTELEM *b3 = slice_buffer_get_line(sb,
507                                          mirror(y + 2, height - 1) *
508                                          stride_line);
509
510     if (y + 1 < (unsigned)height && y < (unsigned)height) {
511         int x;
512
513         for (x = 0; x < width; x++) {
514             b2[x] -= (b1[x] + b3[x] + 2) >> 2;
515             b1[x] += (b0[x] + b2[x])     >> 1;
516         }
517     } else {
518         if (y + 1 < (unsigned)height)
519             vertical_compose53iL0(b1, b2, b3, width);
520         if (y + 0 < (unsigned)height)
521             vertical_compose53iH0(b0, b1, b2, width);
522     }
523
524     if (y - 1 < (unsigned)height)
525         horizontal_compose53i(b0, width);
526     if (y + 0 < (unsigned)height)
527         horizontal_compose53i(b1, width);
528
529     cs->b0  = b2;
530     cs->b1  = b3;
531     cs->y  += 2;
532 }
533
534 static void spatial_compose53i_dy(DWTCompose *cs, IDWTELEM *buffer, int width,
535                                   int height, int stride)
536 {
537     int y        = cs->y;
538     IDWTELEM *b0 = cs->b0;
539     IDWTELEM *b1 = cs->b1;
540     IDWTELEM *b2 = buffer + mirror(y + 1, height - 1) * stride;
541     IDWTELEM *b3 = buffer + mirror(y + 2, height - 1) * stride;
542
543     if (y + 1 < (unsigned)height)
544         vertical_compose53iL0(b1, b2, b3, width);
545     if (y + 0 < (unsigned)height)
546         vertical_compose53iH0(b0, b1, b2, width);
547
548     if (y - 1 < (unsigned)height)
549         horizontal_compose53i(b0, width);
550     if (y + 0 < (unsigned)height)
551         horizontal_compose53i(b1, width);
552
553     cs->b0  = b2;
554     cs->b1  = b3;
555     cs->y  += 2;
556 }
557
558 static void av_unused spatial_compose53i(IDWTELEM *buffer, int width,
559                                          int height, int stride)
560 {
561     DWTCompose cs;
562     spatial_compose53i_init(&cs, buffer, height, stride);
563     while (cs.y <= height)
564         spatial_compose53i_dy(&cs, buffer, width, height, stride);
565 }
566
567 void ff_snow_horizontal_compose97i(IDWTELEM *b, int width)
568 {
569     IDWTELEM temp[width];
570     const int w2 = (width + 1) >> 1;
571
572 #if 0 //maybe more understadable but slower
573     inv_lift(temp,     b,      b + w2, 2, 1, 1, width, W_DM, W_DO, W_DS, 0, 1);
574     inv_lift(temp + 1, b + w2, temp,   2, 1, 2, width, W_CM, W_CO, W_CS, 1, 1);
575
576     inv_liftS(b,    temp,     temp + 1, 2, 2, 2, width, W_BM, W_BO, W_BS, 0, 1);
577     inv_lift(b + 1, temp + 1, b,        2, 2, 2, width, W_AM, W_AO, W_AS, 1, 0);
578 #else
579     int x;
580     temp[0] = b[0] - ((3 * b[w2] + 2) >> 2);
581     for (x = 1; x < (width >> 1); x++) {
582         temp[2 * x]     = b[x] - ((3 * (b[x + w2 - 1] + b[x + w2]) + 4) >> 3);
583         temp[2 * x - 1] = b[x + w2 - 1] - temp[2 * x - 2] - temp[2 * x];
584     }
585     if (width & 1) {
586         temp[2 * x]     = b[x] - ((3 * b[x + w2 - 1] + 2) >> 2);
587         temp[2 * x - 1] = b[x + w2 - 1] - temp[2 * x - 2] - temp[2 * x];
588     } else
589         temp[2 * x - 1] = b[x + w2 - 1] - 2 * temp[2 * x - 2];
590
591     b[0] = temp[0] + ((2 * temp[0] + temp[1] + 4) >> 3);
592     for (x = 2; x < width - 1; x += 2) {
593         b[x]     = temp[x] + ((4 * temp[x] + temp[x - 1] + temp[x + 1] + 8) >> 4);
594         b[x - 1] = temp[x - 1] + ((3 * (b[x - 2] + b[x])) >> 1);
595     }
596     if (width & 1) {
597         b[x]     = temp[x] + ((2 * temp[x] + temp[x - 1] + 4) >> 3);
598         b[x - 1] = temp[x - 1] + ((3 * (b[x - 2] + b[x])) >> 1);
599     } else
600         b[x - 1] = temp[x - 1] + 3 * b[x - 2];
601 #endif
602 }
603
604 static void vertical_compose97iH0(IDWTELEM *b0, IDWTELEM *b1, IDWTELEM *b2,
605                                   int width)
606 {
607     int i;
608
609     for (i = 0; i < width; i++)
610         b1[i] += (W_AM * (b0[i] + b2[i]) + W_AO) >> W_AS;
611 }
612
613 static void vertical_compose97iH1(IDWTELEM *b0, IDWTELEM *b1, IDWTELEM *b2,
614                                   int width)
615 {
616     int i;
617
618     for (i = 0; i < width; i++)
619         b1[i] -= (W_CM * (b0[i] + b2[i]) + W_CO) >> W_CS;
620 }
621
622 static void vertical_compose97iL0(IDWTELEM *b0, IDWTELEM *b1, IDWTELEM *b2,
623                                   int width)
624 {
625     int i;
626
627     for (i = 0; i < width; i++)
628 #ifdef liftS
629         b1[i] += (W_BM * (b0[i] + b2[i]) + W_BO) >> W_BS;
630 #else
631         b1[i] += (W_BM * (b0[i] + b2[i]) + 4 * b1[i] + W_BO) >> W_BS;
632 #endif
633 }
634
635 static void vertical_compose97iL1(IDWTELEM *b0, IDWTELEM *b1, IDWTELEM *b2,
636                                   int width)
637 {
638     int i;
639
640     for (i = 0; i < width; i++)
641         b1[i] -= (W_DM * (b0[i] + b2[i]) + W_DO) >> W_DS;
642 }
643
644 void ff_snow_vertical_compose97i(IDWTELEM *b0, IDWTELEM *b1, IDWTELEM *b2,
645                                  IDWTELEM *b3, IDWTELEM *b4, IDWTELEM *b5,
646                                  int width)
647 {
648     int i;
649
650     for (i = 0; i < width; i++) {
651         b4[i] -= (W_DM * (b3[i] + b5[i]) + W_DO) >> W_DS;
652         b3[i] -= (W_CM * (b2[i] + b4[i]) + W_CO) >> W_CS;
653 #ifdef liftS
654         b2[i] += (W_BM * (b1[i] + b3[i]) + W_BO) >> W_BS;
655 #else
656         b2[i] += (W_BM * (b1[i] + b3[i]) + 4 * b2[i] + W_BO) >> W_BS;
657 #endif
658         b1[i] += (W_AM * (b0[i] + b2[i]) + W_AO) >> W_AS;
659     }
660 }
661
662 static void spatial_compose97i_buffered_init(DWTCompose *cs, slice_buffer *sb,
663                                              int height, int stride_line)
664 {
665     cs->b0 = slice_buffer_get_line(sb, mirror(-3 - 1, height - 1) * stride_line);
666     cs->b1 = slice_buffer_get_line(sb, mirror(-3,     height - 1) * stride_line);
667     cs->b2 = slice_buffer_get_line(sb, mirror(-3 + 1, height - 1) * stride_line);
668     cs->b3 = slice_buffer_get_line(sb, mirror(-3 + 2, height - 1) * stride_line);
669     cs->y  = -3;
670 }
671
672 static void spatial_compose97i_init(DWTCompose *cs, IDWTELEM *buffer, int height,
673                                     int stride)
674 {
675     cs->b0 = buffer + mirror(-3 - 1, height - 1) * stride;
676     cs->b1 = buffer + mirror(-3,     height - 1) * stride;
677     cs->b2 = buffer + mirror(-3 + 1, height - 1) * stride;
678     cs->b3 = buffer + mirror(-3 + 2, height - 1) * stride;
679     cs->y  = -3;
680 }
681
682 static void spatial_compose97i_dy_buffered(DWTContext *dsp, DWTCompose *cs,
683                                            slice_buffer *sb, int width,
684                                            int height, int stride_line)
685 {
686     int y = cs->y;
687
688     IDWTELEM *b0 = cs->b0;
689     IDWTELEM *b1 = cs->b1;
690     IDWTELEM *b2 = cs->b2;
691     IDWTELEM *b3 = cs->b3;
692     IDWTELEM *b4 = slice_buffer_get_line(sb,
693                                          mirror(y + 3, height - 1) *
694                                          stride_line);
695     IDWTELEM *b5 = slice_buffer_get_line(sb,
696                                          mirror(y + 4, height - 1) *
697                                          stride_line);
698
699     if (y > 0 && y + 4 < height) {
700         dsp->vertical_compose97i(b0, b1, b2, b3, b4, b5, width);
701     } else {
702         if (y + 3 < (unsigned)height)
703             vertical_compose97iL1(b3, b4, b5, width);
704         if (y + 2 < (unsigned)height)
705             vertical_compose97iH1(b2, b3, b4, width);
706         if (y + 1 < (unsigned)height)
707             vertical_compose97iL0(b1, b2, b3, width);
708         if (y + 0 < (unsigned)height)
709             vertical_compose97iH0(b0, b1, b2, width);
710     }
711
712     if (y - 1 < (unsigned)height)
713         dsp->horizontal_compose97i(b0, width);
714     if (y + 0 < (unsigned)height)
715         dsp->horizontal_compose97i(b1, width);
716
717     cs->b0  = b2;
718     cs->b1  = b3;
719     cs->b2  = b4;
720     cs->b3  = b5;
721     cs->y  += 2;
722 }
723
724 static void spatial_compose97i_dy(DWTCompose *cs, IDWTELEM *buffer, int width,
725                                   int height, int stride)
726 {
727     int y        = cs->y;
728     IDWTELEM *b0 = cs->b0;
729     IDWTELEM *b1 = cs->b1;
730     IDWTELEM *b2 = cs->b2;
731     IDWTELEM *b3 = cs->b3;
732     IDWTELEM *b4 = buffer + mirror(y + 3, height - 1) * stride;
733     IDWTELEM *b5 = buffer + mirror(y + 4, height - 1) * stride;
734
735     if (y + 3 < (unsigned)height)
736         vertical_compose97iL1(b3, b4, b5, width);
737     if (y + 2 < (unsigned)height)
738         vertical_compose97iH1(b2, b3, b4, width);
739     if (y + 1 < (unsigned)height)
740         vertical_compose97iL0(b1, b2, b3, width);
741     if (y + 0 < (unsigned)height)
742         vertical_compose97iH0(b0, b1, b2, width);
743
744     if (y - 1 < (unsigned)height)
745         ff_snow_horizontal_compose97i(b0, width);
746     if (y + 0 < (unsigned)height)
747         ff_snow_horizontal_compose97i(b1, width);
748
749     cs->b0  = b2;
750     cs->b1  = b3;
751     cs->b2  = b4;
752     cs->b3  = b5;
753     cs->y  += 2;
754 }
755
756 static void av_unused spatial_compose97i(IDWTELEM *buffer, int width,
757                                          int height, int stride)
758 {
759     DWTCompose cs;
760     spatial_compose97i_init(&cs, buffer, height, stride);
761     while (cs.y <= height)
762         spatial_compose97i_dy(&cs, buffer, width, height, stride);
763 }
764
765 void ff_spatial_idwt_buffered_init(DWTCompose *cs, slice_buffer *sb, int width,
766                                    int height, int stride_line, int type,
767                                    int decomposition_count)
768 {
769     int level;
770     for (level = decomposition_count - 1; level >= 0; level--) {
771         switch (type) {
772         case DWT_97:
773             spatial_compose97i_buffered_init(cs + level, sb, height >> level,
774                                              stride_line << level);
775             break;
776         case DWT_53:
777             spatial_compose53i_buffered_init(cs + level, sb, height >> level,
778                                              stride_line << level);
779             break;
780         }
781     }
782 }
783
784 void ff_spatial_idwt_buffered_slice(DWTContext *dsp, DWTCompose *cs,
785                                     slice_buffer *slice_buf, int width,
786                                     int height, int stride_line, int type,
787                                     int decomposition_count, int y)
788 {
789     const int support = type == 1 ? 3 : 5;
790     int level;
791     if (type == 2)
792         return;
793
794     for (level = decomposition_count - 1; level >= 0; level--)
795         while (cs[level].y <= FFMIN((y >> level) + support, height >> level)) {
796             switch (type) {
797             case DWT_97:
798                 spatial_compose97i_dy_buffered(dsp, cs + level, slice_buf,
799                                                width >> level,
800                                                height >> level,
801                                                stride_line << level);
802                 break;
803             case DWT_53:
804                 spatial_compose53i_dy_buffered(cs + level, slice_buf,
805                                                width >> level,
806                                                height >> level,
807                                                stride_line << level);
808                 break;
809             }
810         }
811 }
812
813 static void ff_spatial_idwt_init(DWTCompose *cs, IDWTELEM *buffer, int width,
814                                  int height, int stride, int type,
815                                  int decomposition_count)
816 {
817     int level;
818     for (level = decomposition_count - 1; level >= 0; level--) {
819         switch (type) {
820         case DWT_97:
821             spatial_compose97i_init(cs + level, buffer, height >> level,
822                                     stride << level);
823             break;
824         case DWT_53:
825             spatial_compose53i_init(cs + level, buffer, height >> level,
826                                     stride << level);
827             break;
828         }
829     }
830 }
831
832 static void ff_spatial_idwt_slice(DWTCompose *cs, IDWTELEM *buffer, int width,
833                                   int height, int stride, int type,
834                                   int decomposition_count, int y)
835 {
836     const int support = type == 1 ? 3 : 5;
837     int level;
838     if (type == 2)
839         return;
840
841     for (level = decomposition_count - 1; level >= 0; level--)
842         while (cs[level].y <= FFMIN((y >> level) + support, height >> level)) {
843             switch (type) {
844             case DWT_97:
845                 spatial_compose97i_dy(cs + level, buffer, width >> level,
846                                       height >> level, stride << level);
847                 break;
848             case DWT_53:
849                 spatial_compose53i_dy(cs + level, buffer, width >> level,
850                                       height >> level, stride << level);
851                 break;
852             }
853         }
854 }
855
856 void ff_spatial_idwt(IDWTELEM *buffer, int width, int height, int stride,
857                      int type, int decomposition_count)
858 {
859     DWTCompose cs[MAX_DECOMPOSITIONS];
860     int y;
861     ff_spatial_idwt_init(cs, buffer, width, height, stride, type,
862                          decomposition_count);
863     for (y = 0; y < height; y += 4)
864         ff_spatial_idwt_slice(cs, buffer, width, height, stride, type,
865                               decomposition_count, y);
866 }
867
868 static inline int w_c(void *v, uint8_t *pix1, uint8_t *pix2, int line_size,
869                       int w, int h, int type)
870 {
871     int s, i, j;
872     const int dec_count = w == 8 ? 3 : 4;
873     int tmp[32 * 32];
874     int level, ori;
875     static const int scale[2][2][4][4] = {
876         {
877             { // 9/7 8x8 dec=3
878                 { 268, 239, 239, 213 },
879                 { 0,   224, 224, 152 },
880                 { 0,   135, 135, 110 },
881             },
882             { // 9/7 16x16 or 32x32 dec=4
883                 { 344, 310, 310, 280 },
884                 { 0,   320, 320, 228 },
885                 { 0,   175, 175, 136 },
886                 { 0,   129, 129, 102 },
887             }
888         },
889         {
890             { // 5/3 8x8 dec=3
891                 { 275, 245, 245, 218 },
892                 { 0,   230, 230, 156 },
893                 { 0,   138, 138, 113 },
894             },
895             { // 5/3 16x16 or 32x32 dec=4
896                 { 352, 317, 317, 286 },
897                 { 0,   328, 328, 233 },
898                 { 0,   180, 180, 140 },
899                 { 0,   132, 132, 105 },
900             }
901         }
902     };
903
904     for (i = 0; i < h; i++) {
905         for (j = 0; j < w; j += 4) {
906             tmp[32 * i + j + 0] = (pix1[j + 0] - pix2[j + 0]) << 4;
907             tmp[32 * i + j + 1] = (pix1[j + 1] - pix2[j + 1]) << 4;
908             tmp[32 * i + j + 2] = (pix1[j + 2] - pix2[j + 2]) << 4;
909             tmp[32 * i + j + 3] = (pix1[j + 3] - pix2[j + 3]) << 4;
910         }
911         pix1 += line_size;
912         pix2 += line_size;
913     }
914
915     ff_spatial_dwt(tmp, w, h, 32, type, dec_count);
916
917     s = 0;
918     assert(w == h);
919     for (level = 0; level < dec_count; level++)
920         for (ori = level ? 1 : 0; ori < 4; ori++) {
921             int size   = w >> (dec_count - level);
922             int sx     = (ori & 1) ? size : 0;
923             int stride = 32 << (dec_count - level);
924             int sy     = (ori & 2) ? stride >> 1 : 0;
925
926             for (i = 0; i < size; i++)
927                 for (j = 0; j < size; j++) {
928                     int v = tmp[sx + sy + i * stride + j] *
929                             scale[type][dec_count - 3][level][ori];
930                     s += FFABS(v);
931                 }
932         }
933     assert(s >= 0);
934     return s >> 9;
935 }
936
937 static int w53_8_c(void *v, uint8_t *pix1, uint8_t *pix2, int line_size, int h)
938 {
939     return w_c(v, pix1, pix2, line_size, 8, h, 1);
940 }
941
942 static int w97_8_c(void *v, uint8_t *pix1, uint8_t *pix2, int line_size, int h)
943 {
944     return w_c(v, pix1, pix2, line_size, 8, h, 0);
945 }
946
947 static int w53_16_c(void *v, uint8_t *pix1, uint8_t *pix2, int line_size, int h)
948 {
949     return w_c(v, pix1, pix2, line_size, 16, h, 1);
950 }
951
952 static int w97_16_c(void *v, uint8_t *pix1, uint8_t *pix2, int line_size, int h)
953 {
954     return w_c(v, pix1, pix2, line_size, 16, h, 0);
955 }
956
957 int ff_w53_32_c(void *v, uint8_t *pix1, uint8_t *pix2, int line_size, int h)
958 {
959     return w_c(v, pix1, pix2, line_size, 32, h, 1);
960 }
961
962 int ff_w97_32_c(void *v, uint8_t *pix1, uint8_t *pix2, int line_size, int h)
963 {
964     return w_c(v, pix1, pix2, line_size, 32, h, 0);
965 }
966
967 void ff_dsputil_init_dwt(DSPContext *c)
968 {
969     c->w53[0] = w53_16_c;
970     c->w53[1] = w53_8_c;
971     c->w97[0] = w97_16_c;
972     c->w97[1] = w97_8_c;
973 }
974
975 void ff_dwt_init(DWTContext *c)
976 {
977     c->vertical_compose97i   = ff_snow_vertical_compose97i;
978     c->horizontal_compose97i = ff_snow_horizontal_compose97i;
979     c->inner_add_yblock      = ff_snow_inner_add_yblock;
980
981     if (HAVE_MMX)
982         ff_dwt_init_x86(c);
983 }
984
985
986 static av_always_inline
987 void interleave(IDWTELEM *dst, IDWTELEM *src0, IDWTELEM *src1, int w2, int add, int shift)
988 {
989     int i;
990     for (i = 0; i < w2; i++) {
991         dst[2*i  ] = (src0[i] + add) >> shift;
992         dst[2*i+1] = (src1[i] + add) >> shift;
993     }
994 }
995
996 static void horizontal_compose_dirac53i(IDWTELEM *b, IDWTELEM *temp, int w)
997 {
998     const int w2 = w >> 1;
999     int x;
1000
1001     temp[0] = COMPOSE_53iL0(b[w2], b[0], b[w2]);
1002     for (x = 1; x < w2; x++) {
1003         temp[x     ] = COMPOSE_53iL0     (b[x+w2-1], b[x     ], b[x+w2]);
1004         temp[x+w2-1] = COMPOSE_DIRAC53iH0(temp[x-1], b[x+w2-1], temp[x]);
1005     }
1006     temp[w-1] = COMPOSE_DIRAC53iH0(temp[w2-1], b[w-1], temp[w2-1]);
1007
1008     interleave(b, temp, temp+w2, w2, 1, 1);
1009 }
1010
1011 static void horizontal_compose_dd97i(IDWTELEM *b, IDWTELEM *tmp, int w)
1012 {
1013     const int w2 = w >> 1;
1014     int x;
1015
1016     tmp[0] = COMPOSE_53iL0(b[w2], b[0], b[w2]);
1017     for (x = 1; x < w2; x++)
1018         tmp[x] = COMPOSE_53iL0(b[x+w2-1], b[x], b[x+w2]);
1019
1020     // extend the edges
1021     tmp[-1]   = tmp[0];
1022     tmp[w2+1] = tmp[w2] = tmp[w2-1];
1023
1024     for (x = 0; x < w2; x++) {
1025         b[2*x  ] = (tmp[x] + 1)>>1;
1026         b[2*x+1] = (COMPOSE_DD97iH0(tmp[x-1], tmp[x], b[x+w2], tmp[x+1], tmp[x+2]) + 1)>>1;
1027     }
1028 }
1029
1030 static void horizontal_compose_dd137i(IDWTELEM *b, IDWTELEM *tmp, int w)
1031 {
1032     const int w2 = w >> 1;
1033     int x;
1034
1035     tmp[0] = COMPOSE_DD137iL0(b[w2], b[w2], b[0], b[w2  ], b[w2+1]);
1036     tmp[1] = COMPOSE_DD137iL0(b[w2], b[w2], b[1], b[w2+1], b[w2+2]);
1037     for (x = 2; x < w2-1; x++)
1038         tmp[x] = COMPOSE_DD137iL0(b[x+w2-2], b[x+w2-1], b[x], b[x+w2], b[x+w2+1]);
1039     tmp[w2-1] = COMPOSE_DD137iL0(b[w-3], b[w-2], b[w2-1], b[w-1], b[w-1]);
1040
1041     // extend the edges
1042     tmp[-1]   = tmp[0];
1043     tmp[w2+1] = tmp[w2] = tmp[w2-1];
1044
1045     for (x = 0; x < w2; x++) {
1046         b[2*x  ] = (tmp[x] + 1)>>1;
1047         b[2*x+1] = (COMPOSE_DD97iH0(tmp[x-1], tmp[x], b[x+w2], tmp[x+1], tmp[x+2]) + 1)>>1;
1048     }
1049 }
1050
1051 static av_always_inline
1052 void horizontal_compose_haari(IDWTELEM *b, IDWTELEM *temp, int w, int shift)
1053 {
1054     const int w2 = w >> 1;
1055     int x;
1056
1057     for (x = 0; x < w2; x++) {
1058         temp[x   ] = COMPOSE_HAARiL0(b[x   ], b[x+w2]);
1059         temp[x+w2] = COMPOSE_HAARiH0(b[x+w2], temp[x]);
1060     }
1061
1062     interleave(b, temp, temp+w2, w2, shift, shift);
1063 }
1064
1065 static void horizontal_compose_haar0i(IDWTELEM *b, IDWTELEM *temp, int w)
1066 {
1067     horizontal_compose_haari(b, temp, w, 0);
1068 }
1069
1070 static void horizontal_compose_haar1i(IDWTELEM *b, IDWTELEM *temp, int w)
1071 {
1072     horizontal_compose_haari(b, temp, w, 1);
1073 }
1074
1075 static void horizontal_compose_fidelityi(IDWTELEM *b, IDWTELEM *tmp, int w)
1076 {
1077     const int w2 = w >> 1;
1078     int i, x;
1079     IDWTELEM v[8];
1080
1081     for (x = 0; x < w2; x++) {
1082         for (i = 0; i < 8; i++)
1083             v[i] = b[av_clip(x-3+i, 0, w2-1)];
1084         tmp[x] = COMPOSE_FIDELITYiH0(v[0], v[1], v[2], v[3], b[x+w2], v[4], v[5], v[6], v[7]);
1085     }
1086
1087     for (x = 0; x < w2; x++) {
1088         for (i = 0; i < 8; i++)
1089             v[i] = tmp[av_clip(x-4+i, 0, w2-1)];
1090         tmp[x+w2] = COMPOSE_FIDELITYiL0(v[0], v[1], v[2], v[3], b[x], v[4], v[5], v[6], v[7]);
1091     }
1092
1093     interleave(b, tmp+w2, tmp, w2, 0, 0);
1094 }
1095
1096 static void horizontal_compose_daub97i(IDWTELEM *b, IDWTELEM *temp, int w)
1097 {
1098     const int w2 = w >> 1;
1099     int x, b0, b1, b2;
1100
1101     temp[0] = COMPOSE_DAUB97iL1(b[w2], b[0], b[w2]);
1102     for (x = 1; x < w2; x++) {
1103         temp[x     ] = COMPOSE_DAUB97iL1(b[x+w2-1], b[x     ], b[x+w2]);
1104         temp[x+w2-1] = COMPOSE_DAUB97iH1(temp[x-1], b[x+w2-1], temp[x]);
1105     }
1106     temp[w-1] = COMPOSE_DAUB97iH1(temp[w2-1], b[w-1], temp[w2-1]);
1107
1108     // second stage combined with interleave and shift
1109     b0 = b2 = COMPOSE_DAUB97iL0(temp[w2], temp[0], temp[w2]);
1110     b[0] = (b0 + 1) >> 1;
1111     for (x = 1; x < w2; x++) {
1112         b2 = COMPOSE_DAUB97iL0(temp[x+w2-1], temp[x     ], temp[x+w2]);
1113         b1 = COMPOSE_DAUB97iH0(          b0, temp[x+w2-1], b2        );
1114         b[2*x-1] = (b1 + 1) >> 1;
1115         b[2*x  ] = (b2 + 1) >> 1;
1116         b0 = b2;
1117     }
1118     b[w-1] = (COMPOSE_DAUB97iH0(b2, temp[w-1], b2) + 1) >> 1;
1119 }
1120
1121 static void vertical_compose_dirac53iH0(IDWTELEM *b0, IDWTELEM *b1, IDWTELEM *b2, int width)
1122 {
1123     int i;
1124
1125     for(i=0; i<width; i++){
1126         b1[i] = COMPOSE_DIRAC53iH0(b0[i], b1[i], b2[i]);
1127     }
1128 }
1129
1130 static void vertical_compose_dd97iH0(IDWTELEM *b0, IDWTELEM *b1, IDWTELEM *b2,
1131                                   IDWTELEM *b3, IDWTELEM *b4, int width)
1132 {
1133     int i;
1134
1135     for(i=0; i<width; i++){
1136         b2[i] = COMPOSE_DD97iH0(b0[i], b1[i], b2[i], b3[i], b4[i]);
1137     }
1138 }
1139
1140 static void vertical_compose_dd137iL0(IDWTELEM *b0, IDWTELEM *b1, IDWTELEM *b2,
1141                                       IDWTELEM *b3, IDWTELEM *b4, int width)
1142 {
1143     int i;
1144
1145     for(i=0; i<width; i++){
1146         b2[i] = COMPOSE_DD137iL0(b0[i], b1[i], b2[i], b3[i], b4[i]);
1147     }
1148 }
1149
1150 static void vertical_compose_haar(IDWTELEM *b0, IDWTELEM *b1, int width)
1151 {
1152     int i;
1153
1154     for (i = 0; i < width; i++) {
1155         b0[i] = COMPOSE_HAARiL0(b0[i], b1[i]);
1156         b1[i] = COMPOSE_HAARiH0(b1[i], b0[i]);
1157     }
1158 }
1159
1160 static void vertical_compose_fidelityiH0(IDWTELEM *dst, IDWTELEM *b[8], int width)
1161 {
1162     int i;
1163
1164     for(i=0; i<width; i++){
1165         dst[i] = COMPOSE_FIDELITYiH0(b[0][i], b[1][i], b[2][i], b[3][i], dst[i], b[4][i], b[5][i], b[6][i], b[7][i]);
1166     }
1167 }
1168
1169 static void vertical_compose_fidelityiL0(IDWTELEM *dst, IDWTELEM *b[8], int width)
1170 {
1171     int i;
1172
1173     for(i=0; i<width; i++){
1174         dst[i] = COMPOSE_FIDELITYiL0(b[0][i], b[1][i], b[2][i], b[3][i], dst[i], b[4][i], b[5][i], b[6][i], b[7][i]);
1175     }
1176 }
1177
1178 static void vertical_compose_daub97iH0(IDWTELEM *b0, IDWTELEM *b1, IDWTELEM *b2, int width)
1179 {
1180     int i;
1181
1182     for(i=0; i<width; i++){
1183         b1[i] = COMPOSE_DAUB97iH0(b0[i], b1[i], b2[i]);
1184     }
1185 }
1186
1187 static void vertical_compose_daub97iH1(IDWTELEM *b0, IDWTELEM *b1, IDWTELEM *b2, int width)
1188 {
1189     int i;
1190
1191     for(i=0; i<width; i++){
1192         b1[i] = COMPOSE_DAUB97iH1(b0[i], b1[i], b2[i]);
1193     }
1194 }
1195
1196 static void vertical_compose_daub97iL0(IDWTELEM *b0, IDWTELEM *b1, IDWTELEM *b2, int width)
1197 {
1198     int i;
1199
1200     for(i=0; i<width; i++){
1201         b1[i] = COMPOSE_DAUB97iL0(b0[i], b1[i], b2[i]);
1202     }
1203 }
1204
1205 static void vertical_compose_daub97iL1(IDWTELEM *b0, IDWTELEM *b1, IDWTELEM *b2, int width)
1206 {
1207     int i;
1208
1209     for(i=0; i<width; i++){
1210         b1[i] = COMPOSE_DAUB97iL1(b0[i], b1[i], b2[i]);
1211     }
1212 }
1213
1214
1215 static void spatial_compose_dd97i_dy(DWTContext *d, int level, int width, int height, int stride)
1216 {
1217     vertical_compose_3tap vertical_compose_l0 = (void*)d->vertical_compose_l0;
1218     vertical_compose_5tap vertical_compose_h0 = (void*)d->vertical_compose_h0;
1219     DWTCompose *cs = d->cs + level;
1220
1221     int i, y = cs->y;
1222     IDWTELEM *b[8];
1223     for (i = 0; i < 6; i++)
1224         b[i] = cs->b[i];
1225     b[6] = d->buffer + av_clip(y+5, 0, height-2)*stride;
1226     b[7] = d->buffer + av_clip(y+6, 1, height-1)*stride;
1227
1228         if(y+5<(unsigned)height) vertical_compose_l0(      b[5], b[6], b[7],       width);
1229         if(y+1<(unsigned)height) vertical_compose_h0(b[0], b[2], b[3], b[4], b[6], width);
1230
1231         if(y-1<(unsigned)height) d->horizontal_compose(b[0], d->temp, width);
1232         if(y+0<(unsigned)height) d->horizontal_compose(b[1], d->temp, width);
1233
1234     for (i = 0; i < 6; i++)
1235         cs->b[i] = b[i+2];
1236     cs->y += 2;
1237 }
1238
1239 static void spatial_compose_dirac53i_dy(DWTContext *d, int level, int width, int height, int stride)
1240 {
1241     vertical_compose_3tap vertical_compose_l0 = (void*)d->vertical_compose_l0;
1242     vertical_compose_3tap vertical_compose_h0 = (void*)d->vertical_compose_h0;
1243     DWTCompose *cs = d->cs + level;
1244
1245     int y= cs->y;
1246     IDWTELEM *b[4] = { cs->b[0], cs->b[1] };
1247     b[2] = d->buffer + mirror(y+1, height-1)*stride;
1248     b[3] = d->buffer + mirror(y+2, height-1)*stride;
1249
1250         if(y+1<(unsigned)height) vertical_compose_l0(b[1], b[2], b[3], width);
1251         if(y+0<(unsigned)height) vertical_compose_h0(b[0], b[1], b[2], width);
1252
1253         if(y-1<(unsigned)height) d->horizontal_compose(b[0], d->temp, width);
1254         if(y+0<(unsigned)height) d->horizontal_compose(b[1], d->temp, width);
1255
1256     cs->b[0] = b[2];
1257     cs->b[1] = b[3];
1258     cs->y += 2;
1259 }
1260
1261
1262 static void spatial_compose_dd137i_dy(DWTContext *d, int level, int width, int height, int stride)
1263 {
1264     vertical_compose_5tap vertical_compose_l0 = (void*)d->vertical_compose_l0;
1265     vertical_compose_5tap vertical_compose_h0 = (void*)d->vertical_compose_h0;
1266     DWTCompose *cs = d->cs + level;
1267
1268     int i, y = cs->y;
1269     IDWTELEM *b[10];
1270     for (i = 0; i < 8; i++)
1271         b[i] = cs->b[i];
1272     b[8] = d->buffer + av_clip(y+7, 0, height-2)*stride;
1273     b[9] = d->buffer + av_clip(y+8, 1, height-1)*stride;
1274
1275         if(y+5<(unsigned)height) vertical_compose_l0(b[3], b[5], b[6], b[7], b[9], width);
1276         if(y+1<(unsigned)height) vertical_compose_h0(b[0], b[2], b[3], b[4], b[6], width);
1277
1278         if(y-1<(unsigned)height) d->horizontal_compose(b[0], d->temp, width);
1279         if(y+0<(unsigned)height) d->horizontal_compose(b[1], d->temp, width);
1280
1281     for (i = 0; i < 8; i++)
1282         cs->b[i] = b[i+2];
1283     cs->y += 2;
1284 }
1285
1286 // haar makes the assumption that height is even (always true for dirac)
1287 static void spatial_compose_haari_dy(DWTContext *d, int level, int width, int height, int stride)
1288 {
1289     vertical_compose_2tap vertical_compose = (void*)d->vertical_compose;
1290     int y = d->cs[level].y;
1291     IDWTELEM *b0 = d->buffer + (y-1)*stride;
1292     IDWTELEM *b1 = d->buffer + (y  )*stride;
1293
1294     vertical_compose(b0, b1, width);
1295     d->horizontal_compose(b0, d->temp, width);
1296     d->horizontal_compose(b1, d->temp, width);
1297
1298     d->cs[level].y += 2;
1299 }
1300
1301 // Don't do sliced idwt for fidelity; the 9 tap filter makes it a bit annoying
1302 // Fortunately, this filter isn't used in practice.
1303 static void spatial_compose_fidelity(DWTContext *d, int level, int width, int height, int stride)
1304 {
1305     vertical_compose_9tap vertical_compose_l0 = (void*)d->vertical_compose_l0;
1306     vertical_compose_9tap vertical_compose_h0 = (void*)d->vertical_compose_h0;
1307     int i, y;
1308     IDWTELEM *b[8];
1309
1310     for (y = 1; y < height; y += 2) {
1311         for (i = 0; i < 8; i++)
1312             b[i] = d->buffer + av_clip((y-7 + 2*i), 0, height-2)*stride;
1313         vertical_compose_h0(d->buffer + y*stride, b, width);
1314     }
1315
1316     for (y = 0; y < height; y += 2) {
1317         for (i = 0; i < 8; i++)
1318             b[i] = d->buffer + av_clip((y-7 + 2*i), 1, height-1)*stride;
1319         vertical_compose_l0(d->buffer + y*stride, b, width);
1320     }
1321
1322     for (y = 0; y < height; y++)
1323         d->horizontal_compose(d->buffer + y*stride, d->temp, width);
1324
1325     d->cs[level].y = height+1;
1326 }
1327
1328 static void spatial_compose_daub97i_dy(DWTContext *d, int level, int width, int height, int stride)
1329 {
1330     vertical_compose_3tap vertical_compose_l0 = (void*)d->vertical_compose_l0;
1331     vertical_compose_3tap vertical_compose_h0 = (void*)d->vertical_compose_h0;
1332     vertical_compose_3tap vertical_compose_l1 = (void*)d->vertical_compose_l1;
1333     vertical_compose_3tap vertical_compose_h1 = (void*)d->vertical_compose_h1;
1334     DWTCompose *cs = d->cs + level;
1335
1336     int i, y = cs->y;
1337     IDWTELEM *b[6];
1338     for (i = 0; i < 4; i++)
1339         b[i] = cs->b[i];
1340     b[4] = d->buffer + mirror(y+3, height-1)*stride;
1341     b[5] = d->buffer + mirror(y+4, height-1)*stride;
1342
1343         if(y+3<(unsigned)height) vertical_compose_l1(b[3], b[4], b[5], width);
1344         if(y+2<(unsigned)height) vertical_compose_h1(b[2], b[3], b[4], width);
1345         if(y+1<(unsigned)height) vertical_compose_l0(b[1], b[2], b[3], width);
1346         if(y+0<(unsigned)height) vertical_compose_h0(b[0], b[1], b[2], width);
1347
1348         if(y-1<(unsigned)height) d->horizontal_compose(b[0], d->temp, width);
1349         if(y+0<(unsigned)height) d->horizontal_compose(b[1], d->temp, width);
1350
1351     for (i = 0; i < 4; i++)
1352         cs->b[i] = b[i+2];
1353     cs->y += 2;
1354 }
1355
1356
1357 static void spatial_compose97i_init2(DWTCompose *cs, IDWTELEM *buffer, int height, int stride)
1358 {
1359     cs->b[0] = buffer + mirror(-3-1, height-1)*stride;
1360     cs->b[1] = buffer + mirror(-3  , height-1)*stride;
1361     cs->b[2] = buffer + mirror(-3+1, height-1)*stride;
1362     cs->b[3] = buffer + mirror(-3+2, height-1)*stride;
1363     cs->y = -3;
1364 }
1365
1366 static void spatial_compose53i_init2(DWTCompose *cs, IDWTELEM *buffer, int height, int stride)
1367 {
1368     cs->b[0] = buffer + mirror(-1-1, height-1)*stride;
1369     cs->b[1] = buffer + mirror(-1  , height-1)*stride;
1370     cs->y = -1;
1371 }
1372
1373 static void spatial_compose_dd97i_init(DWTCompose *cs, IDWTELEM *buffer, int height, int stride)
1374 {
1375     cs->b[0] = buffer + av_clip(-5-1, 0, height-2)*stride;
1376     cs->b[1] = buffer + av_clip(-5  , 1, height-1)*stride;
1377     cs->b[2] = buffer + av_clip(-5+1, 0, height-2)*stride;
1378     cs->b[3] = buffer + av_clip(-5+2, 1, height-1)*stride;
1379     cs->b[4] = buffer + av_clip(-5+3, 0, height-2)*stride;
1380     cs->b[5] = buffer + av_clip(-5+4, 1, height-1)*stride;
1381     cs->y = -5;
1382 }
1383
1384 static void spatial_compose_dd137i_init(DWTCompose *cs, IDWTELEM *buffer, int height, int stride)
1385 {
1386     cs->b[0] = buffer + av_clip(-5-1, 0, height-2)*stride;
1387     cs->b[1] = buffer + av_clip(-5  , 1, height-1)*stride;
1388     cs->b[2] = buffer + av_clip(-5+1, 0, height-2)*stride;
1389     cs->b[3] = buffer + av_clip(-5+2, 1, height-1)*stride;
1390     cs->b[4] = buffer + av_clip(-5+3, 0, height-2)*stride;
1391     cs->b[5] = buffer + av_clip(-5+4, 1, height-1)*stride;
1392     cs->b[6] = buffer + av_clip(-5+5, 0, height-2)*stride;
1393     cs->b[7] = buffer + av_clip(-5+6, 1, height-1)*stride;
1394     cs->y = -5;
1395 }
1396
1397 int ff_spatial_idwt_init2(DWTContext *d, IDWTELEM *buffer, int width, int height,
1398                           int stride, enum dwt_type type, int decomposition_count,
1399                           IDWTELEM *temp)
1400 {
1401     int level;
1402
1403     d->buffer = buffer;
1404     d->width = width;
1405     d->height = height;
1406     d->stride = stride;
1407     d->decomposition_count = decomposition_count;
1408     d->temp = temp + 8;
1409
1410     for(level=decomposition_count-1; level>=0; level--){
1411         int hl = height >> level;
1412         int stride_l = stride << level;
1413
1414         switch(type){
1415         case DWT_DIRAC_DD9_7:
1416             spatial_compose_dd97i_init(d->cs+level, buffer, hl, stride_l);
1417             break;
1418         case DWT_DIRAC_LEGALL5_3:
1419             spatial_compose53i_init2(d->cs+level, buffer, hl, stride_l);
1420             break;
1421         case DWT_DIRAC_DD13_7:
1422             spatial_compose_dd137i_init(d->cs+level, buffer, hl, stride_l);
1423             break;
1424         case DWT_DIRAC_HAAR0:
1425         case DWT_DIRAC_HAAR1:
1426             d->cs[level].y = 1;
1427             break;
1428         case DWT_DIRAC_DAUB9_7:
1429             spatial_compose97i_init2(d->cs+level, buffer, hl, stride_l);
1430             break;
1431         default:
1432             d->cs[level].y = 0;
1433             break;
1434         }
1435     }
1436
1437     switch (type) {
1438     case DWT_DIRAC_DD9_7:
1439         d->spatial_compose = spatial_compose_dd97i_dy;
1440         d->vertical_compose_l0 = (void*)vertical_compose53iL0;
1441         d->vertical_compose_h0 = (void*)vertical_compose_dd97iH0;
1442         d->horizontal_compose = horizontal_compose_dd97i;
1443         d->support = 7;
1444         break;
1445     case DWT_DIRAC_LEGALL5_3:
1446         d->spatial_compose = spatial_compose_dirac53i_dy;
1447         d->vertical_compose_l0 = (void*)vertical_compose53iL0;
1448         d->vertical_compose_h0 = (void*)vertical_compose_dirac53iH0;
1449         d->horizontal_compose = horizontal_compose_dirac53i;
1450         d->support = 3;
1451         break;
1452     case DWT_DIRAC_DD13_7:
1453         d->spatial_compose = spatial_compose_dd137i_dy;
1454         d->vertical_compose_l0 = (void*)vertical_compose_dd137iL0;
1455         d->vertical_compose_h0 = (void*)vertical_compose_dd97iH0;
1456         d->horizontal_compose = horizontal_compose_dd137i;
1457         d->support = 7;
1458         break;
1459     case DWT_DIRAC_HAAR0:
1460     case DWT_DIRAC_HAAR1:
1461         d->spatial_compose = spatial_compose_haari_dy;
1462         d->vertical_compose = (void*)vertical_compose_haar;
1463         if (type == DWT_DIRAC_HAAR0)
1464             d->horizontal_compose = horizontal_compose_haar0i;
1465         else
1466             d->horizontal_compose = horizontal_compose_haar1i;
1467         d->support = 1;
1468         break;
1469     case DWT_DIRAC_FIDELITY:
1470         d->spatial_compose = spatial_compose_fidelity;
1471         d->vertical_compose_l0 = (void*)vertical_compose_fidelityiL0;
1472         d->vertical_compose_h0 = (void*)vertical_compose_fidelityiH0;
1473         d->horizontal_compose = horizontal_compose_fidelityi;
1474         break;
1475     case DWT_DIRAC_DAUB9_7:
1476         d->spatial_compose = spatial_compose_daub97i_dy;
1477         d->vertical_compose_l0 = (void*)vertical_compose_daub97iL0;
1478         d->vertical_compose_h0 = (void*)vertical_compose_daub97iH0;
1479         d->vertical_compose_l1 = (void*)vertical_compose_daub97iL1;
1480         d->vertical_compose_h1 = (void*)vertical_compose_daub97iH1;
1481         d->horizontal_compose = horizontal_compose_daub97i;
1482         d->support = 5;
1483         break;
1484     default:
1485         av_log(NULL, AV_LOG_ERROR, "Unknown wavelet type %d\n", type);
1486         return -1;
1487     }
1488
1489     if (HAVE_MMX) ff_spatial_idwt_init_mmx(d, type);
1490
1491     return 0;
1492 }
1493
1494 void ff_spatial_idwt_slice2(DWTContext *d, int y)
1495 {
1496     int level, support = d->support;
1497
1498     for (level = d->decomposition_count-1; level >= 0; level--) {
1499         int wl = d->width  >> level;
1500         int hl = d->height >> level;
1501         int stride_l = d->stride << level;
1502
1503         while (d->cs[level].y <= FFMIN((y>>level)+support, hl))
1504             d->spatial_compose(d, level, wl, hl, stride_l);
1505     }
1506 }
1507
1508 int ff_spatial_idwt2(IDWTELEM *buffer, int width, int height, int stride,
1509                      enum dwt_type type, int decomposition_count, IDWTELEM *temp)
1510 {
1511     DWTContext d;
1512     int y;
1513
1514     if (ff_spatial_idwt_init2(&d, buffer, width, height, stride, type, decomposition_count, temp))
1515         return -1;
1516
1517     for (y = 0; y < d.height; y += 4)
1518         ff_spatial_idwt_slice2(&d, y);
1519
1520     return 0;
1521 }