vp9: fix type of iadst4_1d intermediates.
authorRonald S. Bultje <rsbultje@gmail.com>
Fri, 4 Sep 2015 21:01:53 +0000 (17:01 -0400)
committerRonald S. Bultje <rsbultje@gmail.com>
Sat, 5 Sep 2015 19:50:01 +0000 (15:50 -0400)
Fixes integer overflows for extreme coefficient values in 10/12bpp content.

libavcodec/vp9dsp_template.c

index 9395a0c..4d810fe 100644 (file)
@@ -1186,7 +1186,7 @@ static av_always_inline void idct4_1d(const dctcoef *in, ptrdiff_t stride,
 static av_always_inline void iadst4_1d(const dctcoef *in, ptrdiff_t stride,
                                        dctcoef *out, int pass)
 {
-    int t0, t1, t2, t3;
+    dctint t0, t1, t2, t3;
 
     t0 =  5283 * IN(0) + 15212 * IN(2) +  9929 * IN(3);
     t1 =  9929 * IN(0) -  5283 * IN(2) - 15212 * IN(3);