vp9: Fix emu[] edge overflow conditions for >8bpp/non-420.
authorRonald S. Bultje <rsbultje@gmail.com>
Fri, 11 Sep 2015 17:59:17 +0000 (13:59 -0400)
committerRonald S. Bultje <rsbultje@gmail.com>
Sat, 12 Sep 2015 11:01:48 +0000 (07:01 -0400)
libavcodec/vp9.c

index c605c08..a357a5f 100644 (file)
@@ -3301,9 +3301,9 @@ static void decode_b(AVCodecContext *ctx, int row, int col,
     // emulated overhangs if the stride of the target buffer can't hold. This
     // makes it possible to support emu-edge and so on even if we have large block
     // overhangs
-    emu[0] = (col + w4) * 8 > f->linesize[0] ||
+    emu[0] = (col + w4) * 8 * bytesperpixel > f->linesize[0] ||
              (row + h4) > s->rows;
-    emu[1] = (col + w4) * 4 > f->linesize[1] ||
+    emu[1] = ((col + w4) * 8 >> s->ss_h) * bytesperpixel > f->linesize[1] ||
              (row + h4) > s->rows;
     if (emu[0]) {
         s->dst[0] = s->tmp_y;