postproc: fix qp count
authorMichael Niedermayer <michaelni@gmx.at>
Mon, 13 Oct 2014 14:02:42 +0000 (16:02 +0200)
committerMichael Niedermayer <michaelni@gmx.at>
Mon, 13 Oct 2014 14:12:30 +0000 (16:12 +0200)
Found-by: ubitux
Signed-off-by: Michael Niedermayer <michaelni@gmx.at>
libpostproc/postprocess.c

index e3643ae..f8fb356 100644 (file)
@@ -994,7 +994,7 @@ void  pp_postprocess(const uint8_t * src[3], const int srcStride[3],
 
     if(pict_type & PP_PICT_TYPE_QP2){
         int i;
-        const int count= mbHeight * absQPStride;
+        const int count= FFMAX(mbHeight * absQPStride, mbWidth);
         for(i=0; i<(count>>2); i++){
             ((uint32_t*)c->stdQPTable)[i] = (((const uint32_t*)QP_store)[i]>>1) & 0x7F7F7F7F;
         }
@@ -1019,7 +1019,7 @@ void  pp_postprocess(const uint8_t * src[3], const int srcStride[3],
     if((pict_type&7)!=3){
         if (QPStride >= 0){
             int i;
-            const int count= mbHeight * FFMAX(QPStride, mbWidth);
+            const int count= FFMAX(mbHeight * QPStride, mbWidth);
             for(i=0; i<(count>>2); i++){
                 ((uint32_t*)c->nonBQPTable)[i] = ((const uint32_t*)QP_store)[i] & 0x3F3F3F3F;
             }