avcodec/qtrleenc: Check that width is a multiple of 4 for grayscale
authorMichael Niedermayer <michaelni@gmx.at>
Wed, 11 Jun 2014 02:02:53 +0000 (04:02 +0200)
committerMichael Niedermayer <michaelni@gmx.at>
Wed, 11 Jun 2014 02:02:53 +0000 (04:02 +0200)
grayscale is coded as 4 pixels at a time, the encoder lacks support
for the case where width%4 != 0, and will simply encode less data
leaving random data after decoding at the right side

Signed-off-by: Michael Niedermayer <michaelni@gmx.at>
libavcodec/qtrleenc.c

index 8750e30..d723188 100644 (file)
@@ -86,6 +86,10 @@ static av_cold int qtrle_encode_init(AVCodecContext *avctx)
 
     switch (avctx->pix_fmt) {
     case AV_PIX_FMT_GRAY8:
+        if (avctx->width % 4) {
+            av_log(avctx, AV_LOG_ERROR, "Width not being a multiple of 4 is not supported\n");
+            return AVERROR(EINVAL);
+        }
         s->logical_width = avctx->width / 4;
         s->pixel_size = 4;
         break;