rtpdec_jpeg: fix low contrast image on low quality setting
authorIco Doornekamp <libav@zevv.nl>
Thu, 24 Mar 2016 13:31:38 +0000 (14:31 +0100)
committerMartin Storsjö <martin@martin.st>
Fri, 25 Mar 2016 22:15:24 +0000 (00:15 +0200)
commitedf54887e2935a30f9d9a46dd806802c3c867c0e
tree6966c30b43f4f130638df147f9eb5cca26de3114
parent159323897f545e7405fb9db234e0ba123e174376
rtpdec_jpeg: fix low contrast image on low quality setting

The problem is that the argument 'q' is of the type uint8_t.
According to the JPEG standard, if 1 <= q <= 50, the scale factor
'S' should be 5000 / Q. Because the create_default_qtables() reuses
the variable 'q' to store the result of this calculation, for small
values of q < 19, q wil subsequently overflow and give wrong results
in the calculated quantization tables.

Instead, use a new variable 'S' (same name as in RFC2435) with the
proper range to store the result of the division.

Signed-off-by: Martin Storsjö <martin@martin.st>
libavformat/rtpdec_jpeg.c