cavsdec: fix qp fixed slice handling
[ffmpeg.git] / libavcodec / rtjpeg.c
index dbc6cfd..e67ba75 100644 (file)
  * License along with FFmpeg; if not, write to the Free Software
  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  */
-#include "common.h"
-#include "bitstream.h"
-#include "dsputil.h"
+#include "libavutil/common.h"
+#include "get_bits.h"
 #include "rtjpeg.h"
 
 #define PUT_COEFF(c) \
     i = scan[coeff--]; \
     block[i] = (c) * quant[i];
 
-//! aligns the bitstream to the give power of two
+/// aligns the bitstream to the given power of two
 #define ALIGN(a) \
     n = (-get_bits_count(gb)) & (a - 1); \
     if (n) {skip_bits(gb, n);}
 
 /**
- * \brief read one block from stream
- * \param gb contains stream data
- * \param block where data is written to
- * \param scan array containing the mapping stream address -> block position
- * \param quant quantization factors
+ * @brief read one block from stream
+ * @param gb contains stream data
+ * @param block where data is written to
+ * @param scan array containing the mapping stream address -> block position
+ * @param quant quantization factors
+ * @return 0 means the block is not coded, < 0 means an error occurred.
  *
  * Note: GetBitContext is used to make the code simpler, since all data is
  * aligned this could be done faster in a different way, e.g. as it is done
- * in MPlayer libmpcodecs/native/RTjpegN.c
+ * in MPlayer libmpcodecs/native/rtjpegn.c.
  */
-static inline int get_block(GetBitContext *gb, DCTELEM *block, uint8_t *scan,
-                            uint32_t *quant) {
+static inline int get_block(GetBitContext *gb, int16_t *block, const uint8_t *scan,
+                            const uint32_t *quant) {
     int coeff, i, n;
     int8_t ac;
     uint8_t dc = get_bits(gb, 8);
@@ -55,9 +55,12 @@ static inline int get_block(GetBitContext *gb, DCTELEM *block, uint8_t *scan,
 
     // number of non-zero coefficients
     coeff = get_bits(gb, 6);
+    if (get_bits_left(gb) < (coeff << 1))
+        return AVERROR_INVALIDDATA;
+
     // normally we would only need to clear the (63 - coeff) last values,
     // but since we do not know where they are we just clear the whole block
-    memset(block, 0, 64 * sizeof(DCTELEM));
+    memset(block, 0, 64 * sizeof(int16_t));
 
     // 2 bits per coefficient
     while (coeff) {
@@ -69,6 +72,8 @@ static inline int get_block(GetBitContext *gb, DCTELEM *block, uint8_t *scan,
 
     // 4 bits per coefficient
     ALIGN(4);
+    if (get_bits_left(gb) < (coeff << 2))
+        return AVERROR_INVALIDDATA;
     while (coeff) {
         ac = get_sbits(gb, 4);
         if (ac == -8)
@@ -78,6 +83,8 @@ static inline int get_block(GetBitContext *gb, DCTELEM *block, uint8_t *scan,
 
     // 8 bits per coefficient
     ALIGN(8);
+    if (get_bits_left(gb) < (coeff << 3))
+        return AVERROR_INVALIDDATA;
     while (coeff) {
         ac = get_sbits(gb, 8);
         PUT_COEFF(ac);
@@ -88,42 +95,46 @@ static inline int get_block(GetBitContext *gb, DCTELEM *block, uint8_t *scan,
 }
 
 /**
- * \brief decode one rtjpeg YUV420 frame
- * \param c context, must be initialized via rtjpeg_decode_init
- * \param f AVFrame to place decoded frame into. If parts of the frame
+ * @brief decode one rtjpeg YUV420 frame
+ * @param c context, must be initialized via ff_rtjpeg_decode_init
+ * @param f AVFrame to place decoded frame into. If parts of the frame
  *          are not coded they are left unchanged, so consider initializing it
- * \param buf buffer containing input data
- * \param buf_size length of input data in bytes
- * \return number of bytes consumed from the input buffer
+ * @param buf buffer containing input data
+ * @param buf_size length of input data in bytes
+ * @return number of bytes consumed from the input buffer
  */
-int rtjpeg_decode_frame_yuv420(RTJpegContext *c, AVFrame *f,
-                               uint8_t *buf, int buf_size) {
-    DECLARE_ALIGNED_16(DCTELEM, block[64]);
+int ff_rtjpeg_decode_frame_yuv420(RTJpegContext *c, AVFrame *f,
+                                  const uint8_t *buf, int buf_size) {
     GetBitContext gb;
     int w = c->w / 16, h = c->h / 16;
-    int x, y;
+    int x, y, ret;
     uint8_t *y1 = f->data[0], *y2 = f->data[0] + 8 * f->linesize[0];
     uint8_t *u = f->data[1], *v = f->data[2];
-    init_get_bits(&gb, buf, buf_size * 8);
+
+    if ((ret = init_get_bits8(&gb, buf, buf_size)) < 0)
+        return ret;
+
     for (y = 0; y < h; y++) {
         for (x = 0; x < w; x++) {
-            if (get_block(&gb, block, c->scan, c->lquant))
-                c->dsp->idct_put(y1, f->linesize[0], block);
+#define BLOCK(quant, dst, stride) do { \
+    int res = get_block(&gb, block, c->scan, quant); \
+    if (res < 0) \
+        return res; \
+    if (res > 0) \
+        c->dsp.idct_put(dst, stride, block); \
+} while (0)
+            int16_t *block = c->block;
+            BLOCK(c->lquant, y1, f->linesize[0]);
             y1 += 8;
-            if (get_block(&gb, block, c->scan, c->lquant))
-                c->dsp->idct_put(y1, f->linesize[0], block);
+            BLOCK(c->lquant, y1, f->linesize[0]);
             y1 += 8;
-            if (get_block(&gb, block, c->scan, c->lquant))
-                c->dsp->idct_put(y2, f->linesize[0], block);
+            BLOCK(c->lquant, y2, f->linesize[0]);
             y2 += 8;
-            if (get_block(&gb, block, c->scan, c->lquant))
-                c->dsp->idct_put(y2, f->linesize[0], block);
+            BLOCK(c->lquant, y2, f->linesize[0]);
             y2 += 8;
-            if (get_block(&gb, block, c->scan, c->cquant))
-                c->dsp->idct_put(u, f->linesize[1], block);
+            BLOCK(c->cquant, u,  f->linesize[1]);
             u += 8;
-            if (get_block(&gb, block, c->scan, c->cquant))
-                c->dsp->idct_put(v, f->linesize[2], block);
+            BLOCK(c->cquant, v,  f->linesize[2]);
             v += 8;
         }
         y1 += 2 * 8 * (f->linesize[0] - w);
@@ -135,31 +146,38 @@ int rtjpeg_decode_frame_yuv420(RTJpegContext *c, AVFrame *f,
 }
 
 /**
- * \brief initialize an RTJpegContext, may be called multiple times
- * \param c context to initialize
- * \param dsp specifies the idct to use for decoding
- * \param width width of image, will be rounded down to the nearest multiple
+ * @brief initialize an RTJpegContext, may be called multiple times
+ * @param c context to initialize
+ * @param width width of image, will be rounded down to the nearest multiple
  *              of 16 for decoding
- * \param height height of image, will be rounded down to the nearest multiple
+ * @param height height of image, will be rounded down to the nearest multiple
  *              of 16 for decoding
- * \param lquant luma quantization table to use
- * \param cquant chroma quantization table to use
+ * @param lquant luma quantization table to use
+ * @param cquant chroma quantization table to use
  */
-void rtjpeg_decode_init(RTJpegContext *c, DSPContext *dsp,
-                        int width, int height,
-                        uint32_t *lquant, uint32_t *cquant) {
+void ff_rtjpeg_decode_init(RTJpegContext *c, int width, int height,
+                           const uint32_t *lquant, const uint32_t *cquant) {
     int i;
-    c->dsp = dsp;
     for (i = 0; i < 64; i++) {
-        int z = ff_zigzag_direct[i];
-        int p = c->dsp->idct_permutation[i];
-        z = ((z << 3) | (z >> 3)) & 63; // rtjpeg uses a transposed variant
-
-        // permute the scan and quantization tables for the chosen idct
-        c->scan[i] = c->dsp->idct_permutation[z];
+        int p = c->dsp.idct_permutation[i];
         c->lquant[p] = lquant[i];
         c->cquant[p] = cquant[i];
     }
     c->w = width;
     c->h = height;
 }
+
+void ff_rtjpeg_init(RTJpegContext *c, AVCodecContext *avctx)
+{
+    int i;
+
+    ff_dsputil_init(&c->dsp, avctx);
+
+    for (i = 0; i < 64; i++) {
+        int z = ff_zigzag_direct[i];
+        z = ((z << 3) | (z >> 3)) & 63; // rtjpeg uses a transposed variant
+
+        // permute the scan and quantization tables for the chosen idct
+        c->scan[i] = c->dsp.idct_permutation[z];
+    }
+}