avfilter/paletteuse: fix error dithering accuracy
[ffmpeg.git] / libavfilter / vf_paletteuse.c
index 8188e36..87a90d0 100644 (file)
@@ -50,7 +50,7 @@ struct color_node {
     int left_id, right_id;
 };
 
-#define NBITS 4
+#define NBITS 5
 #define CACHE_SIZE (1<<(3*NBITS))
 
 struct cached_color {
@@ -119,8 +119,12 @@ static int query_formats(AVFilterContext *ctx)
     AVFilterFormats *in    = ff_make_format_list(in_fmts);
     AVFilterFormats *inpal = ff_make_format_list(inpal_fmts);
     AVFilterFormats *out   = ff_make_format_list(out_fmts);
-    if (!in || !inpal || !out)
+    if (!in || !inpal || !out) {
+        av_freep(&in);
+        av_freep(&inpal);
+        av_freep(&out);
         return AVERROR(ENOMEM);
+    }
     ff_formats_ref(in,    &ctx->inputs[0]->out_formats);
     ff_formats_ref(inpal, &ctx->inputs[1]->out_formats);
     ff_formats_ref(out,   &ctx->outputs[0]->in_formats);
@@ -129,9 +133,9 @@ static int query_formats(AVFilterContext *ctx)
 
 static av_always_inline int dither_color(uint32_t px, int er, int eg, int eb, int scale, int shift)
 {
-    return av_clip_uint8((px >> 16 & 0xff) + ((er * scale) >> shift)) << 16
-         | av_clip_uint8((px >>  8 & 0xff) + ((eg * scale) >> shift)) <<  8
-         | av_clip_uint8((px       & 0xff) + ((eb * scale) >> shift));
+    return av_clip_uint8((px >> 16 & 0xff) + ((er * scale) / (1<<shift))) << 16
+         | av_clip_uint8((px >>  8 & 0xff) + ((eg * scale) / (1<<shift))) <<  8
+         | av_clip_uint8((px       & 0xff) + ((eb * scale) / (1<<shift)));
 }
 
 static av_always_inline int diff(const uint8_t *c1, const uint8_t *c2)