avfilter/palettegen: use AV_QSORT()