x86: vc1: fix and enable optimised loop filter
authorMans Rullgard <mans@mansr.com>
Fri, 22 Jun 2012 20:40:28 +0000 (21:40 +0100)
committerMans Rullgard <mans@mansr.com>
Fri, 29 Jun 2012 23:12:05 +0000 (00:12 +0100)
commitf2fd167835b6f039a593e46ab3a84e1b9a453660
treeb1fab7a091df57227003fa639768e3d5dae3f231
parent3b1ab197be185b61247ef2472f15eeac3e765252
x86: vc1: fix and enable optimised loop filter

The problem is that the ssse3 psign instruction does the wrong
thing here.  Commit ea60dfe incorrectly removed a macro emulating
this instruction for pre-ssse3 code.  However, the emulation is
incorrect, and the code relies on the behaviour of the macro.
Specifically, the psign sets destination elements to zero where
the corresponding source element is zero, whereas the emulation
only negates destination elements where the source is negative.

Furthermore, the PSIGNW_MMX macro in x86util.asm is totally bogus,
which is why the original VC-1 code had an additional right shift
when using it.  Since the psign instruction cannot be used here,
skip all the macro hell and use the working instruction sequence
directly.

None of this was noticed due a stray return statement in
ff_vc1dsp_init_mmx() which meant that only the mmx version of the
loop filter was ever used (before being removed in ea60dfe).

Signed-off-by: Mans Rullgard <mans@mansr.com>
libavcodec/x86/vc1dsp_mmx.c
libavcodec/x86/vc1dsp_yasm.asm