Merge commit 'd488c3bcbaf7ddda42597e014deb661a7e9e2112'
authorMichael Niedermayer <michaelni@gmx.at>
Wed, 29 Aug 2012 15:46:10 +0000 (17:46 +0200)
committerMichael Niedermayer <michaelni@gmx.at>
Wed, 29 Aug 2012 16:04:34 +0000 (18:04 +0200)
* commit 'd488c3bcbaf7ddda42597e014deb661a7e9e2112':
  configure: support Bitrig OS
  yuv2rgb: handle line widths that are not a multiple of 4.
  graph2dot: Use the fallback getopt implementation if needed
  tools: Include io.h for open/read/write/close if unistd.h doesn't exist
  testprogs: Remove unused includes
  qt-faststart: Use other seek/tell functions on MSVC than on mingw
  ismindex: Include direct.h for _mkdir on windows
  sdp: Use static const char arrays instead of pointers to strings
  x86: avcodec: Drop silly "_mmx" suffixes from filenames
  x86: avcodec: Drop silly "_sse" suffixes from filenames
  sdp: Include profile-level-id for H264
  utvideoenc: use ff_huff_gen_len_table
  huffman: add ff_huff_gen_len_table
  cllc: simplify/fix swapped data buffer allocation.
  rtpdec_h264: Don't set the pixel format
  h264: Check that the codec isn't null before accessing it
  audio_frame_queue: Define af_queue_log_state before using it

Conflicts:
libavcodec/audio_frame_queue.c
libavcodec/h264.c
libavcodec/huffman.h
libavcodec/huffyuv.c
libavcodec/utvideoenc.c
libavcodec/x86/Makefile

Merged-by: Michael Niedermayer <michaelni@gmx.at>
28 files changed:
1  2 
configure
libavcodec/audio_frame_queue.c
libavcodec/huffman.c
libavcodec/huffman.h
libavcodec/huffyuv.c
libavcodec/motion-test.c
libavcodec/utvideoenc.c
libavcodec/x86/Makefile
libavcodec/x86/cavsdsp.c
libavcodec/x86/dct32.asm
libavcodec/x86/dsputil_mmx.c
libavcodec/x86/fdct.c
libavcodec/x86/fft.asm
libavcodec/x86/h264_qpel.c
libavcodec/x86/imdct36.asm
libavcodec/x86/lpc.c
libavcodec/x86/motion_est.c
libavcodec/x86/mpegaudiodec.c
libavcodec/x86/simple_idct.c
libavcodec/x86/snowdsp.c
libavformat/rtpdec_h264.c
libavformat/sdp.c
libswscale/colorspace-test.c
libswscale/yuv2rgb.c
tools/graph2dot.c
tools/ismindex.c
tools/pktdumper.c
tools/qt-faststart.c

diff --cc configure
+++ b/configure
@@@ -1549,9 -1374,9 +1549,10 @@@ eac3_encoder_select="ac3_encoder
  eamad_decoder_select="aandcttables error_resilience"
  eatgq_decoder_select="aandcttables"
  eatqi_decoder_select="aandcttables error_resilience mpegvideo"
 +exr_decoder_select="zlib"
  ffv1_decoder_select="golomb rangecoder"
  ffv1_encoder_select="rangecoder"
+ ffvhuff_encoder_select="huffman"
  flac_decoder_select="golomb"
  flac_encoder_select="golomb lpc"
  flashsv_decoder_select="zlib"
@@@ -40,28 -51,53 +40,44 @@@ void ff_af_queue_close(AudioFrameQueue 
      memset(afq, 0, sizeof(*afq));
  }
  
+ #ifdef DEBUG
+ static void af_queue_log_state(AudioFrameQueue *afq)
+ {
+     AudioFrame *f;
+     av_dlog(afq->avctx, "remaining delay   = %d\n", afq->remaining_delay);
+     av_dlog(afq->avctx, "remaining samples = %d\n", afq->remaining_samples);
+     av_dlog(afq->avctx, "frames:\n");
+     f = afq->frame_queue;
+     while (f) {
+         av_dlog(afq->avctx, "  [ pts=%9"PRId64" duration=%d ]\n",
+                 f->pts, f->duration);
+         f = f->next;
+     }
+ }
+ #endif /* DEBUG */
  int ff_af_queue_add(AudioFrameQueue *afq, const AVFrame *f)
  {
 -    AudioFrame *new_frame;
 -    AudioFrame *queue_end = afq->frame_queue;
 -
 -    /* find the end of the queue */
 -    while (queue_end && queue_end->next)
 -        queue_end = queue_end->next;
 -
 -    /* allocate new frame queue entry */
 -    if (!(new_frame = av_malloc(sizeof(*new_frame))))
 +    AudioFrame *new = av_fast_realloc(afq->frames, &afq->frame_alloc, sizeof(*afq->frames)*(afq->frame_count+1));
 +    if(!new)
          return AVERROR(ENOMEM);
 +    afq->frames = new;
 +    new += afq->frame_count;
  
      /* get frame parameters */
 -    new_frame->next = NULL;
 -    new_frame->duration = f->nb_samples;
 +    new->duration = f->nb_samples;
 +    new->duration += afq->remaining_delay;
      if (f->pts != AV_NOPTS_VALUE) {
 -        new_frame->pts = av_rescale_q(f->pts,
 +        new->pts = av_rescale_q(f->pts,
                                        afq->avctx->time_base,
                                        (AVRational){ 1, afq->avctx->sample_rate });
 -        afq->next_pts = new_frame->pts + new_frame->duration;
 +        new->pts -= afq->remaining_delay;
 +        if(afq->frame_count && new[-1].pts >= new->pts)
 +            av_log(afq->avctx, AV_LOG_WARNING, "Que input is backward in time\n");
      } else {
 -        new_frame->pts = AV_NOPTS_VALUE;
 -        afq->next_pts  = AV_NOPTS_VALUE;
 +        new->pts = AV_NOPTS_VALUE;
      }
 -
 -    /* add new frame to the end of the queue */
 -    if (!queue_end)
 -        afq->frame_queue = new_frame;
 -    else
 -        queue_end->next = new_frame;
 +    afq->remaining_delay = 0;
  
      /* add frame sample count */
      afq->remaining_samples += f->nb_samples;
Simple merge
Simple merge
Simple merge
Simple merge
Simple merge
@@@ -13,17 -13,15 +13,17 @@@ MMX-OBJS                               
  
  MMX-OBJS-$(CONFIG_AAC_DECODER)         += x86/sbrdsp_init.o
  MMX-OBJS-$(CONFIG_AC3DSP)              += x86/ac3dsp_init.o
- MMX-OBJS-$(CONFIG_CAVS_DECODER)        += x86/cavsdsp_mmx.o
+ MMX-OBJS-$(CONFIG_CAVS_DECODER)        += x86/cavsdsp.o
  MMX-OBJS-$(CONFIG_DNXHD_ENCODER)       += x86/dnxhdenc.o
- MMX-OBJS-$(CONFIG_DWT)                 += x86/snowdsp_mmx.o \
 -MMX-OBJS-$(CONFIG_DWT)                 += x86/snowdsp.o
++MMX-OBJS-$(CONFIG_DWT)                 += x86/snowdsp.o \
 +                                          x86/dwt.o
  MMX-OBJS-$(CONFIG_ENCODERS)            += x86/dsputilenc_mmx.o
  MMX-OBJS-$(CONFIG_FFT)                 += x86/fft_init.o
 +MMX-OBJS-$(CONFIG_GPL)                 += x86/idct_mmx.o
  MMX-OBJS-$(CONFIG_H264DSP)             += x86/h264dsp_init.o
  MMX-OBJS-$(CONFIG_H264PRED)            += x86/h264_intrapred_init.o
- MMX-OBJS-$(CONFIG_LPC)                 += x86/lpc_mmx.o
- MMX-OBJS-$(CONFIG_MPEGAUDIODSP)        += x86/mpegaudiodec_mmx.o
+ MMX-OBJS-$(CONFIG_LPC)                 += x86/lpc.o
+ MMX-OBJS-$(CONFIG_MPEGAUDIODSP)        += x86/mpegaudiodec.o
  MMX-OBJS-$(CONFIG_MPEGVIDEO)           += x86/mpegvideo.o
  MMX-OBJS-$(CONFIG_MPEGVIDEOENC)        += x86/mpegvideoenc.o
  MMX-OBJS-$(CONFIG_PNG_DECODER)         += x86/pngdsp_init.o
@@@ -40,11 -36,9 +40,11 @@@ MMX-OBJS-$(CONFIG_VP8_DECODER)         
  
  YASM-OBJS-$(CONFIG_AAC_DECODER)        += x86/sbrdsp.o
  YASM-OBJS-$(CONFIG_AC3DSP)             += x86/ac3dsp.o
- YASM-OBJS-$(CONFIG_DCT)                += x86/dct32_sse.o
+ YASM-OBJS-$(CONFIG_DCT)                += x86/dct32.o
 +YASM-OBJS-$(CONFIG_DIRAC_DECODER)      += x86/diracdsp_mmx.o x86/diracdsp_yasm.o
 +YASM-OBJS-$(CONFIG_DWT)                += x86/dwt_yasm.o
  YASM-OBJS-$(CONFIG_ENCODERS)           += x86/dsputilenc.o
- YASM-OBJS-$(CONFIG_FFT)                += x86/fft_mmx.o
+ YASM-OBJS-$(CONFIG_FFT)                += x86/fft.o
  YASM-OBJS-$(CONFIG_H264CHROMA)         += x86/h264_chromamc.o           \
                                            x86/h264_chromamc_10bit.o
  YASM-OBJS-$(CONFIG_H264DSP)            += x86/h264_deblock.o            \
  YASM-OBJS-$(CONFIG_H264PRED)           += x86/h264_intrapred.o          \
                                            x86/h264_intrapred_10bit.o
  YASM-OBJS-$(CONFIG_H264QPEL)           += x86/h264_qpel_10bit.o
- YASM-OBJS-$(CONFIG_MPEGAUDIODSP)       += x86/imdct36_sse.o
+ YASM-OBJS-$(CONFIG_MPEGAUDIODSP)       += x86/imdct36.o
  YASM-OBJS-$(CONFIG_PNG_DECODER)        += x86/pngdsp.o
  YASM-OBJS-$(CONFIG_PRORES_DECODER)     += x86/proresdsp.o
 +YASM-OBJS-$(CONFIG_PRORES_LGPL_DECODER) += x86/proresdsp.o
  YASM-OBJS-$(CONFIG_RV30_DECODER)       += x86/rv34dsp.o
  YASM-OBJS-$(CONFIG_RV40_DECODER)       += x86/rv34dsp.o                 \
                                            x86/rv40dsp.o
index 0000000,e940039..4087544
mode 000000,100644..100644
--- /dev/null
@@@ -1,0 -1,492 +1,492 @@@
 - * This file is part of Libav.
+ /*
+  * Chinese AVS video (AVS1-P2, JiZhun profile) decoder.
+  * Copyright (c) 2006  Stefan Gehrer <stefan.gehrer@gmx.de>
+  *
+  * MMX-optimized DSP functions, based on H.264 optimizations by
+  * Michael Niedermayer and Loren Merritt
+  *
 - * Libav is free software; you can redistribute it and/or
++ * This file is part of FFmpeg.
+  *
 - * Libav is distributed in the hope that it will be useful,
++ * FFmpeg is free software; you can redistribute it and/or
+  * modify it under the terms of the GNU Lesser General Public
+  * License as published by the Free Software Foundation; either
+  * version 2.1 of the License, or (at your option) any later version.
+  *
 - * License along with Libav; if not, write to the Free Software
++ * FFmpeg is distributed in the hope that it will be useful,
+  * but WITHOUT ANY WARRANTY; without even the implied warranty of
+  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
+  * Lesser General Public License for more details.
+  *
+  * You should have received a copy of the GNU Lesser General Public
++ * License along with FFmpeg; if not, write to the Free Software
+  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
+  */
+ #include "libavutil/common.h"
+ #include "libavutil/cpu.h"
+ #include "libavutil/x86/asm.h"
+ #include "libavcodec/dsputil.h"
+ #include "libavcodec/cavsdsp.h"
+ #include "dsputil_mmx.h"
+ #if HAVE_INLINE_ASM
+ /* in/out: mma=mma+mmb, mmb=mmb-mma */
+ #define SUMSUB_BA( a, b ) \
+     "paddw "#b", "#a" \n\t"\
+     "paddw "#b", "#b" \n\t"\
+     "psubw "#a", "#b" \n\t"
+ /*****************************************************************************
+  *
+  * inverse transform
+  *
+  ****************************************************************************/
+ static inline void cavs_idct8_1d(int16_t *block, uint64_t bias)
+ {
+     __asm__ volatile(
+         "movq 112(%0), %%mm4  \n\t" /* mm4 = src7 */
+         "movq  16(%0), %%mm5  \n\t" /* mm5 = src1 */
+         "movq  80(%0), %%mm2  \n\t" /* mm2 = src5 */
+         "movq  48(%0), %%mm7  \n\t" /* mm7 = src3 */
+         "movq   %%mm4, %%mm0  \n\t"
+         "movq   %%mm5, %%mm3  \n\t"
+         "movq   %%mm2, %%mm6  \n\t"
+         "movq   %%mm7, %%mm1  \n\t"
+         "paddw  %%mm4, %%mm4  \n\t" /* mm4 = 2*src7 */
+         "paddw  %%mm3, %%mm3  \n\t" /* mm3 = 2*src1 */
+         "paddw  %%mm6, %%mm6  \n\t" /* mm6 = 2*src5 */
+         "paddw  %%mm1, %%mm1  \n\t" /* mm1 = 2*src3 */
+         "paddw  %%mm4, %%mm0  \n\t" /* mm0 = 3*src7 */
+         "paddw  %%mm3, %%mm5  \n\t" /* mm5 = 3*src1 */
+         "paddw  %%mm6, %%mm2  \n\t" /* mm2 = 3*src5 */
+         "paddw  %%mm1, %%mm7  \n\t" /* mm7 = 3*src3 */
+         "psubw  %%mm4, %%mm5  \n\t" /* mm5 = 3*src1 - 2*src7 = a0 */
+         "paddw  %%mm6, %%mm7  \n\t" /* mm7 = 3*src3 + 2*src5 = a1 */
+         "psubw  %%mm2, %%mm1  \n\t" /* mm1 = 2*src3 - 3*src5 = a2 */
+         "paddw  %%mm0, %%mm3  \n\t" /* mm3 = 2*src1 + 3*src7 = a3 */
+         "movq   %%mm5, %%mm4  \n\t"
+         "movq   %%mm7, %%mm6  \n\t"
+         "movq   %%mm3, %%mm0  \n\t"
+         "movq   %%mm1, %%mm2  \n\t"
+         SUMSUB_BA( %%mm7, %%mm5 )   /* mm7 = a0 + a1  mm5 = a0 - a1 */
+         "paddw  %%mm3, %%mm7  \n\t" /* mm7 = a0 + a1 + a3 */
+         "paddw  %%mm1, %%mm5  \n\t" /* mm5 = a0 - a1 + a2 */
+         "paddw  %%mm7, %%mm7  \n\t"
+         "paddw  %%mm5, %%mm5  \n\t"
+         "paddw  %%mm6, %%mm7  \n\t" /* mm7 = b4 */
+         "paddw  %%mm4, %%mm5  \n\t" /* mm5 = b5 */
+         SUMSUB_BA( %%mm1, %%mm3 )   /* mm1 = a3 + a2  mm3 = a3 - a2 */
+         "psubw  %%mm1, %%mm4  \n\t" /* mm4 = a0 - a2 - a3 */
+         "movq   %%mm4, %%mm1  \n\t" /* mm1 = a0 - a2 - a3 */
+         "psubw  %%mm6, %%mm3  \n\t" /* mm3 = a3 - a2 - a1 */
+         "paddw  %%mm1, %%mm1  \n\t"
+         "paddw  %%mm3, %%mm3  \n\t"
+         "psubw  %%mm2, %%mm1  \n\t" /* mm1 = b7 */
+         "paddw  %%mm0, %%mm3  \n\t" /* mm3 = b6 */
+         "movq  32(%0), %%mm2  \n\t" /* mm2 = src2 */
+         "movq  96(%0), %%mm6  \n\t" /* mm6 = src6 */
+         "movq   %%mm2, %%mm4  \n\t"
+         "movq   %%mm6, %%mm0  \n\t"
+         "psllw  $2,    %%mm4  \n\t" /* mm4 = 4*src2 */
+         "psllw  $2,    %%mm6  \n\t" /* mm6 = 4*src6 */
+         "paddw  %%mm4, %%mm2  \n\t" /* mm2 = 5*src2 */
+         "paddw  %%mm6, %%mm0  \n\t" /* mm0 = 5*src6 */
+         "paddw  %%mm2, %%mm2  \n\t"
+         "paddw  %%mm0, %%mm0  \n\t"
+         "psubw  %%mm0, %%mm4  \n\t" /* mm4 = 4*src2 - 10*src6 = a7 */
+         "paddw  %%mm2, %%mm6  \n\t" /* mm6 = 4*src6 + 10*src2 = a6 */
+         "movq    (%0), %%mm2  \n\t" /* mm2 = src0 */
+         "movq  64(%0), %%mm0  \n\t" /* mm0 = src4 */
+         SUMSUB_BA( %%mm0, %%mm2 )   /* mm0 = src0+src4  mm2 = src0-src4 */
+         "psllw  $3,    %%mm0  \n\t"
+         "psllw  $3,    %%mm2  \n\t"
+         "paddw  %1,    %%mm0  \n\t" /* add rounding bias */
+         "paddw  %1,    %%mm2  \n\t" /* add rounding bias */
+         SUMSUB_BA( %%mm6, %%mm0 )   /* mm6 = a4 + a6  mm0 = a4 - a6 */
+         SUMSUB_BA( %%mm4, %%mm2 )   /* mm4 = a5 + a7  mm2 = a5 - a7 */
+         SUMSUB_BA( %%mm7, %%mm6 )   /* mm7 = dst0  mm6 = dst7 */
+         SUMSUB_BA( %%mm5, %%mm4 )   /* mm5 = dst1  mm4 = dst6 */
+         SUMSUB_BA( %%mm3, %%mm2 )   /* mm3 = dst2  mm2 = dst5 */
+         SUMSUB_BA( %%mm1, %%mm0 )   /* mm1 = dst3  mm0 = dst4 */
+         :: "r"(block), "m"(bias)
+     );
+ }
+ static void cavs_idct8_add_mmx(uint8_t *dst, int16_t *block, int stride)
+ {
+     int i;
+     DECLARE_ALIGNED(8, int16_t, b2)[64];
+     for(i=0; i<2; i++){
+         DECLARE_ALIGNED(8, uint64_t, tmp);
+         cavs_idct8_1d(block+4*i, ff_pw_4.a);
+         __asm__ volatile(
+             "psraw     $3, %%mm7  \n\t"
+             "psraw     $3, %%mm6  \n\t"
+             "psraw     $3, %%mm5  \n\t"
+             "psraw     $3, %%mm4  \n\t"
+             "psraw     $3, %%mm3  \n\t"
+             "psraw     $3, %%mm2  \n\t"
+             "psraw     $3, %%mm1  \n\t"
+             "psraw     $3, %%mm0  \n\t"
+             "movq   %%mm7,    %0   \n\t"
+             TRANSPOSE4( %%mm0, %%mm2, %%mm4, %%mm6, %%mm7 )
+             "movq   %%mm0,  8(%1)  \n\t"
+             "movq   %%mm6, 24(%1)  \n\t"
+             "movq   %%mm7, 40(%1)  \n\t"
+             "movq   %%mm4, 56(%1)  \n\t"
+             "movq    %0,    %%mm7  \n\t"
+             TRANSPOSE4( %%mm7, %%mm5, %%mm3, %%mm1, %%mm0 )
+             "movq   %%mm7,   (%1)  \n\t"
+             "movq   %%mm1, 16(%1)  \n\t"
+             "movq   %%mm0, 32(%1)  \n\t"
+             "movq   %%mm3, 48(%1)  \n\t"
+             : "=m"(tmp)
+             : "r"(b2+32*i)
+             : "memory"
+         );
+     }
+     for(i=0; i<2; i++){
+         cavs_idct8_1d(b2+4*i, ff_pw_64.a);
+         __asm__ volatile(
+             "psraw     $7, %%mm7  \n\t"
+             "psraw     $7, %%mm6  \n\t"
+             "psraw     $7, %%mm5  \n\t"
+             "psraw     $7, %%mm4  \n\t"
+             "psraw     $7, %%mm3  \n\t"
+             "psraw     $7, %%mm2  \n\t"
+             "psraw     $7, %%mm1  \n\t"
+             "psraw     $7, %%mm0  \n\t"
+             "movq   %%mm7,    (%0)  \n\t"
+             "movq   %%mm5,  16(%0)  \n\t"
+             "movq   %%mm3,  32(%0)  \n\t"
+             "movq   %%mm1,  48(%0)  \n\t"
+             "movq   %%mm0,  64(%0)  \n\t"
+             "movq   %%mm2,  80(%0)  \n\t"
+             "movq   %%mm4,  96(%0)  \n\t"
+             "movq   %%mm6, 112(%0)  \n\t"
+             :: "r"(b2+4*i)
+             : "memory"
+         );
+     }
+     ff_add_pixels_clamped_mmx(b2, dst, stride);
+ }
+ /*****************************************************************************
+  *
+  * motion compensation
+  *
+  ****************************************************************************/
+ /* vertical filter [-1 -2 96 42 -7  0]  */
+ #define QPEL_CAVSV1(A,B,C,D,E,F,OP,MUL2) \
+         "movd (%0), "#F"            \n\t"\
+         "movq "#C", %%mm6           \n\t"\
+         "pmullw %5, %%mm6           \n\t"\
+         "movq "#D", %%mm7           \n\t"\
+         "pmullw "MANGLE(MUL2)", %%mm7\n\t"\
+         "psllw $3, "#E"             \n\t"\
+         "psubw "#E", %%mm6          \n\t"\
+         "psraw $3, "#E"             \n\t"\
+         "paddw %%mm7, %%mm6         \n\t"\
+         "paddw "#E", %%mm6          \n\t"\
+         "paddw "#B", "#B"           \n\t"\
+         "pxor %%mm7, %%mm7          \n\t"\
+         "add %2, %0                 \n\t"\
+         "punpcklbw %%mm7, "#F"      \n\t"\
+         "psubw "#B", %%mm6          \n\t"\
+         "psraw $1, "#B"             \n\t"\
+         "psubw "#A", %%mm6          \n\t"\
+         "paddw %4, %%mm6            \n\t"\
+         "psraw $7, %%mm6            \n\t"\
+         "packuswb %%mm6, %%mm6      \n\t"\
+         OP(%%mm6, (%1), A, d)            \
+         "add %3, %1                 \n\t"
+ /* vertical filter [ 0 -1  5  5 -1  0]  */
+ #define QPEL_CAVSV2(A,B,C,D,E,F,OP,MUL2) \
+         "movd (%0), "#F"            \n\t"\
+         "movq "#C", %%mm6           \n\t"\
+         "paddw "#D", %%mm6          \n\t"\
+         "pmullw %5, %%mm6           \n\t"\
+         "add %2, %0                 \n\t"\
+         "punpcklbw %%mm7, "#F"      \n\t"\
+         "psubw "#B", %%mm6          \n\t"\
+         "psubw "#E", %%mm6          \n\t"\
+         "paddw %4, %%mm6            \n\t"\
+         "psraw $3, %%mm6            \n\t"\
+         "packuswb %%mm6, %%mm6      \n\t"\
+         OP(%%mm6, (%1), A, d)            \
+         "add %3, %1                 \n\t"
+ /* vertical filter [ 0 -7 42 96 -2 -1]  */
+ #define QPEL_CAVSV3(A,B,C,D,E,F,OP,MUL2) \
+         "movd (%0), "#F"            \n\t"\
+         "movq "#C", %%mm6           \n\t"\
+         "pmullw "MANGLE(MUL2)", %%mm6\n\t"\
+         "movq "#D", %%mm7           \n\t"\
+         "pmullw %5, %%mm7           \n\t"\
+         "psllw $3, "#B"             \n\t"\
+         "psubw "#B", %%mm6          \n\t"\
+         "psraw $3, "#B"             \n\t"\
+         "paddw %%mm7, %%mm6         \n\t"\
+         "paddw "#B", %%mm6          \n\t"\
+         "paddw "#E", "#E"           \n\t"\
+         "pxor %%mm7, %%mm7          \n\t"\
+         "add %2, %0                 \n\t"\
+         "punpcklbw %%mm7, "#F"      \n\t"\
+         "psubw "#E", %%mm6          \n\t"\
+         "psraw $1, "#E"             \n\t"\
+         "psubw "#F", %%mm6          \n\t"\
+         "paddw %4, %%mm6            \n\t"\
+         "psraw $7, %%mm6            \n\t"\
+         "packuswb %%mm6, %%mm6      \n\t"\
+         OP(%%mm6, (%1), A, d)            \
+         "add %3, %1                 \n\t"
+ #define QPEL_CAVSVNUM(VOP,OP,ADD,MUL1,MUL2)\
+     int w= 2;\
+     src -= 2*srcStride;\
+     \
+     while(w--){\
+       __asm__ volatile(\
+         "pxor %%mm7, %%mm7          \n\t"\
+         "movd (%0), %%mm0           \n\t"\
+         "add %2, %0                 \n\t"\
+         "movd (%0), %%mm1           \n\t"\
+         "add %2, %0                 \n\t"\
+         "movd (%0), %%mm2           \n\t"\
+         "add %2, %0                 \n\t"\
+         "movd (%0), %%mm3           \n\t"\
+         "add %2, %0                 \n\t"\
+         "movd (%0), %%mm4           \n\t"\
+         "add %2, %0                 \n\t"\
+         "punpcklbw %%mm7, %%mm0     \n\t"\
+         "punpcklbw %%mm7, %%mm1     \n\t"\
+         "punpcklbw %%mm7, %%mm2     \n\t"\
+         "punpcklbw %%mm7, %%mm3     \n\t"\
+         "punpcklbw %%mm7, %%mm4     \n\t"\
+         VOP(%%mm0, %%mm1, %%mm2, %%mm3, %%mm4, %%mm5, OP, MUL2)\
+         VOP(%%mm1, %%mm2, %%mm3, %%mm4, %%mm5, %%mm0, OP, MUL2)\
+         VOP(%%mm2, %%mm3, %%mm4, %%mm5, %%mm0, %%mm1, OP, MUL2)\
+         VOP(%%mm3, %%mm4, %%mm5, %%mm0, %%mm1, %%mm2, OP, MUL2)\
+         VOP(%%mm4, %%mm5, %%mm0, %%mm1, %%mm2, %%mm3, OP, MUL2)\
+         VOP(%%mm5, %%mm0, %%mm1, %%mm2, %%mm3, %%mm4, OP, MUL2)\
+         VOP(%%mm0, %%mm1, %%mm2, %%mm3, %%mm4, %%mm5, OP, MUL2)\
+         VOP(%%mm1, %%mm2, %%mm3, %%mm4, %%mm5, %%mm0, OP, MUL2)\
+         \
+         : "+a"(src), "+c"(dst)\
+         : "S"((x86_reg)srcStride), "r"((x86_reg)dstStride), "m"(ADD), "m"(MUL1)\
+         : "memory"\
+      );\
+      if(h==16){\
+         __asm__ volatile(\
+             VOP(%%mm2, %%mm3, %%mm4, %%mm5, %%mm0, %%mm1, OP, MUL2)\
+             VOP(%%mm3, %%mm4, %%mm5, %%mm0, %%mm1, %%mm2, OP, MUL2)\
+             VOP(%%mm4, %%mm5, %%mm0, %%mm1, %%mm2, %%mm3, OP, MUL2)\
+             VOP(%%mm5, %%mm0, %%mm1, %%mm2, %%mm3, %%mm4, OP, MUL2)\
+             VOP(%%mm0, %%mm1, %%mm2, %%mm3, %%mm4, %%mm5, OP, MUL2)\
+             VOP(%%mm1, %%mm2, %%mm3, %%mm4, %%mm5, %%mm0, OP, MUL2)\
+             VOP(%%mm2, %%mm3, %%mm4, %%mm5, %%mm0, %%mm1, OP, MUL2)\
+             VOP(%%mm3, %%mm4, %%mm5, %%mm0, %%mm1, %%mm2, OP, MUL2)\
+             \
+            : "+a"(src), "+c"(dst)\
+            : "S"((x86_reg)srcStride), "r"((x86_reg)dstStride), "m"(ADD),  "m"(MUL1)\
+            : "memory"\
+         );\
+      }\
+      src += 4-(h+5)*srcStride;\
+      dst += 4-h*dstStride;\
+    }
+ #define QPEL_CAVS(OPNAME, OP, MMX)\
+ static void OPNAME ## cavs_qpel8_h_ ## MMX(uint8_t *dst, uint8_t *src, int dstStride, int srcStride){\
+     int h=8;\
+     __asm__ volatile(\
+         "pxor %%mm7, %%mm7          \n\t"\
+         "movq %5, %%mm6             \n\t"\
+         "1:                         \n\t"\
+         "movq    (%0), %%mm0        \n\t"\
+         "movq   1(%0), %%mm2        \n\t"\
+         "movq %%mm0, %%mm1          \n\t"\
+         "movq %%mm2, %%mm3          \n\t"\
+         "punpcklbw %%mm7, %%mm0     \n\t"\
+         "punpckhbw %%mm7, %%mm1     \n\t"\
+         "punpcklbw %%mm7, %%mm2     \n\t"\
+         "punpckhbw %%mm7, %%mm3     \n\t"\
+         "paddw %%mm2, %%mm0         \n\t"\
+         "paddw %%mm3, %%mm1         \n\t"\
+         "pmullw %%mm6, %%mm0        \n\t"\
+         "pmullw %%mm6, %%mm1        \n\t"\
+         "movq   -1(%0), %%mm2       \n\t"\
+         "movq    2(%0), %%mm4       \n\t"\
+         "movq %%mm2, %%mm3          \n\t"\
+         "movq %%mm4, %%mm5          \n\t"\
+         "punpcklbw %%mm7, %%mm2     \n\t"\
+         "punpckhbw %%mm7, %%mm3     \n\t"\
+         "punpcklbw %%mm7, %%mm4     \n\t"\
+         "punpckhbw %%mm7, %%mm5     \n\t"\
+         "paddw %%mm4, %%mm2         \n\t"\
+         "paddw %%mm3, %%mm5         \n\t"\
+         "psubw %%mm2, %%mm0         \n\t"\
+         "psubw %%mm5, %%mm1         \n\t"\
+         "movq %6, %%mm5             \n\t"\
+         "paddw %%mm5, %%mm0         \n\t"\
+         "paddw %%mm5, %%mm1         \n\t"\
+         "psraw $3, %%mm0            \n\t"\
+         "psraw $3, %%mm1            \n\t"\
+         "packuswb %%mm1, %%mm0      \n\t"\
+         OP(%%mm0, (%1),%%mm5, q)         \
+         "add %3, %0                 \n\t"\
+         "add %4, %1                 \n\t"\
+         "decl %2                    \n\t"\
+         " jnz 1b                    \n\t"\
+         : "+a"(src), "+c"(dst), "+m"(h)\
+         : "d"((x86_reg)srcStride), "S"((x86_reg)dstStride), "m"(ff_pw_5), "m"(ff_pw_4)\
+         : "memory"\
+     );\
+ }\
+ \
+ static inline void OPNAME ## cavs_qpel8or16_v1_ ## MMX(uint8_t *dst, uint8_t *src, int dstStride, int srcStride, int h){\
+   QPEL_CAVSVNUM(QPEL_CAVSV1,OP,ff_pw_64,ff_pw_96,ff_pw_42)      \
+ }\
+ \
+ static inline void OPNAME ## cavs_qpel8or16_v2_ ## MMX(uint8_t *dst, uint8_t *src, int dstStride, int srcStride, int h){\
+   QPEL_CAVSVNUM(QPEL_CAVSV2,OP,ff_pw_4,ff_pw_5,ff_pw_5)         \
+ }\
+ \
+ static inline void OPNAME ## cavs_qpel8or16_v3_ ## MMX(uint8_t *dst, uint8_t *src, int dstStride, int srcStride, int h){\
+   QPEL_CAVSVNUM(QPEL_CAVSV3,OP,ff_pw_64,ff_pw_96,ff_pw_42)      \
+ }\
+ \
+ static void OPNAME ## cavs_qpel8_v1_ ## MMX(uint8_t *dst, uint8_t *src, int dstStride, int srcStride){\
+     OPNAME ## cavs_qpel8or16_v1_ ## MMX(dst  , src  , dstStride, srcStride, 8);\
+ }\
+ static void OPNAME ## cavs_qpel16_v1_ ## MMX(uint8_t *dst, uint8_t *src, int dstStride, int srcStride){\
+     OPNAME ## cavs_qpel8or16_v1_ ## MMX(dst  , src  , dstStride, srcStride, 16);\
+     OPNAME ## cavs_qpel8or16_v1_ ## MMX(dst+8, src+8, dstStride, srcStride, 16);\
+ }\
+ \
+ static void OPNAME ## cavs_qpel8_v2_ ## MMX(uint8_t *dst, uint8_t *src, int dstStride, int srcStride){\
+     OPNAME ## cavs_qpel8or16_v2_ ## MMX(dst  , src  , dstStride, srcStride, 8);\
+ }\
+ static void OPNAME ## cavs_qpel16_v2_ ## MMX(uint8_t *dst, uint8_t *src, int dstStride, int srcStride){\
+     OPNAME ## cavs_qpel8or16_v2_ ## MMX(dst  , src  , dstStride, srcStride, 16);\
+     OPNAME ## cavs_qpel8or16_v2_ ## MMX(dst+8, src+8, dstStride, srcStride, 16);\
+ }\
+ \
+ static void OPNAME ## cavs_qpel8_v3_ ## MMX(uint8_t *dst, uint8_t *src, int dstStride, int srcStride){\
+     OPNAME ## cavs_qpel8or16_v3_ ## MMX(dst  , src  , dstStride, srcStride, 8);\
+ }\
+ static void OPNAME ## cavs_qpel16_v3_ ## MMX(uint8_t *dst, uint8_t *src, int dstStride, int srcStride){\
+     OPNAME ## cavs_qpel8or16_v3_ ## MMX(dst  , src  , dstStride, srcStride, 16);\
+     OPNAME ## cavs_qpel8or16_v3_ ## MMX(dst+8, src+8, dstStride, srcStride, 16);\
+ }\
+ \
+ static void OPNAME ## cavs_qpel16_h_ ## MMX(uint8_t *dst, uint8_t *src, int dstStride, int srcStride){\
+     OPNAME ## cavs_qpel8_h_ ## MMX(dst  , src  , dstStride, srcStride);\
+     OPNAME ## cavs_qpel8_h_ ## MMX(dst+8, src+8, dstStride, srcStride);\
+     src += 8*srcStride;\
+     dst += 8*dstStride;\
+     OPNAME ## cavs_qpel8_h_ ## MMX(dst  , src  , dstStride, srcStride);\
+     OPNAME ## cavs_qpel8_h_ ## MMX(dst+8, src+8, dstStride, srcStride);\
+ }\
+ #define CAVS_MC(OPNAME, SIZE, MMX) \
+ static void ff_ ## OPNAME ## cavs_qpel ## SIZE ## _mc20_ ## MMX(uint8_t *dst, uint8_t *src, int stride){\
+     OPNAME ## cavs_qpel ## SIZE ## _h_ ## MMX(dst, src, stride, stride);\
+ }\
+ \
+ static void ff_ ## OPNAME ## cavs_qpel ## SIZE ## _mc01_ ## MMX(uint8_t *dst, uint8_t *src, int stride){\
+     OPNAME ## cavs_qpel ## SIZE ## _v1_ ## MMX(dst, src, stride, stride);\
+ }\
+ \
+ static void ff_ ## OPNAME ## cavs_qpel ## SIZE ## _mc02_ ## MMX(uint8_t *dst, uint8_t *src, int stride){\
+     OPNAME ## cavs_qpel ## SIZE ## _v2_ ## MMX(dst, src, stride, stride);\
+ }\
+ \
+ static void ff_ ## OPNAME ## cavs_qpel ## SIZE ## _mc03_ ## MMX(uint8_t *dst, uint8_t *src, int stride){\
+     OPNAME ## cavs_qpel ## SIZE ## _v3_ ## MMX(dst, src, stride, stride);\
+ }\
+ #define PUT_OP(a,b,temp, size) "mov" #size " " #a ", " #b "    \n\t"
+ #define AVG_3DNOW_OP(a,b,temp, size) \
+ "mov" #size " " #b ", " #temp "   \n\t"\
+ "pavgusb " #temp ", " #a "        \n\t"\
+ "mov" #size " " #a ", " #b "      \n\t"
+ #define AVG_MMX2_OP(a,b,temp, size) \
+ "mov" #size " " #b ", " #temp "   \n\t"\
+ "pavgb " #temp ", " #a "          \n\t"\
+ "mov" #size " " #a ", " #b "      \n\t"
+ QPEL_CAVS(put_,       PUT_OP, 3dnow)
+ QPEL_CAVS(avg_, AVG_3DNOW_OP, 3dnow)
+ QPEL_CAVS(put_,       PUT_OP, mmx2)
+ QPEL_CAVS(avg_,  AVG_MMX2_OP, mmx2)
+ CAVS_MC(put_, 8, 3dnow)
+ CAVS_MC(put_, 16,3dnow)
+ CAVS_MC(avg_, 8, 3dnow)
+ CAVS_MC(avg_, 16,3dnow)
+ CAVS_MC(put_, 8, mmx2)
+ CAVS_MC(put_, 16,mmx2)
+ CAVS_MC(avg_, 8, mmx2)
+ CAVS_MC(avg_, 16,mmx2)
+ static void ff_cavsdsp_init_mmx2(CAVSDSPContext* c, AVCodecContext *avctx) {
+ #define dspfunc(PFX, IDX, NUM) \
+     c->PFX ## _pixels_tab[IDX][ 0] = ff_ ## PFX ## NUM ## _mc00_mmx2; \
+     c->PFX ## _pixels_tab[IDX][ 2] = ff_ ## PFX ## NUM ## _mc20_mmx2; \
+     c->PFX ## _pixels_tab[IDX][ 4] = ff_ ## PFX ## NUM ## _mc01_mmx2; \
+     c->PFX ## _pixels_tab[IDX][ 8] = ff_ ## PFX ## NUM ## _mc02_mmx2; \
+     c->PFX ## _pixels_tab[IDX][12] = ff_ ## PFX ## NUM ## _mc03_mmx2; \
+     dspfunc(put_cavs_qpel, 0, 16);
+     dspfunc(put_cavs_qpel, 1, 8);
+     dspfunc(avg_cavs_qpel, 0, 16);
+     dspfunc(avg_cavs_qpel, 1, 8);
+ #undef dspfunc
+     c->cavs_idct8_add = cavs_idct8_add_mmx;
+ }
+ static void ff_cavsdsp_init_3dnow(CAVSDSPContext* c, AVCodecContext *avctx) {
+ #define dspfunc(PFX, IDX, NUM) \
+     c->PFX ## _pixels_tab[IDX][ 0] = ff_ ## PFX ## NUM ## _mc00_mmx2; \
+     c->PFX ## _pixels_tab[IDX][ 2] = ff_ ## PFX ## NUM ## _mc20_3dnow; \
+     c->PFX ## _pixels_tab[IDX][ 4] = ff_ ## PFX ## NUM ## _mc01_3dnow; \
+     c->PFX ## _pixels_tab[IDX][ 8] = ff_ ## PFX ## NUM ## _mc02_3dnow; \
+     c->PFX ## _pixels_tab[IDX][12] = ff_ ## PFX ## NUM ## _mc03_3dnow; \
+     dspfunc(put_cavs_qpel, 0, 16);
+     dspfunc(put_cavs_qpel, 1, 8);
+     dspfunc(avg_cavs_qpel, 0, 16);
+     dspfunc(avg_cavs_qpel, 1, 8);
+ #undef dspfunc
+     c->cavs_idct8_add = cavs_idct8_add_mmx;
+ }
+ #endif /* HAVE_INLINE_ASM */
+ void ff_cavsdsp_init_mmx(CAVSDSPContext *c, AVCodecContext *avctx)
+ {
+     int mm_flags = av_get_cpu_flags();
+ #if HAVE_INLINE_ASM
+     if (mm_flags & AV_CPU_FLAG_MMXEXT) ff_cavsdsp_init_mmx2(c, avctx);
+     if (mm_flags & AV_CPU_FLAG_3DNOW) ff_cavsdsp_init_3dnow(c, avctx);
+ #endif /* HAVE_INLINE_ASM */
+ }
index 0000000,9d6169c..02b5f3f
mode 000000,100644..100644
--- /dev/null
@@@ -1,0 -1,491 +1,491 @@@
 -;* This file is part of Libav.
+ ;******************************************************************************
+ ;* 32 point SSE-optimized DCT transform
+ ;* Copyright (c) 2010 Vitor Sessak
+ ;*
 -;* Libav is free software; you can redistribute it and/or
++;* This file is part of FFmpeg.
+ ;*
 -;* Libav is distributed in the hope that it will be useful,
++;* FFmpeg is free software; you can redistribute it and/or
+ ;* modify it under the terms of the GNU Lesser General Public
+ ;* License as published by the Free Software Foundation; either
+ ;* version 2.1 of the License, or (at your option) any later version.
+ ;*
 -;* License along with Libav; if not, write to the Free Software
++;* FFmpeg is distributed in the hope that it will be useful,
+ ;* but WITHOUT ANY WARRANTY; without even the implied warranty of
+ ;* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
+ ;* Lesser General Public License for more details.
+ ;*
+ ;* You should have received a copy of the GNU Lesser General Public
 -%include "x86inc.asm"
 -%include "x86util.asm"
++;* License along with FFmpeg; if not, write to the Free Software
+ ;* Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
+ ;******************************************************************************
++%include "libavutil/x86/x86inc.asm"
++%include "libavutil/x86/x86util.asm"
+ SECTION_RODATA 32
+ align 32
+ ps_cos_vec: dd   0.500603,  0.505471,  0.515447,  0.531043
+             dd   0.553104,  0.582935,  0.622504,  0.674808
+             dd -10.190008, -3.407609, -2.057781, -1.484165
+             dd  -1.169440, -0.972568, -0.839350, -0.744536
+             dd   0.502419,  0.522499,  0.566944,  0.646822
+             dd   0.788155,  1.060678,  1.722447,  5.101149
+             dd   0.509796,  0.601345,  0.899976,  2.562916
+             dd   0.509796,  0.601345,  0.899976,  2.562916
+             dd   1.000000,  1.000000,  1.306563,  0.541196
+             dd   1.000000,  1.000000,  1.306563,  0.541196
+             dd   1.000000,  0.707107,  1.000000, -0.707107
+             dd   1.000000,  0.707107,  1.000000, -0.707107
+             dd   0.707107,  0.707107,  0.707107,  0.707107
+ align 32
+ ps_p1p1m1m1: dd 0, 0, 0x80000000, 0x80000000, 0, 0, 0x80000000, 0x80000000
+ %macro BUTTERFLY 4
+     subps  %4, %1, %2
+     addps  %2, %2, %1
+     mulps  %1, %4, %3
+ %endmacro
+ %macro BUTTERFLY0 5
+ %if cpuflag(sse2) && notcpuflag(avx)
+     pshufd %4, %1, %5
+     xorps  %1, %2
+     addps  %1, %4
+     mulps  %1, %3
+ %else
+     shufps %4, %1, %1, %5
+     xorps  %1, %1, %2
+     addps  %4, %4, %1
+     mulps  %1, %4, %3
+ %endif
+ %endmacro
+ %macro BUTTERFLY2 4
+     BUTTERFLY0 %1, %2, %3, %4, 0x1b
+ %endmacro
+ %macro BUTTERFLY3 4
+     BUTTERFLY0 %1, %2, %3, %4, 0xb1
+ %endmacro
+ %macro BUTTERFLY3V 5
+     movaps m%5, m%1
+     addps  m%1, m%2
+     subps  m%5, m%2
+     SWAP %2, %5
+     mulps  m%2, [ps_cos_vec+192]
+     movaps m%5, m%3
+     addps  m%3, m%4
+     subps  m%4, m%5
+     mulps  m%4, [ps_cos_vec+192]
+ %endmacro
+ %macro PASS6_AND_PERMUTE 0
+     mov         tmpd, [outq+4]
+     movss         m7, [outq+72]
+     addss         m7, [outq+76]
+     movss         m3, [outq+56]
+     addss         m3, [outq+60]
+     addss         m4, m3
+     movss         m2, [outq+52]
+     addss         m2, m3
+     movss         m3, [outq+104]
+     addss         m3, [outq+108]
+     addss         m1, m3
+     addss         m5, m4
+     movss [outq+ 16], m1
+     movss         m1, [outq+100]
+     addss         m1, m3
+     movss         m3, [outq+40]
+     movss [outq+ 48], m1
+     addss         m3, [outq+44]
+     movss         m1, [outq+100]
+     addss         m4, m3
+     addss         m3, m2
+     addss         m1, [outq+108]
+     movss [outq+ 40], m3
+     addss         m2, [outq+36]
+     movss         m3, [outq+8]
+     movss [outq+ 56], m2
+     addss         m3, [outq+12]
+     movss [outq+ 32], m3
+     movss         m3, [outq+80]
+     movss [outq+  8], m5
+     movss [outq+ 80], m1
+     movss         m2, [outq+52]
+     movss         m5, [outq+120]
+     addss         m5, [outq+124]
+     movss         m1, [outq+64]
+     addss         m2, [outq+60]
+     addss         m0, m5
+     addss         m5, [outq+116]
+     mov    [outq+64], tmpd
+     addss         m6, m0
+     addss         m1, m6
+     mov         tmpd, [outq+12]
+     mov   [outq+ 96], tmpd
+     movss [outq+  4], m1
+     movss         m1, [outq+24]
+     movss [outq+ 24], m4
+     movss         m4, [outq+88]
+     addss         m4, [outq+92]
+     addss         m3, m4
+     addss         m4, [outq+84]
+     mov         tmpd, [outq+108]
+     addss         m1, [outq+28]
+     addss         m0, m1
+     addss         m1, m5
+     addss         m6, m3
+     addss         m3, m0
+     addss         m0, m7
+     addss         m5, [outq+20]
+     addss         m7, m1
+     movss [outq+ 12], m6
+     mov   [outq+112], tmpd
+     movss         m6, [outq+28]
+     movss [outq+ 28], m0
+     movss         m0, [outq+36]
+     movss [outq+ 36], m7
+     addss         m1, m4
+     movss         m7, [outq+116]
+     addss         m0, m2
+     addss         m7, [outq+124]
+     movss [outq+ 72], m0
+     movss         m0, [outq+44]
+     addss         m2, m0
+     movss [outq+ 44], m1
+     movss [outq+ 88], m2
+     addss         m0, [outq+60]
+     mov         tmpd, [outq+60]
+     mov   [outq+120], tmpd
+     movss [outq+104], m0
+     addss         m4, m5
+     addss         m5, [outq+68]
+     movss  [outq+52], m4
+     movss  [outq+60], m5
+     movss         m4, [outq+68]
+     movss         m5, [outq+20]
+     movss [outq+ 20], m3
+     addss         m5, m7
+     addss         m7, m6
+     addss         m4, m5
+     movss         m2, [outq+84]
+     addss         m2, [outq+92]
+     addss         m5, m2
+     movss [outq+ 68], m4
+     addss         m2, m7
+     movss         m4, [outq+76]
+     movss [outq+ 84], m2
+     movss [outq+ 76], m5
+     addss         m7, m4
+     addss         m6, [outq+124]
+     addss         m4, m6
+     addss         m6, [outq+92]
+     movss [outq+100], m4
+     movss [outq+108], m6
+     movss         m6, [outq+92]
+     movss  [outq+92], m7
+     addss         m6, [outq+124]
+     movss [outq+116], m6
+ %endmacro
+ INIT_YMM avx
+ SECTION_TEXT
+ %if HAVE_AVX
+ ; void ff_dct32_float_avx(FFTSample *out, const FFTSample *in)
+ cglobal dct32_float, 2,3,8, out, in, tmp
+     ; pass 1
+     vmovaps     m4, [inq+0]
+     vinsertf128 m5, m5, [inq+96], 1
+     vinsertf128 m5, m5, [inq+112], 0
+     vshufps     m5, m5, m5, 0x1b
+     BUTTERFLY   m4, m5, [ps_cos_vec], m6
+     vmovaps     m2, [inq+64]
+     vinsertf128 m6, m6, [inq+32], 1
+     vinsertf128 m6, m6, [inq+48], 0
+     vshufps     m6, m6, m6, 0x1b
+     BUTTERFLY   m2, m6, [ps_cos_vec+32], m0
+     ; pass 2
+     BUTTERFLY  m5, m6, [ps_cos_vec+64], m0
+     BUTTERFLY  m4, m2, [ps_cos_vec+64], m7
+     ; pass 3
+     vperm2f128  m3, m6, m4, 0x31
+     vperm2f128  m1, m6, m4, 0x20
+     vshufps     m3, m3, m3, 0x1b
+     BUTTERFLY   m1, m3, [ps_cos_vec+96], m6
+     vperm2f128  m4, m5, m2, 0x20
+     vperm2f128  m5, m5, m2, 0x31
+     vshufps     m5, m5, m5, 0x1b
+     BUTTERFLY   m4, m5, [ps_cos_vec+96], m6
+     ; pass 4
+     vmovaps m6, [ps_p1p1m1m1+0]
+     vmovaps m2, [ps_cos_vec+128]
+     BUTTERFLY2  m5, m6, m2, m7
+     BUTTERFLY2  m4, m6, m2, m7
+     BUTTERFLY2  m1, m6, m2, m7
+     BUTTERFLY2  m3, m6, m2, m7
+     ; pass 5
+     vshufps m6, m6, m6, 0xcc
+     vmovaps m2, [ps_cos_vec+160]
+     BUTTERFLY3  m5, m6, m2, m7
+     BUTTERFLY3  m4, m6, m2, m7
+     BUTTERFLY3  m1, m6, m2, m7
+     BUTTERFLY3  m3, m6, m2, m7
+     vperm2f128  m6, m3, m3, 0x31
+     vmovaps [outq], m3
+     vextractf128  [outq+64], m5, 1
+     vextractf128  [outq+32], m5, 0
+     vextractf128  [outq+80], m4, 1
+     vextractf128  [outq+48], m4, 0
+     vperm2f128  m0, m1, m1, 0x31
+     vmovaps [outq+96], m1
+     vzeroupper
+     ;    pass 6, no SIMD...
+ INIT_XMM
+     PASS6_AND_PERMUTE
+     RET
+ %endif
+ %if ARCH_X86_64
+ %define SPILL SWAP
+ %define UNSPILL SWAP
+ %macro PASS5 0
+     nop ; FIXME code alignment
+     SWAP 5, 8
+     SWAP 4, 12
+     SWAP 6, 14
+     SWAP 7, 13
+     SWAP 0, 15
+     PERMUTE 9,10, 10,12, 11,14, 12,9, 13,11, 14,13
+     TRANSPOSE4x4PS 8, 9, 10, 11, 0
+     BUTTERFLY3V    8, 9, 10, 11, 0
+     addps   m10, m11
+     TRANSPOSE4x4PS 12, 13, 14, 15, 0
+     BUTTERFLY3V    12, 13, 14, 15, 0
+     addps   m14, m15
+     addps   m12, m14
+     addps   m14, m13
+     addps   m13, m15
+ %endmacro
+ %macro PASS6 0
+     SWAP 9, 12
+     SWAP 11, 14
+     movss [outq+0x00], m8
+     pshuflw m0, m8, 0xe
+     movss [outq+0x10], m9
+     pshuflw m1, m9, 0xe
+     movss [outq+0x20], m10
+     pshuflw m2, m10, 0xe
+     movss [outq+0x30], m11
+     pshuflw m3, m11, 0xe
+     movss [outq+0x40], m12
+     pshuflw m4, m12, 0xe
+     movss [outq+0x50], m13
+     pshuflw m5, m13, 0xe
+     movss [outq+0x60], m14
+     pshuflw m6, m14, 0xe
+     movaps [outq+0x70], m15
+     pshuflw m7, m15, 0xe
+     addss   m0, m1
+     addss   m1, m2
+     movss [outq+0x08], m0
+     addss   m2, m3
+     movss [outq+0x18], m1
+     addss   m3, m4
+     movss [outq+0x28], m2
+     addss   m4, m5
+     movss [outq+0x38], m3
+     addss   m5, m6
+     movss [outq+0x48], m4
+     addss   m6, m7
+     movss [outq+0x58], m5
+     movss [outq+0x68], m6
+     movss [outq+0x78], m7
+     PERMUTE 1,8, 3,9, 5,10, 7,11, 9,12, 11,13, 13,14, 8,1, 10,3, 12,5, 14,7
+     movhlps m0, m1
+     pshufd  m1, m1, 3
+     SWAP 0, 2, 4, 6, 8, 10, 12, 14
+     SWAP 1, 3, 5, 7, 9, 11, 13, 15
+ %rep 7
+     movhlps m0, m1
+     pshufd  m1, m1, 3
+     addss   m15, m1
+     SWAP 0, 2, 4, 6, 8, 10, 12, 14
+     SWAP 1, 3, 5, 7, 9, 11, 13, 15
+ %endrep
+ %assign i 4
+ %rep 15
+     addss m0, m1
+     movss [outq+i], m0
+     SWAP 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15
+     %assign i i+8
+ %endrep
+ %endmacro
+ %else ; ARCH_X86_32
+ %macro SPILL 2 ; xmm#, mempos
+     movaps [outq+(%2-8)*16], m%1
+ %endmacro
+ %macro UNSPILL 2
+     movaps m%1, [outq+(%2-8)*16]
+ %endmacro
+ %define PASS6 PASS6_AND_PERMUTE
+ %macro PASS5 0
+     movaps      m2, [ps_cos_vec+160]
+     shufps      m3, m3, 0xcc
+     BUTTERFLY3  m5, m3, m2, m1
+     SPILL 5, 8
+     UNSPILL 1, 9
+     BUTTERFLY3  m1, m3, m2, m5
+     SPILL 1, 14
+     BUTTERFLY3  m4, m3, m2, m5
+     SPILL 4, 12
+     BUTTERFLY3  m7, m3, m2, m5
+     SPILL 7, 13
+     UNSPILL 5, 10
+     BUTTERFLY3  m5, m3, m2, m7
+     SPILL 5, 10
+     UNSPILL 4, 11
+     BUTTERFLY3  m4, m3, m2, m7
+     SPILL 4, 11
+     BUTTERFLY3  m6, m3, m2, m7
+     SPILL 6, 9
+     BUTTERFLY3  m0, m3, m2, m7
+     SPILL 0, 15
+ %endmacro
+ %endif
+ ; void ff_dct32_float_sse(FFTSample *out, const FFTSample *in)
+ %macro DCT32_FUNC 0
+ cglobal dct32_float, 2, 3, 16, out, in, tmp
+     ; pass 1
+     movaps      m0, [inq+0]
+     LOAD_INV    m1, [inq+112]
+     BUTTERFLY   m0, m1, [ps_cos_vec], m3
+     movaps      m7, [inq+64]
+     LOAD_INV    m4, [inq+48]
+     BUTTERFLY   m7, m4, [ps_cos_vec+32], m3
+     ; pass 2
+     movaps      m2, [ps_cos_vec+64]
+     BUTTERFLY   m1, m4, m2, m3
+     SPILL 1, 11
+     SPILL 4, 8
+     ; pass 1
+     movaps      m1, [inq+16]
+     LOAD_INV    m6, [inq+96]
+     BUTTERFLY   m1, m6, [ps_cos_vec+16], m3
+     movaps      m4, [inq+80]
+     LOAD_INV    m5, [inq+32]
+     BUTTERFLY   m4, m5, [ps_cos_vec+48], m3
+     ; pass 2
+     BUTTERFLY   m0, m7, m2, m3
+     movaps      m2, [ps_cos_vec+80]
+     BUTTERFLY   m6, m5, m2, m3
+     BUTTERFLY   m1, m4, m2, m3
+     ; pass 3
+     movaps      m2, [ps_cos_vec+96]
+     shufps      m1, m1, 0x1b
+     BUTTERFLY   m0, m1, m2, m3
+     SPILL 0, 15
+     SPILL 1, 14
+     UNSPILL 0, 8
+     shufps      m5, m5, 0x1b
+     BUTTERFLY   m0, m5, m2, m3
+     UNSPILL 1, 11
+     shufps      m6, m6, 0x1b
+     BUTTERFLY   m1, m6, m2, m3
+     SPILL 1, 11
+     shufps      m4, m4, 0x1b
+     BUTTERFLY   m7, m4, m2, m3
+     ; pass 4
+     movaps      m3, [ps_p1p1m1m1+0]
+     movaps      m2, [ps_cos_vec+128]
+     BUTTERFLY2  m5, m3, m2, m1
+     BUTTERFLY2  m0, m3, m2, m1
+     SPILL 0, 9
+     BUTTERFLY2  m6, m3, m2, m1
+     SPILL 6, 10
+     UNSPILL 0, 11
+     BUTTERFLY2  m0, m3, m2, m1
+     SPILL 0, 11
+     BUTTERFLY2  m4, m3, m2, m1
+     BUTTERFLY2  m7, m3, m2, m1
+     UNSPILL 6, 14
+     BUTTERFLY2  m6, m3, m2, m1
+     UNSPILL 0, 15
+     BUTTERFLY2  m0, m3, m2, m1
+     PASS5
+     PASS6
+     RET
+ %endmacro
+ %macro LOAD_INV 2
+ %if cpuflag(sse2)
+     pshufd      %1, %2, 0x1b
+ %elif cpuflag(sse)
+     movaps      %1, %2
+     shufps      %1, %1, 0x1b
+ %endif
+ %endmacro
+ INIT_XMM sse
+ DCT32_FUNC
+ INIT_XMM sse2
+ DCT32_FUNC
Simple merge
index 0000000,f9bd3f2..566e0b6
mode 000000,100644..100644
--- /dev/null
@@@ -1,0 -1,585 +1,585 @@@
 - * This file is part of Libav.
+ /*
+  * MMX optimized forward DCT
+  * The gcc porting is Copyright (c) 2001 Fabrice Bellard.
+  * cleanup/optimizations are Copyright (c) 2002-2004 Michael Niedermayer <michaelni@gmx.at>
+  * SSE2 optimization is Copyright (c) 2004 Denes Balatoni.
+  *
+  * from  fdctam32.c - AP922 MMX(3D-Now) forward-DCT
+  *
+  *  Intel Application Note AP-922 - fast, precise implementation of DCT
+  *        http://developer.intel.com/vtune/cbts/appnotes.htm
+  *
+  * Also of inspiration:
+  * a page about fdct at http://www.geocities.com/ssavekar/dct.htm
+  * Skal's fdct at http://skal.planet-d.net/coding/dct.html
+  *
 - * Libav is free software; you can redistribute it and/or
++ * This file is part of FFmpeg.
+  *
 - * Libav is distributed in the hope that it will be useful,
++ * FFmpeg is free software; you can redistribute it and/or
+  * modify it under the terms of the GNU Lesser General Public
+  * License as published by the Free Software Foundation; either
+  * version 2.1 of the License, or (at your option) any later version.
+  *
 - * License along with Libav; if not, write to the Free Software
++ * FFmpeg is distributed in the hope that it will be useful,
+  * but WITHOUT ANY WARRANTY; without even the implied warranty of
+  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
+  * Lesser General Public License for more details.
+  *
+  * You should have received a copy of the GNU Lesser General Public
 -static struct
++ * License along with FFmpeg; if not, write to the Free Software
+  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
+  */
+ #include "libavutil/common.h"
+ #include "libavutil/x86/asm.h"
+ #include "libavcodec/dsputil.h"
+ #if HAVE_INLINE_ASM
+ //////////////////////////////////////////////////////////////////////
+ //
+ // constants for the forward DCT
+ // -----------------------------
+ //
+ // Be sure to check that your compiler is aligning all constants to QWORD
+ // (8-byte) memory boundaries!  Otherwise the unaligned memory access will
+ // severely stall MMX execution.
+ //
+ //////////////////////////////////////////////////////////////////////
+ #define BITS_FRW_ACC   3 //; 2 or 3 for accuracy
+ #define SHIFT_FRW_COL  BITS_FRW_ACC
+ #define SHIFT_FRW_ROW  (BITS_FRW_ACC + 17 - 3)
+ #define RND_FRW_ROW    (1 << (SHIFT_FRW_ROW-1))
+ //#define RND_FRW_COL    (1 << (SHIFT_FRW_COL-1))
+ #define X8(x) x,x,x,x,x,x,x,x
+ //concatenated table, for forward DCT transformation
+ DECLARE_ALIGNED(16, static const int16_t, fdct_tg_all_16)[24] = {
+     X8(13036),  // tg * (2<<16) + 0.5
+     X8(27146),  // tg * (2<<16) + 0.5
+     X8(-21746)  // tg * (2<<16) + 0.5
+ };
+ DECLARE_ALIGNED(16, static const int16_t, ocos_4_16)[8] = {
+     X8(23170)   //cos * (2<<15) + 0.5
+ };
+ DECLARE_ALIGNED(16, static const int16_t, fdct_one_corr)[8] = { X8(1) };
+ DECLARE_ALIGNED(8, static const int32_t, fdct_r_row)[2] = {RND_FRW_ROW, RND_FRW_ROW };
 -static struct
++static const struct
+ {
+  DECLARE_ALIGNED(16, const int32_t, fdct_r_row_sse2)[4];
+ } fdct_r_row_sse2 =
+ {{
+  RND_FRW_ROW, RND_FRW_ROW, RND_FRW_ROW, RND_FRW_ROW
+ }};
+ //DECLARE_ALIGNED(16, static const long, fdct_r_row_sse2)[4] = {RND_FRW_ROW, RND_FRW_ROW, RND_FRW_ROW, RND_FRW_ROW};
+ DECLARE_ALIGNED(8, static const int16_t, tab_frw_01234567)[] = {  // forward_dct coeff table
+   16384,   16384,   22725,   19266,
+   16384,   16384,   12873,    4520,
+   21407,    8867,   19266,   -4520,
+   -8867,  -21407,  -22725,  -12873,
+   16384,  -16384,   12873,  -22725,
+  -16384,   16384,    4520,   19266,
+    8867,  -21407,    4520,  -12873,
+   21407,   -8867,   19266,  -22725,
+   22725,   22725,   31521,   26722,
+   22725,   22725,   17855,    6270,
+   29692,   12299,   26722,   -6270,
+  -12299,  -29692,  -31521,  -17855,
+   22725,  -22725,   17855,  -31521,
+  -22725,   22725,    6270,   26722,
+   12299,  -29692,    6270,  -17855,
+   29692,  -12299,   26722,  -31521,
+   21407,   21407,   29692,   25172,
+   21407,   21407,   16819,    5906,
+   27969,   11585,   25172,   -5906,
+  -11585,  -27969,  -29692,  -16819,
+   21407,  -21407,   16819,  -29692,
+  -21407,   21407,    5906,   25172,
+   11585,  -27969,    5906,  -16819,
+   27969,  -11585,   25172,  -29692,
+   19266,   19266,   26722,   22654,
+   19266,   19266,   15137,    5315,
+   25172,   10426,   22654,   -5315,
+  -10426,  -25172,  -26722,  -15137,
+   19266,  -19266,   15137,  -26722,
+  -19266,   19266,    5315,   22654,
+   10426,  -25172,    5315,  -15137,
+   25172,  -10426,   22654,  -26722,
+   16384,   16384,   22725,   19266,
+   16384,   16384,   12873,    4520,
+   21407,    8867,   19266,   -4520,
+   -8867,  -21407,  -22725,  -12873,
+   16384,  -16384,   12873,  -22725,
+  -16384,   16384,    4520,   19266,
+    8867,  -21407,    4520,  -12873,
+   21407,   -8867,   19266,  -22725,
+   19266,   19266,   26722,   22654,
+   19266,   19266,   15137,    5315,
+   25172,   10426,   22654,   -5315,
+  -10426,  -25172,  -26722,  -15137,
+   19266,  -19266,   15137,  -26722,
+  -19266,   19266,    5315,   22654,
+   10426,  -25172,    5315,  -15137,
+   25172,  -10426,   22654,  -26722,
+   21407,   21407,   29692,   25172,
+   21407,   21407,   16819,    5906,
+   27969,   11585,   25172,   -5906,
+  -11585,  -27969,  -29692,  -16819,
+   21407,  -21407,   16819,  -29692,
+  -21407,   21407,    5906,   25172,
+   11585,  -27969,    5906,  -16819,
+   27969,  -11585,   25172,  -29692,
+   22725,   22725,   31521,   26722,
+   22725,   22725,   17855,    6270,
+   29692,   12299,   26722,   -6270,
+  -12299,  -29692,  -31521,  -17855,
+   22725,  -22725,   17855,  -31521,
+  -22725,   22725,    6270,   26722,
+   12299,  -29692,    6270,  -17855,
+   29692,  -12299,   26722,  -31521,
+ };
++static const struct
+ {
+  DECLARE_ALIGNED(16, const int16_t, tab_frw_01234567_sse2)[256];
+ } tab_frw_01234567_sse2 =
+ {{
+ //DECLARE_ALIGNED(16, static const int16_t, tab_frw_01234567_sse2)[] = {  // forward_dct coeff table
+ #define TABLE_SSE2 C4,  C4,  C1,  C3, -C6, -C2, -C1, -C5, \
+                    C4,  C4,  C5,  C7,  C2,  C6,  C3, -C7, \
+                   -C4,  C4,  C7,  C3,  C6, -C2,  C7, -C5, \
+                    C4, -C4,  C5, -C1,  C2, -C6,  C3, -C1,
+ // c1..c7 * cos(pi/4) * 2^15
+ #define C1 22725
+ #define C2 21407
+ #define C3 19266
+ #define C4 16384
+ #define C5 12873
+ #define C6 8867
+ #define C7 4520
+ TABLE_SSE2
+ #undef C1
+ #undef C2
+ #undef C3
+ #undef C4
+ #undef C5
+ #undef C6
+ #undef C7
+ #define C1 31521
+ #define C2 29692
+ #define C3 26722
+ #define C4 22725
+ #define C5 17855
+ #define C6 12299
+ #define C7 6270
+ TABLE_SSE2
+ #undef C1
+ #undef C2
+ #undef C3
+ #undef C4
+ #undef C5
+ #undef C6
+ #undef C7
+ #define C1 29692
+ #define C2 27969
+ #define C3 25172
+ #define C4 21407
+ #define C5 16819
+ #define C6 11585
+ #define C7 5906
+ TABLE_SSE2
+ #undef C1
+ #undef C2
+ #undef C3
+ #undef C4
+ #undef C5
+ #undef C6
+ #undef C7
+ #define C1 26722
+ #define C2 25172
+ #define C3 22654
+ #define C4 19266
+ #define C5 15137
+ #define C6 10426
+ #define C7 5315
+ TABLE_SSE2
+ #undef C1
+ #undef C2
+ #undef C3
+ #undef C4
+ #undef C5
+ #undef C6
+ #undef C7
+ #define C1 22725
+ #define C2 21407
+ #define C3 19266
+ #define C4 16384
+ #define C5 12873
+ #define C6 8867
+ #define C7 4520
+ TABLE_SSE2
+ #undef C1
+ #undef C2
+ #undef C3
+ #undef C4
+ #undef C5
+ #undef C6
+ #undef C7
+ #define C1 26722
+ #define C2 25172
+ #define C3 22654
+ #define C4 19266
+ #define C5 15137
+ #define C6 10426
+ #define C7 5315
+ TABLE_SSE2
+ #undef C1
+ #undef C2
+ #undef C3
+ #undef C4
+ #undef C5
+ #undef C6
+ #undef C7
+ #define C1 29692
+ #define C2 27969
+ #define C3 25172
+ #define C4 21407
+ #define C5 16819
+ #define C6 11585
+ #define C7 5906
+ TABLE_SSE2
+ #undef C1
+ #undef C2
+ #undef C3
+ #undef C4
+ #undef C5
+ #undef C6
+ #undef C7
+ #define C1 31521
+ #define C2 29692
+ #define C3 26722
+ #define C4 22725
+ #define C5 17855
+ #define C6 12299
+ #define C7 6270
+ TABLE_SSE2
+ }};
+ #define S(s) AV_TOSTRING(s) //AV_STRINGIFY is too long
+ #define FDCT_COL(cpu, mm, mov)\
+ static av_always_inline void fdct_col_##cpu(const int16_t *in, int16_t *out, int offset)\
+ {\
+     __asm__ volatile (\
+         #mov"      16(%0),  %%"#mm"0 \n\t" \
+         #mov"      96(%0),  %%"#mm"1 \n\t" \
+         #mov"    %%"#mm"0,  %%"#mm"2 \n\t" \
+         #mov"      32(%0),  %%"#mm"3 \n\t" \
+         "paddsw  %%"#mm"1,  %%"#mm"0 \n\t" \
+         #mov"      80(%0),  %%"#mm"4 \n\t" \
+         "psllw  $"S(SHIFT_FRW_COL)", %%"#mm"0 \n\t" \
+         #mov"        (%0),  %%"#mm"5 \n\t" \
+         "paddsw  %%"#mm"3,  %%"#mm"4 \n\t" \
+         "paddsw   112(%0),  %%"#mm"5 \n\t" \
+         "psllw  $"S(SHIFT_FRW_COL)", %%"#mm"4 \n\t" \
+         #mov"    %%"#mm"0,  %%"#mm"6 \n\t" \
+         "psubsw  %%"#mm"1,  %%"#mm"2 \n\t" \
+         #mov"      16(%1),  %%"#mm"1 \n\t" \
+         "psubsw  %%"#mm"4,  %%"#mm"0 \n\t" \
+         #mov"      48(%0),  %%"#mm"7 \n\t" \
+         "pmulhw  %%"#mm"0,  %%"#mm"1 \n\t" \
+         "paddsw    64(%0),  %%"#mm"7 \n\t" \
+         "psllw  $"S(SHIFT_FRW_COL)", %%"#mm"5 \n\t" \
+         "paddsw  %%"#mm"4,  %%"#mm"6 \n\t" \
+         "psllw  $"S(SHIFT_FRW_COL)", %%"#mm"7 \n\t" \
+         #mov"    %%"#mm"5,  %%"#mm"4 \n\t" \
+         "psubsw  %%"#mm"7,  %%"#mm"5 \n\t" \
+         "paddsw  %%"#mm"5,  %%"#mm"1 \n\t" \
+         "paddsw  %%"#mm"7,  %%"#mm"4 \n\t" \
+         "por         (%2),  %%"#mm"1 \n\t" \
+         "psllw  $"S(SHIFT_FRW_COL)"+1, %%"#mm"2 \n\t" \
+         "pmulhw    16(%1),  %%"#mm"5 \n\t" \
+         #mov"    %%"#mm"4,  %%"#mm"7 \n\t" \
+         "psubsw    80(%0),  %%"#mm"3 \n\t" \
+         "psubsw  %%"#mm"6,  %%"#mm"4 \n\t" \
+         #mov"    %%"#mm"1,    32(%3) \n\t" \
+         "paddsw  %%"#mm"6,  %%"#mm"7 \n\t" \
+         #mov"      48(%0),  %%"#mm"1 \n\t" \
+         "psllw  $"S(SHIFT_FRW_COL)"+1, %%"#mm"3 \n\t" \
+         "psubsw    64(%0),  %%"#mm"1 \n\t" \
+         #mov"    %%"#mm"2,  %%"#mm"6 \n\t" \
+         #mov"    %%"#mm"4,    64(%3) \n\t" \
+         "paddsw  %%"#mm"3,  %%"#mm"2 \n\t" \
+         "pmulhw      (%4),  %%"#mm"2 \n\t" \
+         "psubsw  %%"#mm"3,  %%"#mm"6 \n\t" \
+         "pmulhw      (%4),  %%"#mm"6 \n\t" \
+         "psubsw  %%"#mm"0,  %%"#mm"5 \n\t" \
+         "por         (%2),  %%"#mm"5 \n\t" \
+         "psllw  $"S(SHIFT_FRW_COL)", %%"#mm"1 \n\t" \
+         "por         (%2),  %%"#mm"2 \n\t" \
+         #mov"    %%"#mm"1,  %%"#mm"4 \n\t" \
+         #mov"        (%0),  %%"#mm"3 \n\t" \
+         "paddsw  %%"#mm"6,  %%"#mm"1 \n\t" \
+         "psubsw   112(%0),  %%"#mm"3 \n\t" \
+         "psubsw  %%"#mm"6,  %%"#mm"4 \n\t" \
+         #mov"        (%1),  %%"#mm"0 \n\t" \
+         "psllw  $"S(SHIFT_FRW_COL)", %%"#mm"3 \n\t" \
+         #mov"      32(%1),  %%"#mm"6 \n\t" \
+         "pmulhw  %%"#mm"1,  %%"#mm"0 \n\t" \
+         #mov"    %%"#mm"7,      (%3) \n\t" \
+         "pmulhw  %%"#mm"4,  %%"#mm"6 \n\t" \
+         #mov"    %%"#mm"5,    96(%3) \n\t" \
+         #mov"    %%"#mm"3,  %%"#mm"7 \n\t" \
+         #mov"      32(%1),  %%"#mm"5 \n\t" \
+         "psubsw  %%"#mm"2,  %%"#mm"7 \n\t" \
+         "paddsw  %%"#mm"2,  %%"#mm"3 \n\t" \
+         "pmulhw  %%"#mm"7,  %%"#mm"5 \n\t" \
+         "paddsw  %%"#mm"3,  %%"#mm"0 \n\t" \
+         "paddsw  %%"#mm"4,  %%"#mm"6 \n\t" \
+         "pmulhw      (%1),  %%"#mm"3 \n\t" \
+         "por         (%2),  %%"#mm"0 \n\t" \
+         "paddsw  %%"#mm"7,  %%"#mm"5 \n\t" \
+         "psubsw  %%"#mm"6,  %%"#mm"7 \n\t" \
+         #mov"    %%"#mm"0,    16(%3) \n\t" \
+         "paddsw  %%"#mm"4,  %%"#mm"5 \n\t" \
+         #mov"    %%"#mm"7,    48(%3) \n\t" \
+         "psubsw  %%"#mm"1,  %%"#mm"3 \n\t" \
+         #mov"    %%"#mm"5,    80(%3) \n\t" \
+         #mov"    %%"#mm"3,   112(%3) \n\t" \
+         : \
+         : "r" (in  + offset), "r" (fdct_tg_all_16), "r" (fdct_one_corr), \
+           "r" (out + offset), "r" (ocos_4_16)); \
+ }
+ FDCT_COL(mmx, mm, movq)
+ FDCT_COL(sse2, xmm, movdqa)
+ static av_always_inline void fdct_row_sse2(const int16_t *in, int16_t *out)
+ {
+     __asm__ volatile(
+ #define FDCT_ROW_SSE2_H1(i,t)                    \
+         "movq      " #i "(%0), %%xmm2      \n\t" \
+         "movq      " #i "+8(%0), %%xmm0    \n\t" \
+         "movdqa    " #t "+32(%1), %%xmm3   \n\t" \
+         "movdqa    " #t "+48(%1), %%xmm7   \n\t" \
+         "movdqa    " #t "(%1), %%xmm4      \n\t" \
+         "movdqa    " #t "+16(%1), %%xmm5   \n\t"
+ #define FDCT_ROW_SSE2_H2(i,t)                    \
+         "movq      " #i "(%0), %%xmm2      \n\t" \
+         "movq      " #i "+8(%0), %%xmm0    \n\t" \
+         "movdqa    " #t "+32(%1), %%xmm3   \n\t" \
+         "movdqa    " #t "+48(%1), %%xmm7   \n\t"
+ #define FDCT_ROW_SSE2(i)                      \
+         "movq      %%xmm2, %%xmm1       \n\t" \
+         "pshuflw   $27, %%xmm0, %%xmm0  \n\t" \
+         "paddsw    %%xmm0, %%xmm1       \n\t" \
+         "psubsw    %%xmm0, %%xmm2       \n\t" \
+         "punpckldq %%xmm2, %%xmm1       \n\t" \
+         "pshufd    $78, %%xmm1, %%xmm2  \n\t" \
+         "pmaddwd   %%xmm2, %%xmm3       \n\t" \
+         "pmaddwd   %%xmm1, %%xmm7       \n\t" \
+         "pmaddwd   %%xmm5, %%xmm2       \n\t" \
+         "pmaddwd   %%xmm4, %%xmm1       \n\t" \
+         "paddd     %%xmm7, %%xmm3       \n\t" \
+         "paddd     %%xmm2, %%xmm1       \n\t" \
+         "paddd     %%xmm6, %%xmm3       \n\t" \
+         "paddd     %%xmm6, %%xmm1       \n\t" \
+         "psrad     %3, %%xmm3           \n\t" \
+         "psrad     %3, %%xmm1           \n\t" \
+         "packssdw  %%xmm3, %%xmm1       \n\t" \
+         "movdqa    %%xmm1, " #i "(%4)   \n\t"
+         "movdqa    (%2), %%xmm6         \n\t"
+         FDCT_ROW_SSE2_H1(0,0)
+         FDCT_ROW_SSE2(0)
+         FDCT_ROW_SSE2_H2(64,0)
+         FDCT_ROW_SSE2(64)
+         FDCT_ROW_SSE2_H1(16,64)
+         FDCT_ROW_SSE2(16)
+         FDCT_ROW_SSE2_H2(112,64)
+         FDCT_ROW_SSE2(112)
+         FDCT_ROW_SSE2_H1(32,128)
+         FDCT_ROW_SSE2(32)
+         FDCT_ROW_SSE2_H2(96,128)
+         FDCT_ROW_SSE2(96)
+         FDCT_ROW_SSE2_H1(48,192)
+         FDCT_ROW_SSE2(48)
+         FDCT_ROW_SSE2_H2(80,192)
+         FDCT_ROW_SSE2(80)
+         :
+         : "r" (in), "r" (tab_frw_01234567_sse2.tab_frw_01234567_sse2),
+           "r" (fdct_r_row_sse2.fdct_r_row_sse2), "i" (SHIFT_FRW_ROW), "r" (out)
+           XMM_CLOBBERS_ONLY("%xmm0", "%xmm1", "%xmm2", "%xmm3",
+                             "%xmm4", "%xmm5", "%xmm6", "%xmm7")
+     );
+ }
+ static av_always_inline void fdct_row_mmx2(const int16_t *in, int16_t *out, const int16_t *table)
+ {
+     __asm__ volatile (
+         "pshufw    $0x1B, 8(%0), %%mm5 \n\t"
+         "movq       (%0), %%mm0 \n\t"
+         "movq      %%mm0, %%mm1 \n\t"
+         "paddsw    %%mm5, %%mm0 \n\t"
+         "psubsw    %%mm5, %%mm1 \n\t"
+         "movq      %%mm0, %%mm2 \n\t"
+         "punpckldq %%mm1, %%mm0 \n\t"
+         "punpckhdq %%mm1, %%mm2 \n\t"
+         "movq       (%1), %%mm1 \n\t"
+         "movq      8(%1), %%mm3 \n\t"
+         "movq     16(%1), %%mm4 \n\t"
+         "movq     24(%1), %%mm5 \n\t"
+         "movq     32(%1), %%mm6 \n\t"
+         "movq     40(%1), %%mm7 \n\t"
+         "pmaddwd   %%mm0, %%mm1 \n\t"
+         "pmaddwd   %%mm2, %%mm3 \n\t"
+         "pmaddwd   %%mm0, %%mm4 \n\t"
+         "pmaddwd   %%mm2, %%mm5 \n\t"
+         "pmaddwd   %%mm0, %%mm6 \n\t"
+         "pmaddwd   %%mm2, %%mm7 \n\t"
+         "pmaddwd  48(%1), %%mm0 \n\t"
+         "pmaddwd  56(%1), %%mm2 \n\t"
+         "paddd     %%mm1, %%mm3 \n\t"
+         "paddd     %%mm4, %%mm5 \n\t"
+         "paddd     %%mm6, %%mm7 \n\t"
+         "paddd     %%mm0, %%mm2 \n\t"
+         "movq       (%2), %%mm0 \n\t"
+         "paddd     %%mm0, %%mm3 \n\t"
+         "paddd     %%mm0, %%mm5 \n\t"
+         "paddd     %%mm0, %%mm7 \n\t"
+         "paddd     %%mm0, %%mm2 \n\t"
+         "psrad $"S(SHIFT_FRW_ROW)", %%mm3 \n\t"
+         "psrad $"S(SHIFT_FRW_ROW)", %%mm5 \n\t"
+         "psrad $"S(SHIFT_FRW_ROW)", %%mm7 \n\t"
+         "psrad $"S(SHIFT_FRW_ROW)", %%mm2 \n\t"
+         "packssdw  %%mm5, %%mm3 \n\t"
+         "packssdw  %%mm2, %%mm7 \n\t"
+         "movq      %%mm3,  (%3) \n\t"
+         "movq      %%mm7, 8(%3) \n\t"
+         :
+         : "r" (in), "r" (table), "r" (fdct_r_row), "r" (out));
+ }
+ static av_always_inline void fdct_row_mmx(const int16_t *in, int16_t *out, const int16_t *table)
+ {
+     //FIXME reorder (I do not have an old MMX-only CPU here to benchmark ...)
+     __asm__ volatile(
+         "movd     12(%0), %%mm1 \n\t"
+         "punpcklwd 8(%0), %%mm1 \n\t"
+         "movq      %%mm1, %%mm2 \n\t"
+         "psrlq     $0x20, %%mm1 \n\t"
+         "movq      0(%0), %%mm0 \n\t"
+         "punpcklwd %%mm2, %%mm1 \n\t"
+         "movq      %%mm0, %%mm5 \n\t"
+         "paddsw    %%mm1, %%mm0 \n\t"
+         "psubsw    %%mm1, %%mm5 \n\t"
+         "movq      %%mm0, %%mm2 \n\t"
+         "punpckldq %%mm5, %%mm0 \n\t"
+         "punpckhdq %%mm5, %%mm2 \n\t"
+         "movq      0(%1), %%mm1 \n\t"
+         "movq      8(%1), %%mm3 \n\t"
+         "movq     16(%1), %%mm4 \n\t"
+         "movq     24(%1), %%mm5 \n\t"
+         "movq     32(%1), %%mm6 \n\t"
+         "movq     40(%1), %%mm7 \n\t"
+         "pmaddwd   %%mm0, %%mm1 \n\t"
+         "pmaddwd   %%mm2, %%mm3 \n\t"
+         "pmaddwd   %%mm0, %%mm4 \n\t"
+         "pmaddwd   %%mm2, %%mm5 \n\t"
+         "pmaddwd   %%mm0, %%mm6 \n\t"
+         "pmaddwd   %%mm2, %%mm7 \n\t"
+         "pmaddwd  48(%1), %%mm0 \n\t"
+         "pmaddwd  56(%1), %%mm2 \n\t"
+         "paddd     %%mm1, %%mm3 \n\t"
+         "paddd     %%mm4, %%mm5 \n\t"
+         "paddd     %%mm6, %%mm7 \n\t"
+         "paddd     %%mm0, %%mm2 \n\t"
+         "movq       (%2), %%mm0 \n\t"
+         "paddd     %%mm0, %%mm3 \n\t"
+         "paddd     %%mm0, %%mm5 \n\t"
+         "paddd     %%mm0, %%mm7 \n\t"
+         "paddd     %%mm0, %%mm2 \n\t"
+         "psrad $"S(SHIFT_FRW_ROW)", %%mm3 \n\t"
+         "psrad $"S(SHIFT_FRW_ROW)", %%mm5 \n\t"
+         "psrad $"S(SHIFT_FRW_ROW)", %%mm7 \n\t"
+         "psrad $"S(SHIFT_FRW_ROW)", %%mm2 \n\t"
+         "packssdw  %%mm5, %%mm3 \n\t"
+         "packssdw  %%mm2, %%mm7 \n\t"
+         "movq      %%mm3, 0(%3) \n\t"
+         "movq      %%mm7, 8(%3) \n\t"
+         :
+         : "r" (in), "r" (table), "r" (fdct_r_row), "r" (out));
+ }
+ void ff_fdct_mmx(int16_t *block)
+ {
+     DECLARE_ALIGNED(8, int64_t, align_tmp)[16];
+     int16_t * block1= (int16_t*)align_tmp;
+     const int16_t *table= tab_frw_01234567;
+     int i;
+     fdct_col_mmx(block, block1, 0);
+     fdct_col_mmx(block, block1, 4);
+     for(i=8;i>0;i--) {
+         fdct_row_mmx(block1, block, table);
+         block1 += 8;
+         table += 32;
+         block += 8;
+     }
+ }
+ void ff_fdct_mmx2(int16_t *block)
+ {
+     DECLARE_ALIGNED(8, int64_t, align_tmp)[16];
+     int16_t *block1= (int16_t*)align_tmp;
+     const int16_t *table= tab_frw_01234567;
+     int i;
+     fdct_col_mmx(block, block1, 0);
+     fdct_col_mmx(block, block1, 4);
+     for(i=8;i>0;i--) {
+         fdct_row_mmx2(block1, block, table);
+         block1 += 8;
+         table += 32;
+         block += 8;
+     }
+ }
+ void ff_fdct_sse2(int16_t *block)
+ {
+     DECLARE_ALIGNED(16, int64_t, align_tmp)[16];
+     int16_t * const block1= (int16_t*)align_tmp;
+     fdct_col_sse2(block, block1, 0);
+     fdct_row_sse2(block1, block);
+ }
+ #endif /* HAVE_INLINE_ASM */
index 0000000,645253c..e8a9925
mode 000000,100644..100644
--- /dev/null
@@@ -1,0 -1,1105 +1,1106 @@@
 -;* This file is part of Libav.
+ ;******************************************************************************
+ ;* FFT transform with SSE/3DNow optimizations
+ ;* Copyright (c) 2008 Loren Merritt
+ ;* Copyright (c) 2011 Vitor Sessak
+ ;*
+ ;* This algorithm (though not any of the implementation details) is
+ ;* based on libdjbfft by D. J. Bernstein.
+ ;*
 -;* Libav is free software; you can redistribute it and/or
++;* This file is part of FFmpeg.
+ ;*
 -;* Libav is distributed in the hope that it will be useful,
++;* FFmpeg is free software; you can redistribute it and/or
+ ;* modify it under the terms of the GNU Lesser General Public
+ ;* License as published by the Free Software Foundation; either
+ ;* version 2.1 of the License, or (at your option) any later version.
+ ;*
 -;* License along with Libav; if not, write to the Free Software
++;* FFmpeg is distributed in the hope that it will be useful,
+ ;* but WITHOUT ANY WARRANTY; without even the implied warranty of
+ ;* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
+ ;* Lesser General Public License for more details.
+ ;*
+ ;* You should have received a copy of the GNU Lesser General Public
 -%include "x86inc.asm"
 -%include "x86util.asm"
++;* License along with FFmpeg; if not, write to the Free Software
+ ;* Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
+ ;******************************************************************************
+ ; These functions are not individually interchangeable with the C versions.
+ ; While C takes arrays of FFTComplex, SSE/3DNow leave intermediate results
+ ; in blocks as conventient to the vector size.
+ ; i.e. {4x real, 4x imaginary, 4x real, ...} (or 2x respectively)
 -SECTION_RODATA
 -
++%include "libavutil/x86/x86inc.asm"
++%include "libavutil/x86/x86util.asm"
+ %if ARCH_X86_64
+ %define pointer resq
+ %else
+ %define pointer resd
+ %endif
++SECTION_RODATA
++
+ struc FFTContext
+     .nbits:    resd 1
+     .reverse:  resd 1
+     .revtab:   pointer 1
+     .tmpbuf:   pointer 1
+     .mdctsize: resd 1
+     .mdctbits: resd 1
+     .tcos:     pointer 1
+     .tsin:     pointer 1
+     .fftperm:  pointer 1
+     .fftcalc:  pointer 1
+     .imdctcalc:pointer 1
+     .imdcthalf:pointer 1
+ endstruc
+ %define M_SQRT1_2 0.70710678118654752440
+ %define M_COS_PI_1_8 0.923879532511287
+ %define M_COS_PI_3_8 0.38268343236509
+ align 32
+ ps_cos16_1: dd 1.0, M_COS_PI_1_8, M_SQRT1_2, M_COS_PI_3_8, 1.0, M_COS_PI_1_8, M_SQRT1_2, M_COS_PI_3_8
+ ps_cos16_2: dd 0, M_COS_PI_3_8, M_SQRT1_2, M_COS_PI_1_8, 0, -M_COS_PI_3_8, -M_SQRT1_2, -M_COS_PI_1_8
+ ps_root2: times 8 dd M_SQRT1_2
+ ps_root2mppm: dd -M_SQRT1_2, M_SQRT1_2, M_SQRT1_2, -M_SQRT1_2, -M_SQRT1_2, M_SQRT1_2, M_SQRT1_2, -M_SQRT1_2
+ ps_p1p1m1p1: dd 0, 0, 1<<31, 0, 0, 0, 1<<31, 0
+ perm1: dd 0x00, 0x02, 0x03, 0x01, 0x03, 0x00, 0x02, 0x01
+ perm2: dd 0x00, 0x01, 0x02, 0x03, 0x01, 0x00, 0x02, 0x03
+ ps_p1p1m1p1root2: dd 1.0, 1.0, -1.0, 1.0, M_SQRT1_2, M_SQRT1_2, M_SQRT1_2, M_SQRT1_2
+ ps_m1m1p1m1p1m1m1m1: dd 1<<31, 1<<31, 0, 1<<31, 0, 1<<31, 1<<31, 1<<31
+ ps_m1m1m1m1: times 4 dd 1<<31
+ ps_m1p1: dd 1<<31, 0
+ %assign i 16
+ %rep 13
+ cextern cos_ %+ i
+ %assign i i<<1
+ %endrep
+ %if ARCH_X86_64
+     %define pointer dq
+ %else
+     %define pointer dd
+ %endif
+ %macro IF0 1+
+ %endmacro
+ %macro IF1 1+
+     %1
+ %endmacro
+ SECTION_TEXT
+ %macro T2_3DNOW 4 ; z0, z1, mem0, mem1
+     mova     %1, %3
+     mova     %2, %1
+     pfadd    %1, %4
+     pfsub    %2, %4
+ %endmacro
+ %macro T4_3DNOW 6 ; z0, z1, z2, z3, tmp0, tmp1
+     mova     %5, %3
+     pfsub    %3, %4
+     pfadd    %5, %4 ; {t6,t5}
+     pxor     %3, [ps_m1p1] ; {t8,t7}
+     mova     %6, %1
+     PSWAPD   %3, %3
+     pfadd    %1, %5 ; {r0,i0}
+     pfsub    %6, %5 ; {r2,i2}
+     mova     %4, %2
+     pfadd    %2, %3 ; {r1,i1}
+     pfsub    %4, %3 ; {r3,i3}
+     SWAP     %3, %6
+ %endmacro
+ ;  in: %1 = {r0,i0,r2,i2,r4,i4,r6,i6}
+ ;      %2 = {r1,i1,r3,i3,r5,i5,r7,i7}
+ ;      %3, %4, %5 tmp
+ ; out: %1 = {r0,r1,r2,r3,i0,i1,i2,i3}
+ ;      %2 = {r4,r5,r6,r7,i4,i5,i6,i7}
+ %macro T8_AVX 5
+     vsubps     %5, %1, %2       ; v  = %1 - %2
+     vaddps     %3, %1, %2       ; w  = %1 + %2
+     vmulps     %2, %5, [ps_p1p1m1p1root2]  ; v *= vals1
+     vpermilps  %2, %2, [perm1]
+     vblendps   %1, %2, %3, 0x33 ; q = {w1,w2,v4,v2,w5,w6,v7,v6}
+     vshufps    %5, %3, %2, 0x4e ; r = {w3,w4,v1,v3,w7,w8,v8,v5}
+     vsubps     %4, %5, %1       ; s = r - q
+     vaddps     %1, %5, %1       ; u = r + q
+     vpermilps  %1, %1, [perm2]  ; k  = {u1,u2,u3,u4,u6,u5,u7,u8}
+     vshufps    %5, %4, %1, 0xbb
+     vshufps    %3, %4, %1, 0xee
+     vperm2f128 %3, %3, %5, 0x13
+     vxorps     %4, %4, [ps_m1m1p1m1p1m1m1m1]  ; s *= {1,1,-1,-1,1,-1,-1,-1}
+     vshufps    %2, %1, %4, 0xdd
+     vshufps    %1, %1, %4, 0x88
+     vperm2f128 %4, %2, %1, 0x02 ; v  = {k1,k3,s1,s3,k2,k4,s2,s4}
+     vperm2f128 %1, %1, %2, 0x13 ; w  = {k6,k8,s6,s8,k5,k7,s5,s7}
+     vsubps     %5, %1, %3
+     vblendps   %1, %5, %1, 0x55 ; w -= {0,s7,0,k7,0,s8,0,k8}
+     vsubps     %2, %4, %1       ; %2 = v - w
+     vaddps     %1, %4, %1       ; %1 = v + w
+ %endmacro
+ ; In SSE mode do one fft4 transforms
+ ; in:  %1={r0,i0,r2,i2} %2={r1,i1,r3,i3}
+ ; out: %1={r0,r1,r2,r3} %2={i0,i1,i2,i3}
+ ;
+ ; In AVX mode do two fft4 transforms
+ ; in:  %1={r0,i0,r2,i2,r4,i4,r6,i6} %2={r1,i1,r3,i3,r5,i5,r7,i7}
+ ; out: %1={r0,r1,r2,r3,r4,r5,r6,r7} %2={i0,i1,i2,i3,i4,i5,i6,i7}
+ %macro T4_SSE 3
+     subps    %3, %1, %2       ; {t3,t4,-t8,t7}
+     addps    %1, %1, %2       ; {t1,t2,t6,t5}
+     xorps    %3, %3, [ps_p1p1m1p1]
+     shufps   %2, %1, %3, 0xbe ; {t6,t5,t7,t8}
+     shufps   %1, %1, %3, 0x44 ; {t1,t2,t3,t4}
+     subps    %3, %1, %2       ; {r2,i2,r3,i3}
+     addps    %1, %1, %2       ; {r0,i0,r1,i1}
+     shufps   %2, %1, %3, 0xdd ; {i0,i1,i2,i3}
+     shufps   %1, %1, %3, 0x88 ; {r0,r1,r2,r3}
+ %endmacro
+ ; In SSE mode do one FFT8
+ ; in:  %1={r0,r1,r2,r3} %2={i0,i1,i2,i3} %3={r4,i4,r6,i6} %4={r5,i5,r7,i7}
+ ; out: %1={r0,r1,r2,r3} %2={i0,i1,i2,i3} %1={r4,r5,r6,r7} %2={i4,i5,i6,i7}
+ ;
+ ; In AVX mode do two FFT8
+ ; in:  %1={r0,i0,r2,i2,r8, i8, r10,i10} %2={r1,i1,r3,i3,r9, i9, r11,i11}
+ ;      %3={r4,i4,r6,i6,r12,i12,r14,i14} %4={r5,i5,r7,i7,r13,i13,r15,i15}
+ ; out: %1={r0,r1,r2,r3,r8, r9, r10,r11} %2={i0,i1,i2,i3,i8, i9, i10,i11}
+ ;      %3={r4,r5,r6,r7,r12,r13,r14,r15} %4={i4,i5,i6,i7,i12,i13,i14,i15}
+ %macro T8_SSE 6
+     addps    %6, %3, %4       ; {t1,t2,t3,t4}
+     subps    %3, %3, %4       ; {r5,i5,r7,i7}
+     shufps   %4, %3, %3, 0xb1 ; {i5,r5,i7,r7}
+     mulps    %3, %3, [ps_root2mppm] ; {-r5,i5,r7,-i7}
+     mulps    %4, %4, [ps_root2]
+     addps    %3, %3, %4       ; {t8,t7,ta,t9}
+     shufps   %4, %6, %3, 0x9c ; {t1,t4,t7,ta}
+     shufps   %6, %6, %3, 0x36 ; {t3,t2,t9,t8}
+     subps    %3, %6, %4       ; {t6,t5,tc,tb}
+     addps    %6, %6, %4       ; {t1,t2,t9,ta}
+     shufps   %5, %6, %3, 0x8d ; {t2,ta,t6,tc}
+     shufps   %6, %6, %3, 0xd8 ; {t1,t9,t5,tb}
+     subps    %3, %1, %6       ; {r4,r5,r6,r7}
+     addps    %1, %1, %6       ; {r0,r1,r2,r3}
+     subps    %4, %2, %5       ; {i4,i5,i6,i7}
+     addps    %2, %2, %5       ; {i0,i1,i2,i3}
+ %endmacro
+ ; scheduled for cpu-bound sizes
+ %macro PASS_SMALL 3 ; (to load m4-m7), wre, wim
+ IF%1 mova    m4, Z(4)
+ IF%1 mova    m5, Z(5)
+     mova     m0, %2 ; wre
+     mova     m1, %3 ; wim
+     mulps    m2, m4, m0 ; r2*wre
+ IF%1 mova    m6, Z2(6)
+     mulps    m3, m5, m1 ; i2*wim
+ IF%1 mova    m7, Z2(7)
+     mulps    m4, m4, m1 ; r2*wim
+     mulps    m5, m5, m0 ; i2*wre
+     addps    m2, m2, m3 ; r2*wre + i2*wim
+     mulps    m3, m1, m7 ; i3*wim
+     subps    m5, m5, m4 ; i2*wre - r2*wim
+     mulps    m1, m1, m6 ; r3*wim
+     mulps    m4, m0, m6 ; r3*wre
+     mulps    m0, m0, m7 ; i3*wre
+     subps    m4, m4, m3 ; r3*wre - i3*wim
+     mova     m3, Z(0)
+     addps    m0, m0, m1 ; i3*wre + r3*wim
+     subps    m1, m4, m2 ; t3
+     addps    m4, m4, m2 ; t5
+     subps    m3, m3, m4 ; r2
+     addps    m4, m4, Z(0) ; r0
+     mova     m6, Z(2)
+     mova   Z(4), m3
+     mova   Z(0), m4
+     subps    m3, m5, m0 ; t4
+     subps    m4, m6, m3 ; r3
+     addps    m3, m3, m6 ; r1
+     mova  Z2(6), m4
+     mova   Z(2), m3
+     mova     m2, Z(3)
+     addps    m3, m5, m0 ; t6
+     subps    m2, m2, m1 ; i3
+     mova     m7, Z(1)
+     addps    m1, m1, Z(3) ; i1
+     mova  Z2(7), m2
+     mova   Z(3), m1
+     subps    m4, m7, m3 ; i2
+     addps    m3, m3, m7 ; i0
+     mova   Z(5), m4
+     mova   Z(1), m3
+ %endmacro
+ ; scheduled to avoid store->load aliasing
+ %macro PASS_BIG 1 ; (!interleave)
+     mova     m4, Z(4) ; r2
+     mova     m5, Z(5) ; i2
+     mova     m0, [wq] ; wre
+     mova     m1, [wq+o1q] ; wim
+     mulps    m2, m4, m0 ; r2*wre
+     mova     m6, Z2(6) ; r3
+     mulps    m3, m5, m1 ; i2*wim
+     mova     m7, Z2(7) ; i3
+     mulps    m4, m4, m1 ; r2*wim
+     mulps    m5, m5, m0 ; i2*wre
+     addps    m2, m2, m3 ; r2*wre + i2*wim
+     mulps    m3, m1, m7 ; i3*wim
+     mulps    m1, m1, m6 ; r3*wim
+     subps    m5, m5, m4 ; i2*wre - r2*wim
+     mulps    m4, m0, m6 ; r3*wre
+     mulps    m0, m0, m7 ; i3*wre
+     subps    m4, m4, m3 ; r3*wre - i3*wim
+     mova     m3, Z(0)
+     addps    m0, m0, m1 ; i3*wre + r3*wim
+     subps    m1, m4, m2 ; t3
+     addps    m4, m4, m2 ; t5
+     subps    m3, m3, m4 ; r2
+     addps    m4, m4, Z(0) ; r0
+     mova     m6, Z(2)
+     mova   Z(4), m3
+     mova   Z(0), m4
+     subps    m3, m5, m0 ; t4
+     subps    m4, m6, m3 ; r3
+     addps    m3, m3, m6 ; r1
+ IF%1 mova Z2(6), m4
+ IF%1 mova  Z(2), m3
+     mova     m2, Z(3)
+     addps    m5, m5, m0 ; t6
+     subps    m2, m2, m1 ; i3
+     mova     m7, Z(1)
+     addps    m1, m1, Z(3) ; i1
+ IF%1 mova Z2(7), m2
+ IF%1 mova  Z(3), m1
+     subps    m6, m7, m5 ; i2
+     addps    m5, m5, m7 ; i0
+ IF%1 mova  Z(5), m6
+ IF%1 mova  Z(1), m5
+ %if %1==0
+     INTERL m1, m3, m7, Z, 2
+     INTERL m2, m4, m0, Z2, 6
+     mova     m1, Z(0)
+     mova     m2, Z(4)
+     INTERL m5, m1, m3, Z, 0
+     INTERL m6, m2, m7, Z, 4
+ %endif
+ %endmacro
+ %macro PUNPCK 3
+     mova      %3, %1
+     punpckldq %1, %2
+     punpckhdq %3, %2
+ %endmacro
+ %define Z(x) [r0+mmsize*x]
+ %define Z2(x) [r0+mmsize*x]
+ %define ZH(x) [r0+mmsize*x+mmsize/2]
+ INIT_YMM avx
+ %if HAVE_AVX
+ align 16
+ fft8_avx:
+     mova      m0, Z(0)
+     mova      m1, Z(1)
+     T8_AVX    m0, m1, m2, m3, m4
+     mova      Z(0), m0
+     mova      Z(1), m1
+     ret
+ align 16
+ fft16_avx:
+     mova       m2, Z(2)
+     mova       m3, Z(3)
+     T4_SSE     m2, m3, m7
+     mova       m0, Z(0)
+     mova       m1, Z(1)
+     T8_AVX     m0, m1, m4, m5, m7
+     mova       m4, [ps_cos16_1]
+     mova       m5, [ps_cos16_2]
+     vmulps     m6, m2, m4
+     vmulps     m7, m3, m5
+     vaddps     m7, m7, m6
+     vmulps     m2, m2, m5
+     vmulps     m3, m3, m4
+     vsubps     m3, m3, m2
+     vblendps   m2, m7, m3, 0xf0
+     vperm2f128 m3, m7, m3, 0x21
+     vaddps     m4, m2, m3
+     vsubps     m2, m3, m2
+     vperm2f128 m2, m2, m2, 0x01
+     vsubps     m3, m1, m2
+     vaddps     m1, m1, m2
+     vsubps     m5, m0, m4
+     vaddps     m0, m0, m4
+     vextractf128   Z(0), m0, 0
+     vextractf128  ZH(0), m1, 0
+     vextractf128   Z(1), m0, 1
+     vextractf128  ZH(1), m1, 1
+     vextractf128   Z(2), m5, 0
+     vextractf128  ZH(2), m3, 0
+     vextractf128   Z(3), m5, 1
+     vextractf128  ZH(3), m3, 1
+     ret
+ align 16
+ fft32_avx:
+     call fft16_avx
+     mova m0, Z(4)
+     mova m1, Z(5)
+     T4_SSE      m0, m1, m4
+     mova m2, Z(6)
+     mova m3, Z(7)
+     T8_SSE      m0, m1, m2, m3, m4, m6
+     ; m0={r0,r1,r2,r3,r8, r9, r10,r11} m1={i0,i1,i2,i3,i8, i9, i10,i11}
+     ; m2={r4,r5,r6,r7,r12,r13,r14,r15} m3={i4,i5,i6,i7,i12,i13,i14,i15}
+     vperm2f128  m4, m0, m2, 0x20
+     vperm2f128  m5, m1, m3, 0x20
+     vperm2f128  m6, m0, m2, 0x31
+     vperm2f128  m7, m1, m3, 0x31
+     PASS_SMALL 0, [cos_32], [cos_32+32]
+     ret
+ fft32_interleave_avx:
+     call fft32_avx
+     mov r2d, 32
+ .deint_loop:
+     mova     m2, Z(0)
+     mova     m3, Z(1)
+     vunpcklps      m0, m2, m3
+     vunpckhps      m1, m2, m3
+     vextractf128   Z(0), m0, 0
+     vextractf128  ZH(0), m1, 0
+     vextractf128   Z(1), m0, 1
+     vextractf128  ZH(1), m1, 1
+     add r0, mmsize*2
+     sub r2d, mmsize/4
+     jg .deint_loop
+     ret
++
+ %endif
+ INIT_XMM sse
+ align 16
+ fft4_avx:
+ fft4_sse:
+     mova     m0, Z(0)
+     mova     m1, Z(1)
+     T4_SSE   m0, m1, m2
+     mova   Z(0), m0
+     mova   Z(1), m1
+     ret
+ align 16
+ fft8_sse:
+     mova     m0, Z(0)
+     mova     m1, Z(1)
+     T4_SSE   m0, m1, m2
+     mova     m2, Z(2)
+     mova     m3, Z(3)
+     T8_SSE   m0, m1, m2, m3, m4, m5
+     mova   Z(0), m0
+     mova   Z(1), m1
+     mova   Z(2), m2
+     mova   Z(3), m3
+     ret
+ align 16
+ fft16_sse:
+     mova     m0, Z(0)
+     mova     m1, Z(1)
+     T4_SSE   m0, m1, m2
+     mova     m2, Z(2)
+     mova     m3, Z(3)
+     T8_SSE   m0, m1, m2, m3, m4, m5
+     mova     m4, Z(4)
+     mova     m5, Z(5)
+     mova   Z(0), m0
+     mova   Z(1), m1
+     mova   Z(2), m2
+     mova   Z(3), m3
+     T4_SSE   m4, m5, m6
+     mova     m6, Z2(6)
+     mova     m7, Z2(7)
+     T4_SSE   m6, m7, m0
+     PASS_SMALL 0, [cos_16], [cos_16+16]
+     ret
+ %macro FFT48_3DNOW 0
+ align 16
+ fft4 %+ SUFFIX:
+     T2_3DNOW m0, m1, Z(0), Z(1)
+     mova     m2, Z(2)
+     mova     m3, Z(3)
+     T4_3DNOW m0, m1, m2, m3, m4, m5
+     PUNPCK   m0, m1, m4
+     PUNPCK   m2, m3, m5
+     mova   Z(0), m0
+     mova   Z(1), m4
+     mova   Z(2), m2
+     mova   Z(3), m5
+     ret
+ align 16
+ fft8 %+ SUFFIX:
+     T2_3DNOW m0, m1, Z(0), Z(1)
+     mova     m2, Z(2)
+     mova     m3, Z(3)
+     T4_3DNOW m0, m1, m2, m3, m4, m5
+     mova   Z(0), m0
+     mova   Z(2), m2
+     T2_3DNOW m4, m5,  Z(4),  Z(5)
+     T2_3DNOW m6, m7, Z2(6), Z2(7)
+     PSWAPD   m0, m5
+     PSWAPD   m2, m7
+     pxor     m0, [ps_m1p1]
+     pxor     m2, [ps_m1p1]
+     pfsub    m5, m0
+     pfadd    m7, m2
+     pfmul    m5, [ps_root2]
+     pfmul    m7, [ps_root2]
+     T4_3DNOW m1, m3, m5, m7, m0, m2
+     mova   Z(5), m5
+     mova  Z2(7), m7
+     mova     m0, Z(0)
+     mova     m2, Z(2)
+     T4_3DNOW m0, m2, m4, m6, m5, m7
+     PUNPCK   m0, m1, m5
+     PUNPCK   m2, m3, m7
+     mova   Z(0), m0
+     mova   Z(1), m5
+     mova   Z(2), m2
+     mova   Z(3), m7
+     PUNPCK   m4,  Z(5), m5
+     PUNPCK   m6, Z2(7), m7
+     mova   Z(4), m4
+     mova   Z(5), m5
+     mova  Z2(6), m6
+     mova  Z2(7), m7
+     ret
+ %endmacro
+ %if ARCH_X86_32
+ %macro PSWAPD 2
+ %if cpuflag(3dnowext)
+     pswapd %1, %2
+ %elifidn %1, %2
+     movd [r0+12], %1
+     punpckhdq %1, [r0+8]
+ %else
+     movq  %1, %2
+     psrlq %1, 32
+     punpckldq %1, %2
+ %endif
+ %endmacro
+ INIT_MMX 3dnowext
+ FFT48_3DNOW
+ INIT_MMX 3dnow
+ FFT48_3DNOW
+ %endif
+ %define Z(x) [zcq + o1q*(x&6) + mmsize*(x&1)]
+ %define Z2(x) [zcq + o3q + mmsize*(x&1)]
+ %define ZH(x) [zcq + o1q*(x&6) + mmsize*(x&1) + mmsize/2]
+ %define Z2H(x) [zcq + o3q + mmsize*(x&1) + mmsize/2]
+ %macro DECL_PASS 2+ ; name, payload
+ align 16
+ %1:
+ DEFINE_ARGS zc, w, n, o1, o3
+     lea o3q, [nq*3]
+     lea o1q, [nq*8]
+     shl o3q, 4
+ .loop:
+     %2
+     add zcq, mmsize*2
+     add  wq, mmsize
+     sub  nd, mmsize/8
+     jg .loop
+     rep ret
+ %endmacro
+ %macro FFT_DISPATCH 2; clobbers 5 GPRs, 8 XMMs
+     lea r2, [dispatch_tab%1]
+     mov r2, [r2 + (%2q-2)*gprsize]
+ %ifdef PIC
+     lea r3, [$$]
+     add r2, r3
+ %endif
+     call r2
+ %endmacro ; FFT_DISPATCH
+ INIT_YMM avx
+ %if HAVE_AVX
+ %macro INTERL_AVX 5
+     vunpckhps      %3, %2, %1
+     vunpcklps      %2, %2, %1
+     vextractf128   %4(%5), %2, 0
+     vextractf128  %4 %+ H(%5), %3, 0
+     vextractf128   %4(%5 + 1), %2, 1
+     vextractf128  %4 %+ H(%5 + 1), %3, 1
+ %endmacro
+ %define INTERL INTERL_AVX
+ DECL_PASS pass_avx, PASS_BIG 1
+ DECL_PASS pass_interleave_avx, PASS_BIG 0
+ cglobal fft_calc, 2,5,8
+     mov     r3d, [r0 + FFTContext.nbits]
+     mov     r0, r1
+     mov     r1, r3
+     FFT_DISPATCH _interleave %+ SUFFIX, r1
+     REP_RET
+ %endif
+ INIT_XMM sse
+ %macro INTERL_SSE 5
+     mova     %3, %2
+     unpcklps %2, %1
+     unpckhps %3, %1
+     mova  %4(%5), %2
+     mova  %4(%5+1), %3
+ %endmacro
+ %define INTERL INTERL_SSE
+ DECL_PASS pass_sse, PASS_BIG 1
+ DECL_PASS pass_interleave_sse, PASS_BIG 0
+ %macro FFT_CALC_FUNC 0
+ cglobal fft_calc, 2,5,8
+     mov     r3d, [r0 + FFTContext.nbits]
+     PUSH    r1
+     PUSH    r3
+     mov     r0, r1
+     mov     r1, r3
+     FFT_DISPATCH _interleave %+ SUFFIX, r1
+     POP     rcx
+     POP     r4
+     cmp     rcx, 3+(mmsize/16)
+     jg      .end
+     mov     r2, -1
+     add     rcx, 3
+     shl     r2, cl
+     sub     r4, r2
+ .loop:
+ %if mmsize == 8
+     PSWAPD  m0, [r4 + r2 + 4]
+     mova [r4 + r2 + 4], m0
+ %else
+     movaps   xmm0, [r4 + r2]
+     movaps   xmm1, xmm0
+     unpcklps xmm0, [r4 + r2 + 16]
+     unpckhps xmm1, [r4 + r2 + 16]
+     movaps   [r4 + r2],      xmm0
+     movaps   [r4 + r2 + 16], xmm1
+ %endif
+     add      r2, mmsize*2
+     jl       .loop
+ .end:
+ %if cpuflag(3dnow)
+     femms
+     RET
+ %else
+     REP_RET
+ %endif
+ %endmacro
+ %if ARCH_X86_32
+ INIT_MMX 3dnow
+ FFT_CALC_FUNC
+ INIT_MMX 3dnowext
+ FFT_CALC_FUNC
+ %endif
+ INIT_XMM sse
+ FFT_CALC_FUNC
+ cglobal fft_permute, 2,7,1
+     mov     r4,  [r0 + FFTContext.revtab]
+     mov     r5,  [r0 + FFTContext.tmpbuf]
+     mov     ecx, [r0 + FFTContext.nbits]
+     mov     r2, 1
+     shl     r2, cl
+     xor     r0, r0
+ %if ARCH_X86_32
+     mov     r1, r1m
+ %endif
+ .loop:
+     movaps  xmm0, [r1 + 8*r0]
+     movzx   r6, word [r4 + 2*r0]
+     movzx   r3, word [r4 + 2*r0 + 2]
+     movlps  [r5 + 8*r6], xmm0
+     movhps  [r5 + 8*r3], xmm0
+     add     r0, 2
+     cmp     r0, r2
+     jl      .loop
+     shl     r2, 3
+     add     r1, r2
+     add     r5, r2
+     neg     r2
+ ; nbits >= 2 (FFT4) and sizeof(FFTComplex)=8 => at least 32B
+ .loopcopy:
+     movaps  xmm0, [r5 + r2]
+     movaps  xmm1, [r5 + r2 + 16]
+     movaps  [r1 + r2], xmm0
+     movaps  [r1 + r2 + 16], xmm1
+     add     r2, 32
+     jl      .loopcopy
+     REP_RET
+ %macro IMDCT_CALC_FUNC 0
+ cglobal imdct_calc, 3,5,3
+     mov     r3d, [r0 + FFTContext.mdctsize]
+     mov     r4,  [r0 + FFTContext.imdcthalf]
+     add     r1,  r3
+     PUSH    r3
+     PUSH    r1
+ %if ARCH_X86_32
+     push    r2
+     push    r1
+     push    r0
+ %else
+     sub     rsp, 8
+ %endif
+     call    r4
+ %if ARCH_X86_32
+     add     esp, 12
+ %else
+     add     rsp, 8
+ %endif
+     POP     r1
+     POP     r3
+     lea     r0, [r1 + 2*r3]
+     mov     r2, r3
+     sub     r3, mmsize
+     neg     r2
+     mova    m2, [ps_m1m1m1m1]
+ .loop:
+ %if mmsize == 8
+     PSWAPD  m0, [r1 + r3]
+     PSWAPD  m1, [r0 + r2]
+     pxor    m0, m2
+ %else
+     mova    m0, [r1 + r3]
+     mova    m1, [r0 + r2]
+     shufps  m0, m0, 0x1b
+     shufps  m1, m1, 0x1b
+     xorps   m0, m2
+ %endif
+     mova [r0 + r3], m1
+     mova [r1 + r2], m0
+     sub     r3, mmsize
+     add     r2, mmsize
+     jl      .loop
+ %if cpuflag(3dnow)
+     femms
+     RET
+ %else
+     REP_RET
+ %endif
+ %endmacro
+ %if ARCH_X86_32
+ INIT_MMX 3dnow
+ IMDCT_CALC_FUNC
+ INIT_MMX 3dnowext
+ IMDCT_CALC_FUNC
+ %endif
+ INIT_XMM sse
+ IMDCT_CALC_FUNC
+ %if ARCH_X86_32
+ INIT_MMX 3dnow
+ %define mulps pfmul
+ %define addps pfadd
+ %define subps pfsub
+ %define unpcklps punpckldq
+ %define unpckhps punpckhdq
+ DECL_PASS pass_3dnow, PASS_SMALL 1, [wq], [wq+o1q]
+ DECL_PASS pass_interleave_3dnow, PASS_BIG 0
+ %define pass_3dnowext pass_3dnow
+ %define pass_interleave_3dnowext pass_interleave_3dnow
+ %endif
+ %ifdef PIC
+ %define SECTION_REL - $$
+ %else
+ %define SECTION_REL
+ %endif
+ %macro DECL_FFT 1-2 ; nbits, suffix
+ %ifidn %0, 1
+ %xdefine fullsuffix SUFFIX
+ %else
+ %xdefine fullsuffix %2 %+ SUFFIX
+ %endif
+ %xdefine list_of_fft fft4 %+ SUFFIX SECTION_REL, fft8 %+ SUFFIX SECTION_REL
+ %if %1>=5
+ %xdefine list_of_fft list_of_fft, fft16 %+ SUFFIX SECTION_REL
+ %endif
+ %if %1>=6
+ %xdefine list_of_fft list_of_fft, fft32 %+ fullsuffix SECTION_REL
+ %endif
+ %assign n 1<<%1
+ %rep 17-%1
+ %assign n2 n/2
+ %assign n4 n/4
+ %xdefine list_of_fft list_of_fft, fft %+ n %+ fullsuffix SECTION_REL
+ align 16
+ fft %+ n %+ fullsuffix:
+     call fft %+ n2 %+ SUFFIX
+     add r0, n*4 - (n&(-2<<%1))
+     call fft %+ n4 %+ SUFFIX
+     add r0, n*2 - (n2&(-2<<%1))
+     call fft %+ n4 %+ SUFFIX
+     sub r0, n*6 + (n2&(-2<<%1))
+     lea r1, [cos_ %+ n]
+     mov r2d, n4/2
+     jmp pass %+ fullsuffix
+ %assign n n*2
+ %endrep
+ %undef n
+ align 8
+ dispatch_tab %+ fullsuffix: pointer list_of_fft
+ %endmacro ; DECL_FFT
+ %if HAVE_AVX
+ INIT_YMM avx
+ DECL_FFT 6
+ DECL_FFT 6, _interleave
+ %endif
+ INIT_XMM sse
+ DECL_FFT 5
+ DECL_FFT 5, _interleave
+ %if ARCH_X86_32
+ INIT_MMX 3dnow
+ DECL_FFT 4
+ DECL_FFT 4, _interleave
+ INIT_MMX 3dnowext
+ DECL_FFT 4
+ DECL_FFT 4, _interleave
+ %endif
+ INIT_XMM sse
+ %undef mulps
+ %undef addps
+ %undef subps
+ %undef unpcklps
+ %undef unpckhps
+ %macro PREROTATER 5 ;-2*k, 2*k, input+n4, tcos+n8, tsin+n8
+ %if mmsize == 8 ; j*2+2-n4, n4-2-j*2, input+n4, tcos+n8, tsin+n8
+     PSWAPD     m0, [%3+%2*4]
+     movq       m2, [%3+%1*4-8]
+     movq       m3, m0
+     punpckldq  m0, m2
+     punpckhdq  m2, m3
+     movd       m1, [%4+%1*2-4] ; tcos[j]
+     movd       m3, [%4+%2*2]   ; tcos[n4-j-1]
+     punpckldq  m1, [%5+%1*2-4] ; tsin[j]
+     punpckldq  m3, [%5+%2*2]   ; tsin[n4-j-1]
+     mova       m4, m0
+     PSWAPD     m5, m1
+     pfmul      m0, m1
+     pfmul      m4, m5
+     mova       m6, m2
+     PSWAPD     m5, m3
+     pfmul      m2, m3
+     pfmul      m6, m5
+ %if cpuflag(3dnowext)
+     pfpnacc    m0, m4
+     pfpnacc    m2, m6
+ %else
+     SBUTTERFLY dq, 0, 4, 1
+     SBUTTERFLY dq, 2, 6, 3
+     pxor       m4, m7
+     pxor       m6, m7
+     pfadd      m0, m4
+     pfadd      m2, m6
+ %endif
+ %else
+     movaps   xmm0, [%3+%2*4]
+     movaps   xmm1, [%3+%1*4-0x10]
+     movaps   xmm2, xmm0
+     shufps   xmm0, xmm1, 0x88
+     shufps   xmm1, xmm2, 0x77
+     movlps   xmm4, [%4+%2*2]
+     movlps   xmm5, [%5+%2*2+0x0]
+     movhps   xmm4, [%4+%1*2-0x8]
+     movhps   xmm5, [%5+%1*2-0x8]
+     movaps   xmm2, xmm0
+     movaps   xmm3, xmm1
+     mulps    xmm0, xmm5
+     mulps    xmm1, xmm4
+     mulps    xmm2, xmm4
+     mulps    xmm3, xmm5
+     subps    xmm1, xmm0
+     addps    xmm2, xmm3
+     movaps   xmm0, xmm1
+     unpcklps xmm1, xmm2
+     unpckhps xmm0, xmm2
+ %endif
+ %endmacro
+ %macro CMUL 6 ;j, xmm0, xmm1, 3, 4, 5
+     mulps      m6, %3, [%5+%1]
+     mulps      m7, %2, [%5+%1]
+     mulps      %2, %2, [%6+%1]
+     mulps      %3, %3, [%6+%1]
+     subps      %2, %2, m6
+     addps      %3, %3, m7
+ %endmacro
+ %macro POSROTATESHUF_AVX 5 ;j, k, z+n8, tcos+n8, tsin+n8
+ .post:
+     vmovaps      ymm1,   [%3+%1*2]
+     vmovaps      ymm0,   [%3+%1*2+0x20]
+     vmovaps      ymm3,   [%3+%2*2]
+     vmovaps      ymm2,   [%3+%2*2+0x20]
+     CMUL         %1, ymm0, ymm1, %3, %4, %5
+     CMUL         %2, ymm2, ymm3, %3, %4, %5
+     vshufps      ymm1, ymm1, ymm1, 0x1b
+     vshufps      ymm3, ymm3, ymm3, 0x1b
+     vperm2f128   ymm1, ymm1, ymm1, 0x01
+     vperm2f128   ymm3, ymm3, ymm3, 0x01
+     vunpcklps    ymm6, ymm2, ymm1
+     vunpckhps    ymm4, ymm2, ymm1
+     vunpcklps    ymm7, ymm0, ymm3
+     vunpckhps    ymm5, ymm0, ymm3
+     vextractf128 [%3+%1*2],      ymm7, 0
+     vextractf128 [%3+%1*2+0x10], ymm5, 0
+     vextractf128 [%3+%1*2+0x20], ymm7, 1
+     vextractf128 [%3+%1*2+0x30], ymm5, 1
+     vextractf128 [%3+%2*2],      ymm6, 0
+     vextractf128 [%3+%2*2+0x10], ymm4, 0
+     vextractf128 [%3+%2*2+0x20], ymm6, 1
+     vextractf128 [%3+%2*2+0x30], ymm4, 1
+     sub      %2,   0x20
+     add      %1,   0x20
+     jl       .post
+ %endmacro
+ %macro POSROTATESHUF 5 ;j, k, z+n8, tcos+n8, tsin+n8
+ .post:
+     movaps   xmm1, [%3+%1*2]
+     movaps   xmm0, [%3+%1*2+0x10]
+     CMUL     %1,   xmm0, xmm1, %3, %4, %5
+     movaps   xmm5, [%3+%2*2]
+     movaps   xmm4, [%3+%2*2+0x10]
+     CMUL     %2,   xmm4, xmm5, %3, %4, %5
+     shufps   xmm1, xmm1, 0x1b
+     shufps   xmm5, xmm5, 0x1b
+     movaps   xmm6, xmm4
+     unpckhps xmm4, xmm1
+     unpcklps xmm6, xmm1
+     movaps   xmm2, xmm0
+     unpcklps xmm0, xmm5
+     unpckhps xmm2, xmm5
+     movaps   [%3+%2*2],      xmm6
+     movaps   [%3+%2*2+0x10], xmm4
+     movaps   [%3+%1*2],      xmm0
+     movaps   [%3+%1*2+0x10], xmm2
+     sub      %2,   0x10
+     add      %1,   0x10
+     jl       .post
+ %endmacro
+ %macro CMUL_3DNOW 6
+     mova       m6, [%1+%2*2]
+     mova       %3, [%1+%2*2+8]
+     mova       %4, m6
+     mova       m7, %3
+     pfmul      m6, [%5+%2]
+     pfmul      %3, [%6+%2]
+     pfmul      %4, [%6+%2]
+     pfmul      m7, [%5+%2]
+     pfsub      %3, m6
+     pfadd      %4, m7
+ %endmacro
+ %macro POSROTATESHUF_3DNOW 5 ;j, k, z+n8, tcos+n8, tsin+n8
+ .post:
+     CMUL_3DNOW %3, %1, m0, m1, %4, %5
+     CMUL_3DNOW %3, %2, m2, m3, %4, %5
+     movd  [%3+%1*2+ 0], m0
+     movd  [%3+%2*2+12], m1
+     movd  [%3+%2*2+ 0], m2
+     movd  [%3+%1*2+12], m3
+     psrlq      m0, 32
+     psrlq      m1, 32
+     psrlq      m2, 32
+     psrlq      m3, 32
+     movd  [%3+%1*2+ 8], m0
+     movd  [%3+%2*2+ 4], m1
+     movd  [%3+%2*2+ 8], m2
+     movd  [%3+%1*2+ 4], m3
+     sub        %2, 8
+     add        %1, 8
+     jl         .post
+ %endmacro
+ %macro DECL_IMDCT 1
+ cglobal imdct_half, 3,12,8; FFTContext *s, FFTSample *output, const FFTSample *input
+ %if ARCH_X86_64
+ %define rrevtab r7
+ %define rtcos   r8
+ %define rtsin   r9
+ %else
+ %define rrevtab r6
+ %define rtsin   r6
+ %define rtcos   r5
+ %endif
+     mov   r3d, [r0+FFTContext.mdctsize]
+     add   r2, r3
+     shr   r3, 1
+     mov   rtcos, [r0+FFTContext.tcos]
+     mov   rtsin, [r0+FFTContext.tsin]
+     add   rtcos, r3
+     add   rtsin, r3
+ %if ARCH_X86_64 == 0
+     push  rtcos
+     push  rtsin
+ %endif
+     shr   r3, 1
+     mov   rrevtab, [r0+FFTContext.revtab]
+     add   rrevtab, r3
+ %if ARCH_X86_64 == 0
+     push  rrevtab
+ %endif
+ %if mmsize == 8
+     sub   r3, 2
+ %else
+     sub   r3, 4
+ %endif
+ %if ARCH_X86_64 || mmsize == 8
+     xor   r4, r4
+     sub   r4, r3
+ %endif
+ %if notcpuflag(3dnowext) && mmsize == 8
+     movd  m7, [ps_m1m1m1m1]
+ %endif
+ .pre:
+ %if ARCH_X86_64 == 0
+ ;unspill
+ %if mmsize != 8
+     xor   r4, r4
+     sub   r4, r3
+ %endif
+     mov   rtcos, [esp+8]
+     mov   rtsin, [esp+4]
+ %endif
+     PREROTATER r4, r3, r2, rtcos, rtsin
+ %if mmsize == 8
+     mov    r6, [esp]                ; rrevtab = ptr+n8
+     movzx  r5,  word [rrevtab+r4-2] ; rrevtab[j]
+     movzx  r6,  word [rrevtab+r3]   ; rrevtab[n4-j-1]
+     mova [r1+r5*8], m0
+     mova [r1+r6*8], m2
+     add    r4, 2
+     sub    r3, 2
+ %else
+ %if ARCH_X86_64
+     movzx  r5,  word [rrevtab+r4-4]
+     movzx  r6,  word [rrevtab+r4-2]
+     movzx  r10, word [rrevtab+r3]
+     movzx  r11, word [rrevtab+r3+2]
+     movlps [r1+r5 *8], xmm0
+     movhps [r1+r6 *8], xmm0
+     movlps [r1+r10*8], xmm1
+     movhps [r1+r11*8], xmm1
+     add    r4, 4
+ %else
+     mov    r6, [esp]
+     movzx  r5, word [r6+r4-4]
+     movzx  r4, word [r6+r4-2]
+     movlps [r1+r5*8], xmm0
+     movhps [r1+r4*8], xmm0
+     movzx  r5, word [r6+r3]
+     movzx  r4, word [r6+r3+2]
+     movlps [r1+r5*8], xmm1
+     movhps [r1+r4*8], xmm1
+ %endif
+     sub    r3, 4
+ %endif
+     jns    .pre
+     mov  r5, r0
+     mov  r6, r1
+     mov  r0, r1
+     mov  r1d, [r5+FFTContext.nbits]
+     FFT_DISPATCH SUFFIX, r1
+     mov  r0d, [r5+FFTContext.mdctsize]
+     add  r6, r0
+     shr  r0, 1
+ %if ARCH_X86_64 == 0
+ %define rtcos r2
+ %define rtsin r3
+     mov  rtcos, [esp+8]
+     mov  rtsin, [esp+4]
+ %endif
+     neg  r0
+     mov  r1, -mmsize
+     sub  r1, r0
+     %1 r0, r1, r6, rtcos, rtsin
+ %if ARCH_X86_64 == 0
+     add esp, 12
+ %endif
+ %if mmsize == 8
+     femms
+ %endif
+     RET
+ %endmacro
+ DECL_IMDCT POSROTATESHUF
+ %if ARCH_X86_32
+ INIT_MMX 3dnow
+ DECL_IMDCT POSROTATESHUF_3DNOW
+ INIT_MMX 3dnowext
+ DECL_IMDCT POSROTATESHUF_3DNOW
+ %endif
+ INIT_YMM avx
+ %if HAVE_AVX
+ DECL_IMDCT POSROTATESHUF_AVX
+ %endif
index 0000000,fc1635d..71a1fbe
mode 000000,100644..100644
--- /dev/null
@@@ -1,0 -1,1291 +1,1291 @@@
 - * This file is part of Libav.
+ /*
+  * Copyright (c) 2004-2005 Michael Niedermayer, Loren Merritt
+  * Copyright (c) 2011 Daniel Kang
+  *
 - * Libav is free software; you can redistribute it and/or
++ * This file is part of FFmpeg.
+  *
 - * Libav is distributed in the hope that it will be useful,
++ * FFmpeg is free software; you can redistribute it and/or
+  * modify it under the terms of the GNU Lesser General Public
+  * License as published by the Free Software Foundation; either
+  * version 2.1 of the License, or (at your option) any later version.
+  *
 - * License along with Libav; if not, write to the Free Software
++ * FFmpeg is distributed in the hope that it will be useful,
+  * but WITHOUT ANY WARRANTY; without even the implied warranty of
+  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
+  * Lesser General Public License for more details.
+  *
+  * You should have received a copy of the GNU Lesser General Public
 -#if ARCH_X86_32 && HAVE_YASM // ARCH_X86_64 implies sse2+
++ * License along with FFmpeg; if not, write to the Free Software
+  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
+  */
+ #include "dsputil_mmx.h"
+ #if HAVE_INLINE_ASM
+ /***********************************/
+ /* motion compensation */
+ #define QPEL_H264V_MM(A,B,C,D,E,F,OP,T,Z,d,q)\
+         "mov"#q" "#C", "#T"         \n\t"\
+         "mov"#d" (%0), "#F"         \n\t"\
+         "paddw "#D", "#T"           \n\t"\
+         "psllw $2, "#T"             \n\t"\
+         "psubw "#B", "#T"           \n\t"\
+         "psubw "#E", "#T"           \n\t"\
+         "punpcklbw "#Z", "#F"       \n\t"\
+         "pmullw "MANGLE(ff_pw_5)", "#T"\n\t"\
+         "paddw "MANGLE(ff_pw_16)", "#A"\n\t"\
+         "add %2, %0                 \n\t"\
+         "paddw "#F", "#A"           \n\t"\
+         "paddw "#A", "#T"           \n\t"\
+         "psraw $5, "#T"             \n\t"\
+         "packuswb "#T", "#T"        \n\t"\
+         OP(T, (%1), A, d)\
+         "add %3, %1                 \n\t"
+ #define QPEL_H264HV_MM(A,B,C,D,E,F,OF,T,Z,d,q)\
+         "mov"#q" "#C", "#T"         \n\t"\
+         "mov"#d" (%0), "#F"         \n\t"\
+         "paddw "#D", "#T"           \n\t"\
+         "psllw $2, "#T"             \n\t"\
+         "paddw "MANGLE(ff_pw_16)", "#A"\n\t"\
+         "psubw "#B", "#T"           \n\t"\
+         "psubw "#E", "#T"           \n\t"\
+         "punpcklbw "#Z", "#F"       \n\t"\
+         "pmullw "MANGLE(ff_pw_5)", "#T"\n\t"\
+         "paddw "#F", "#A"           \n\t"\
+         "add %2, %0                 \n\t"\
+         "paddw "#A", "#T"           \n\t"\
+         "mov"#q" "#T", "#OF"(%1)    \n\t"
+ #define QPEL_H264V(A,B,C,D,E,F,OP) QPEL_H264V_MM(A,B,C,D,E,F,OP,%%mm6,%%mm7,d,q)
+ #define QPEL_H264HV(A,B,C,D,E,F,OF) QPEL_H264HV_MM(A,B,C,D,E,F,OF,%%mm6,%%mm7,d,q)
+ #define QPEL_H264V_XMM(A,B,C,D,E,F,OP) QPEL_H264V_MM(A,B,C,D,E,F,OP,%%xmm6,%%xmm7,q,dqa)
+ #define QPEL_H264HV_XMM(A,B,C,D,E,F,OF) QPEL_H264HV_MM(A,B,C,D,E,F,OF,%%xmm6,%%xmm7,q,dqa)
+ #define QPEL_H264(OPNAME, OP, MMX)\
+ static av_noinline void OPNAME ## h264_qpel4_h_lowpass_ ## MMX(uint8_t *dst, uint8_t *src, int dstStride, int srcStride){\
+     int h=4;\
+ \
+     __asm__ volatile(\
+         "pxor %%mm7, %%mm7          \n\t"\
+         "movq "MANGLE(ff_pw_5) ", %%mm4\n\t"\
+         "movq "MANGLE(ff_pw_16)", %%mm5\n\t"\
+         "1:                         \n\t"\
+         "movd  -1(%0), %%mm1        \n\t"\
+         "movd    (%0), %%mm2        \n\t"\
+         "movd   1(%0), %%mm3        \n\t"\
+         "movd   2(%0), %%mm0        \n\t"\
+         "punpcklbw %%mm7, %%mm1     \n\t"\
+         "punpcklbw %%mm7, %%mm2     \n\t"\
+         "punpcklbw %%mm7, %%mm3     \n\t"\
+         "punpcklbw %%mm7, %%mm0     \n\t"\
+         "paddw %%mm0, %%mm1         \n\t"\
+         "paddw %%mm3, %%mm2         \n\t"\
+         "movd  -2(%0), %%mm0        \n\t"\
+         "movd   3(%0), %%mm3        \n\t"\
+         "punpcklbw %%mm7, %%mm0     \n\t"\
+         "punpcklbw %%mm7, %%mm3     \n\t"\
+         "paddw %%mm3, %%mm0         \n\t"\
+         "psllw $2, %%mm2            \n\t"\
+         "psubw %%mm1, %%mm2         \n\t"\
+         "pmullw %%mm4, %%mm2        \n\t"\
+         "paddw %%mm5, %%mm0         \n\t"\
+         "paddw %%mm2, %%mm0         \n\t"\
+         "psraw $5, %%mm0            \n\t"\
+         "packuswb %%mm0, %%mm0      \n\t"\
+         OP(%%mm0, (%1),%%mm6, d)\
+         "add %3, %0                 \n\t"\
+         "add %4, %1                 \n\t"\
+         "decl %2                    \n\t"\
+         " jnz 1b                    \n\t"\
+         : "+a"(src), "+c"(dst), "+g"(h)\
+         : "d"((x86_reg)srcStride), "S"((x86_reg)dstStride)\
+         : "memory"\
+     );\
+ }\
+ static av_noinline void OPNAME ## h264_qpel4_h_lowpass_l2_ ## MMX(uint8_t *dst, uint8_t *src, uint8_t *src2, int dstStride, int src2Stride){\
+     int h=4;\
+     __asm__ volatile(\
+         "pxor %%mm7, %%mm7          \n\t"\
+         "movq %0, %%mm4             \n\t"\
+         "movq %1, %%mm5             \n\t"\
+         :: "m"(ff_pw_5), "m"(ff_pw_16)\
+     );\
+     do{\
+     __asm__ volatile(\
+         "movd  -1(%0), %%mm1        \n\t"\
+         "movd    (%0), %%mm2        \n\t"\
+         "movd   1(%0), %%mm3        \n\t"\
+         "movd   2(%0), %%mm0        \n\t"\
+         "punpcklbw %%mm7, %%mm1     \n\t"\
+         "punpcklbw %%mm7, %%mm2     \n\t"\
+         "punpcklbw %%mm7, %%mm3     \n\t"\
+         "punpcklbw %%mm7, %%mm0     \n\t"\
+         "paddw %%mm0, %%mm1         \n\t"\
+         "paddw %%mm3, %%mm2         \n\t"\
+         "movd  -2(%0), %%mm0        \n\t"\
+         "movd   3(%0), %%mm3        \n\t"\
+         "punpcklbw %%mm7, %%mm0     \n\t"\
+         "punpcklbw %%mm7, %%mm3     \n\t"\
+         "paddw %%mm3, %%mm0         \n\t"\
+         "psllw $2, %%mm2            \n\t"\
+         "psubw %%mm1, %%mm2         \n\t"\
+         "pmullw %%mm4, %%mm2        \n\t"\
+         "paddw %%mm5, %%mm0         \n\t"\
+         "paddw %%mm2, %%mm0         \n\t"\
+         "movd   (%2), %%mm3         \n\t"\
+         "psraw $5, %%mm0            \n\t"\
+         "packuswb %%mm0, %%mm0      \n\t"\
+         PAVGB" %%mm3, %%mm0         \n\t"\
+         OP(%%mm0, (%1),%%mm6, d)\
+         "add %4, %0                 \n\t"\
+         "add %4, %1                 \n\t"\
+         "add %3, %2                 \n\t"\
+         : "+a"(src), "+c"(dst), "+d"(src2)\
+         : "D"((x86_reg)src2Stride), "S"((x86_reg)dstStride)\
+         : "memory"\
+     );\
+     }while(--h);\
+ }\
+ static av_noinline void OPNAME ## h264_qpel4_v_lowpass_ ## MMX(uint8_t *dst, uint8_t *src, int dstStride, int srcStride){\
+     src -= 2*srcStride;\
+     __asm__ volatile(\
+         "pxor %%mm7, %%mm7          \n\t"\
+         "movd (%0), %%mm0           \n\t"\
+         "add %2, %0                 \n\t"\
+         "movd (%0), %%mm1           \n\t"\
+         "add %2, %0                 \n\t"\
+         "movd (%0), %%mm2           \n\t"\
+         "add %2, %0                 \n\t"\
+         "movd (%0), %%mm3           \n\t"\
+         "add %2, %0                 \n\t"\
+         "movd (%0), %%mm4           \n\t"\
+         "add %2, %0                 \n\t"\
+         "punpcklbw %%mm7, %%mm0     \n\t"\
+         "punpcklbw %%mm7, %%mm1     \n\t"\
+         "punpcklbw %%mm7, %%mm2     \n\t"\
+         "punpcklbw %%mm7, %%mm3     \n\t"\
+         "punpcklbw %%mm7, %%mm4     \n\t"\
+         QPEL_H264V(%%mm0, %%mm1, %%mm2, %%mm3, %%mm4, %%mm5, OP)\
+         QPEL_H264V(%%mm1, %%mm2, %%mm3, %%mm4, %%mm5, %%mm0, OP)\
+         QPEL_H264V(%%mm2, %%mm3, %%mm4, %%mm5, %%mm0, %%mm1, OP)\
+         QPEL_H264V(%%mm3, %%mm4, %%mm5, %%mm0, %%mm1, %%mm2, OP)\
+          \
+         : "+a"(src), "+c"(dst)\
+         : "S"((x86_reg)srcStride), "D"((x86_reg)dstStride), "m"(ff_pw_5), "m"(ff_pw_16)\
+         : "memory"\
+     );\
+ }\
+ static av_noinline void OPNAME ## h264_qpel4_hv_lowpass_ ## MMX(uint8_t *dst, int16_t *tmp, uint8_t *src, int dstStride, int tmpStride, int srcStride){\
+     int h=4;\
+     int w=3;\
+     src -= 2*srcStride+2;\
+     while(w--){\
+         __asm__ volatile(\
+             "pxor %%mm7, %%mm7      \n\t"\
+             "movd (%0), %%mm0       \n\t"\
+             "add %2, %0             \n\t"\
+             "movd (%0), %%mm1       \n\t"\
+             "add %2, %0             \n\t"\
+             "movd (%0), %%mm2       \n\t"\
+             "add %2, %0             \n\t"\
+             "movd (%0), %%mm3       \n\t"\
+             "add %2, %0             \n\t"\
+             "movd (%0), %%mm4       \n\t"\
+             "add %2, %0             \n\t"\
+             "punpcklbw %%mm7, %%mm0 \n\t"\
+             "punpcklbw %%mm7, %%mm1 \n\t"\
+             "punpcklbw %%mm7, %%mm2 \n\t"\
+             "punpcklbw %%mm7, %%mm3 \n\t"\
+             "punpcklbw %%mm7, %%mm4 \n\t"\
+             QPEL_H264HV(%%mm0, %%mm1, %%mm2, %%mm3, %%mm4, %%mm5, 0*8*3)\
+             QPEL_H264HV(%%mm1, %%mm2, %%mm3, %%mm4, %%mm5, %%mm0, 1*8*3)\
+             QPEL_H264HV(%%mm2, %%mm3, %%mm4, %%mm5, %%mm0, %%mm1, 2*8*3)\
+             QPEL_H264HV(%%mm3, %%mm4, %%mm5, %%mm0, %%mm1, %%mm2, 3*8*3)\
+              \
+             : "+a"(src)\
+             : "c"(tmp), "S"((x86_reg)srcStride)\
+             : "memory"\
+         );\
+         tmp += 4;\
+         src += 4 - 9*srcStride;\
+     }\
+     tmp -= 3*4;\
+     __asm__ volatile(\
+         "1:                         \n\t"\
+         "movq     (%0), %%mm0       \n\t"\
+         "paddw  10(%0), %%mm0       \n\t"\
+         "movq    2(%0), %%mm1       \n\t"\
+         "paddw   8(%0), %%mm1       \n\t"\
+         "movq    4(%0), %%mm2       \n\t"\
+         "paddw   6(%0), %%mm2       \n\t"\
+         "psubw %%mm1, %%mm0         \n\t"/*a-b   (abccba)*/\
+         "psraw $2, %%mm0            \n\t"/*(a-b)/4 */\
+         "psubw %%mm1, %%mm0         \n\t"/*(a-b)/4-b */\
+         "paddsw %%mm2, %%mm0        \n\t"\
+         "psraw $2, %%mm0            \n\t"/*((a-b)/4-b+c)/4 */\
+         "paddw %%mm2, %%mm0         \n\t"/*(a-5*b+20*c)/16 */\
+         "psraw $6, %%mm0            \n\t"\
+         "packuswb %%mm0, %%mm0      \n\t"\
+         OP(%%mm0, (%1),%%mm7, d)\
+         "add $24, %0                \n\t"\
+         "add %3, %1                 \n\t"\
+         "decl %2                    \n\t"\
+         " jnz 1b                    \n\t"\
+         : "+a"(tmp), "+c"(dst), "+g"(h)\
+         : "S"((x86_reg)dstStride)\
+         : "memory"\
+     );\
+ }\
+ \
+ static av_noinline void OPNAME ## h264_qpel8_h_lowpass_ ## MMX(uint8_t *dst, uint8_t *src, int dstStride, int srcStride){\
+     int h=8;\
+     __asm__ volatile(\
+         "pxor %%mm7, %%mm7          \n\t"\
+         "movq "MANGLE(ff_pw_5)", %%mm6\n\t"\
+         "1:                         \n\t"\
+         "movq    (%0), %%mm0        \n\t"\
+         "movq   1(%0), %%mm2        \n\t"\
+         "movq %%mm0, %%mm1          \n\t"\
+         "movq %%mm2, %%mm3          \n\t"\
+         "punpcklbw %%mm7, %%mm0     \n\t"\
+         "punpckhbw %%mm7, %%mm1     \n\t"\
+         "punpcklbw %%mm7, %%mm2     \n\t"\
+         "punpckhbw %%mm7, %%mm3     \n\t"\
+         "paddw %%mm2, %%mm0         \n\t"\
+         "paddw %%mm3, %%mm1         \n\t"\
+         "psllw $2, %%mm0            \n\t"\
+         "psllw $2, %%mm1            \n\t"\
+         "movq   -1(%0), %%mm2       \n\t"\
+         "movq    2(%0), %%mm4       \n\t"\
+         "movq %%mm2, %%mm3          \n\t"\
+         "movq %%mm4, %%mm5          \n\t"\
+         "punpcklbw %%mm7, %%mm2     \n\t"\
+         "punpckhbw %%mm7, %%mm3     \n\t"\
+         "punpcklbw %%mm7, %%mm4     \n\t"\
+         "punpckhbw %%mm7, %%mm5     \n\t"\
+         "paddw %%mm4, %%mm2         \n\t"\
+         "paddw %%mm3, %%mm5         \n\t"\
+         "psubw %%mm2, %%mm0         \n\t"\
+         "psubw %%mm5, %%mm1         \n\t"\
+         "pmullw %%mm6, %%mm0        \n\t"\
+         "pmullw %%mm6, %%mm1        \n\t"\
+         "movd   -2(%0), %%mm2       \n\t"\
+         "movd    7(%0), %%mm5       \n\t"\
+         "punpcklbw %%mm7, %%mm2     \n\t"\
+         "punpcklbw %%mm7, %%mm5     \n\t"\
+         "paddw %%mm3, %%mm2         \n\t"\
+         "paddw %%mm5, %%mm4         \n\t"\
+         "movq "MANGLE(ff_pw_16)", %%mm5\n\t"\
+         "paddw %%mm5, %%mm2         \n\t"\
+         "paddw %%mm5, %%mm4         \n\t"\
+         "paddw %%mm2, %%mm0         \n\t"\
+         "paddw %%mm4, %%mm1         \n\t"\
+         "psraw $5, %%mm0            \n\t"\
+         "psraw $5, %%mm1            \n\t"\
+         "packuswb %%mm1, %%mm0      \n\t"\
+         OP(%%mm0, (%1),%%mm5, q)\
+         "add %3, %0                 \n\t"\
+         "add %4, %1                 \n\t"\
+         "decl %2                    \n\t"\
+         " jnz 1b                    \n\t"\
+         : "+a"(src), "+c"(dst), "+g"(h)\
+         : "d"((x86_reg)srcStride), "S"((x86_reg)dstStride)\
+         : "memory"\
+     );\
+ }\
+ \
+ static av_noinline void OPNAME ## h264_qpel8_h_lowpass_l2_ ## MMX(uint8_t *dst, uint8_t *src, uint8_t *src2, int dstStride, int src2Stride){\
+     int h=8;\
+     __asm__ volatile(\
+         "pxor %%mm7, %%mm7          \n\t"\
+         "movq "MANGLE(ff_pw_5)", %%mm6\n\t"\
+         "1:                         \n\t"\
+         "movq    (%0), %%mm0        \n\t"\
+         "movq   1(%0), %%mm2        \n\t"\
+         "movq %%mm0, %%mm1          \n\t"\
+         "movq %%mm2, %%mm3          \n\t"\
+         "punpcklbw %%mm7, %%mm0     \n\t"\
+         "punpckhbw %%mm7, %%mm1     \n\t"\
+         "punpcklbw %%mm7, %%mm2     \n\t"\
+         "punpckhbw %%mm7, %%mm3     \n\t"\
+         "paddw %%mm2, %%mm0         \n\t"\
+         "paddw %%mm3, %%mm1         \n\t"\
+         "psllw $2, %%mm0            \n\t"\
+         "psllw $2, %%mm1            \n\t"\
+         "movq   -1(%0), %%mm2       \n\t"\
+         "movq    2(%0), %%mm4       \n\t"\
+         "movq %%mm2, %%mm3          \n\t"\
+         "movq %%mm4, %%mm5          \n\t"\
+         "punpcklbw %%mm7, %%mm2     \n\t"\
+         "punpckhbw %%mm7, %%mm3     \n\t"\
+         "punpcklbw %%mm7, %%mm4     \n\t"\
+         "punpckhbw %%mm7, %%mm5     \n\t"\
+         "paddw %%mm4, %%mm2         \n\t"\
+         "paddw %%mm3, %%mm5         \n\t"\
+         "psubw %%mm2, %%mm0         \n\t"\
+         "psubw %%mm5, %%mm1         \n\t"\
+         "pmullw %%mm6, %%mm0        \n\t"\
+         "pmullw %%mm6, %%mm1        \n\t"\
+         "movd   -2(%0), %%mm2       \n\t"\
+         "movd    7(%0), %%mm5       \n\t"\
+         "punpcklbw %%mm7, %%mm2     \n\t"\
+         "punpcklbw %%mm7, %%mm5     \n\t"\
+         "paddw %%mm3, %%mm2         \n\t"\
+         "paddw %%mm5, %%mm4         \n\t"\
+         "movq "MANGLE(ff_pw_16)", %%mm5\n\t"\
+         "paddw %%mm5, %%mm2         \n\t"\
+         "paddw %%mm5, %%mm4         \n\t"\
+         "paddw %%mm2, %%mm0         \n\t"\
+         "paddw %%mm4, %%mm1         \n\t"\
+         "psraw $5, %%mm0            \n\t"\
+         "psraw $5, %%mm1            \n\t"\
+         "movq (%2), %%mm4           \n\t"\
+         "packuswb %%mm1, %%mm0      \n\t"\
+         PAVGB" %%mm4, %%mm0         \n\t"\
+         OP(%%mm0, (%1),%%mm5, q)\
+         "add %5, %0                 \n\t"\
+         "add %5, %1                 \n\t"\
+         "add %4, %2                 \n\t"\
+         "decl %3                    \n\t"\
+         "jg 1b                      \n\t"\
+         : "+a"(src), "+c"(dst), "+d"(src2), "+g"(h)\
+         : "D"((x86_reg)src2Stride), "S"((x86_reg)dstStride)\
+         : "memory"\
+     );\
+ }\
+ \
+ static av_noinline void OPNAME ## h264_qpel8or16_v_lowpass_ ## MMX(uint8_t *dst, uint8_t *src, int dstStride, int srcStride, int h){\
+     int w= 2;\
+     src -= 2*srcStride;\
+     \
+     while(w--){\
+         __asm__ volatile(\
+             "pxor %%mm7, %%mm7          \n\t"\
+             "movd (%0), %%mm0           \n\t"\
+             "add %2, %0                 \n\t"\
+             "movd (%0), %%mm1           \n\t"\
+             "add %2, %0                 \n\t"\
+             "movd (%0), %%mm2           \n\t"\
+             "add %2, %0                 \n\t"\
+             "movd (%0), %%mm3           \n\t"\
+             "add %2, %0                 \n\t"\
+             "movd (%0), %%mm4           \n\t"\
+             "add %2, %0                 \n\t"\
+             "punpcklbw %%mm7, %%mm0     \n\t"\
+             "punpcklbw %%mm7, %%mm1     \n\t"\
+             "punpcklbw %%mm7, %%mm2     \n\t"\
+             "punpcklbw %%mm7, %%mm3     \n\t"\
+             "punpcklbw %%mm7, %%mm4     \n\t"\
+             QPEL_H264V(%%mm0, %%mm1, %%mm2, %%mm3, %%mm4, %%mm5, OP)\
+             QPEL_H264V(%%mm1, %%mm2, %%mm3, %%mm4, %%mm5, %%mm0, OP)\
+             QPEL_H264V(%%mm2, %%mm3, %%mm4, %%mm5, %%mm0, %%mm1, OP)\
+             QPEL_H264V(%%mm3, %%mm4, %%mm5, %%mm0, %%mm1, %%mm2, OP)\
+             QPEL_H264V(%%mm4, %%mm5, %%mm0, %%mm1, %%mm2, %%mm3, OP)\
+             QPEL_H264V(%%mm5, %%mm0, %%mm1, %%mm2, %%mm3, %%mm4, OP)\
+             QPEL_H264V(%%mm0, %%mm1, %%mm2, %%mm3, %%mm4, %%mm5, OP)\
+             QPEL_H264V(%%mm1, %%mm2, %%mm3, %%mm4, %%mm5, %%mm0, OP)\
+             "cmpl $16, %4               \n\t"\
+             "jne 2f                     \n\t"\
+             QPEL_H264V(%%mm2, %%mm3, %%mm4, %%mm5, %%mm0, %%mm1, OP)\
+             QPEL_H264V(%%mm3, %%mm4, %%mm5, %%mm0, %%mm1, %%mm2, OP)\
+             QPEL_H264V(%%mm4, %%mm5, %%mm0, %%mm1, %%mm2, %%mm3, OP)\
+             QPEL_H264V(%%mm5, %%mm0, %%mm1, %%mm2, %%mm3, %%mm4, OP)\
+             QPEL_H264V(%%mm0, %%mm1, %%mm2, %%mm3, %%mm4, %%mm5, OP)\
+             QPEL_H264V(%%mm1, %%mm2, %%mm3, %%mm4, %%mm5, %%mm0, OP)\
+             QPEL_H264V(%%mm2, %%mm3, %%mm4, %%mm5, %%mm0, %%mm1, OP)\
+             QPEL_H264V(%%mm3, %%mm4, %%mm5, %%mm0, %%mm1, %%mm2, OP)\
+             "2:                         \n\t"\
+             \
+             : "+a"(src), "+c"(dst)\
+             : "S"((x86_reg)srcStride), "D"((x86_reg)dstStride), "rm"(h)\
+             : "memory"\
+         );\
+         src += 4-(h+5)*srcStride;\
+         dst += 4-h*dstStride;\
+     }\
+ }\
+ static av_always_inline void OPNAME ## h264_qpel8or16_hv1_lowpass_ ## MMX(int16_t *tmp, uint8_t *src, int tmpStride, int srcStride, int size){\
+     int w = (size+8)>>2;\
+     src -= 2*srcStride+2;\
+     while(w--){\
+         __asm__ volatile(\
+             "pxor %%mm7, %%mm7      \n\t"\
+             "movd (%0), %%mm0       \n\t"\
+             "add %2, %0             \n\t"\
+             "movd (%0), %%mm1       \n\t"\
+             "add %2, %0             \n\t"\
+             "movd (%0), %%mm2       \n\t"\
+             "add %2, %0             \n\t"\
+             "movd (%0), %%mm3       \n\t"\
+             "add %2, %0             \n\t"\
+             "movd (%0), %%mm4       \n\t"\
+             "add %2, %0             \n\t"\
+             "punpcklbw %%mm7, %%mm0 \n\t"\
+             "punpcklbw %%mm7, %%mm1 \n\t"\
+             "punpcklbw %%mm7, %%mm2 \n\t"\
+             "punpcklbw %%mm7, %%mm3 \n\t"\
+             "punpcklbw %%mm7, %%mm4 \n\t"\
+             QPEL_H264HV(%%mm0, %%mm1, %%mm2, %%mm3, %%mm4, %%mm5, 0*48)\
+             QPEL_H264HV(%%mm1, %%mm2, %%mm3, %%mm4, %%mm5, %%mm0, 1*48)\
+             QPEL_H264HV(%%mm2, %%mm3, %%mm4, %%mm5, %%mm0, %%mm1, 2*48)\
+             QPEL_H264HV(%%mm3, %%mm4, %%mm5, %%mm0, %%mm1, %%mm2, 3*48)\
+             QPEL_H264HV(%%mm4, %%mm5, %%mm0, %%mm1, %%mm2, %%mm3, 4*48)\
+             QPEL_H264HV(%%mm5, %%mm0, %%mm1, %%mm2, %%mm3, %%mm4, 5*48)\
+             QPEL_H264HV(%%mm0, %%mm1, %%mm2, %%mm3, %%mm4, %%mm5, 6*48)\
+             QPEL_H264HV(%%mm1, %%mm2, %%mm3, %%mm4, %%mm5, %%mm0, 7*48)\
+             "cmpl $16, %3           \n\t"\
+             "jne 2f                 \n\t"\
+             QPEL_H264HV(%%mm2, %%mm3, %%mm4, %%mm5, %%mm0, %%mm1,  8*48)\
+             QPEL_H264HV(%%mm3, %%mm4, %%mm5, %%mm0, %%mm1, %%mm2,  9*48)\
+             QPEL_H264HV(%%mm4, %%mm5, %%mm0, %%mm1, %%mm2, %%mm3, 10*48)\
+             QPEL_H264HV(%%mm5, %%mm0, %%mm1, %%mm2, %%mm3, %%mm4, 11*48)\
+             QPEL_H264HV(%%mm0, %%mm1, %%mm2, %%mm3, %%mm4, %%mm5, 12*48)\
+             QPEL_H264HV(%%mm1, %%mm2, %%mm3, %%mm4, %%mm5, %%mm0, 13*48)\
+             QPEL_H264HV(%%mm2, %%mm3, %%mm4, %%mm5, %%mm0, %%mm1, 14*48)\
+             QPEL_H264HV(%%mm3, %%mm4, %%mm5, %%mm0, %%mm1, %%mm2, 15*48)\
+             "2:                     \n\t"\
+             : "+a"(src)\
+             : "c"(tmp), "S"((x86_reg)srcStride), "rm"(size)\
+             : "memory"\
+             );\
+         tmp += 4;\
+         src += 4 - (size+5)*srcStride;\
+     }\
+ }\
+ static av_always_inline void OPNAME ## h264_qpel8or16_hv2_lowpass_ ## MMX(uint8_t *dst, int16_t *tmp, int dstStride, int tmpStride, int size){\
+     int w = size>>4;\
+     do{\
+     int h = size;\
+     __asm__ volatile(\
+         "1:                         \n\t"\
+         "movq     (%0), %%mm0       \n\t"\
+         "movq    8(%0), %%mm3       \n\t"\
+         "movq    2(%0), %%mm1       \n\t"\
+         "movq   10(%0), %%mm4       \n\t"\
+         "paddw   %%mm4, %%mm0       \n\t"\
+         "paddw   %%mm3, %%mm1       \n\t"\
+         "paddw  18(%0), %%mm3       \n\t"\
+         "paddw  16(%0), %%mm4       \n\t"\
+         "movq    4(%0), %%mm2       \n\t"\
+         "movq   12(%0), %%mm5       \n\t"\
+         "paddw   6(%0), %%mm2       \n\t"\
+         "paddw  14(%0), %%mm5       \n\t"\
+         "psubw %%mm1, %%mm0         \n\t"\
+         "psubw %%mm4, %%mm3         \n\t"\
+         "psraw $2, %%mm0            \n\t"\
+         "psraw $2, %%mm3            \n\t"\
+         "psubw %%mm1, %%mm0         \n\t"\
+         "psubw %%mm4, %%mm3         \n\t"\
+         "paddsw %%mm2, %%mm0        \n\t"\
+         "paddsw %%mm5, %%mm3        \n\t"\
+         "psraw $2, %%mm0            \n\t"\
+         "psraw $2, %%mm3            \n\t"\
+         "paddw %%mm2, %%mm0         \n\t"\
+         "paddw %%mm5, %%mm3         \n\t"\
+         "psraw $6, %%mm0            \n\t"\
+         "psraw $6, %%mm3            \n\t"\
+         "packuswb %%mm3, %%mm0      \n\t"\
+         OP(%%mm0, (%1),%%mm7, q)\
+         "add $48, %0                \n\t"\
+         "add %3, %1                 \n\t"\
+         "decl %2                    \n\t"\
+         " jnz 1b                    \n\t"\
+         : "+a"(tmp), "+c"(dst), "+g"(h)\
+         : "S"((x86_reg)dstStride)\
+         : "memory"\
+     );\
+     tmp += 8 - size*24;\
+     dst += 8 - size*dstStride;\
+     }while(w--);\
+ }\
+ \
+ static void OPNAME ## h264_qpel8_v_lowpass_ ## MMX(uint8_t *dst, uint8_t *src, int dstStride, int srcStride){\
+     OPNAME ## h264_qpel8or16_v_lowpass_ ## MMX(dst  , src  , dstStride, srcStride, 8);\
+ }\
+ static av_noinline void OPNAME ## h264_qpel16_v_lowpass_ ## MMX(uint8_t *dst, uint8_t *src, int dstStride, int srcStride){\
+     OPNAME ## h264_qpel8or16_v_lowpass_ ## MMX(dst  , src  , dstStride, srcStride, 16);\
+     OPNAME ## h264_qpel8or16_v_lowpass_ ## MMX(dst+8, src+8, dstStride, srcStride, 16);\
+ }\
+ \
+ static void OPNAME ## h264_qpel16_h_lowpass_ ## MMX(uint8_t *dst, uint8_t *src, int dstStride, int srcStride){\
+     OPNAME ## h264_qpel8_h_lowpass_ ## MMX(dst  , src  , dstStride, srcStride);\
+     OPNAME ## h264_qpel8_h_lowpass_ ## MMX(dst+8, src+8, dstStride, srcStride);\
+     src += 8*srcStride;\
+     dst += 8*dstStride;\
+     OPNAME ## h264_qpel8_h_lowpass_ ## MMX(dst  , src  , dstStride, srcStride);\
+     OPNAME ## h264_qpel8_h_lowpass_ ## MMX(dst+8, src+8, dstStride, srcStride);\
+ }\
+ \
+ static av_noinline void OPNAME ## h264_qpel16_h_lowpass_l2_ ## MMX(uint8_t *dst, uint8_t *src, uint8_t *src2, int dstStride, int src2Stride){\
+     OPNAME ## h264_qpel8_h_lowpass_l2_ ## MMX(dst  , src  , src2  , dstStride, src2Stride);\
+     OPNAME ## h264_qpel8_h_lowpass_l2_ ## MMX(dst+8, src+8, src2+8, dstStride, src2Stride);\
+     src += 8*dstStride;\
+     dst += 8*dstStride;\
+     src2 += 8*src2Stride;\
+     OPNAME ## h264_qpel8_h_lowpass_l2_ ## MMX(dst  , src  , src2  , dstStride, src2Stride);\
+     OPNAME ## h264_qpel8_h_lowpass_l2_ ## MMX(dst+8, src+8, src2+8, dstStride, src2Stride);\
+ }\
+ \
+ static av_noinline void OPNAME ## h264_qpel8or16_hv_lowpass_ ## MMX(uint8_t *dst, int16_t *tmp, uint8_t *src, int dstStride, int tmpStride, int srcStride, int size){\
+           put_h264_qpel8or16_hv1_lowpass_ ## MMX(tmp, src, tmpStride, srcStride, size);\
+     OPNAME ## h264_qpel8or16_hv2_lowpass_ ## MMX(dst, tmp, dstStride, tmpStride, size);\
+ }\
+ static void OPNAME ## h264_qpel8_hv_lowpass_ ## MMX(uint8_t *dst, int16_t *tmp, uint8_t *src, int dstStride, int tmpStride, int srcStride){\
+     OPNAME ## h264_qpel8or16_hv_lowpass_ ## MMX(dst  , tmp  , src  , dstStride, tmpStride, srcStride, 8);\
+ }\
+ \
+ static void OPNAME ## h264_qpel16_hv_lowpass_ ## MMX(uint8_t *dst, int16_t *tmp, uint8_t *src, int dstStride, int tmpStride, int srcStride){\
+     OPNAME ## h264_qpel8or16_hv_lowpass_ ## MMX(dst  , tmp  , src  , dstStride, tmpStride, srcStride, 16);\
+ }\
+ \
+ static av_noinline void OPNAME ## pixels4_l2_shift5_ ## MMX(uint8_t *dst, int16_t *src16, uint8_t *src8, int dstStride, int src8Stride, int h)\
+ {\
+     __asm__ volatile(\
+         "movq      (%1), %%mm0          \n\t"\
+         "movq    24(%1), %%mm1          \n\t"\
+         "psraw      $5,  %%mm0          \n\t"\
+         "psraw      $5,  %%mm1          \n\t"\
+         "packuswb %%mm0, %%mm0          \n\t"\
+         "packuswb %%mm1, %%mm1          \n\t"\
+         PAVGB"     (%0), %%mm0          \n\t"\
+         PAVGB"  (%0,%3), %%mm1          \n\t"\
+         OP(%%mm0, (%2),    %%mm4, d)\
+         OP(%%mm1, (%2,%4), %%mm5, d)\
+         "lea  (%0,%3,2), %0             \n\t"\
+         "lea  (%2,%4,2), %2             \n\t"\
+         "movq    48(%1), %%mm0          \n\t"\
+         "movq    72(%1), %%mm1          \n\t"\
+         "psraw      $5,  %%mm0          \n\t"\
+         "psraw      $5,  %%mm1          \n\t"\
+         "packuswb %%mm0, %%mm0          \n\t"\
+         "packuswb %%mm1, %%mm1          \n\t"\
+         PAVGB"     (%0), %%mm0          \n\t"\
+         PAVGB"  (%0,%3), %%mm1          \n\t"\
+         OP(%%mm0, (%2),    %%mm4, d)\
+         OP(%%mm1, (%2,%4), %%mm5, d)\
+         :"+a"(src8), "+c"(src16), "+d"(dst)\
+         :"S"((x86_reg)src8Stride), "D"((x86_reg)dstStride)\
+         :"memory");\
+ }\
+ static av_noinline void OPNAME ## pixels8_l2_shift5_ ## MMX(uint8_t *dst, int16_t *src16, uint8_t *src8, int dstStride, int src8Stride, int h)\
+ {\
+     do{\
+     __asm__ volatile(\
+         "movq      (%1), %%mm0          \n\t"\
+         "movq     8(%1), %%mm1          \n\t"\
+         "movq    48(%1), %%mm2          \n\t"\
+         "movq  8+48(%1), %%mm3          \n\t"\
+         "psraw      $5,  %%mm0          \n\t"\
+         "psraw      $5,  %%mm1          \n\t"\
+         "psraw      $5,  %%mm2          \n\t"\
+         "psraw      $5,  %%mm3          \n\t"\
+         "packuswb %%mm1, %%mm0          \n\t"\
+         "packuswb %%mm3, %%mm2          \n\t"\
+         PAVGB"     (%0), %%mm0          \n\t"\
+         PAVGB"  (%0,%3), %%mm2          \n\t"\
+         OP(%%mm0, (%2), %%mm5, q)\
+         OP(%%mm2, (%2,%4), %%mm5, q)\
+         ::"a"(src8), "c"(src16), "d"(dst),\
+           "r"((x86_reg)src8Stride), "r"((x86_reg)dstStride)\
+         :"memory");\
+         src8 += 2L*src8Stride;\
+         src16 += 48;\
+         dst += 2L*dstStride;\
+     }while(h-=2);\
+ }\
+ static void OPNAME ## pixels16_l2_shift5_ ## MMX(uint8_t *dst, int16_t *src16, uint8_t *src8, int dstStride, int src8Stride, int h)\
+ {\
+     OPNAME ## pixels8_l2_shift5_ ## MMX(dst  , src16  , src8  , dstStride, src8Stride, h);\
+     OPNAME ## pixels8_l2_shift5_ ## MMX(dst+8, src16+8, src8+8, dstStride, src8Stride, h);\
+ }\
+ #if ARCH_X86_64
+ #define QPEL_H264_H16_XMM(OPNAME, OP, MMX)\
+ static av_noinline void OPNAME ## h264_qpel16_h_lowpass_l2_ ## MMX(uint8_t *dst, uint8_t *src, uint8_t *src2, int dstStride, int src2Stride){\
+     int h=16;\
+     __asm__ volatile(\
+         "pxor %%xmm15, %%xmm15      \n\t"\
+         "movdqa %6, %%xmm14         \n\t"\
+         "movdqa %7, %%xmm13         \n\t"\
+         "1:                         \n\t"\
+         "lddqu    6(%0), %%xmm1     \n\t"\
+         "lddqu   -2(%0), %%xmm7     \n\t"\
+         "movdqa  %%xmm1, %%xmm0     \n\t"\
+         "punpckhbw %%xmm15, %%xmm1  \n\t"\
+         "punpcklbw %%xmm15, %%xmm0  \n\t"\
+         "punpcklbw %%xmm15, %%xmm7  \n\t"\
+         "movdqa  %%xmm1, %%xmm2     \n\t"\
+         "movdqa  %%xmm0, %%xmm6     \n\t"\
+         "movdqa  %%xmm1, %%xmm3     \n\t"\
+         "movdqa  %%xmm0, %%xmm8     \n\t"\
+         "movdqa  %%xmm1, %%xmm4     \n\t"\
+         "movdqa  %%xmm0, %%xmm9     \n\t"\
+         "movdqa  %%xmm0, %%xmm12    \n\t"\
+         "movdqa  %%xmm1, %%xmm11    \n\t"\
+         "palignr $10,%%xmm0, %%xmm11\n\t"\
+         "palignr $10,%%xmm7, %%xmm12\n\t"\
+         "palignr $2, %%xmm0, %%xmm4 \n\t"\
+         "palignr $2, %%xmm7, %%xmm9 \n\t"\
+         "palignr $4, %%xmm0, %%xmm3 \n\t"\
+         "palignr $4, %%xmm7, %%xmm8 \n\t"\
+         "palignr $6, %%xmm0, %%xmm2 \n\t"\
+         "palignr $6, %%xmm7, %%xmm6 \n\t"\
+         "paddw   %%xmm0 ,%%xmm11    \n\t"\
+         "palignr $8, %%xmm0, %%xmm1 \n\t"\
+         "palignr $8, %%xmm7, %%xmm0 \n\t"\
+         "paddw   %%xmm12,%%xmm7     \n\t"\
+         "paddw   %%xmm3, %%xmm2     \n\t"\
+         "paddw   %%xmm8, %%xmm6     \n\t"\
+         "paddw   %%xmm4, %%xmm1     \n\t"\
+         "paddw   %%xmm9, %%xmm0     \n\t"\
+         "psllw   $2,     %%xmm2     \n\t"\
+         "psllw   $2,     %%xmm6     \n\t"\
+         "psubw   %%xmm1, %%xmm2     \n\t"\
+         "psubw   %%xmm0, %%xmm6     \n\t"\
+         "paddw   %%xmm13,%%xmm11    \n\t"\
+         "paddw   %%xmm13,%%xmm7     \n\t"\
+         "pmullw  %%xmm14,%%xmm2     \n\t"\
+         "pmullw  %%xmm14,%%xmm6     \n\t"\
+         "lddqu   (%2),   %%xmm3     \n\t"\
+         "paddw   %%xmm11,%%xmm2     \n\t"\
+         "paddw   %%xmm7, %%xmm6     \n\t"\
+         "psraw   $5,     %%xmm2     \n\t"\
+         "psraw   $5,     %%xmm6     \n\t"\
+         "packuswb %%xmm2,%%xmm6     \n\t"\
+         "pavgb   %%xmm3, %%xmm6     \n\t"\
+         OP(%%xmm6, (%1), %%xmm4, dqa)\
+         "add %5, %0                 \n\t"\
+         "add %5, %1                 \n\t"\
+         "add %4, %2                 \n\t"\
+         "decl %3                    \n\t"\
+         "jg 1b                      \n\t"\
+         : "+a"(src), "+c"(dst), "+d"(src2), "+g"(h)\
+         : "D"((x86_reg)src2Stride), "S"((x86_reg)dstStride),\
+           "m"(ff_pw_5), "m"(ff_pw_16)\
+         : XMM_CLOBBERS("%xmm0" , "%xmm1" , "%xmm2" , "%xmm3" , \
+                        "%xmm4" , "%xmm5" , "%xmm6" , "%xmm7" , \
+                        "%xmm8" , "%xmm9" , "%xmm10", "%xmm11", \
+                        "%xmm12", "%xmm13", "%xmm14", "%xmm15",)\
+           "memory"\
+     );\
+ }
+ #else // ARCH_X86_64
+ #define QPEL_H264_H16_XMM(OPNAME, OP, MMX)\
+ static av_noinline void OPNAME ## h264_qpel16_h_lowpass_l2_ ## MMX(uint8_t *dst, uint8_t *src, uint8_t *src2, int dstStride, int src2Stride){\
+     OPNAME ## h264_qpel8_h_lowpass_l2_ ## MMX(dst  , src  , src2  , dstStride, src2Stride);\
+     OPNAME ## h264_qpel8_h_lowpass_l2_ ## MMX(dst+8, src+8, src2+8, dstStride, src2Stride);\
+     src += 8*dstStride;\
+     dst += 8*dstStride;\
+     src2 += 8*src2Stride;\
+     OPNAME ## h264_qpel8_h_lowpass_l2_ ## MMX(dst  , src  , src2  , dstStride, src2Stride);\
+     OPNAME ## h264_qpel8_h_lowpass_l2_ ## MMX(dst+8, src+8, src2+8, dstStride, src2Stride);\
+ }
+ #endif // ARCH_X86_64
+ #define QPEL_H264_H_XMM(OPNAME, OP, MMX)\
+ static av_noinline void OPNAME ## h264_qpel8_h_lowpass_l2_ ## MMX(uint8_t *dst, uint8_t *src, uint8_t *src2, int dstStride, int src2Stride){\
+     int h=8;\
+     __asm__ volatile(\
+         "pxor %%xmm7, %%xmm7        \n\t"\
+         "movdqa "MANGLE(ff_pw_5)", %%xmm6\n\t"\
+         "1:                         \n\t"\
+         "lddqu   -2(%0), %%xmm1     \n\t"\
+         "movdqa  %%xmm1, %%xmm0     \n\t"\
+         "punpckhbw %%xmm7, %%xmm1   \n\t"\
+         "punpcklbw %%xmm7, %%xmm0   \n\t"\
+         "movdqa  %%xmm1, %%xmm2     \n\t"\
+         "movdqa  %%xmm1, %%xmm3     \n\t"\
+         "movdqa  %%xmm1, %%xmm4     \n\t"\
+         "movdqa  %%xmm1, %%xmm5     \n\t"\
+         "palignr $2, %%xmm0, %%xmm4 \n\t"\
+         "palignr $4, %%xmm0, %%xmm3 \n\t"\
+         "palignr $6, %%xmm0, %%xmm2 \n\t"\
+         "palignr $8, %%xmm0, %%xmm1 \n\t"\
+         "palignr $10,%%xmm0, %%xmm5 \n\t"\
+         "paddw   %%xmm5, %%xmm0     \n\t"\
+         "paddw   %%xmm3, %%xmm2     \n\t"\
+         "paddw   %%xmm4, %%xmm1     \n\t"\
+         "psllw   $2,     %%xmm2     \n\t"\
+         "movq    (%2),   %%xmm3     \n\t"\
+         "psubw   %%xmm1, %%xmm2     \n\t"\
+         "paddw "MANGLE(ff_pw_16)", %%xmm0\n\t"\
+         "pmullw  %%xmm6, %%xmm2     \n\t"\
+         "paddw   %%xmm0, %%xmm2     \n\t"\
+         "psraw   $5,     %%xmm2     \n\t"\
+         "packuswb %%xmm2, %%xmm2    \n\t"\
+         "pavgb   %%xmm3, %%xmm2     \n\t"\
+         OP(%%xmm2, (%1), %%xmm4, q)\
+         "add %5, %0                 \n\t"\
+         "add %5, %1                 \n\t"\
+         "add %4, %2                 \n\t"\
+         "decl %3                    \n\t"\
+         "jg 1b                      \n\t"\
+         : "+a"(src), "+c"(dst), "+d"(src2), "+g"(h)\
+         : "D"((x86_reg)src2Stride), "S"((x86_reg)dstStride)\
+         : XMM_CLOBBERS("%xmm0", "%xmm1", "%xmm2", "%xmm3", \
+                        "%xmm4", "%xmm5", "%xmm6", "%xmm7",)\
+           "memory"\
+     );\
+ }\
+ QPEL_H264_H16_XMM(OPNAME, OP, MMX)\
+ \
+ static av_noinline void OPNAME ## h264_qpel8_h_lowpass_ ## MMX(uint8_t *dst, uint8_t *src, int dstStride, int srcStride){\
+     int h=8;\
+     __asm__ volatile(\
+         "pxor %%xmm7, %%xmm7        \n\t"\
+         "movdqa "MANGLE(ff_pw_5)", %%xmm6\n\t"\
+         "1:                         \n\t"\
+         "lddqu   -2(%0), %%xmm1     \n\t"\
+         "movdqa  %%xmm1, %%xmm0     \n\t"\
+         "punpckhbw %%xmm7, %%xmm1   \n\t"\
+         "punpcklbw %%xmm7, %%xmm0   \n\t"\
+         "movdqa  %%xmm1, %%xmm2     \n\t"\
+         "movdqa  %%xmm1, %%xmm3     \n\t"\
+         "movdqa  %%xmm1, %%xmm4     \n\t"\
+         "movdqa  %%xmm1, %%xmm5     \n\t"\
+         "palignr $2, %%xmm0, %%xmm4 \n\t"\
+         "palignr $4, %%xmm0, %%xmm3 \n\t"\
+         "palignr $6, %%xmm0, %%xmm2 \n\t"\
+         "palignr $8, %%xmm0, %%xmm1 \n\t"\
+         "palignr $10,%%xmm0, %%xmm5 \n\t"\
+         "paddw   %%xmm5, %%xmm0     \n\t"\
+         "paddw   %%xmm3, %%xmm2     \n\t"\
+         "paddw   %%xmm4, %%xmm1     \n\t"\
+         "psllw   $2,     %%xmm2     \n\t"\
+         "psubw   %%xmm1, %%xmm2     \n\t"\
+         "paddw   "MANGLE(ff_pw_16)", %%xmm0\n\t"\
+         "pmullw  %%xmm6, %%xmm2     \n\t"\
+         "paddw   %%xmm0, %%xmm2     \n\t"\
+         "psraw   $5,     %%xmm2     \n\t"\
+         "packuswb %%xmm2, %%xmm2    \n\t"\
+         OP(%%xmm2, (%1), %%xmm4, q)\
+         "add %3, %0                 \n\t"\
+         "add %4, %1                 \n\t"\
+         "decl %2                    \n\t"\
+         " jnz 1b                    \n\t"\
+         : "+a"(src), "+c"(dst), "+g"(h)\
+         : "D"((x86_reg)srcStride), "S"((x86_reg)dstStride)\
+         : XMM_CLOBBERS("%xmm0", "%xmm1", "%xmm2", "%xmm3", \
+                        "%xmm4", "%xmm5", "%xmm6", "%xmm7",)\
+           "memory"\
+     );\
+ }\
+ static void OPNAME ## h264_qpel16_h_lowpass_ ## MMX(uint8_t *dst, uint8_t *src, int dstStride, int srcStride){\
+     OPNAME ## h264_qpel8_h_lowpass_ ## MMX(dst  , src  , dstStride, srcStride);\
+     OPNAME ## h264_qpel8_h_lowpass_ ## MMX(dst+8, src+8, dstStride, srcStride);\
+     src += 8*srcStride;\
+     dst += 8*dstStride;\
+     OPNAME ## h264_qpel8_h_lowpass_ ## MMX(dst  , src  , dstStride, srcStride);\
+     OPNAME ## h264_qpel8_h_lowpass_ ## MMX(dst+8, src+8, dstStride, srcStride);\
+ }\
+ #define QPEL_H264_V_XMM(OPNAME, OP, MMX)\
+ static av_noinline void OPNAME ## h264_qpel8or16_v_lowpass_ ## MMX(uint8_t *dst, uint8_t *src, int dstStride, int srcStride, int h){\
+     src -= 2*srcStride;\
+     \
+     __asm__ volatile(\
+         "pxor %%xmm7, %%xmm7        \n\t"\
+         "movq (%0), %%xmm0          \n\t"\
+         "add %2, %0                 \n\t"\
+         "movq (%0), %%xmm1          \n\t"\
+         "add %2, %0                 \n\t"\
+         "movq (%0), %%xmm2          \n\t"\
+         "add %2, %0                 \n\t"\
+         "movq (%0), %%xmm3          \n\t"\
+         "add %2, %0                 \n\t"\
+         "movq (%0), %%xmm4          \n\t"\
+         "add %2, %0                 \n\t"\
+         "punpcklbw %%xmm7, %%xmm0   \n\t"\
+         "punpcklbw %%xmm7, %%xmm1   \n\t"\
+         "punpcklbw %%xmm7, %%xmm2   \n\t"\
+         "punpcklbw %%xmm7, %%xmm3   \n\t"\
+         "punpcklbw %%xmm7, %%xmm4   \n\t"\
+         QPEL_H264V_XMM(%%xmm0, %%xmm1, %%xmm2, %%xmm3, %%xmm4, %%xmm5, OP)\
+         QPEL_H264V_XMM(%%xmm1, %%xmm2, %%xmm3, %%xmm4, %%xmm5, %%xmm0, OP)\
+         QPEL_H264V_XMM(%%xmm2, %%xmm3, %%xmm4, %%xmm5, %%xmm0, %%xmm1, OP)\
+         QPEL_H264V_XMM(%%xmm3, %%xmm4, %%xmm5, %%xmm0, %%xmm1, %%xmm2, OP)\
+         QPEL_H264V_XMM(%%xmm4, %%xmm5, %%xmm0, %%xmm1, %%xmm2, %%xmm3, OP)\
+         QPEL_H264V_XMM(%%xmm5, %%xmm0, %%xmm1, %%xmm2, %%xmm3, %%xmm4, OP)\
+         QPEL_H264V_XMM(%%xmm0, %%xmm1, %%xmm2, %%xmm3, %%xmm4, %%xmm5, OP)\
+         QPEL_H264V_XMM(%%xmm1, %%xmm2, %%xmm3, %%xmm4, %%xmm5, %%xmm0, OP)\
+         "cmpl $16, %4               \n\t"\
+         "jne 2f                     \n\t"\
+         QPEL_H264V_XMM(%%xmm2, %%xmm3, %%xmm4, %%xmm5, %%xmm0, %%xmm1, OP)\
+         QPEL_H264V_XMM(%%xmm3, %%xmm4, %%xmm5, %%xmm0, %%xmm1, %%xmm2, OP)\
+         QPEL_H264V_XMM(%%xmm4, %%xmm5, %%xmm0, %%xmm1, %%xmm2, %%xmm3, OP)\
+         QPEL_H264V_XMM(%%xmm5, %%xmm0, %%xmm1, %%xmm2, %%xmm3, %%xmm4, OP)\
+         QPEL_H264V_XMM(%%xmm0, %%xmm1, %%xmm2, %%xmm3, %%xmm4, %%xmm5, OP)\
+         QPEL_H264V_XMM(%%xmm1, %%xmm2, %%xmm3, %%xmm4, %%xmm5, %%xmm0, OP)\
+         QPEL_H264V_XMM(%%xmm2, %%xmm3, %%xmm4, %%xmm5, %%xmm0, %%xmm1, OP)\
+         QPEL_H264V_XMM(%%xmm3, %%xmm4, %%xmm5, %%xmm0, %%xmm1, %%xmm2, OP)\
+         "2:                          \n\t"\
+         \
+         : "+a"(src), "+c"(dst)\
+         : "S"((x86_reg)srcStride), "D"((x86_reg)dstStride), "rm"(h)\
+         : XMM_CLOBBERS("%xmm0", "%xmm1", "%xmm2", "%xmm3", \
+                        "%xmm4", "%xmm5", "%xmm6", "%xmm7",)\
+           "memory"\
+     );\
+ }\
+ static void OPNAME ## h264_qpel8_v_lowpass_ ## MMX(uint8_t *dst, uint8_t *src, int dstStride, int srcStride){\
+     OPNAME ## h264_qpel8or16_v_lowpass_ ## MMX(dst  , src  , dstStride, srcStride, 8);\
+ }\
+ static av_noinline void OPNAME ## h264_qpel16_v_lowpass_ ## MMX(uint8_t *dst, uint8_t *src, int dstStride, int srcStride){\
+     OPNAME ## h264_qpel8or16_v_lowpass_ ## MMX(dst  , src  , dstStride, srcStride, 16);\
+     OPNAME ## h264_qpel8or16_v_lowpass_ ## MMX(dst+8, src+8, dstStride, srcStride, 16);\
+ }
+ static av_always_inline void put_h264_qpel8or16_hv1_lowpass_sse2(int16_t *tmp, uint8_t *src, int tmpStride, int srcStride, int size){
+     int w = (size+8)>>3;
+     src -= 2*srcStride+2;
+     while(w--){
+         __asm__ volatile(
+             "pxor %%xmm7, %%xmm7        \n\t"
+             "movq (%0), %%xmm0          \n\t"
+             "add %2, %0                 \n\t"
+             "movq (%0), %%xmm1          \n\t"
+             "add %2, %0                 \n\t"
+             "movq (%0), %%xmm2          \n\t"
+             "add %2, %0                 \n\t"
+             "movq (%0), %%xmm3          \n\t"
+             "add %2, %0                 \n\t"
+             "movq (%0), %%xmm4          \n\t"
+             "add %2, %0                 \n\t"
+             "punpcklbw %%xmm7, %%xmm0   \n\t"
+             "punpcklbw %%xmm7, %%xmm1   \n\t"
+             "punpcklbw %%xmm7, %%xmm2   \n\t"
+             "punpcklbw %%xmm7, %%xmm3   \n\t"
+             "punpcklbw %%xmm7, %%xmm4   \n\t"
+             QPEL_H264HV_XMM(%%xmm0, %%xmm1, %%xmm2, %%xmm3, %%xmm4, %%xmm5, 0*48)
+             QPEL_H264HV_XMM(%%xmm1, %%xmm2, %%xmm3, %%xmm4, %%xmm5, %%xmm0, 1*48)
+             QPEL_H264HV_XMM(%%xmm2, %%xmm3, %%xmm4, %%xmm5, %%xmm0, %%xmm1, 2*48)
+             QPEL_H264HV_XMM(%%xmm3, %%xmm4, %%xmm5, %%xmm0, %%xmm1, %%xmm2, 3*48)
+             QPEL_H264HV_XMM(%%xmm4, %%xmm5, %%xmm0, %%xmm1, %%xmm2, %%xmm3, 4*48)
+             QPEL_H264HV_XMM(%%xmm5, %%xmm0, %%xmm1, %%xmm2, %%xmm3, %%xmm4, 5*48)
+             QPEL_H264HV_XMM(%%xmm0, %%xmm1, %%xmm2, %%xmm3, %%xmm4, %%xmm5, 6*48)
+             QPEL_H264HV_XMM(%%xmm1, %%xmm2, %%xmm3, %%xmm4, %%xmm5, %%xmm0, 7*48)
+             "cmpl $16, %3               \n\t"
+             "jne 2f                     \n\t"
+             QPEL_H264HV_XMM(%%xmm2, %%xmm3, %%xmm4, %%xmm5, %%xmm0, %%xmm1,  8*48)
+             QPEL_H264HV_XMM(%%xmm3, %%xmm4, %%xmm5, %%xmm0, %%xmm1, %%xmm2,  9*48)
+             QPEL_H264HV_XMM(%%xmm4, %%xmm5, %%xmm0, %%xmm1, %%xmm2, %%xmm3, 10*48)
+             QPEL_H264HV_XMM(%%xmm5, %%xmm0, %%xmm1, %%xmm2, %%xmm3, %%xmm4, 11*48)
+             QPEL_H264HV_XMM(%%xmm0, %%xmm1, %%xmm2, %%xmm3, %%xmm4, %%xmm5, 12*48)
+             QPEL_H264HV_XMM(%%xmm1, %%xmm2, %%xmm3, %%xmm4, %%xmm5, %%xmm0, 13*48)
+             QPEL_H264HV_XMM(%%xmm2, %%xmm3, %%xmm4, %%xmm5, %%xmm0, %%xmm1, 14*48)
+             QPEL_H264HV_XMM(%%xmm3, %%xmm4, %%xmm5, %%xmm0, %%xmm1, %%xmm2, 15*48)
+             "2:                         \n\t"
+             : "+a"(src)
+             : "c"(tmp), "S"((x86_reg)srcStride), "rm"(size)
+             : XMM_CLOBBERS("%xmm0", "%xmm1", "%xmm2", "%xmm3",
+                            "%xmm4", "%xmm5", "%xmm6", "%xmm7",)
+               "memory"
+         );
+         tmp += 8;
+         src += 8 - (size+5)*srcStride;
+     }
+ }
+ #define QPEL_H264_HV2_XMM(OPNAME, OP, MMX)\
+ static av_always_inline void OPNAME ## h264_qpel8or16_hv2_lowpass_ ## MMX(uint8_t *dst, int16_t *tmp, int dstStride, int tmpStride, int size){\
+     int h = size;\
+     if(size == 16){\
+         __asm__ volatile(\
+             "1:                         \n\t"\
+             "movdqa 32(%0), %%xmm4      \n\t"\
+             "movdqa 16(%0), %%xmm5      \n\t"\
+             "movdqa   (%0), %%xmm7      \n\t"\
+             "movdqa %%xmm4, %%xmm3      \n\t"\
+             "movdqa %%xmm4, %%xmm2      \n\t"\
+             "movdqa %%xmm4, %%xmm1      \n\t"\
+             "movdqa %%xmm4, %%xmm0      \n\t"\
+             "palignr $10, %%xmm5, %%xmm0 \n\t"\
+             "palignr  $8, %%xmm5, %%xmm1 \n\t"\
+             "palignr  $6, %%xmm5, %%xmm2 \n\t"\
+             "palignr  $4, %%xmm5, %%xmm3 \n\t"\
+             "palignr  $2, %%xmm5, %%xmm4 \n\t"\
+             "paddw  %%xmm5, %%xmm0      \n\t"\
+             "paddw  %%xmm4, %%xmm1      \n\t"\
+             "paddw  %%xmm3, %%xmm2      \n\t"\
+             "movdqa %%xmm5, %%xmm6      \n\t"\
+             "movdqa %%xmm5, %%xmm4      \n\t"\
+             "movdqa %%xmm5, %%xmm3      \n\t"\
+             "palignr  $8, %%xmm7, %%xmm4 \n\t"\
+             "palignr  $2, %%xmm7, %%xmm6 \n\t"\
+             "palignr $10, %%xmm7, %%xmm3 \n\t"\
+             "paddw  %%xmm6, %%xmm4      \n\t"\
+             "movdqa %%xmm5, %%xmm6      \n\t"\
+             "palignr  $6, %%xmm7, %%xmm5 \n\t"\
+             "palignr  $4, %%xmm7, %%xmm6 \n\t"\
+             "paddw  %%xmm7, %%xmm3      \n\t"\
+             "paddw  %%xmm6, %%xmm5      \n\t"\
+             \
+             "psubw  %%xmm1, %%xmm0      \n\t"\
+             "psubw  %%xmm4, %%xmm3      \n\t"\
+             "psraw      $2, %%xmm0      \n\t"\
+             "psraw      $2, %%xmm3      \n\t"\
+             "psubw  %%xmm1, %%xmm0      \n\t"\
+             "psubw  %%xmm4, %%xmm3      \n\t"\
+             "paddw  %%xmm2, %%xmm0      \n\t"\
+             "paddw  %%xmm5, %%xmm3      \n\t"\
+             "psraw      $2, %%xmm0      \n\t"\
+             "psraw      $2, %%xmm3      \n\t"\
+             "paddw  %%xmm2, %%xmm0      \n\t"\
+             "paddw  %%xmm5, %%xmm3      \n\t"\
+             "psraw      $6, %%xmm0      \n\t"\
+             "psraw      $6, %%xmm3      \n\t"\
+             "packuswb %%xmm0, %%xmm3    \n\t"\
+             OP(%%xmm3, (%1), %%xmm7, dqa)\
+             "add $48, %0                \n\t"\
+             "add %3, %1                 \n\t"\
+             "decl %2                    \n\t"\
+             " jnz 1b                    \n\t"\
+             : "+a"(tmp), "+c"(dst), "+g"(h)\
+             : "S"((x86_reg)dstStride)\
+             : XMM_CLOBBERS("%xmm0", "%xmm1", "%xmm2", "%xmm3", \
+                            "%xmm4", "%xmm5", "%xmm6", "%xmm7",)\
+               "memory"\
+         );\
+     }else{\
+         __asm__ volatile(\
+             "1:                         \n\t"\
+             "movdqa 16(%0), %%xmm1      \n\t"\
+             "movdqa   (%0), %%xmm0      \n\t"\
+             "movdqa %%xmm1, %%xmm2      \n\t"\
+             "movdqa %%xmm1, %%xmm3      \n\t"\
+             "movdqa %%xmm1, %%xmm4      \n\t"\
+             "movdqa %%xmm1, %%xmm5      \n\t"\
+             "palignr $10, %%xmm0, %%xmm5 \n\t"\
+             "palignr  $8, %%xmm0, %%xmm4 \n\t"\
+             "palignr  $6, %%xmm0, %%xmm3 \n\t"\
+             "palignr  $4, %%xmm0, %%xmm2 \n\t"\
+             "palignr  $2, %%xmm0, %%xmm1 \n\t"\
+             "paddw  %%xmm5, %%xmm0      \n\t"\
+             "paddw  %%xmm4, %%xmm1      \n\t"\
+             "paddw  %%xmm3, %%xmm2      \n\t"\
+             "psubw  %%xmm1, %%xmm0      \n\t"\
+             "psraw      $2, %%xmm0      \n\t"\
+             "psubw  %%xmm1, %%xmm0      \n\t"\
+             "paddw  %%xmm2, %%xmm0      \n\t"\
+             "psraw      $2, %%xmm0      \n\t"\
+             "paddw  %%xmm2, %%xmm0      \n\t"\
+             "psraw      $6, %%xmm0      \n\t"\
+             "packuswb %%xmm0, %%xmm0    \n\t"\
+             OP(%%xmm0, (%1), %%xmm7, q)\
+             "add $48, %0                \n\t"\
+             "add %3, %1                 \n\t"\
+             "decl %2                    \n\t"\
+             " jnz 1b                    \n\t"\
+             : "+a"(tmp), "+c"(dst), "+g"(h)\
+             : "S"((x86_reg)dstStride)\
+             : XMM_CLOBBERS("%xmm0", "%xmm1", "%xmm2", "%xmm3", \
+                            "%xmm4", "%xmm5", "%xmm6", "%xmm7",)\
+               "memory"\
+         );\
+     }\
+ }
+ #define QPEL_H264_HV_XMM(OPNAME, OP, MMX)\
+ static av_noinline void OPNAME ## h264_qpel8or16_hv_lowpass_ ## MMX(uint8_t *dst, int16_t *tmp, uint8_t *src, int dstStride, int tmpStride, int srcStride, int size){\
+           put_h264_qpel8or16_hv1_lowpass_sse2(tmp, src, tmpStride, srcStride, size);\
+     OPNAME ## h264_qpel8or16_hv2_lowpass_ ## MMX(dst, tmp, dstStride, tmpStride, size);\
+ }\
+ static void OPNAME ## h264_qpel8_hv_lowpass_ ## MMX(uint8_t *dst, int16_t *tmp, uint8_t *src, int dstStride, int tmpStride, int srcStride){\
+     OPNAME ## h264_qpel8or16_hv_lowpass_ ## MMX(dst, tmp, src, dstStride, tmpStride, srcStride, 8);\
+ }\
+ static void OPNAME ## h264_qpel16_hv_lowpass_ ## MMX(uint8_t *dst, int16_t *tmp, uint8_t *src, int dstStride, int tmpStride, int srcStride){\
+     OPNAME ## h264_qpel8or16_hv_lowpass_ ## MMX(dst, tmp, src, dstStride, tmpStride, srcStride, 16);\
+ }\
+ #define put_pixels8_l2_sse2 put_pixels8_l2_mmx2
+ #define avg_pixels8_l2_sse2 avg_pixels8_l2_mmx2
+ #define put_pixels16_l2_sse2 put_pixels16_l2_mmx2
+ #define avg_pixels16_l2_sse2 avg_pixels16_l2_mmx2
+ #define put_pixels8_l2_ssse3 put_pixels8_l2_mmx2
+ #define avg_pixels8_l2_ssse3 avg_pixels8_l2_mmx2
+ #define put_pixels16_l2_ssse3 put_pixels16_l2_mmx2
+ #define avg_pixels16_l2_ssse3 avg_pixels16_l2_mmx2
+ #define put_pixels8_l2_shift5_sse2 put_pixels8_l2_shift5_mmx2
+ #define avg_pixels8_l2_shift5_sse2 avg_pixels8_l2_shift5_mmx2
+ #define put_pixels16_l2_shift5_sse2 put_pixels16_l2_shift5_mmx2
+ #define avg_pixels16_l2_shift5_sse2 avg_pixels16_l2_shift5_mmx2
+ #define put_pixels8_l2_shift5_ssse3 put_pixels8_l2_shift5_mmx2
+ #define avg_pixels8_l2_shift5_ssse3 avg_pixels8_l2_shift5_mmx2
+ #define put_pixels16_l2_shift5_ssse3 put_pixels16_l2_shift5_mmx2
+ #define avg_pixels16_l2_shift5_ssse3 avg_pixels16_l2_shift5_mmx2
+ #define put_h264_qpel8_h_lowpass_l2_sse2 put_h264_qpel8_h_lowpass_l2_mmx2
+ #define avg_h264_qpel8_h_lowpass_l2_sse2 avg_h264_qpel8_h_lowpass_l2_mmx2
+ #define put_h264_qpel16_h_lowpass_l2_sse2 put_h264_qpel16_h_lowpass_l2_mmx2
+ #define avg_h264_qpel16_h_lowpass_l2_sse2 avg_h264_qpel16_h_lowpass_l2_mmx2
+ #define put_h264_qpel8_v_lowpass_ssse3 put_h264_qpel8_v_lowpass_sse2
+ #define avg_h264_qpel8_v_lowpass_ssse3 avg_h264_qpel8_v_lowpass_sse2
+ #define put_h264_qpel16_v_lowpass_ssse3 put_h264_qpel16_v_lowpass_sse2
+ #define avg_h264_qpel16_v_lowpass_ssse3 avg_h264_qpel16_v_lowpass_sse2
+ #define put_h264_qpel8or16_hv2_lowpass_sse2 put_h264_qpel8or16_hv2_lowpass_mmx2
+ #define avg_h264_qpel8or16_hv2_lowpass_sse2 avg_h264_qpel8or16_hv2_lowpass_mmx2
+ #define H264_MC(OPNAME, SIZE, MMX, ALIGN) \
+ H264_MC_C(OPNAME, SIZE, MMX, ALIGN)\
+ H264_MC_V(OPNAME, SIZE, MMX, ALIGN)\
+ H264_MC_H(OPNAME, SIZE, MMX, ALIGN)\
+ H264_MC_HV(OPNAME, SIZE, MMX, ALIGN)\
+ static void put_h264_qpel16_mc00_sse2 (uint8_t *dst, uint8_t *src, int stride){
+     put_pixels16_sse2(dst, src, stride, 16);
+ }
+ static void avg_h264_qpel16_mc00_sse2 (uint8_t *dst, uint8_t *src, int stride){
+     avg_pixels16_sse2(dst, src, stride, 16);
+ }
+ #define put_h264_qpel8_mc00_sse2 put_h264_qpel8_mc00_mmx2
+ #define avg_h264_qpel8_mc00_sse2 avg_h264_qpel8_mc00_mmx2
+ #define H264_MC_C(OPNAME, SIZE, MMX, ALIGN) \
+ static void OPNAME ## h264_qpel ## SIZE ## _mc00_ ## MMX (uint8_t *dst, uint8_t *src, int stride){\
+     OPNAME ## pixels ## SIZE ## _ ## MMX(dst, src, stride, SIZE);\
+ }\
+ #define H264_MC_H(OPNAME, SIZE, MMX, ALIGN) \
+ static void OPNAME ## h264_qpel ## SIZE ## _mc10_ ## MMX(uint8_t *dst, uint8_t *src, int stride){\
+     OPNAME ## h264_qpel ## SIZE ## _h_lowpass_l2_ ## MMX(dst, src, src, stride, stride);\
+ }\
+ \
+ static void OPNAME ## h264_qpel ## SIZE ## _mc20_ ## MMX(uint8_t *dst, uint8_t *src, int stride){\
+     OPNAME ## h264_qpel ## SIZE ## _h_lowpass_ ## MMX(dst, src, stride, stride);\
+ }\
+ \
+ static void OPNAME ## h264_qpel ## SIZE ## _mc30_ ## MMX(uint8_t *dst, uint8_t *src, int stride){\
+     OPNAME ## h264_qpel ## SIZE ## _h_lowpass_l2_ ## MMX(dst, src, src+1, stride, stride);\
+ }\
+ #define H264_MC_V(OPNAME, SIZE, MMX, ALIGN) \
+ static void OPNAME ## h264_qpel ## SIZE ## _mc01_ ## MMX(uint8_t *dst, uint8_t *src, int stride){\
+     DECLARE_ALIGNED(ALIGN, uint8_t, temp)[SIZE*SIZE];\
+     put_h264_qpel ## SIZE ## _v_lowpass_ ## MMX(temp, src, SIZE, stride);\
+     OPNAME ## pixels ## SIZE ## _l2_ ## MMX(dst, src, temp, stride, stride, SIZE);\
+ }\
+ \
+ static void OPNAME ## h264_qpel ## SIZE ## _mc02_ ## MMX(uint8_t *dst, uint8_t *src, int stride){\
+     OPNAME ## h264_qpel ## SIZE ## _v_lowpass_ ## MMX(dst, src, stride, stride);\
+ }\
+ \
+ static void OPNAME ## h264_qpel ## SIZE ## _mc03_ ## MMX(uint8_t *dst, uint8_t *src, int stride){\
+     DECLARE_ALIGNED(ALIGN, uint8_t, temp)[SIZE*SIZE];\
+     put_h264_qpel ## SIZE ## _v_lowpass_ ## MMX(temp, src, SIZE, stride);\
+     OPNAME ## pixels ## SIZE ## _l2_ ## MMX(dst, src+stride, temp, stride, stride, SIZE);\
+ }\
+ #define H264_MC_HV(OPNAME, SIZE, MMX, ALIGN) \
+ static void OPNAME ## h264_qpel ## SIZE ## _mc11_ ## MMX(uint8_t *dst, uint8_t *src, int stride){\
+     DECLARE_ALIGNED(ALIGN, uint8_t, temp)[SIZE*SIZE];\
+     put_h264_qpel ## SIZE ## _v_lowpass_ ## MMX(temp, src, SIZE, stride);\
+     OPNAME ## h264_qpel ## SIZE ## _h_lowpass_l2_ ## MMX(dst, src, temp, stride, SIZE);\
+ }\
+ \
+ static void OPNAME ## h264_qpel ## SIZE ## _mc31_ ## MMX(uint8_t *dst, uint8_t *src, int stride){\
+     DECLARE_ALIGNED(ALIGN, uint8_t, temp)[SIZE*SIZE];\
+     put_h264_qpel ## SIZE ## _v_lowpass_ ## MMX(temp, src+1, SIZE, stride);\
+     OPNAME ## h264_qpel ## SIZE ## _h_lowpass_l2_ ## MMX(dst, src, temp, stride, SIZE);\
+ }\
+ \
+ static void OPNAME ## h264_qpel ## SIZE ## _mc13_ ## MMX(uint8_t *dst, uint8_t *src, int stride){\
+     DECLARE_ALIGNED(ALIGN, uint8_t, temp)[SIZE*SIZE];\
+     put_h264_qpel ## SIZE ## _v_lowpass_ ## MMX(temp, src, SIZE, stride);\
+     OPNAME ## h264_qpel ## SIZE ## _h_lowpass_l2_ ## MMX(dst, src+stride, temp, stride, SIZE);\
+ }\
+ \
+ static void OPNAME ## h264_qpel ## SIZE ## _mc33_ ## MMX(uint8_t *dst, uint8_t *src, int stride){\
+     DECLARE_ALIGNED(ALIGN, uint8_t, temp)[SIZE*SIZE];\
+     put_h264_qpel ## SIZE ## _v_lowpass_ ## MMX(temp, src+1, SIZE, stride);\
+     OPNAME ## h264_qpel ## SIZE ## _h_lowpass_l2_ ## MMX(dst, src+stride, temp, stride, SIZE);\
+ }\
+ \
+ static void OPNAME ## h264_qpel ## SIZE ## _mc22_ ## MMX(uint8_t *dst, uint8_t *src, int stride){\
+     DECLARE_ALIGNED(ALIGN, uint16_t, temp)[SIZE*(SIZE<8?12:24)];\
+     OPNAME ## h264_qpel ## SIZE ## _hv_lowpass_ ## MMX(dst, temp, src, stride, SIZE, stride);\
+ }\
+ \
+ static void OPNAME ## h264_qpel ## SIZE ## _mc21_ ## MMX(uint8_t *dst, uint8_t *src, int stride){\
+     DECLARE_ALIGNED(ALIGN, uint8_t, temp)[SIZE*(SIZE<8?12:24)*2 + SIZE*SIZE];\
+     uint8_t * const halfHV= temp;\
+     int16_t * const halfV= (int16_t*)(temp + SIZE*SIZE);\
+     assert(((int)temp & 7) == 0);\
+     put_h264_qpel ## SIZE ## _hv_lowpass_ ## MMX(halfHV, halfV, src, SIZE, SIZE, stride);\
+     OPNAME ## h264_qpel ## SIZE ## _h_lowpass_l2_ ## MMX(dst, src, halfHV, stride, SIZE);\
+ }\
+ \
+ static void OPNAME ## h264_qpel ## SIZE ## _mc23_ ## MMX(uint8_t *dst, uint8_t *src, int stride){\
+     DECLARE_ALIGNED(ALIGN, uint8_t, temp)[SIZE*(SIZE<8?12:24)*2 + SIZE*SIZE];\
+     uint8_t * const halfHV= temp;\
+     int16_t * const halfV= (int16_t*)(temp + SIZE*SIZE);\
+     assert(((int)temp & 7) == 0);\
+     put_h264_qpel ## SIZE ## _hv_lowpass_ ## MMX(halfHV, halfV, src, SIZE, SIZE, stride);\
+     OPNAME ## h264_qpel ## SIZE ## _h_lowpass_l2_ ## MMX(dst, src+stride, halfHV, stride, SIZE);\
+ }\
+ \
+ static void OPNAME ## h264_qpel ## SIZE ## _mc12_ ## MMX(uint8_t *dst, uint8_t *src, int stride){\
+     DECLARE_ALIGNED(ALIGN, uint8_t, temp)[SIZE*(SIZE<8?12:24)*2 + SIZE*SIZE];\
+     uint8_t * const halfHV= temp;\
+     int16_t * const halfV= (int16_t*)(temp + SIZE*SIZE);\
+     assert(((int)temp & 7) == 0);\
+     put_h264_qpel ## SIZE ## _hv_lowpass_ ## MMX(halfHV, halfV, src, SIZE, SIZE, stride);\
+     OPNAME ## pixels ## SIZE ## _l2_shift5_ ## MMX(dst, halfV+2, halfHV, stride, SIZE, SIZE);\
+ }\
+ \
+ static void OPNAME ## h264_qpel ## SIZE ## _mc32_ ## MMX(uint8_t *dst, uint8_t *src, int stride){\
+     DECLARE_ALIGNED(ALIGN, uint8_t, temp)[SIZE*(SIZE<8?12:24)*2 + SIZE*SIZE];\
+     uint8_t * const halfHV= temp;\
+     int16_t * const halfV= (int16_t*)(temp + SIZE*SIZE);\
+     assert(((int)temp & 7) == 0);\
+     put_h264_qpel ## SIZE ## _hv_lowpass_ ## MMX(halfHV, halfV, src, SIZE, SIZE, stride);\
+     OPNAME ## pixels ## SIZE ## _l2_shift5_ ## MMX(dst, halfV+3, halfHV, stride, SIZE, SIZE);\
+ }\
+ #define H264_MC_4816(MMX)\
+ H264_MC(put_, 4, MMX, 8)\
+ H264_MC(put_, 8, MMX, 8)\
+ H264_MC(put_, 16,MMX, 8)\
+ H264_MC(avg_, 4, MMX, 8)\
+ H264_MC(avg_, 8, MMX, 8)\
+ H264_MC(avg_, 16,MMX, 8)\
+ #define H264_MC_816(QPEL, XMM)\
+ QPEL(put_, 8, XMM, 16)\
+ QPEL(put_, 16,XMM, 16)\
+ QPEL(avg_, 8, XMM, 16)\
+ QPEL(avg_, 16,XMM, 16)\
+ #define PAVGB "pavgusb"
+ QPEL_H264(put_,       PUT_OP, 3dnow)
+ QPEL_H264(avg_, AVG_3DNOW_OP, 3dnow)
+ #undef PAVGB
+ #define PAVGB "pavgb"
+ QPEL_H264(put_,       PUT_OP, mmx2)
+ QPEL_H264(avg_,  AVG_MMX2_OP, mmx2)
+ QPEL_H264_V_XMM(put_,       PUT_OP, sse2)
+ QPEL_H264_V_XMM(avg_,  AVG_MMX2_OP, sse2)
+ QPEL_H264_HV_XMM(put_,       PUT_OP, sse2)
+ QPEL_H264_HV_XMM(avg_,  AVG_MMX2_OP, sse2)
+ #if HAVE_SSSE3
+ QPEL_H264_H_XMM(put_,       PUT_OP, ssse3)
+ QPEL_H264_H_XMM(avg_,  AVG_MMX2_OP, ssse3)
+ QPEL_H264_HV2_XMM(put_,       PUT_OP, ssse3)
+ QPEL_H264_HV2_XMM(avg_,  AVG_MMX2_OP, ssse3)
+ QPEL_H264_HV_XMM(put_,       PUT_OP, ssse3)
+ QPEL_H264_HV_XMM(avg_,  AVG_MMX2_OP, ssse3)
+ #endif
+ #undef PAVGB
+ H264_MC_4816(3dnow)
+ H264_MC_4816(mmx2)
+ H264_MC_816(H264_MC_V, sse2)
+ H264_MC_816(H264_MC_HV, sse2)
+ #if HAVE_SSSE3
+ H264_MC_816(H264_MC_H, ssse3)
+ H264_MC_816(H264_MC_HV, ssse3)
+ #endif
+ #endif /* HAVE_INLINE_ASM */
+ //10bit
+ #define LUMA_MC_OP(OP, NUM, DEPTH, TYPE, OPT) \
+ void ff_ ## OP ## _h264_qpel ## NUM ## _ ## TYPE ## _ ## DEPTH ## _ ## OPT \
+     (uint8_t *dst, uint8_t *src, int stride);
+ #define LUMA_MC_ALL(DEPTH, TYPE, OPT) \
+     LUMA_MC_OP(put,  4, DEPTH, TYPE, OPT) \
+     LUMA_MC_OP(avg,  4, DEPTH, TYPE, OPT) \
+     LUMA_MC_OP(put,  8, DEPTH, TYPE, OPT) \
+     LUMA_MC_OP(avg,  8, DEPTH, TYPE, OPT) \
+     LUMA_MC_OP(put, 16, DEPTH, TYPE, OPT) \
+     LUMA_MC_OP(avg, 16, DEPTH, TYPE, OPT)
+ #define LUMA_MC_816(DEPTH, TYPE, OPT) \
+     LUMA_MC_OP(put,  8, DEPTH, TYPE, OPT) \
+     LUMA_MC_OP(avg,  8, DEPTH, TYPE, OPT) \
+     LUMA_MC_OP(put, 16, DEPTH, TYPE, OPT) \
+     LUMA_MC_OP(avg, 16, DEPTH, TYPE, OPT)
+ LUMA_MC_ALL(10, mc00, mmxext)
+ LUMA_MC_ALL(10, mc10, mmxext)
+ LUMA_MC_ALL(10, mc20, mmxext)
+ LUMA_MC_ALL(10, mc30, mmxext)
+ LUMA_MC_ALL(10, mc01, mmxext)
+ LUMA_MC_ALL(10, mc11, mmxext)
+ LUMA_MC_ALL(10, mc21, mmxext)
+ LUMA_MC_ALL(10, mc31, mmxext)
+ LUMA_MC_ALL(10, mc02, mmxext)
+ LUMA_MC_ALL(10, mc12, mmxext)
+ LUMA_MC_ALL(10, mc22, mmxext)
+ LUMA_MC_ALL(10, mc32, mmxext)
+ LUMA_MC_ALL(10, mc03, mmxext)
+ LUMA_MC_ALL(10, mc13, mmxext)
+ LUMA_MC_ALL(10, mc23, mmxext)
+ LUMA_MC_ALL(10, mc33, mmxext)
+ LUMA_MC_816(10, mc00, sse2)
+ LUMA_MC_816(10, mc10, sse2)
+ LUMA_MC_816(10, mc10, sse2_cache64)
+ LUMA_MC_816(10, mc10, ssse3_cache64)
+ LUMA_MC_816(10, mc20, sse2)
+ LUMA_MC_816(10, mc20, sse2_cache64)
+ LUMA_MC_816(10, mc20, ssse3_cache64)
+ LUMA_MC_816(10, mc30, sse2)
+ LUMA_MC_816(10, mc30, sse2_cache64)
+ LUMA_MC_816(10, mc30, ssse3_cache64)
+ LUMA_MC_816(10, mc01, sse2)
+ LUMA_MC_816(10, mc11, sse2)
+ LUMA_MC_816(10, mc21, sse2)
+ LUMA_MC_816(10, mc31, sse2)
+ LUMA_MC_816(10, mc02, sse2)
+ LUMA_MC_816(10, mc12, sse2)
+ LUMA_MC_816(10, mc22, sse2)
+ LUMA_MC_816(10, mc32, sse2)
+ LUMA_MC_816(10, mc03, sse2)
+ LUMA_MC_816(10, mc13, sse2)
+ LUMA_MC_816(10, mc23, sse2)
+ LUMA_MC_816(10, mc33, sse2)
+ #define QPEL16_OPMC(OP, MC, MMX)\
+ void ff_ ## OP ## _h264_qpel16_ ## MC ## _10_ ## MMX(uint8_t *dst, uint8_t *src, int stride){\
+     ff_ ## OP ## _h264_qpel8_ ## MC ## _10_ ## MMX(dst   , src   , stride);\
+     ff_ ## OP ## _h264_qpel8_ ## MC ## _10_ ## MMX(dst+16, src+16, stride);\
+     src += 8*stride;\
+     dst += 8*stride;\
+     ff_ ## OP ## _h264_qpel8_ ## MC ## _10_ ## MMX(dst   , src   , stride);\
+     ff_ ## OP ## _h264_qpel8_ ## MC ## _10_ ## MMX(dst+16, src+16, stride);\
+ }
+ #define QPEL16_OP(MC, MMX)\
+ QPEL16_OPMC(put, MC, MMX)\
+ QPEL16_OPMC(avg, MC, MMX)
+ #define QPEL16(MMX)\
+ QPEL16_OP(mc00, MMX)\
+ QPEL16_OP(mc01, MMX)\
+ QPEL16_OP(mc02, MMX)\
+ QPEL16_OP(mc03, MMX)\
+ QPEL16_OP(mc10, MMX)\
+ QPEL16_OP(mc11, MMX)\
+ QPEL16_OP(mc12, MMX)\
+ QPEL16_OP(mc13, MMX)\
+ QPEL16_OP(mc20, MMX)\
+ QPEL16_OP(mc21, MMX)\
+ QPEL16_OP(mc22, MMX)\
+ QPEL16_OP(mc23, MMX)\
+ QPEL16_OP(mc30, MMX)\
+ QPEL16_OP(mc31, MMX)\
+ QPEL16_OP(mc32, MMX)\
+ QPEL16_OP(mc33, MMX)
++#if CONFIG_H264QPEL && ARCH_X86_32 && HAVE_YASM // ARCH_X86_64 implies sse2+
+ QPEL16(mmxext)
+ #endif
index 0000000,937a2cc..63cac10
mode 000000,100644..100644
--- /dev/null
@@@ -1,0 -1,721 +1,725 @@@
 -;* This file is part of Libav.
+ ;******************************************************************************
+ ;* 36 point SSE-optimized IMDCT transform
+ ;* Copyright (c) 2011 Vitor Sessak
+ ;*
 -;* Libav is free software; you can redistribute it and/or
++;* This file is part of FFmpeg.
+ ;*
 -;* Libav is distributed in the hope that it will be useful,
++;* FFmpeg is free software; you can redistribute it and/or
+ ;* modify it under the terms of the GNU Lesser General Public
+ ;* License as published by the Free Software Foundation; either
+ ;* version 2.1 of the License, or (at your option) any later version.
+ ;*
 -;* License along with Libav; if not, write to the Free Software
++;* FFmpeg is distributed in the hope that it will be useful,
+ ;* but WITHOUT ANY WARRANTY; without even the implied warranty of
+ ;* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
+ ;* Lesser General Public License for more details.
+ ;*
+ ;* You should have received a copy of the GNU Lesser General Public
++;* License along with FFmpeg; if not, write to the Free Software
+ ;* Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
+ ;******************************************************************************
+ %include "libavutil/x86/x86inc.asm"
+ %include "libavutil/x86/x86util.asm"
+ SECTION_RODATA
+ align 16
+ ps_mask:  dd 0, ~0, ~0, ~0
+ ps_mask2: dd 0, ~0,  0, ~0
+ ps_mask3: dd 0,  0,  0, ~0
+ ps_mask4: dd 0, ~0,  0,  0
+ ps_val1:  dd          -0.5,          -0.5, -0.8660254038, -0.8660254038
+ ps_val2:  dd           1.0,           1.0,  0.8660254038,  0.8660254038
+ ps_val3:  dd  0.1736481777,  0.1736481777,  0.3420201433,  0.3420201433
+ ps_val4:  dd -0.7660444431, -0.7660444431,  0.8660254038,  0.8660254038
+ ps_val5:  dd -0.9396926208, -0.9396926208, -0.9848077530, -0.9848077530
+ ps_val6:  dd           0.5,           0.5, -0.6427876097, -0.6427876097
+ ps_val7:  dd           1.0,           1.0, -0.6427876097, -0.6427876097
+ ps_p1p1m1m1: dd 0,          0, 0x80000000, 0x80000000
+ ps_p1m1p1m1: dd 0, 0x80000000,          0, 0x80000000
+ ps_cosh:       dd 1.0, 0.50190991877167369479,  1.0,  5.73685662283492756461
+                dd 1.0, 0.51763809020504152469,  1.0,  1.93185165257813657349
+                dd 1.0, 0.55168895948124587824, -1.0, -1.18310079157624925896
+                dd 1.0, 0.61038729438072803416, -1.0, -0.87172339781054900991
+                dd 1.0, 0.70710678118654752439,  0.0,  0.0
+ ps_cosh_sse3:  dd 1.0, -0.50190991877167369479,  1.0, -5.73685662283492756461
+                dd 1.0, -0.51763809020504152469,  1.0, -1.93185165257813657349
+                dd 1.0, -0.55168895948124587824, -1.0,  1.18310079157624925896
+                dd 1.0, -0.61038729438072803416, -1.0,  0.87172339781054900991
+                dd 1.0,  0.70710678118654752439,  0.0,  0.0
+ costabs:  times 4 dd  0.98480773
+           times 4 dd  0.93969262
+           times 4 dd  0.86602539
+           times 4 dd -0.76604444
+           times 4 dd -0.64278764
+           times 4 dd  0.50000000
+           times 4 dd -0.50000000
+           times 4 dd -0.34202015
+           times 4 dd -0.17364818
+           times 4 dd  0.50190992
+           times 4 dd  0.51763808
+           times 4 dd  0.55168896
+           times 4 dd  0.61038726
+           times 4 dd  0.70710677
+           times 4 dd  0.87172341
+           times 4 dd  1.18310082
+           times 4 dd  1.93185163
+           times 4 dd  5.73685646
+ %define SBLIMIT 32
+ SECTION_TEXT
+ %macro PSHUFD 3
+ %if cpuflag(sse2) && notcpuflag(avx)
+     pshufd %1, %2, %3
+ %else
+     shufps %1, %2, %2, %3
+ %endif
+ %endmacro
+ ; input  %2={x1,x2,x3,x4}, %3={y1,y2,y3,y4}
+ ; output %1={x3,x4,y1,y2}
+ %macro BUILDINVHIGHLOW 3
+ %if cpuflag(avx)
+     shufps %1, %2, %3, 0x4e
+ %else
+     movlhps %1, %3
+     movhlps %1, %2
+ %endif
+ %endmacro
+ ; input  %2={x1,x2,x3,x4}, %3={y1,y2,y3,y4}
+ ; output %1={x4,y1,y2,y3}
+ %macro ROTLEFT 3
+ %if cpuflag(ssse3)
+     palignr  %1, %3, %2, 12
+ %else
+     BUILDINVHIGHLOW %1, %2, %3
+     shufps  %1, %1, %3, 0x99
+ %endif
+ %endmacro
+ %macro INVERTHL 2
+ %if cpuflag(sse2)
+     PSHUFD  %1, %2, 0x4e
+ %else
+     movhlps %1, %2
+     movlhps %1, %2
+ %endif
+ %endmacro
+ %macro BUTTERF 3
+     INVERTHL %2, %1
+     xorps    %1, [ps_p1p1m1m1]
+     addps    %1, %2
+ %if cpuflag(sse3)
+     mulps    %1, %1, [ps_cosh_sse3 + %3]
+     PSHUFD   %2, %1, 0xb1
+     addsubps %1, %1, %2
+ %else
+     mulps    %1, [ps_cosh + %3]
+     PSHUFD   %2, %1, 0xb1
+     xorps    %1, [ps_p1m1p1m1]
+     addps    %1, %2
+ %endif
+ %endmacro
+ %macro STORE 4
+     movhlps %2, %1
+     movss   [%3       ], %1
+     movss   [%3 + 2*%4], %2
+     shufps  %1, %1, 0xb1
+     movss   [%3 +   %4], %1
+     movhlps %2, %1
+     movss   [%3 + 3*%4], %2
+ %endmacro
+ %macro LOAD 4
+     movlps  %1, [%3       ]
+     movhps  %1, [%3 +   %4]
+     movlps  %2, [%3 + 2*%4]
+     movhps  %2, [%3 + 3*%4]
+     shufps  %1, %2, 0x88
+ %endmacro
+ %macro LOADA64 2
+ %if cpuflag(avx)
+    movu     %1, [%2]
+ %else
+    movlps   %1, [%2]
+    movhps   %1, [%2 + 8]
+ %endif
+ %endmacro
+ %macro DEFINE_IMDCT 0
+ cglobal imdct36_float, 4,4,9, out, buf, in, win
+     ; for(i=17;i>=1;i--) in[i] += in[i-1];
+     LOADA64 m0, inq
+     LOADA64 m1, inq + 16
+     ROTLEFT m5, m0, m1
+     PSHUFD  m6, m0, 0x93
+     andps   m6, m6, [ps_mask]
+     addps   m0, m0, m6
+     LOADA64 m2, inq + 32
+     ROTLEFT m7, m1, m2
+     addps   m1, m1, m5
+     LOADA64 m3, inq + 48
+     ROTLEFT m5, m2, m3
+     xorps   m4, m4, m4
+     movlps  m4, [inq+64]
+     BUILDINVHIGHLOW m6, m3, m4
+     shufps  m6, m6, m4, 0xa9
+     addps   m4, m4, m6
+     addps   m2, m2, m7
+     addps   m3, m3, m5
+     ; for(i=17;i>=3;i-=2) in[i] += in[i-2];
+     movlhps m5, m5, m0
+     andps   m5, m5, [ps_mask3]
+     BUILDINVHIGHLOW m7, m0, m1
+     andps   m7, m7, [ps_mask2]
+     addps   m0, m0, m5
+     BUILDINVHIGHLOW m6, m1, m2
+     andps   m6, m6, [ps_mask2]
+     addps  m1, m1, m7
+     BUILDINVHIGHLOW m7, m2, m3
+     andps   m7, m7, [ps_mask2]
+     addps   m2, m2, m6
+     movhlps m6, m6, m3
+     andps   m6, m6, [ps_mask4]
+     addps  m3, m3, m7
+     addps  m4, m4, m6
+     ; Populate tmp[]
+     movlhps m6, m1, m5    ; zero out high values
+     subps   m6, m6, m4
+     subps  m5, m0, m3
+ %if ARCH_X86_64
+     SWAP   m5, m8
+ %endif
+     mulps  m7, m2, [ps_val1]
+ %if ARCH_X86_64
+     mulps  m5, m8, [ps_val2]
+ %else
+     mulps  m5, m5, [ps_val2]
+ %endif
+     addps  m7, m7, m5
+     mulps  m5, m6, [ps_val1]
+     subps  m7, m7, m5
+ %if ARCH_X86_64
+     SWAP   m5, m8
+ %else
+     subps  m5, m0, m3
+ %endif
+     subps  m5, m5, m6
+     addps  m5, m5, m2
+     shufps m6, m4, m3, 0xe4
+     subps  m6, m6, m2
+     mulps  m6, m6, [ps_val3]
+     addps  m4, m4, m1
+     mulps  m4, m4, [ps_val4]
+     shufps m1, m1, m0, 0xe4
+     addps  m1, m1, m2
+     mulps  m1, m1, [ps_val5]
+     mulps  m3, m3, [ps_val6]
+     mulps  m0, m0, [ps_val7]
+     addps  m0, m0, m3
+     xorps  m2, m1, [ps_p1p1m1m1]
+     subps  m2, m2, m4
+     addps  m2, m2, m0
+     addps  m3, m4, m0
+     subps  m3, m3, m6
+     xorps  m3, m3, [ps_p1p1m1m1]
+     shufps m0, m0, m4, 0xe4
+     subps  m0, m0, m1
+     addps  m0, m0, m6
+     BUILDINVHIGHLOW m4, m2, m3
+     shufps  m3, m3, m2, 0x4e
+     ; we have tmp = {SwAPLH(m0), SwAPLH(m7), m3, m4, m5}
+     BUTTERF  m0, m1, 0
+     BUTTERF  m7, m2, 16
+     BUTTERF  m3, m6, 32
+     BUTTERF  m4, m1, 48
+     mulps   m5, m5, [ps_cosh + 64]
+     PSHUFD  m1, m5, 0xe1
+     xorps   m5, m5, [ps_p1m1p1m1]
+     addps   m5, m5, m1
+     ; permutates:
+     ; m0    0  1  2  3     =>     2  6 10 14   m1
+     ; m7    4  5  6  7     =>     3  7 11 15   m2
+     ; m3    8  9 10 11     =>    17 13  9  5   m3
+     ; m4   12 13 14 15     =>    16 12  8  4   m5
+     ; m5   16 17 xx xx     =>     0  1 xx xx   m0
+     unpckhps m1, m0, m7
+     unpckhps m6, m3, m4
+     movhlps  m2, m6, m1
+     movlhps  m1, m1, m6
+     unpcklps m5, m5, m4
+     unpcklps m3, m3, m7
+     movhlps  m4, m3, m5
+     movlhps  m5, m5, m3
+     SWAP m4, m3
+     ; permutation done
+     PSHUFD  m6, m2, 0xb1
+     movss   m4, [bufq + 4*68]
+     movss   m7, [bufq + 4*64]
+     unpcklps  m7, m7, m4
+     mulps   m6, m6, [winq + 16*4]
+     addps   m6, m6, m7
+     movss   [outq + 64*SBLIMIT], m6
+     shufps  m6, m6, m6, 0xb1
+     movss   [outq + 68*SBLIMIT], m6
+     mulps   m6, m3, [winq + 4*4]
+     LOAD    m4, m7, bufq + 4*16, 16
+     addps   m6, m6, m4
+     STORE   m6, m7, outq + 16*SBLIMIT, 4*SBLIMIT
+     shufps  m4, m0, m3, 0xb5
+     mulps   m4, m4, [winq + 8*4]
+     LOAD    m7, m6, bufq + 4*32, 16
+     addps   m4, m4, m7
+     STORE   m4, m6, outq + 32*SBLIMIT, 4*SBLIMIT
+     shufps  m3, m3, m2, 0xb1
+     mulps   m3, m3, [winq + 12*4]
+     LOAD    m7, m6, bufq + 4*48, 16
+     addps   m3, m3, m7
+     STORE   m3, m7, outq + 48*SBLIMIT, 4*SBLIMIT
+     mulps   m2, m2, [winq]
+     LOAD    m6, m7, bufq, 16
+     addps   m2, m2, m6
+     STORE   m2, m7, outq, 4*SBLIMIT
+     mulps    m4, m1, [winq + 20*4]
+     STORE    m4, m7, bufq, 16
+     mulps    m3, m5, [winq + 24*4]
+     STORE    m3, m7, bufq + 4*16, 16
+     shufps   m0, m0, m5, 0xb0
+     mulps    m0, m0, [winq + 28*4]
+     STORE    m0, m7, bufq + 4*32, 16
+     shufps   m5, m5, m1, 0xb1
+     mulps    m5, m5, [winq + 32*4]
+     STORE    m5, m7, bufq + 4*48, 16
+     shufps   m1, m1, m1, 0xb1
+     mulps    m1, m1, [winq + 36*4]
+     movss    [bufq + 4*64], m1
+     shufps   m1, m1, 0xb1
+     movss    [bufq + 4*68], m1
+     RET
+ %endmacro
+ INIT_XMM sse
+ DEFINE_IMDCT
+ INIT_XMM sse2
+ DEFINE_IMDCT
+ INIT_XMM sse3
+ DEFINE_IMDCT
+ INIT_XMM ssse3
+ DEFINE_IMDCT
++%if HAVE_AVX
+ INIT_XMM avx
+ DEFINE_IMDCT
++%endif
+ INIT_XMM sse
+ %if ARCH_X86_64
+ %define SPILL SWAP
+ %define UNSPILL SWAP
+ %define SPILLED(x) m %+ x
+ %else
+ %define SPILLED(x) [tmpq+(x-8)*16 + 32*4]
+ %macro SPILL 2 ; xmm#, mempos
+     movaps SPILLED(%2), m%1
+ %endmacro
+ %macro UNSPILL 2
+     movaps m%1, SPILLED(%2)
+ %endmacro
+ %endif
+ %macro DEFINE_FOUR_IMDCT 0
+ cglobal four_imdct36_float, 5,5,16, out, buf, in, win, tmp
+     movlps  m0, [inq+64]
+     movhps  m0, [inq+64 +   72]
+     movlps  m3, [inq+64 + 2*72]
+     movhps  m3, [inq+64 + 3*72]
+     shufps  m5, m0, m3, 0xdd
+     shufps  m0, m0, m3, 0x88
+     mova     m1, [inq+48]
+     movu     m6, [inq+48 +   72]
+     mova     m7, [inq+48 + 2*72]
+     movu     m3, [inq+48 + 3*72]
+     TRANSPOSE4x4PS 1, 6, 7, 3, 4
+     addps   m4, m6, m7
+     mova    [tmpq+4*28], m4
+     addps    m7, m3
+     addps    m6, m1
+     addps    m3, m0
+     addps    m0, m5
+     addps    m0, m7
+     addps    m7, m6
+     mova    [tmpq+4*12], m7
+     SPILL   3, 12
+     mova     m4, [inq+32]
+     movu     m5, [inq+32 +   72]
+     mova     m2, [inq+32 + 2*72]
+     movu     m7, [inq+32 + 3*72]
+     TRANSPOSE4x4PS 4, 5, 2, 7, 3
+     addps   m1, m7
+     SPILL   1, 11
+     addps   m3, m5, m2
+     SPILL   3, 13
+     addps    m7, m2
+     addps    m5, m4
+     addps    m6, m7
+     mova    [tmpq], m6
+     addps   m7, m5
+     mova    [tmpq+4*16], m7
+     mova    m2, [inq+16]
+     movu    m7, [inq+16 +   72]
+     mova    m1, [inq+16 + 2*72]
+     movu    m6, [inq+16 + 3*72]
+     TRANSPOSE4x4PS 2, 7, 1, 6, 3
+     addps   m4, m6
+     addps   m6, m1
+     addps   m1, m7
+     addps   m7, m2
+     addps   m5, m6
+     SPILL   5, 15
+     addps   m6, m7
+     mulps   m6, [costabs + 16*2]
+     mova    [tmpq+4*8], m6
+     SPILL   1, 10
+     SPILL   0, 14
+     mova    m1, [inq]
+     movu    m6, [inq +   72]
+     mova    m3, [inq + 2*72]
+     movu    m5, [inq + 3*72]
+     TRANSPOSE4x4PS 1, 6, 3, 5, 0
+     addps    m2, m5
+     addps    m5, m3
+     addps    m7, m5
+     addps    m3, m6
+     addps    m6, m1
+     SPILL    7, 8
+     addps    m5, m6
+     SPILL    6, 9
+     addps    m6, m4, SPILLED(12)
+     subps    m6, m2
+     UNSPILL  7, 11
+     SPILL    5, 11
+     subps    m5, m1, m7
+     mulps    m7, [costabs + 16*5]
+     addps    m7, m1
+     mulps    m0, m6, [costabs + 16*6]
+     addps    m0, m5
+     mova     [tmpq+4*24], m0
+     addps    m6, m5
+     mova     [tmpq+4*4], m6
+     addps    m6, m4, m2
+     mulps    m6, [costabs + 16*1]
+     subps    m4, SPILLED(12)
+     mulps    m4, [costabs + 16*8]
+     addps    m2, SPILLED(12)
+     mulps    m2, [costabs + 16*3]
+     subps    m5, m7, m6
+     subps    m5, m2
+     addps    m6, m7
+     addps    m6, m4
+     addps    m7, m2
+     subps    m7, m4
+     mova     [tmpq+4*20], m7
+     mova     m2, [tmpq+4*28]
+     mova     [tmpq+4*28], m5
+     UNSPILL  7, 13
+     subps    m5, m7, m2
+     mulps    m5, [costabs + 16*7]
+     UNSPILL  1, 10
+     mulps    m1, [costabs + 16*2]
+     addps    m4, m3, m2
+     mulps    m4, [costabs + 16*4]
+     addps    m2, m7
+     addps    m7, m3
+     mulps    m7, [costabs]
+     subps    m3, m2
+     mulps    m3, [costabs + 16*2]
+     addps    m2, m7, m5
+     addps    m2, m1
+     SPILL    2, 10
+     addps    m7, m4
+     subps    m7, m1
+     SPILL    7, 12
+     subps    m5, m4
+     subps    m5, m1
+     UNSPILL  0, 14
+     SPILL    5, 13
+     addps    m1, m0, SPILLED(15)
+     subps    m1, SPILLED(8)
+     mova     m4, [costabs + 16*5]
+     mulps    m4, [tmpq]
+     UNSPILL  2, 9
+     addps    m4, m2
+     subps    m2, [tmpq]
+     mulps    m5, m1, [costabs + 16*6]
+     addps    m5, m2
+     SPILL    5, 9
+     addps    m2, m1
+     SPILL    2, 14
+     UNSPILL  5, 15
+     subps    m7, m5, m0
+     addps    m5, SPILLED(8)
+     mulps    m5, [costabs + 16*1]
+     mulps    m7, [costabs + 16*8]
+     addps    m0, SPILLED(8)
+     mulps    m0, [costabs + 16*3]
+     subps    m2, m4, m5
+     subps    m2, m0
+     SPILL    2, 15
+     addps    m5, m4
+     addps    m5, m7
+     addps    m4, m0
+     subps    m4, m7
+     SPILL    4, 8
+     mova     m7, [tmpq+4*16]
+     mova     m2, [tmpq+4*12]
+     addps    m0, m7, m2
+     subps    m0, SPILLED(11)
+     mulps    m0, [costabs + 16*2]
+     addps    m4, m7, SPILLED(11)
+     mulps    m4, [costabs]
+     subps    m7, m2
+     mulps    m7, [costabs + 16*7]
+     addps    m2, SPILLED(11)
+     mulps    m2, [costabs + 16*4]
+     addps    m1, m7, [tmpq+4*8]
+     addps    m1, m4
+     addps    m4, m2
+     subps    m4, [tmpq+4*8]
+     SPILL    4, 11
+     subps    m7, m2
+     subps    m7, [tmpq+4*8]
+     addps    m4, m6, SPILLED(10)
+     subps    m6, SPILLED(10)
+     addps    m2, m5, m1
+     mulps    m2, [costabs + 16*9]
+     subps    m5, m1
+     mulps    m5, [costabs + 16*17]
+     subps    m1, m4, m2
+     addps    m4, m2
+     mulps    m2, m1, [winq+4*36]
+     addps    m2, [bufq+4*36]
+     mova     [outq+1152], m2
+     mulps    m1, [winq+4*32]
+     addps    m1, [bufq+4*32]
+     mova     [outq+1024], m1
+     mulps    m1, m4, [winq+4*116]
+     mova     [bufq+4*36], m1
+     mulps    m4, [winq+4*112]
+     mova     [bufq+4*32], m4
+     addps    m2, m6, m5
+     subps    m6, m5
+     mulps    m1, m6, [winq+4*68]
+     addps    m1, [bufq+4*68]
+     mova     [outq+2176], m1
+     mulps    m6, [winq]
+     addps    m6, [bufq]
+     mova     [outq], m6
+     mulps    m1, m2, [winq+4*148]
+     mova     [bufq+4*68], m1
+     mulps    m2, [winq+4*80]
+     mova     [bufq], m2
+     addps    m5, m3, [tmpq+4*24]
+     mova     m2, [tmpq+4*24]
+     subps    m2, m3
+     mova     m1, SPILLED(9)
+     subps    m1, m0
+     mulps    m1, [costabs + 16*10]
+     addps    m0, SPILLED(9)
+     mulps    m0, [costabs + 16*16]
+     addps    m6, m5, m1
+     subps    m5, m1
+     mulps    m3, m5, [winq+4*40]
+     addps    m3, [bufq+4*40]
+     mova     [outq+1280], m3
+     mulps    m5, [winq+4*28]
+     addps    m5, [bufq+4*28]
+     mova     [outq+896], m5
+     mulps    m1, m6, [winq+4*120]
+     mova     [bufq+4*40], m1
+     mulps    m6, [winq+4*108]
+     mova     [bufq+4*28], m6
+     addps    m1, m2, m0
+     subps    m2, m0
+     mulps    m5, m2, [winq+4*64]
+     addps    m5, [bufq+4*64]
+     mova     [outq+2048], m5
+     mulps    m2, [winq+4*4]
+     addps    m2, [bufq+4*4]
+     mova     [outq+128], m2
+     mulps    m0, m1, [winq+4*144]
+     mova     [bufq+4*64], m0
+     mulps    m1, [winq+4*84]
+     mova     [bufq+4*4], m1
+     mova     m1, [tmpq+4*28]
+     mova     m5, m1
+     addps    m1, SPILLED(13)
+     subps    m5, SPILLED(13)
+     UNSPILL  3, 15
+     addps    m2, m7, m3
+     mulps    m2, [costabs + 16*11]
+     subps    m3, m7
+     mulps    m3, [costabs + 16*15]
+     addps    m0, m2, m1
+     subps    m1, m2
+     SWAP     m0, m2
+     mulps    m6, m1, [winq+4*44]
+     addps    m6, [bufq+4*44]
+     mova     [outq+1408], m6
+     mulps    m1, [winq+4*24]
+     addps    m1, [bufq+4*24]
+     mova     [outq+768], m1
+     mulps    m0, m2, [winq+4*124]
+     mova     [bufq+4*44], m0
+     mulps    m2, [winq+4*104]
+     mova     [bufq+4*24], m2
+     addps    m0, m5, m3
+     subps    m5, m3
+     mulps    m1, m5, [winq+4*60]
+     addps    m1, [bufq+4*60]
+     mova     [outq+1920], m1
+     mulps    m5, [winq+4*8]
+     addps    m5, [bufq+4*8]
+     mova     [outq+256], m5
+     mulps    m1, m0, [winq+4*140]
+     mova     [bufq+4*60], m1
+     mulps    m0, [winq+4*88]
+     mova     [bufq+4*8], m0
+     mova     m1, [tmpq+4*20]
+     addps    m1, SPILLED(12)
+     mova     m2, [tmpq+4*20]
+     subps    m2, SPILLED(12)
+     UNSPILL  7, 8
+     subps    m0, m7, SPILLED(11)
+     addps    m7, SPILLED(11)
+     mulps    m4, m7, [costabs + 16*12]
+     mulps    m0, [costabs + 16*14]
+     addps    m5, m1, m4
+     subps    m1, m4
+     mulps    m7, m1, [winq+4*48]
+     addps    m7, [bufq+4*48]
+     mova     [outq+1536], m7
+     mulps    m1, [winq+4*20]
+     addps    m1, [bufq+4*20]
+     mova     [outq+640], m1
+     mulps    m1, m5, [winq+4*128]
+     mova     [bufq+4*48], m1
+     mulps    m5, [winq+4*100]
+     mova     [bufq+4*20], m5
+     addps    m6, m2, m0
+     subps    m2, m0
+     mulps    m1, m2, [winq+4*56]
+     addps    m1, [bufq+4*56]
+     mova     [outq+1792], m1
+     mulps    m2, [winq+4*12]
+     addps    m2, [bufq+4*12]
+     mova     [outq+384], m2
+     mulps    m0, m6, [winq+4*136]
+     mova    [bufq+4*56], m0
+     mulps    m6, [winq+4*92]
+     mova     [bufq+4*12], m6
+     UNSPILL  0, 14
+     mulps    m0, [costabs + 16*13]
+     mova     m3, [tmpq+4*4]
+     addps    m2, m0, m3
+     subps    m3, m0
+     mulps    m0, m3, [winq+4*52]
+     addps    m0, [bufq+4*52]
+     mova     [outq+1664], m0
+     mulps    m3, [winq+4*16]
+     addps    m3, [bufq+4*16]
+     mova     [outq+512], m3
+     mulps    m0, m2, [winq+4*132]
+     mova     [bufq+4*52], m0
+     mulps    m2, [winq+4*96]
+     mova     [bufq+4*16], m2
+     RET
+ %endmacro
+ INIT_XMM sse
+ DEFINE_FOUR_IMDCT
++%if HAVE_AVX
+ INIT_XMM avx
+ DEFINE_FOUR_IMDCT
++%endif
index 0000000,82f7761..e0e6f8b
mode 000000,100644..100644
--- /dev/null
@@@ -1,0 -1,154 +1,153 @@@
 - * This file is part of Libav.
+ /*
+  * MMX optimized LPC DSP utils
+  * Copyright (c) 2007 Loren Merritt
+  *
 - * Libav is free software; you can redistribute it and/or
++ * This file is part of FFmpeg.
+  *
 - * Libav is distributed in the hope that it will be useful,
++ * FFmpeg is free software; you can redistribute it and/or
+  * modify it under the terms of the GNU Lesser General Public
+  * License as published by the Free Software Foundation; either
+  * version 2.1 of the License, or (at your option) any later version.
+  *
 - * License along with Libav; if not, write to the Free Software
++ * FFmpeg is distributed in the hope that it will be useful,
+  * but WITHOUT ANY WARRANTY; without even the implied warranty of
+  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
+  * Lesser General Public License for more details.
+  *
+  * You should have received a copy of the GNU Lesser General Public
 -#include "libavutil/internal.h"
++ * License along with FFmpeg; if not, write to the Free Software
+  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
+  */
+ #include "libavutil/x86/asm.h"
+ #include "libavutil/cpu.h"
+ #include "libavcodec/lpc.h"
+ #if HAVE_INLINE_ASM
+ static void lpc_apply_welch_window_sse2(const int32_t *data, int len,
+                                         double *w_data)
+ {
+     double c = 2.0 / (len-1.0);
+     int n2 = len>>1;
+     x86_reg i = -n2*sizeof(int32_t);
+     x86_reg j =  n2*sizeof(int32_t);
+     __asm__ volatile(
+         "movsd   %4,     %%xmm7                \n\t"
+         "movapd  "MANGLE(ff_pd_1)", %%xmm6     \n\t"
+         "movapd  "MANGLE(ff_pd_2)", %%xmm5     \n\t"
+         "movlhps %%xmm7, %%xmm7                \n\t"
+         "subpd   %%xmm5, %%xmm7                \n\t"
+         "addsd   %%xmm6, %%xmm7                \n\t"
+         "test    $1,     %5                    \n\t"
+         "jz      2f                            \n\t"
+ #define WELCH(MOVPD, offset)\
+         "1:                                    \n\t"\
+         "movapd   %%xmm7,  %%xmm1              \n\t"\
+         "mulpd    %%xmm1,  %%xmm1              \n\t"\
+         "movapd   %%xmm6,  %%xmm0              \n\t"\
+         "subpd    %%xmm1,  %%xmm0              \n\t"\
+         "pshufd   $0x4e,   %%xmm0, %%xmm1      \n\t"\
+         "cvtpi2pd (%3,%0), %%xmm2              \n\t"\
+         "cvtpi2pd "#offset"*4(%3,%1), %%xmm3   \n\t"\
+         "mulpd    %%xmm0,  %%xmm2              \n\t"\
+         "mulpd    %%xmm1,  %%xmm3              \n\t"\
+         "movapd   %%xmm2, (%2,%0,2)            \n\t"\
+         MOVPD"    %%xmm3, "#offset"*8(%2,%1,2) \n\t"\
+         "subpd    %%xmm5,  %%xmm7              \n\t"\
+         "sub      $8,      %1                  \n\t"\
+         "add      $8,      %0                  \n\t"\
+         "jl 1b                                 \n\t"\
+         WELCH("movupd", -1)
+         "jmp 3f                                \n\t"
+         "2:                                    \n\t"
+         WELCH("movapd", -2)
+         "3:                                    \n\t"
+         :"+&r"(i), "+&r"(j)
+         :"r"(w_data+n2), "r"(data+n2), "m"(c), "r"(len)
+          XMM_CLOBBERS_ONLY("%xmm0", "%xmm1", "%xmm2", "%xmm3",
+                                     "%xmm5", "%xmm6", "%xmm7")
+     );
+ #undef WELCH
+ }
+ static void lpc_compute_autocorr_sse2(const double *data, int len, int lag,
+                                       double *autoc)
+ {
+     int j;
+     if((x86_reg)data & 15)
+         data++;
+     for(j=0; j<lag; j+=2){
+         x86_reg i = -len*sizeof(double);
+         if(j == lag-2) {
+             __asm__ volatile(
+                 "movsd    "MANGLE(ff_pd_1)", %%xmm0 \n\t"
+                 "movsd    "MANGLE(ff_pd_1)", %%xmm1 \n\t"
+                 "movsd    "MANGLE(ff_pd_1)", %%xmm2 \n\t"
+                 "1:                                 \n\t"
+                 "movapd   (%2,%0), %%xmm3           \n\t"
+                 "movupd -8(%3,%0), %%xmm4           \n\t"
+                 "movapd   (%3,%0), %%xmm5           \n\t"
+                 "mulpd     %%xmm3, %%xmm4           \n\t"
+                 "mulpd     %%xmm3, %%xmm5           \n\t"
+                 "mulpd -16(%3,%0), %%xmm3           \n\t"
+                 "addpd     %%xmm4, %%xmm1           \n\t"
+                 "addpd     %%xmm5, %%xmm0           \n\t"
+                 "addpd     %%xmm3, %%xmm2           \n\t"
+                 "add       $16,    %0               \n\t"
+                 "jl 1b                              \n\t"
+                 "movhlps   %%xmm0, %%xmm3           \n\t"
+                 "movhlps   %%xmm1, %%xmm4           \n\t"
+                 "movhlps   %%xmm2, %%xmm5           \n\t"
+                 "addsd     %%xmm3, %%xmm0           \n\t"
+                 "addsd     %%xmm4, %%xmm1           \n\t"
+                 "addsd     %%xmm5, %%xmm2           \n\t"
+                 "movsd     %%xmm0,   (%1)           \n\t"
+                 "movsd     %%xmm1,  8(%1)           \n\t"
+                 "movsd     %%xmm2, 16(%1)           \n\t"
+                 :"+&r"(i)
+                 :"r"(autoc+j), "r"(data+len), "r"(data+len-j)
+                 :"memory"
+             );
+         } else {
+             __asm__ volatile(
+                 "movsd    "MANGLE(ff_pd_1)", %%xmm0 \n\t"
+                 "movsd    "MANGLE(ff_pd_1)", %%xmm1 \n\t"
+                 "1:                                 \n\t"
+                 "movapd   (%3,%0), %%xmm3           \n\t"
+                 "movupd -8(%4,%0), %%xmm4           \n\t"
+                 "mulpd     %%xmm3, %%xmm4           \n\t"
+                 "mulpd    (%4,%0), %%xmm3           \n\t"
+                 "addpd     %%xmm4, %%xmm1           \n\t"
+                 "addpd     %%xmm3, %%xmm0           \n\t"
+                 "add       $16,    %0               \n\t"
+                 "jl 1b                              \n\t"
+                 "movhlps   %%xmm0, %%xmm3           \n\t"
+                 "movhlps   %%xmm1, %%xmm4           \n\t"
+                 "addsd     %%xmm3, %%xmm0           \n\t"
+                 "addsd     %%xmm4, %%xmm1           \n\t"
+                 "movsd     %%xmm0, %1               \n\t"
+                 "movsd     %%xmm1, %2               \n\t"
+                 :"+&r"(i), "=m"(autoc[j]), "=m"(autoc[j+1])
+                 :"r"(data+len), "r"(data+len-j)
+             );
+         }
+     }
+ }
+ #endif /* HAVE_INLINE_ASM */
+ av_cold void ff_lpc_init_x86(LPCContext *c)
+ {
+     int mm_flags = av_get_cpu_flags();
+ #if HAVE_INLINE_ASM
+     if (mm_flags & (AV_CPU_FLAG_SSE2|AV_CPU_FLAG_SSE2SLOW)) {
+         c->lpc_apply_welch_window = lpc_apply_welch_window_sse2;
+         c->lpc_compute_autocorr   = lpc_compute_autocorr_sse2;
+     }
+ #endif /* HAVE_INLINE_ASM */
+ }
index 0000000,6eb44d4..3ee68c2
mode 000000,100644..100644
--- /dev/null
@@@ -1,0 -1,469 +1,468 @@@
 - * This file is part of Libav.
+ /*
+  * MMX optimized motion estimation
+  * Copyright (c) 2001 Fabrice Bellard
+  * Copyright (c) 2002-2004 Michael Niedermayer
+  *
+  * mostly by Michael Niedermayer <michaelni@gmx.at>
+  *
 - * Libav is free software; you can redistribute it and/or
++ * This file is part of FFmpeg.
+  *
 - * Libav is distributed in the hope that it will be useful,
++ * FFmpeg is free software; you can redistribute it and/or
+  * modify it under the terms of the GNU Lesser General Public
+  * License as published by the Free Software Foundation; either
+  * version 2.1 of the License, or (at your option) any later version.
+  *
 - * License along with Libav; if not, write to the Free Software
++ * FFmpeg is distributed in the hope that it will be useful,
+  * but WITHOUT ANY WARRANTY; without even the implied warranty of
+  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
+  * Lesser General Public License for more details.
+  *
+  * You should have received a copy of the GNU Lesser General Public
 -#include "libavutil/internal.h"
++ * License along with FFmpeg; if not, write to the Free Software
+  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
+  */
+ #include "libavutil/mem.h"
+ #include "libavutil/x86/asm.h"
+ #include "libavcodec/dsputil.h"
+ #include "dsputil_mmx.h"
+ #if HAVE_INLINE_ASM
+ DECLARE_ASM_CONST(8, uint64_t, round_tab)[3]={
+ 0x0000000000000000ULL,
+ 0x0001000100010001ULL,
+ 0x0002000200020002ULL,
+ };
+ DECLARE_ASM_CONST(8, uint64_t, bone)= 0x0101010101010101LL;
+ static inline void sad8_1_mmx(uint8_t *blk1, uint8_t *blk2, int stride, int h)
+ {
+     x86_reg len= -(stride*h);
+     __asm__ volatile(
+         ".p2align 4                     \n\t"
+         "1:                             \n\t"
+         "movq (%1, %%"REG_a"), %%mm0    \n\t"
+         "movq (%2, %%"REG_a"), %%mm2    \n\t"
+         "movq (%2, %%"REG_a"), %%mm4    \n\t"
+         "add %3, %%"REG_a"              \n\t"
+         "psubusb %%mm0, %%mm2           \n\t"
+         "psubusb %%mm4, %%mm0           \n\t"
+         "movq (%1, %%"REG_a"), %%mm1    \n\t"
+         "movq (%2, %%"REG_a"), %%mm3    \n\t"
+         "movq (%2, %%"REG_a"), %%mm5    \n\t"
+         "psubusb %%mm1, %%mm3           \n\t"
+         "psubusb %%mm5, %%mm1           \n\t"
+         "por %%mm2, %%mm0               \n\t"
+         "por %%mm1, %%mm3               \n\t"
+         "movq %%mm0, %%mm1              \n\t"
+         "movq %%mm3, %%mm2              \n\t"
+         "punpcklbw %%mm7, %%mm0         \n\t"
+         "punpckhbw %%mm7, %%mm1         \n\t"
+         "punpcklbw %%mm7, %%mm3         \n\t"
+         "punpckhbw %%mm7, %%mm2         \n\t"
+         "paddw %%mm1, %%mm0             \n\t"
+         "paddw %%mm3, %%mm2             \n\t"
+         "paddw %%mm2, %%mm0             \n\t"
+         "paddw %%mm0, %%mm6             \n\t"
+         "add %3, %%"REG_a"              \n\t"
+         " js 1b                         \n\t"
+         : "+a" (len)
+         : "r" (blk1 - len), "r" (blk2 - len), "r" ((x86_reg)stride)
+     );
+ }
+ static inline void sad8_1_mmx2(uint8_t *blk1, uint8_t *blk2, int stride, int h)
+ {
+     __asm__ volatile(
+         ".p2align 4                     \n\t"
+         "1:                             \n\t"
+         "movq (%1), %%mm0               \n\t"
+         "movq (%1, %3), %%mm1           \n\t"
+         "psadbw (%2), %%mm0             \n\t"
+         "psadbw (%2, %3), %%mm1         \n\t"
+         "paddw %%mm0, %%mm6             \n\t"
+         "paddw %%mm1, %%mm6             \n\t"
+         "lea (%1,%3,2), %1              \n\t"
+         "lea (%2,%3,2), %2              \n\t"
+         "sub $2, %0                     \n\t"
+         " jg 1b                         \n\t"
+         : "+r" (h), "+r" (blk1), "+r" (blk2)
+         : "r" ((x86_reg)stride)
+     );
+ }
+ static int sad16_sse2(void *v, uint8_t *blk2, uint8_t *blk1, int stride, int h)
+ {
+     int ret;
+     __asm__ volatile(
+         "pxor %%xmm2, %%xmm2            \n\t"
+         ".p2align 4                     \n\t"
+         "1:                             \n\t"
+         "movdqu (%1), %%xmm0            \n\t"
+         "movdqu (%1, %4), %%xmm1        \n\t"
+         "psadbw (%2), %%xmm0            \n\t"
+         "psadbw (%2, %4), %%xmm1        \n\t"
+         "paddw %%xmm0, %%xmm2           \n\t"
+         "paddw %%xmm1, %%xmm2           \n\t"
+         "lea (%1,%4,2), %1              \n\t"
+         "lea (%2,%4,2), %2              \n\t"
+         "sub $2, %0                     \n\t"
+         " jg 1b                         \n\t"
+         "movhlps %%xmm2, %%xmm0         \n\t"
+         "paddw   %%xmm0, %%xmm2         \n\t"
+         "movd    %%xmm2, %3             \n\t"
+         : "+r" (h), "+r" (blk1), "+r" (blk2), "=r"(ret)
+         : "r" ((x86_reg)stride)
+     );
+     return ret;
+ }
+ static inline void sad8_x2a_mmx2(uint8_t *blk1, uint8_t *blk2, int stride, int h)
+ {
+     __asm__ volatile(
+         ".p2align 4                     \n\t"
+         "1:                             \n\t"
+         "movq (%1), %%mm0               \n\t"
+         "movq (%1, %3), %%mm1           \n\t"
+         "pavgb 1(%1), %%mm0             \n\t"
+         "pavgb 1(%1, %3), %%mm1         \n\t"
+         "psadbw (%2), %%mm0             \n\t"
+         "psadbw (%2, %3), %%mm1         \n\t"
+         "paddw %%mm0, %%mm6             \n\t"
+         "paddw %%mm1, %%mm6             \n\t"
+         "lea (%1,%3,2), %1              \n\t"
+         "lea (%2,%3,2), %2              \n\t"
+         "sub $2, %0                     \n\t"
+         " jg 1b                         \n\t"
+         : "+r" (h), "+r" (blk1), "+r" (blk2)
+         : "r" ((x86_reg)stride)
+     );
+ }
+ static inline void sad8_y2a_mmx2(uint8_t *blk1, uint8_t *blk2, int stride, int h)
+ {
+     __asm__ volatile(
+         "movq (%1), %%mm0               \n\t"
+         "add %3, %1                     \n\t"
+         ".p2align 4                     \n\t"
+         "1:                             \n\t"
+         "movq (%1), %%mm1               \n\t"
+         "movq (%1, %3), %%mm2           \n\t"
+         "pavgb %%mm1, %%mm0             \n\t"
+         "pavgb %%mm2, %%mm1             \n\t"
+         "psadbw (%2), %%mm0             \n\t"
+         "psadbw (%2, %3), %%mm1         \n\t"
+         "paddw %%mm0, %%mm6             \n\t"
+         "paddw %%mm1, %%mm6             \n\t"
+         "movq %%mm2, %%mm0              \n\t"
+         "lea (%1,%3,2), %1              \n\t"
+         "lea (%2,%3,2), %2              \n\t"
+         "sub $2, %0                     \n\t"
+         " jg 1b                         \n\t"
+         : "+r" (h), "+r" (blk1), "+r" (blk2)
+         : "r" ((x86_reg)stride)
+     );
+ }
+ static inline void sad8_4_mmx2(uint8_t *blk1, uint8_t *blk2, int stride, int h)
+ {
+     __asm__ volatile(
+         "movq "MANGLE(bone)", %%mm5     \n\t"
+         "movq (%1), %%mm0               \n\t"
+         "pavgb 1(%1), %%mm0             \n\t"
+         "add %3, %1                     \n\t"
+         ".p2align 4                     \n\t"
+         "1:                             \n\t"
+         "movq (%1), %%mm1               \n\t"
+         "movq (%1,%3), %%mm2            \n\t"
+         "pavgb 1(%1), %%mm1             \n\t"
+         "pavgb 1(%1,%3), %%mm2          \n\t"
+         "psubusb %%mm5, %%mm1           \n\t"
+         "pavgb %%mm1, %%mm0             \n\t"
+         "pavgb %%mm2, %%mm1             \n\t"
+         "psadbw (%2), %%mm0             \n\t"
+         "psadbw (%2,%3), %%mm1          \n\t"
+         "paddw %%mm0, %%mm6             \n\t"
+         "paddw %%mm1, %%mm6             \n\t"
+         "movq %%mm2, %%mm0              \n\t"
+         "lea (%1,%3,2), %1              \n\t"
+         "lea (%2,%3,2), %2              \n\t"
+         "sub $2, %0                     \n\t"
+         " jg 1b                         \n\t"
+         : "+r" (h), "+r" (blk1), "+r" (blk2)
+         : "r" ((x86_reg)stride)
+     );
+ }
+ static inline void sad8_2_mmx(uint8_t *blk1a, uint8_t *blk1b, uint8_t *blk2, int stride, int h)
+ {
+     x86_reg len= -(stride*h);
+     __asm__ volatile(
+         ".p2align 4                     \n\t"
+         "1:                             \n\t"
+         "movq (%1, %%"REG_a"), %%mm0    \n\t"
+         "movq (%2, %%"REG_a"), %%mm1    \n\t"
+         "movq (%1, %%"REG_a"), %%mm2    \n\t"
+         "movq (%2, %%"REG_a"), %%mm3    \n\t"
+         "punpcklbw %%mm7, %%mm0         \n\t"
+         "punpcklbw %%mm7, %%mm1         \n\t"
+         "punpckhbw %%mm7, %%mm2         \n\t"
+         "punpckhbw %%mm7, %%mm3         \n\t"
+         "paddw %%mm0, %%mm1             \n\t"
+         "paddw %%mm2, %%mm3             \n\t"
+         "movq (%3, %%"REG_a"), %%mm4    \n\t"
+         "movq (%3, %%"REG_a"), %%mm2    \n\t"
+         "paddw %%mm5, %%mm1             \n\t"
+         "paddw %%mm5, %%mm3             \n\t"
+         "psrlw $1, %%mm1                \n\t"
+         "psrlw $1, %%mm3                \n\t"
+         "packuswb %%mm3, %%mm1          \n\t"
+         "psubusb %%mm1, %%mm4           \n\t"
+         "psubusb %%mm2, %%mm1           \n\t"
+         "por %%mm4, %%mm1               \n\t"
+         "movq %%mm1, %%mm0              \n\t"
+         "punpcklbw %%mm7, %%mm0         \n\t"
+         "punpckhbw %%mm7, %%mm1         \n\t"
+         "paddw %%mm1, %%mm0             \n\t"
+         "paddw %%mm0, %%mm6             \n\t"
+         "add %4, %%"REG_a"              \n\t"
+         " js 1b                         \n\t"
+         : "+a" (len)
+         : "r" (blk1a - len), "r" (blk1b -len), "r" (blk2 - len), "r" ((x86_reg)stride)
+     );
+ }
+ static inline void sad8_4_mmx(uint8_t *blk1, uint8_t *blk2, int stride, int h)
+ {
+     x86_reg len= -(stride*h);
+     __asm__ volatile(
+         "movq (%1, %%"REG_a"), %%mm0    \n\t"
+         "movq 1(%1, %%"REG_a"), %%mm2   \n\t"
+         "movq %%mm0, %%mm1              \n\t"
+         "movq %%mm2, %%mm3              \n\t"
+         "punpcklbw %%mm7, %%mm0         \n\t"
+         "punpckhbw %%mm7, %%mm1         \n\t"
+         "punpcklbw %%mm7, %%mm2         \n\t"
+         "punpckhbw %%mm7, %%mm3         \n\t"
+         "paddw %%mm2, %%mm0             \n\t"
+         "paddw %%mm3, %%mm1             \n\t"
+         ".p2align 4                     \n\t"
+         "1:                             \n\t"
+         "movq (%2, %%"REG_a"), %%mm2    \n\t"
+         "movq 1(%2, %%"REG_a"), %%mm4   \n\t"
+         "movq %%mm2, %%mm3              \n\t"
+         "movq %%mm4, %%mm5              \n\t"
+         "punpcklbw %%mm7, %%mm2         \n\t"
+         "punpckhbw %%mm7, %%mm3         \n\t"
+         "punpcklbw %%mm7, %%mm4         \n\t"
+         "punpckhbw %%mm7, %%mm5         \n\t"
+         "paddw %%mm4, %%mm2             \n\t"
+         "paddw %%mm5, %%mm3             \n\t"
+         "movq 16+"MANGLE(round_tab)", %%mm5 \n\t"
+         "paddw %%mm2, %%mm0             \n\t"
+         "paddw %%mm3, %%mm1             \n\t"
+         "paddw %%mm5, %%mm0             \n\t"
+         "paddw %%mm5, %%mm1             \n\t"
+         "movq (%3, %%"REG_a"), %%mm4    \n\t"
+         "movq (%3, %%"REG_a"), %%mm5    \n\t"
+         "psrlw $2, %%mm0                \n\t"
+         "psrlw $2, %%mm1                \n\t"
+         "packuswb %%mm1, %%mm0          \n\t"
+         "psubusb %%mm0, %%mm4           \n\t"
+         "psubusb %%mm5, %%mm0           \n\t"
+         "por %%mm4, %%mm0               \n\t"
+         "movq %%mm0, %%mm4              \n\t"
+         "punpcklbw %%mm7, %%mm0         \n\t"
+         "punpckhbw %%mm7, %%mm4         \n\t"
+         "paddw %%mm0, %%mm6             \n\t"
+         "paddw %%mm4, %%mm6             \n\t"
+         "movq  %%mm2, %%mm0             \n\t"
+         "movq  %%mm3, %%mm1             \n\t"
+         "add %4, %%"REG_a"              \n\t"
+         " js 1b                         \n\t"
+         : "+a" (len)
+         : "r" (blk1 - len), "r" (blk1 -len + stride), "r" (blk2 - len), "r" ((x86_reg)stride)
+     );
+ }
+ static inline int sum_mmx(void)
+ {
+     int ret;
+     __asm__ volatile(
+         "movq %%mm6, %%mm0              \n\t"
+         "psrlq $32, %%mm6               \n\t"
+         "paddw %%mm0, %%mm6             \n\t"
+         "movq %%mm6, %%mm0              \n\t"
+         "psrlq $16, %%mm6               \n\t"
+         "paddw %%mm0, %%mm6             \n\t"
+         "movd %%mm6, %0                 \n\t"
+         : "=r" (ret)
+     );
+     return ret&0xFFFF;
+ }
+ static inline int sum_mmx2(void)
+ {
+     int ret;
+     __asm__ volatile(
+         "movd %%mm6, %0                 \n\t"
+         : "=r" (ret)
+     );
+     return ret;
+ }
+ static inline void sad8_x2a_mmx(uint8_t *blk1, uint8_t *blk2, int stride, int h)
+ {
+     sad8_2_mmx(blk1, blk1+1, blk2, stride, h);
+ }
+ static inline void sad8_y2a_mmx(uint8_t *blk1, uint8_t *blk2, int stride, int h)
+ {
+     sad8_2_mmx(blk1, blk1+stride, blk2, stride, h);
+ }
+ #define PIX_SAD(suf)\
+ static int sad8_ ## suf(void *v, uint8_t *blk2, uint8_t *blk1, int stride, int h)\
+ {\
+     assert(h==8);\
+     __asm__ volatile("pxor %%mm7, %%mm7     \n\t"\
+                  "pxor %%mm6, %%mm6     \n\t":);\
+ \
+     sad8_1_ ## suf(blk1, blk2, stride, 8);\
+ \
+     return sum_ ## suf();\
+ }\
+ static int sad8_x2_ ## suf(void *v, uint8_t *blk2, uint8_t *blk1, int stride, int h)\
+ {\
+     assert(h==8);\
+     __asm__ volatile("pxor %%mm7, %%mm7     \n\t"\
+                  "pxor %%mm6, %%mm6     \n\t"\
+                  "movq %0, %%mm5        \n\t"\
+                  :: "m"(round_tab[1]) \
+                  );\
+ \
+     sad8_x2a_ ## suf(blk1, blk2, stride, 8);\
+ \
+     return sum_ ## suf();\
+ }\
+ \
+ static int sad8_y2_ ## suf(void *v, uint8_t *blk2, uint8_t *blk1, int stride, int h)\
+ {\
+     assert(h==8);\
+     __asm__ volatile("pxor %%mm7, %%mm7     \n\t"\
+                  "pxor %%mm6, %%mm6     \n\t"\
+                  "movq %0, %%mm5        \n\t"\
+                  :: "m"(round_tab[1]) \
+                  );\
+ \
+     sad8_y2a_ ## suf(blk1, blk2, stride, 8);\
+ \
+     return sum_ ## suf();\
+ }\
+ \
+ static int sad8_xy2_ ## suf(void *v, uint8_t *blk2, uint8_t *blk1, int stride, int h)\
+ {\
+     assert(h==8);\
+     __asm__ volatile("pxor %%mm7, %%mm7     \n\t"\
+                  "pxor %%mm6, %%mm6     \n\t"\
+                  ::);\
+ \
+     sad8_4_ ## suf(blk1, blk2, stride, 8);\
+ \
+     return sum_ ## suf();\
+ }\
+ \
+ static int sad16_ ## suf(void *v, uint8_t *blk2, uint8_t *blk1, int stride, int h)\
+ {\
+     __asm__ volatile("pxor %%mm7, %%mm7     \n\t"\
+                  "pxor %%mm6, %%mm6     \n\t":);\
+ \
+     sad8_1_ ## suf(blk1  , blk2  , stride, h);\
+     sad8_1_ ## suf(blk1+8, blk2+8, stride, h);\
+ \
+     return sum_ ## suf();\
+ }\
+ static int sad16_x2_ ## suf(void *v, uint8_t *blk2, uint8_t *blk1, int stride, int h)\
+ {\
+     __asm__ volatile("pxor %%mm7, %%mm7     \n\t"\
+                  "pxor %%mm6, %%mm6     \n\t"\
+                  "movq %0, %%mm5        \n\t"\
+                  :: "m"(round_tab[1]) \
+                  );\
+ \
+     sad8_x2a_ ## suf(blk1  , blk2  , stride, h);\
+     sad8_x2a_ ## suf(blk1+8, blk2+8, stride, h);\
+ \
+     return sum_ ## suf();\
+ }\
+ static int sad16_y2_ ## suf(void *v, uint8_t *blk2, uint8_t *blk1, int stride, int h)\
+ {\
+     __asm__ volatile("pxor %%mm7, %%mm7     \n\t"\
+                  "pxor %%mm6, %%mm6     \n\t"\
+                  "movq %0, %%mm5        \n\t"\
+                  :: "m"(round_tab[1]) \
+                  );\
+ \
+     sad8_y2a_ ## suf(blk1  , blk2  , stride, h);\
+     sad8_y2a_ ## suf(blk1+8, blk2+8, stride, h);\
+ \
+     return sum_ ## suf();\
+ }\
+ static int sad16_xy2_ ## suf(void *v, uint8_t *blk2, uint8_t *blk1, int stride, int h)\
+ {\
+     __asm__ volatile("pxor %%mm7, %%mm7     \n\t"\
+                  "pxor %%mm6, %%mm6     \n\t"\
+                  ::);\
+ \
+     sad8_4_ ## suf(blk1  , blk2  , stride, h);\
+     sad8_4_ ## suf(blk1+8, blk2+8, stride, h);\
+ \
+     return sum_ ## suf();\
+ }\
+ PIX_SAD(mmx)
+ PIX_SAD(mmx2)
+ #endif /* HAVE_INLINE_ASM */
+ void ff_dsputil_init_pix_mmx(DSPContext* c, AVCodecContext *avctx)
+ {
+ #if HAVE_INLINE_ASM
+     int mm_flags = av_get_cpu_flags();
+     if (mm_flags & AV_CPU_FLAG_MMX) {
+         c->pix_abs[0][0] = sad16_mmx;
+         c->pix_abs[0][1] = sad16_x2_mmx;
+         c->pix_abs[0][2] = sad16_y2_mmx;
+         c->pix_abs[0][3] = sad16_xy2_mmx;
+         c->pix_abs[1][0] = sad8_mmx;
+         c->pix_abs[1][1] = sad8_x2_mmx;
+         c->pix_abs[1][2] = sad8_y2_mmx;
+         c->pix_abs[1][3] = sad8_xy2_mmx;
+         c->sad[0]= sad16_mmx;
+         c->sad[1]= sad8_mmx;
+     }
+     if (mm_flags & AV_CPU_FLAG_MMXEXT) {
+         c->pix_abs[0][0] = sad16_mmx2;
+         c->pix_abs[1][0] = sad8_mmx2;
+         c->sad[0]= sad16_mmx2;
+         c->sad[1]= sad8_mmx2;
+         if(!(avctx->flags & CODEC_FLAG_BITEXACT)){
+             c->pix_abs[0][1] = sad16_x2_mmx2;
+             c->pix_abs[0][2] = sad16_y2_mmx2;
+             c->pix_abs[0][3] = sad16_xy2_mmx2;
+             c->pix_abs[1][1] = sad8_x2_mmx2;
+             c->pix_abs[1][2] = sad8_y2_mmx2;
+             c->pix_abs[1][3] = sad8_xy2_mmx2;
+         }
+     }
+     if ((mm_flags & AV_CPU_FLAG_SSE2) && !(mm_flags & AV_CPU_FLAG_3DNOW) && avctx->codec_id != AV_CODEC_ID_SNOW) {
+         c->sad[0]= sad16_sse2;
+     }
+ #endif /* HAVE_INLINE_ASM */
+ }
index 0000000,701ae75..7bc0c30
mode 000000,100644..100644
--- /dev/null
@@@ -1,0 -1,261 +1,270 @@@
 - * This file is part of Libav.
+ /*
+  * MMX optimized MP3 decoding functions
+  * Copyright (c) 2010 Vitor Sessak
+  *
 - * Libav is free software; you can redistribute it and/or
++ * This file is part of FFmpeg.
+  *
 - * Libav is distributed in the hope that it will be useful,
++ * FFmpeg is free software; you can redistribute it and/or
+  * modify it under the terms of the GNU Lesser General Public
+  * License as published by the Free Software Foundation; either
+  * version 2.1 of the License, or (at your option) any later version.
+  *
 - * License along with Libav; if not, write to the Free Software
++ * FFmpeg is distributed in the hope that it will be useful,
+  * but WITHOUT ANY WARRANTY; without even the implied warranty of
+  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
+  * Lesser General Public License for more details.
+  *
+  * You should have received a copy of the GNU Lesser General Public
 -    if (mm_flags & AV_CPU_FLAG_AVX && HAVE_AVX) {
++ * License along with FFmpeg; if not, write to the Free Software
+  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
+  */
+ #include "libavutil/cpu.h"
+ #include "libavutil/x86/asm.h"
+ #include "libavcodec/dsputil.h"
+ #include "libavcodec/mpegaudiodsp.h"
+ void ff_imdct36_float_sse(float *out, float *buf, float *in, float *win);
+ void ff_imdct36_float_sse2(float *out, float *buf, float *in, float *win);
+ void ff_imdct36_float_sse3(float *out, float *buf, float *in, float *win);
+ void ff_imdct36_float_ssse3(float *out, float *buf, float *in, float *win);
+ void ff_imdct36_float_avx(float *out, float *buf, float *in, float *win);
+ void ff_four_imdct36_float_sse(float *out, float *buf, float *in, float *win,
+                                float *tmpbuf);
+ void ff_four_imdct36_float_avx(float *out, float *buf, float *in, float *win,
+                                float *tmpbuf);
+ DECLARE_ALIGNED(16, static float, mdct_win_sse)[2][4][4*40];
+ #if HAVE_INLINE_ASM
+ #define MACS(rt, ra, rb) rt+=(ra)*(rb)
+ #define MLSS(rt, ra, rb) rt-=(ra)*(rb)
+ #define SUM8(op, sum, w, p)               \
+ {                                         \
+     op(sum, (w)[0 * 64], (p)[0 * 64]);    \
+     op(sum, (w)[1 * 64], (p)[1 * 64]);    \
+     op(sum, (w)[2 * 64], (p)[2 * 64]);    \
+     op(sum, (w)[3 * 64], (p)[3 * 64]);    \
+     op(sum, (w)[4 * 64], (p)[4 * 64]);    \
+     op(sum, (w)[5 * 64], (p)[5 * 64]);    \
+     op(sum, (w)[6 * 64], (p)[6 * 64]);    \
+     op(sum, (w)[7 * 64], (p)[7 * 64]);    \
+ }
+ static void apply_window(const float *buf, const float *win1,
+                          const float *win2, float *sum1, float *sum2, int len)
+ {
+     x86_reg count = - 4*len;
+     const float *win1a = win1+len;
+     const float *win2a = win2+len;
+     const float *bufa  = buf+len;
+     float *sum1a = sum1+len;
+     float *sum2a = sum2+len;
+ #define MULT(a, b)                                 \
+     "movaps " #a "(%1,%0), %%xmm1           \n\t"  \
+     "movaps " #a "(%3,%0), %%xmm2           \n\t"  \
+     "mulps         %%xmm2, %%xmm1           \n\t"  \
+     "subps         %%xmm1, %%xmm0           \n\t"  \
+     "mulps  " #b "(%2,%0), %%xmm2           \n\t"  \
+     "subps         %%xmm2, %%xmm4           \n\t"  \
+     __asm__ volatile(
+             "1:                                   \n\t"
+             "xorps       %%xmm0, %%xmm0           \n\t"
+             "xorps       %%xmm4, %%xmm4           \n\t"
+             MULT(   0,   0)
+             MULT( 256,  64)
+             MULT( 512, 128)
+             MULT( 768, 192)
+             MULT(1024, 256)
+             MULT(1280, 320)
+             MULT(1536, 384)
+             MULT(1792, 448)
+             "movaps      %%xmm0, (%4,%0)          \n\t"
+             "movaps      %%xmm4, (%5,%0)          \n\t"
+             "add            $16,  %0              \n\t"
+             "jl              1b                   \n\t"
+             :"+&r"(count)
+             :"r"(win1a), "r"(win2a), "r"(bufa), "r"(sum1a), "r"(sum2a)
+             );
+ #undef MULT
+ }
+ static void apply_window_mp3(float *in, float *win, int *unused, float *out,
+                              int incr)
+ {
+     LOCAL_ALIGNED_16(float, suma, [17]);
+     LOCAL_ALIGNED_16(float, sumb, [17]);
+     LOCAL_ALIGNED_16(float, sumc, [17]);
+     LOCAL_ALIGNED_16(float, sumd, [17]);
+     float sum;
+     /* copy to avoid wrap */
+     __asm__ volatile(
+             "movaps    0(%0), %%xmm0   \n\t" \
+             "movaps   16(%0), %%xmm1   \n\t" \
+             "movaps   32(%0), %%xmm2   \n\t" \
+             "movaps   48(%0), %%xmm3   \n\t" \
+             "movaps   %%xmm0,   0(%1) \n\t" \
+             "movaps   %%xmm1,  16(%1) \n\t" \
+             "movaps   %%xmm2,  32(%1) \n\t" \
+             "movaps   %%xmm3,  48(%1) \n\t" \
+             "movaps   64(%0), %%xmm0   \n\t" \
+             "movaps   80(%0), %%xmm1   \n\t" \
+             "movaps   96(%0), %%xmm2   \n\t" \
+             "movaps  112(%0), %%xmm3   \n\t" \
+             "movaps   %%xmm0,  64(%1) \n\t" \
+             "movaps   %%xmm1,  80(%1) \n\t" \
+             "movaps   %%xmm2,  96(%1) \n\t" \
+             "movaps   %%xmm3, 112(%1) \n\t"
+             ::"r"(in), "r"(in+512)
+             :"memory"
+             );
+     apply_window(in + 16, win     , win + 512, suma, sumc, 16);
+     apply_window(in + 32, win + 48, win + 640, sumb, sumd, 16);
+     SUM8(MACS, suma[0], win + 32, in + 48);
+     sumc[ 0] = 0;
+     sumb[16] = 0;
+     sumd[16] = 0;
+ #define SUMS(suma, sumb, sumc, sumd, out1, out2)               \
+             "movups " #sumd "(%4),       %%xmm0          \n\t" \
+             "shufps         $0x1b,       %%xmm0, %%xmm0  \n\t" \
+             "subps  " #suma "(%1),       %%xmm0          \n\t" \
+             "movaps        %%xmm0," #out1 "(%0)          \n\t" \
+ \
+             "movups " #sumc "(%3),       %%xmm0          \n\t" \
+             "shufps         $0x1b,       %%xmm0, %%xmm0  \n\t" \
+             "addps  " #sumb "(%2),       %%xmm0          \n\t" \
+             "movaps        %%xmm0," #out2 "(%0)          \n\t"
+     if (incr == 1) {
+         __asm__ volatile(
+             SUMS( 0, 48,  4, 52,  0, 112)
+             SUMS(16, 32, 20, 36, 16,  96)
+             SUMS(32, 16, 36, 20, 32,  80)
+             SUMS(48,  0, 52,  4, 48,  64)
+             :"+&r"(out)
+             :"r"(&suma[0]), "r"(&sumb[0]), "r"(&sumc[0]), "r"(&sumd[0])
+             :"memory"
+             );
+         out += 16*incr;
+     } else {
+         int j;
+         float *out2 = out + 32 * incr;
+         out[0  ]  = -suma[   0];
+         out += incr;
+         out2 -= incr;
+         for(j=1;j<16;j++) {
+             *out  = -suma[   j] + sumd[16-j];
+             *out2 =  sumb[16-j] + sumc[   j];
+             out  += incr;
+             out2 -= incr;
+         }
+     }
+     sum = 0;
+     SUM8(MLSS, sum, win + 16 + 32, in + 32);
+     *out = sum;
+ }
+ #endif /* HAVE_INLINE_ASM */
+ #define DECL_IMDCT_BLOCKS(CPU1, CPU2)                                       \
+ static void imdct36_blocks_ ## CPU1(float *out, float *buf, float *in,      \
+                                int count, int switch_point, int block_type) \
+ {                                                                           \
+     int align_end = count - (count & 3);                                \
+     int j;                                                              \
+     for (j = 0; j < align_end; j+= 4) {                                 \
+         LOCAL_ALIGNED_16(float, tmpbuf, [1024]);                        \
+         float *win = mdct_win_sse[switch_point && j < 4][block_type];   \
+         /* apply window & overlap with previous buffer */               \
+                                                                         \
+         /* select window */                                             \
+         ff_four_imdct36_float_ ## CPU2(out, buf, in, win, tmpbuf);      \
+         in      += 4*18;                                                \
+         buf     += 4*18;                                                \
+         out     += 4;                                                   \
+     }                                                                   \
+     for (; j < count; j++) {                                            \
+         /* apply window & overlap with previous buffer */               \
+                                                                         \
+         /* select window */                                             \
+         int win_idx = (switch_point && j < 2) ? 0 : block_type;         \
+         float *win = ff_mdct_win_float[win_idx + (4 & -(j & 1))];       \
+                                                                         \
+         ff_imdct36_float_ ## CPU1(out, buf, in, win);                   \
+                                                                         \
+         in  += 18;                                                      \
+         buf++;                                                          \
+         out++;                                                          \
+     }                                                                   \
+ }
++#if HAVE_YASM
++#if HAVE_SSE
+ DECL_IMDCT_BLOCKS(sse,sse)
+ DECL_IMDCT_BLOCKS(sse2,sse)
+ DECL_IMDCT_BLOCKS(sse3,sse)
+ DECL_IMDCT_BLOCKS(ssse3,sse)
++#endif
++#if HAVE_AVX
+ DECL_IMDCT_BLOCKS(avx,avx)
++#endif
++#endif
+ void ff_mpadsp_init_mmx(MPADSPContext *s)
+ {
+     int mm_flags = av_get_cpu_flags();
+     int i, j;
+     for (j = 0; j < 4; j++) {
+         for (i = 0; i < 40; i ++) {
+             mdct_win_sse[0][j][4*i    ] = ff_mdct_win_float[j    ][i];
+             mdct_win_sse[0][j][4*i + 1] = ff_mdct_win_float[j + 4][i];
+             mdct_win_sse[0][j][4*i + 2] = ff_mdct_win_float[j    ][i];
+             mdct_win_sse[0][j][4*i + 3] = ff_mdct_win_float[j + 4][i];
+             mdct_win_sse[1][j][4*i    ] = ff_mdct_win_float[0    ][i];
+             mdct_win_sse[1][j][4*i + 1] = ff_mdct_win_float[4    ][i];
+             mdct_win_sse[1][j][4*i + 2] = ff_mdct_win_float[j    ][i];
+             mdct_win_sse[1][j][4*i + 3] = ff_mdct_win_float[j + 4][i];
+         }
+     }
+ #if HAVE_INLINE_ASM
+     if (mm_flags & AV_CPU_FLAG_SSE2) {
+         s->apply_window_float = apply_window_mp3;
+     }
+ #endif /* HAVE_INLINE_ASM */
+ #if HAVE_YASM
++    if (0) {
++#if HAVE_AVX
++    } else if (mm_flags & AV_CPU_FLAG_AVX && HAVE_AVX) {
+         s->imdct36_blocks_float = imdct36_blocks_avx;
++#endif
+ #if HAVE_SSE
+     } else if (mm_flags & AV_CPU_FLAG_SSSE3) {
+         s->imdct36_blocks_float = imdct36_blocks_ssse3;
+     } else if (mm_flags & AV_CPU_FLAG_SSE3) {
+         s->imdct36_blocks_float = imdct36_blocks_sse3;
+     } else if (mm_flags & AV_CPU_FLAG_SSE2) {
+         s->imdct36_blocks_float = imdct36_blocks_sse2;
+     } else if (mm_flags & AV_CPU_FLAG_SSE) {
+         s->imdct36_blocks_float = imdct36_blocks_sse;
+ #endif /* HAVE_SSE */
+     }
+ #endif /* HAVE_YASM */
+ }
index 0000000,0e80933..c514d75
mode 000000,100644..100644
--- /dev/null
@@@ -1,0 -1,1169 +1,1168 @@@
 - * This file is part of Libav.
+ /*
+  * Simple IDCT MMX
+  *
+  * Copyright (c) 2001, 2002 Michael Niedermayer <michaelni@gmx.at>
+  *
 - * Libav is free software; you can redistribute it and/or
++ * This file is part of FFmpeg.
+  *
 - * Libav is distributed in the hope that it will be useful,
++ * FFmpeg is free software; you can redistribute it and/or
+  * modify it under the terms of the GNU Lesser General Public
+  * License as published by the Free Software Foundation; either
+  * version 2.1 of the License, or (at your option) any later version.
+  *
 - * License along with Libav; if not, write to the Free Software
++ * FFmpeg is distributed in the hope that it will be useful,
+  * but WITHOUT ANY WARRANTY; without even the implied warranty of
+  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
+  * Lesser General Public License for more details.
+  *
+  * You should have received a copy of the GNU Lesser General Public
 -#include "libavutil/internal.h"
++ * License along with FFmpeg; if not, write to the Free Software
+  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
+  */
+ #include "libavcodec/dsputil.h"
+ #include "libavcodec/simple_idct.h"
+ #include "libavutil/mem.h"
+ #include "dsputil_mmx.h"
+ #if HAVE_INLINE_ASM
+ /*
+ 23170.475006
+ 22725.260826
+ 21406.727617
+ 19265.545870
+ 16384.000000
+ 12872.826198
+ 8866.956905
+ 4520.335430
+ */
+ #define C0 23170 //cos(i*M_PI/16)*sqrt(2)*(1<<14) + 0.5
+ #define C1 22725 //cos(i*M_PI/16)*sqrt(2)*(1<<14) + 0.5
+ #define C2 21407 //cos(i*M_PI/16)*sqrt(2)*(1<<14) + 0.5
+ #define C3 19266 //cos(i*M_PI/16)*sqrt(2)*(1<<14) + 0.5
+ #define C4 16383 //cos(i*M_PI/16)*sqrt(2)*(1<<14) - 0.5
+ #define C5 12873 //cos(i*M_PI/16)*sqrt(2)*(1<<14) + 0.5
+ #define C6 8867  //cos(i*M_PI/16)*sqrt(2)*(1<<14) + 0.5
+ #define C7 4520  //cos(i*M_PI/16)*sqrt(2)*(1<<14) + 0.5
+ #define ROW_SHIFT 11
+ #define COL_SHIFT 20 // 6
+ DECLARE_ASM_CONST(8, uint64_t, wm1010)= 0xFFFF0000FFFF0000ULL;
+ DECLARE_ASM_CONST(8, uint64_t, d40000)= 0x0000000000040000ULL;
+ DECLARE_ALIGNED(8, static const int16_t, coeffs)[]= {
+         1<<(ROW_SHIFT-1), 0, 1<<(ROW_SHIFT-1), 0,
+ //        1<<(COL_SHIFT-1), 0, 1<<(COL_SHIFT-1), 0,
+ //        0, 1<<(COL_SHIFT-1-16), 0, 1<<(COL_SHIFT-1-16),
+         1<<(ROW_SHIFT-1), 1, 1<<(ROW_SHIFT-1), 0,
+         // the 1 = ((1<<(COL_SHIFT-1))/C4)<<ROW_SHIFT :)
+ //        0, 0, 0, 0,
+ //        0, 0, 0, 0,
+  C4,  C4,  C4,  C4,
+  C4, -C4,  C4, -C4,
+  C2,  C6,  C2,  C6,
+  C6, -C2,  C6, -C2,
+  C1,  C3,  C1,  C3,
+  C5,  C7,  C5,  C7,
+  C3, -C7,  C3, -C7,
+ -C1, -C5, -C1, -C5,
+  C5, -C1,  C5, -C1,
+  C7,  C3,  C7,  C3,
+  C7, -C5,  C7, -C5,
+  C3, -C1,  C3, -C1
+ };
+ static inline void idct(int16_t *block)
+ {
+         DECLARE_ALIGNED(8, int64_t, align_tmp)[16];
+         int16_t * const temp= (int16_t*)align_tmp;
+         __asm__ volatile(
+ #if 0 //Alternative, simpler variant
+ #define ROW_IDCT(src0, src4, src1, src5, dst, rounder, shift) \
+         "movq " #src0 ", %%mm0          \n\t" /* R4     R0      r4      r0 */\
+         "movq " #src4 ", %%mm1          \n\t" /* R6     R2      r6      r2 */\
+         "movq " #src1 ", %%mm2          \n\t" /* R3     R1      r3      r1 */\
+         "movq " #src5 ", %%mm3          \n\t" /* R7     R5      r7      r5 */\
+         "movq 16(%2), %%mm4             \n\t" /* C4     C4      C4      C4 */\
+         "pmaddwd %%mm0, %%mm4           \n\t" /* C4R4+C4R0      C4r4+C4r0 */\
+         "movq 24(%2), %%mm5             \n\t" /* -C4    C4      -C4     C4 */\
+         "pmaddwd %%mm5, %%mm0           \n\t" /* -C4R4+C4R0     -C4r4+C4r0 */\
+         "movq 32(%2), %%mm5             \n\t" /* C6     C2      C6      C2 */\
+         "pmaddwd %%mm1, %%mm5           \n\t" /* C6R6+C2R2      C6r6+C2r2 */\
+         "movq 40(%2), %%mm6             \n\t" /* -C2    C6      -C2     C6 */\
+         "pmaddwd %%mm6, %%mm1           \n\t" /* -C2R6+C6R2     -C2r6+C6r2 */\
+         "movq 48(%2), %%mm7             \n\t" /* C3     C1      C3      C1 */\
+         "pmaddwd %%mm2, %%mm7           \n\t" /* C3R3+C1R1      C3r3+C1r1 */\
+         #rounder ", %%mm4               \n\t"\
+         "movq %%mm4, %%mm6              \n\t" /* C4R4+C4R0      C4r4+C4r0 */\
+         "paddd %%mm5, %%mm4             \n\t" /* A0             a0 */\
+         "psubd %%mm5, %%mm6             \n\t" /* A3             a3 */\
+         "movq 56(%2), %%mm5             \n\t" /* C7     C5      C7      C5 */\
+         "pmaddwd %%mm3, %%mm5           \n\t" /* C7R7+C5R5      C7r7+C5r5 */\
+         #rounder ", %%mm0               \n\t"\
+         "paddd %%mm0, %%mm1             \n\t" /* A1             a1 */\
+         "paddd %%mm0, %%mm0             \n\t" \
+         "psubd %%mm1, %%mm0             \n\t" /* A2             a2 */\
+         "pmaddwd 64(%2), %%mm2          \n\t" /* -C7R3+C3R1     -C7r3+C3r1 */\
+         "paddd %%mm5, %%mm7             \n\t" /* B0             b0 */\
+         "movq 72(%2), %%mm5             \n\t" /* -C5    -C1     -C5     -C1 */\
+         "pmaddwd %%mm3, %%mm5           \n\t" /* -C5R7-C1R5     -C5r7-C1r5 */\
+         "paddd %%mm4, %%mm7             \n\t" /* A0+B0          a0+b0 */\
+         "paddd %%mm4, %%mm4             \n\t" /* 2A0            2a0 */\
+         "psubd %%mm7, %%mm4             \n\t" /* A0-B0          a0-b0 */\
+         "paddd %%mm2, %%mm5             \n\t" /* B1             b1 */\
+         "psrad $" #shift ", %%mm7       \n\t"\
+         "psrad $" #shift ", %%mm4       \n\t"\
+         "movq %%mm1, %%mm2              \n\t" /* A1             a1 */\
+         "paddd %%mm5, %%mm1             \n\t" /* A1+B1          a1+b1 */\
+         "psubd %%mm5, %%mm2             \n\t" /* A1-B1          a1-b1 */\
+         "psrad $" #shift ", %%mm1       \n\t"\
+         "psrad $" #shift ", %%mm2       \n\t"\
+         "packssdw %%mm1, %%mm7          \n\t" /* A1+B1  a1+b1   A0+B0   a0+b0 */\
+         "packssdw %%mm4, %%mm2          \n\t" /* A0-B0  a0-b0   A1-B1   a1-b1 */\
+         "movq %%mm7, " #dst "           \n\t"\
+         "movq " #src1 ", %%mm1          \n\t" /* R3     R1      r3      r1 */\
+         "movq 80(%2), %%mm4             \n\t" /* -C1    C5      -C1     C5 */\
+         "movq %%mm2, 24+" #dst "        \n\t"\
+         "pmaddwd %%mm1, %%mm4           \n\t" /* -C1R3+C5R1     -C1r3+C5r1 */\
+         "movq 88(%2), %%mm7             \n\t" /* C3     C7      C3      C7 */\
+         "pmaddwd 96(%2), %%mm1          \n\t" /* -C5R3+C7R1     -C5r3+C7r1 */\
+         "pmaddwd %%mm3, %%mm7           \n\t" /* C3R7+C7R5      C3r7+C7r5 */\
+         "movq %%mm0, %%mm2              \n\t" /* A2             a2 */\
+         "pmaddwd 104(%2), %%mm3         \n\t" /* -C1R7+C3R5     -C1r7+C3r5 */\
+         "paddd %%mm7, %%mm4             \n\t" /* B2             b2 */\
+         "paddd %%mm4, %%mm2             \n\t" /* A2+B2          a2+b2 */\
+         "psubd %%mm4, %%mm0             \n\t" /* a2-B2          a2-b2 */\
+         "psrad $" #shift ", %%mm2       \n\t"\
+         "psrad $" #shift ", %%mm0       \n\t"\
+         "movq %%mm6, %%mm4              \n\t" /* A3             a3 */\
+         "paddd %%mm1, %%mm3             \n\t" /* B3             b3 */\
+         "paddd %%mm3, %%mm6             \n\t" /* A3+B3          a3+b3 */\
+         "psubd %%mm3, %%mm4             \n\t" /* a3-B3          a3-b3 */\
+         "psrad $" #shift ", %%mm6       \n\t"\
+         "packssdw %%mm6, %%mm2          \n\t" /* A3+B3  a3+b3   A2+B2   a2+b2 */\
+         "movq %%mm2, 8+" #dst "         \n\t"\
+         "psrad $" #shift ", %%mm4       \n\t"\
+         "packssdw %%mm0, %%mm4          \n\t" /* A2-B2  a2-b2   A3-B3   a3-b3 */\
+         "movq %%mm4, 16+" #dst "        \n\t"\
+ #define COL_IDCT(src0, src4, src1, src5, dst, shift) \
+         "movq " #src0 ", %%mm0          \n\t" /* R4     R0      r4      r0 */\
+         "movq " #src4 ", %%mm1          \n\t" /* R6     R2      r6      r2 */\
+         "movq " #src1 ", %%mm2          \n\t" /* R3     R1      r3      r1 */\
+         "movq " #src5 ", %%mm3          \n\t" /* R7     R5      r7      r5 */\
+         "movq 16(%2), %%mm4             \n\t" /* C4     C4      C4      C4 */\
+         "pmaddwd %%mm0, %%mm4           \n\t" /* C4R4+C4R0      C4r4+C4r0 */\
+         "movq 24(%2), %%mm5             \n\t" /* -C4    C4      -C4     C4 */\
+         "pmaddwd %%mm5, %%mm0           \n\t" /* -C4R4+C4R0     -C4r4+C4r0 */\
+         "movq 32(%2), %%mm5             \n\t" /* C6     C2      C6      C2 */\
+         "pmaddwd %%mm1, %%mm5           \n\t" /* C6R6+C2R2      C6r6+C2r2 */\
+         "movq 40(%2), %%mm6             \n\t" /* -C2    C6      -C2     C6 */\
+         "pmaddwd %%mm6, %%mm1           \n\t" /* -C2R6+C6R2     -C2r6+C6r2 */\
+         "movq %%mm4, %%mm6              \n\t" /* C4R4+C4R0      C4r4+C4r0 */\
+         "movq 48(%2), %%mm7             \n\t" /* C3     C1      C3      C1 */\
+         "pmaddwd %%mm2, %%mm7           \n\t" /* C3R3+C1R1      C3r3+C1r1 */\
+         "paddd %%mm5, %%mm4             \n\t" /* A0             a0 */\
+         "psubd %%mm5, %%mm6             \n\t" /* A3             a3 */\
+         "movq %%mm0, %%mm5              \n\t" /* -C4R4+C4R0     -C4r4+C4r0 */\
+         "paddd %%mm1, %%mm0             \n\t" /* A1             a1 */\
+         "psubd %%mm1, %%mm5             \n\t" /* A2             a2 */\
+         "movq 56(%2), %%mm1             \n\t" /* C7     C5      C7      C5 */\
+         "pmaddwd %%mm3, %%mm1           \n\t" /* C7R7+C5R5      C7r7+C5r5 */\
+         "pmaddwd 64(%2), %%mm2          \n\t" /* -C7R3+C3R1     -C7r3+C3r1 */\
+         "paddd %%mm1, %%mm7             \n\t" /* B0             b0 */\
+         "movq 72(%2), %%mm1             \n\t" /* -C5    -C1     -C5     -C1 */\
+         "pmaddwd %%mm3, %%mm1           \n\t" /* -C5R7-C1R5     -C5r7-C1r5 */\
+         "paddd %%mm4, %%mm7             \n\t" /* A0+B0          a0+b0 */\
+         "paddd %%mm4, %%mm4             \n\t" /* 2A0            2a0 */\
+         "psubd %%mm7, %%mm4             \n\t" /* A0-B0          a0-b0 */\
+         "paddd %%mm2, %%mm1             \n\t" /* B1             b1 */\
+         "psrad $" #shift ", %%mm7       \n\t"\
+         "psrad $" #shift ", %%mm4       \n\t"\
+         "movq %%mm0, %%mm2              \n\t" /* A1             a1 */\
+         "paddd %%mm1, %%mm0             \n\t" /* A1+B1          a1+b1 */\
+         "psubd %%mm1, %%mm2             \n\t" /* A1-B1          a1-b1 */\
+         "psrad $" #shift ", %%mm0       \n\t"\
+         "psrad $" #shift ", %%mm2       \n\t"\
+         "packssdw %%mm7, %%mm7          \n\t" /* A0+B0  a0+b0 */\
+         "movd %%mm7, " #dst "           \n\t"\
+         "packssdw %%mm0, %%mm0          \n\t" /* A1+B1  a1+b1 */\
+         "movd %%mm0, 16+" #dst "        \n\t"\
+         "packssdw %%mm2, %%mm2          \n\t" /* A1-B1  a1-b1 */\
+         "movd %%mm2, 96+" #dst "        \n\t"\
+         "packssdw %%mm4, %%mm4          \n\t" /* A0-B0  a0-b0 */\
+         "movd %%mm4, 112+" #dst "       \n\t"\
+         "movq " #src1 ", %%mm0          \n\t" /* R3     R1      r3      r1 */\
+         "movq 80(%2), %%mm4             \n\t" /* -C1    C5      -C1     C5 */\
+         "pmaddwd %%mm0, %%mm4           \n\t" /* -C1R3+C5R1     -C1r3+C5r1 */\
+         "movq 88(%2), %%mm7             \n\t" /* C3     C7      C3      C7 */\
+         "pmaddwd 96(%2), %%mm0          \n\t" /* -C5R3+C7R1     -C5r3+C7r1 */\
+         "pmaddwd %%mm3, %%mm7           \n\t" /* C3R7+C7R5      C3r7+C7r5 */\
+         "movq %%mm5, %%mm2              \n\t" /* A2             a2 */\
+         "pmaddwd 104(%2), %%mm3         \n\t" /* -C1R7+C3R5     -C1r7+C3r5 */\
+         "paddd %%mm7, %%mm4             \n\t" /* B2             b2 */\
+         "paddd %%mm4, %%mm2             \n\t" /* A2+B2          a2+b2 */\
+         "psubd %%mm4, %%mm5             \n\t" /* a2-B2          a2-b2 */\
+         "psrad $" #shift ", %%mm2       \n\t"\
+         "psrad $" #shift ", %%mm5       \n\t"\
+         "movq %%mm6, %%mm4              \n\t" /* A3             a3 */\
+         "paddd %%mm0, %%mm3             \n\t" /* B3             b3 */\
+         "paddd %%mm3, %%mm6             \n\t" /* A3+B3          a3+b3 */\
+         "psubd %%mm3, %%mm4             \n\t" /* a3-B3          a3-b3 */\
+         "psrad $" #shift ", %%mm6       \n\t"\
+         "psrad $" #shift ", %%mm4       \n\t"\
+         "packssdw %%mm2, %%mm2          \n\t" /* A2+B2  a2+b2 */\
+         "packssdw %%mm6, %%mm6          \n\t" /* A3+B3  a3+b3 */\
+         "movd %%mm2, 32+" #dst "        \n\t"\
+         "packssdw %%mm4, %%mm4          \n\t" /* A3-B3  a3-b3 */\
+         "packssdw %%mm5, %%mm5          \n\t" /* A2-B2  a2-b2 */\
+         "movd %%mm6, 48+" #dst "        \n\t"\
+         "movd %%mm4, 64+" #dst "        \n\t"\
+         "movd %%mm5, 80+" #dst "        \n\t"\
+ #define DC_COND_ROW_IDCT(src0, src4, src1, src5, dst, rounder, shift) \
+         "movq " #src0 ", %%mm0          \n\t" /* R4     R0      r4      r0 */\
+         "movq " #src4 ", %%mm1          \n\t" /* R6     R2      r6      r2 */\
+         "movq " #src1 ", %%mm2          \n\t" /* R3     R1      r3      r1 */\
+         "movq " #src5 ", %%mm3          \n\t" /* R7     R5      r7      r5 */\
+         "movq "MANGLE(wm1010)", %%mm4   \n\t"\
+         "pand %%mm0, %%mm4              \n\t"\
+         "por %%mm1, %%mm4               \n\t"\
+         "por %%mm2, %%mm4               \n\t"\
+         "por %%mm3, %%mm4               \n\t"\
+         "packssdw %%mm4,%%mm4           \n\t"\
+         "movd %%mm4, %%eax              \n\t"\
+         "orl %%eax, %%eax               \n\t"\
+         "jz 1f                          \n\t"\
+         "movq 16(%2), %%mm4             \n\t" /* C4     C4      C4      C4 */\
+         "pmaddwd %%mm0, %%mm4           \n\t" /* C4R4+C4R0      C4r4+C4r0 */\
+         "movq 24(%2), %%mm5             \n\t" /* -C4    C4      -C4     C4 */\
+         "pmaddwd %%mm5, %%mm0           \n\t" /* -C4R4+C4R0     -C4r4+C4r0 */\
+         "movq 32(%2), %%mm5             \n\t" /* C6     C2      C6      C2 */\
+         "pmaddwd %%mm1, %%mm5           \n\t" /* C6R6+C2R2      C6r6+C2r2 */\
+         "movq 40(%2), %%mm6             \n\t" /* -C2    C6      -C2     C6 */\
+         "pmaddwd %%mm6, %%mm1           \n\t" /* -C2R6+C6R2     -C2r6+C6r2 */\
+         "movq 48(%2), %%mm7             \n\t" /* C3     C1      C3      C1 */\
+         "pmaddwd %%mm2, %%mm7           \n\t" /* C3R3+C1R1      C3r3+C1r1 */\
+         #rounder ", %%mm4               \n\t"\
+         "movq %%mm4, %%mm6              \n\t" /* C4R4+C4R0      C4r4+C4r0 */\
+         "paddd %%mm5, %%mm4             \n\t" /* A0             a0 */\
+         "psubd %%mm5, %%mm6             \n\t" /* A3             a3 */\
+         "movq 56(%2), %%mm5             \n\t" /* C7     C5      C7      C5 */\
+         "pmaddwd %%mm3, %%mm5           \n\t" /* C7R7+C5R5      C7r7+C5r5 */\
+         #rounder ", %%mm0               \n\t"\
+         "paddd %%mm0, %%mm1             \n\t" /* A1             a1 */\
+         "paddd %%mm0, %%mm0             \n\t" \
+         "psubd %%mm1, %%mm0             \n\t" /* A2             a2 */\
+         "pmaddwd 64(%2), %%mm2          \n\t" /* -C7R3+C3R1     -C7r3+C3r1 */\
+         "paddd %%mm5, %%mm7             \n\t" /* B0             b0 */\
+         "movq 72(%2), %%mm5             \n\t" /* -C5    -C1     -C5     -C1 */\
+         "pmaddwd %%mm3, %%mm5           \n\t" /* -C5R7-C1R5     -C5r7-C1r5 */\
+         "paddd %%mm4, %%mm7             \n\t" /* A0+B0          a0+b0 */\
+         "paddd %%mm4, %%mm4             \n\t" /* 2A0            2a0 */\
+         "psubd %%mm7, %%mm4             \n\t" /* A0-B0          a0-b0 */\
+         "paddd %%mm2, %%mm5             \n\t" /* B1             b1 */\
+         "psrad $" #shift ", %%mm7       \n\t"\
+         "psrad $" #shift ", %%mm4       \n\t"\
+         "movq %%mm1, %%mm2              \n\t" /* A1             a1 */\
+         "paddd %%mm5, %%mm1             \n\t" /* A1+B1          a1+b1 */\
+         "psubd %%mm5, %%mm2             \n\t" /* A1-B1          a1-b1 */\
+         "psrad $" #shift ", %%mm1       \n\t"\
+         "psrad $" #shift ", %%mm2       \n\t"\
+         "packssdw %%mm1, %%mm7          \n\t" /* A1+B1  a1+b1   A0+B0   a0+b0 */\
+         "packssdw %%mm4, %%mm2          \n\t" /* A0-B0  a0-b0   A1-B1   a1-b1 */\
+         "movq %%mm7, " #dst "           \n\t"\
+         "movq " #src1 ", %%mm1          \n\t" /* R3     R1      r3      r1 */\
+         "movq 80(%2), %%mm4             \n\t" /* -C1    C5      -C1     C5 */\
+         "movq %%mm2, 24+" #dst "        \n\t"\
+         "pmaddwd %%mm1, %%mm4           \n\t" /* -C1R3+C5R1     -C1r3+C5r1 */\
+         "movq 88(%2), %%mm7             \n\t" /* C3     C7      C3      C7 */\
+         "pmaddwd 96(%2), %%mm1          \n\t" /* -C5R3+C7R1     -C5r3+C7r1 */\
+         "pmaddwd %%mm3, %%mm7           \n\t" /* C3R7+C7R5      C3r7+C7r5 */\
+         "movq %%mm0, %%mm2              \n\t" /* A2             a2 */\
+         "pmaddwd 104(%2), %%mm3         \n\t" /* -C1R7+C3R5     -C1r7+C3r5 */\
+         "paddd %%mm7, %%mm4             \n\t" /* B2             b2 */\
+         "paddd %%mm4, %%mm2             \n\t" /* A2+B2          a2+b2 */\
+         "psubd %%mm4, %%mm0             \n\t" /* a2-B2          a2-b2 */\
+         "psrad $" #shift ", %%mm2       \n\t"\
+         "psrad $" #shift ", %%mm0       \n\t"\
+         "movq %%mm6, %%mm4              \n\t" /* A3             a3 */\
+         "paddd %%mm1, %%mm3             \n\t" /* B3             b3 */\
+         "paddd %%mm3, %%mm6             \n\t" /* A3+B3          a3+b3 */\
+         "psubd %%mm3, %%mm4             \n\t" /* a3-B3          a3-b3 */\
+         "psrad $" #shift ", %%mm6       \n\t"\
+         "packssdw %%mm6, %%mm2          \n\t" /* A3+B3  a3+b3   A2+B2   a2+b2 */\
+         "movq %%mm2, 8+" #dst "         \n\t"\
+         "psrad $" #shift ", %%mm4       \n\t"\
+         "packssdw %%mm0, %%mm4          \n\t" /* A2-B2  a2-b2   A3-B3   a3-b3 */\
+         "movq %%mm4, 16+" #dst "        \n\t"\
+         "jmp 2f                         \n\t"\
+         "1:                             \n\t"\
+         "pslld $16, %%mm0               \n\t"\
+         "#paddd "MANGLE(d40000)", %%mm0 \n\t"\
+         "psrad $13, %%mm0               \n\t"\
+         "packssdw %%mm0, %%mm0          \n\t"\
+         "movq %%mm0, " #dst "           \n\t"\
+         "movq %%mm0, 8+" #dst "         \n\t"\
+         "movq %%mm0, 16+" #dst "        \n\t"\
+         "movq %%mm0, 24+" #dst "        \n\t"\
+         "2:                             \n\t"
+ //IDCT(      src0,   src4,   src1,   src5,    dst,    rounder, shift)
+ ROW_IDCT(    (%0),  8(%0), 16(%0), 24(%0),  0(%1),paddd 8(%2), 11)
+ /*ROW_IDCT(  32(%0), 40(%0), 48(%0), 56(%0), 32(%1), paddd (%2), 11)
+ ROW_IDCT(  64(%0), 72(%0), 80(%0), 88(%0), 64(%1), paddd (%2), 11)
+ ROW_IDCT(  96(%0),104(%0),112(%0),120(%0), 96(%1), paddd (%2), 11)*/
+ DC_COND_ROW_IDCT(  32(%0), 40(%0), 48(%0), 56(%0), 32(%1),paddd (%2), 11)
+ DC_COND_ROW_IDCT(  64(%0), 72(%0), 80(%0), 88(%0), 64(%1),paddd (%2), 11)
+ DC_COND_ROW_IDCT(  96(%0),104(%0),112(%0),120(%0), 96(%1),paddd (%2), 11)
+ //IDCT(      src0,   src4,   src1,    src5,    dst, shift)
+ COL_IDCT(    (%1), 64(%1), 32(%1),  96(%1),  0(%0), 20)
+ COL_IDCT(   8(%1), 72(%1), 40(%1), 104(%1),  4(%0), 20)
+ COL_IDCT(  16(%1), 80(%1), 48(%1), 112(%1),  8(%0), 20)
+ COL_IDCT(  24(%1), 88(%1), 56(%1), 120(%1), 12(%0), 20)
+ #else
+ #define DC_COND_IDCT(src0, src4, src1, src5, dst, rounder, shift) \
+         "movq " #src0 ", %%mm0          \n\t" /* R4     R0      r4      r0 */\
+         "movq " #src4 ", %%mm1          \n\t" /* R6     R2      r6      r2 */\
+         "movq " #src1 ", %%mm2          \n\t" /* R3     R1      r3      r1 */\
+         "movq " #src5 ", %%mm3          \n\t" /* R7     R5      r7      r5 */\
+         "movq "MANGLE(wm1010)", %%mm4   \n\t"\
+         "pand %%mm0, %%mm4              \n\t"\
+         "por %%mm1, %%mm4               \n\t"\
+         "por %%mm2, %%mm4               \n\t"\
+         "por %%mm3, %%mm4               \n\t"\
+         "packssdw %%mm4,%%mm4           \n\t"\
+         "movd %%mm4, %%eax              \n\t"\
+         "orl %%eax, %%eax               \n\t"\
+         "jz 1f                          \n\t"\
+         "movq 16(%2), %%mm4             \n\t" /* C4     C4      C4      C4 */\
+         "pmaddwd %%mm0, %%mm4           \n\t" /* C4R4+C4R0      C4r4+C4r0 */\
+         "movq 24(%2), %%mm5             \n\t" /* -C4    C4      -C4     C4 */\
+         "pmaddwd %%mm5, %%mm0           \n\t" /* -C4R4+C4R0     -C4r4+C4r0 */\
+         "movq 32(%2), %%mm5             \n\t" /* C6     C2      C6      C2 */\
+         "pmaddwd %%mm1, %%mm5           \n\t" /* C6R6+C2R2      C6r6+C2r2 */\
+         "movq 40(%2), %%mm6             \n\t" /* -C2    C6      -C2     C6 */\
+         "pmaddwd %%mm6, %%mm1           \n\t" /* -C2R6+C6R2     -C2r6+C6r2 */\
+         "movq 48(%2), %%mm7             \n\t" /* C3     C1      C3      C1 */\
+         "pmaddwd %%mm2, %%mm7           \n\t" /* C3R3+C1R1      C3r3+C1r1 */\
+         #rounder ", %%mm4               \n\t"\
+         "movq %%mm4, %%mm6              \n\t" /* C4R4+C4R0      C4r4+C4r0 */\
+         "paddd %%mm5, %%mm4             \n\t" /* A0             a0 */\
+         "psubd %%mm5, %%mm6             \n\t" /* A3             a3 */\
+         "movq 56(%2), %%mm5             \n\t" /* C7     C5      C7      C5 */\
+         "pmaddwd %%mm3, %%mm5           \n\t" /* C7R7+C5R5      C7r7+C5r5 */\
+         #rounder ", %%mm0               \n\t"\
+         "paddd %%mm0, %%mm1             \n\t" /* A1             a1 */\
+         "paddd %%mm0, %%mm0             \n\t" \
+         "psubd %%mm1, %%mm0             \n\t" /* A2             a2 */\
+         "pmaddwd 64(%2), %%mm2          \n\t" /* -C7R3+C3R1     -C7r3+C3r1 */\
+         "paddd %%mm5, %%mm7             \n\t" /* B0             b0 */\
+         "movq 72(%2), %%mm5             \n\t" /* -C5    -C1     -C5     -C1 */\
+         "pmaddwd %%mm3, %%mm5           \n\t" /* -C5R7-C1R5     -C5r7-C1r5 */\
+         "paddd %%mm4, %%mm7             \n\t" /* A0+B0          a0+b0 */\
+         "paddd %%mm4, %%mm4             \n\t" /* 2A0            2a0 */\
+         "psubd %%mm7, %%mm4             \n\t" /* A0-B0          a0-b0 */\
+         "paddd %%mm2, %%mm5             \n\t" /* B1             b1 */\
+         "psrad $" #shift ", %%mm7       \n\t"\
+         "psrad $" #shift ", %%mm4       \n\t"\
+         "movq %%mm1, %%mm2              \n\t" /* A1             a1 */\
+         "paddd %%mm5, %%mm1             \n\t" /* A1+B1          a1+b1 */\
+         "psubd %%mm5, %%mm2             \n\t" /* A1-B1          a1-b1 */\
+         "psrad $" #shift ", %%mm1       \n\t"\
+         "psrad $" #shift ", %%mm2       \n\t"\
+         "packssdw %%mm1, %%mm7          \n\t" /* A1+B1  a1+b1   A0+B0   a0+b0 */\
+         "packssdw %%mm4, %%mm2          \n\t" /* A0-B0  a0-b0   A1-B1   a1-b1 */\
+         "movq %%mm7, " #dst "           \n\t"\
+         "movq " #src1 ", %%mm1          \n\t" /* R3     R1      r3      r1 */\
+         "movq 80(%2), %%mm4             \n\t" /* -C1    C5      -C1     C5 */\
+         "movq %%mm2, 24+" #dst "        \n\t"\
+         "pmaddwd %%mm1, %%mm4           \n\t" /* -C1R3+C5R1     -C1r3+C5r1 */\
+         "movq 88(%2), %%mm7             \n\t" /* C3     C7      C3      C7 */\
+         "pmaddwd 96(%2), %%mm1          \n\t" /* -C5R3+C7R1     -C5r3+C7r1 */\
+         "pmaddwd %%mm3, %%mm7           \n\t" /* C3R7+C7R5      C3r7+C7r5 */\
+         "movq %%mm0, %%mm2              \n\t" /* A2             a2 */\
+         "pmaddwd 104(%2), %%mm3         \n\t" /* -C1R7+C3R5     -C1r7+C3r5 */\
+         "paddd %%mm7, %%mm4             \n\t" /* B2             b2 */\
+         "paddd %%mm4, %%mm2             \n\t" /* A2+B2          a2+b2 */\
+         "psubd %%mm4, %%mm0             \n\t" /* a2-B2          a2-b2 */\
+         "psrad $" #shift ", %%mm2       \n\t"\
+         "psrad $" #shift ", %%mm0       \n\t"\
+         "movq %%mm6, %%mm4              \n\t" /* A3             a3 */\
+         "paddd %%mm1, %%mm3             \n\t" /* B3             b3 */\
+         "paddd %%mm3, %%mm6             \n\t" /* A3+B3          a3+b3 */\
+         "psubd %%mm3, %%mm4             \n\t" /* a3-B3          a3-b3 */\
+         "psrad $" #shift ", %%mm6       \n\t"\
+         "packssdw %%mm6, %%mm2          \n\t" /* A3+B3  a3+b3   A2+B2   a2+b2 */\
+         "movq %%mm2, 8+" #dst "         \n\t"\
+         "psrad $" #shift ", %%mm4       \n\t"\
+         "packssdw %%mm0, %%mm4          \n\t" /* A2-B2  a2-b2   A3-B3   a3-b3 */\
+         "movq %%mm4, 16+" #dst "        \n\t"\
+         "jmp 2f                         \n\t"\
+         "1:                             \n\t"\
+         "pslld $16, %%mm0               \n\t"\
+         "paddd "MANGLE(d40000)", %%mm0  \n\t"\
+         "psrad $13, %%mm0               \n\t"\
+         "packssdw %%mm0, %%mm0          \n\t"\
+         "movq %%mm0, " #dst "           \n\t"\
+         "movq %%mm0, 8+" #dst "         \n\t"\
+         "movq %%mm0, 16+" #dst "        \n\t"\
+         "movq %%mm0, 24+" #dst "        \n\t"\
+         "2:                             \n\t"
+ #define Z_COND_IDCT(src0, src4, src1, src5, dst, rounder, shift, bt) \
+         "movq " #src0 ", %%mm0          \n\t" /* R4     R0      r4      r0 */\
+         "movq " #src4 ", %%mm1          \n\t" /* R6     R2      r6      r2 */\
+         "movq " #src1 ", %%mm2          \n\t" /* R3     R1      r3      r1 */\
+         "movq " #src5 ", %%mm3          \n\t" /* R7     R5      r7      r5 */\
+         "movq %%mm0, %%mm4              \n\t"\
+         "por %%mm1, %%mm4               \n\t"\
+         "por %%mm2, %%mm4               \n\t"\
+         "por %%mm3, %%mm4               \n\t"\
+         "packssdw %%mm4,%%mm4           \n\t"\
+         "movd %%mm4, %%eax              \n\t"\
+         "orl %%eax, %%eax               \n\t"\
+         "jz " #bt "                     \n\t"\
+         "movq 16(%2), %%mm4             \n\t" /* C4     C4      C4      C4 */\
+         "pmaddwd %%mm0, %%mm4           \n\t" /* C4R4+C4R0      C4r4+C4r0 */\
+         "movq 24(%2), %%mm5             \n\t" /* -C4    C4      -C4     C4 */\
+         "pmaddwd %%mm5, %%mm0           \n\t" /* -C4R4+C4R0     -C4r4+C4r0 */\
+         "movq 32(%2), %%mm5             \n\t" /* C6     C2      C6      C2 */\
+         "pmaddwd %%mm1, %%mm5           \n\t" /* C6R6+C2R2      C6r6+C2r2 */\
+         "movq 40(%2), %%mm6             \n\t" /* -C2    C6      -C2     C6 */\
+         "pmaddwd %%mm6, %%mm1           \n\t" /* -C2R6+C6R2     -C2r6+C6r2 */\
+         "movq 48(%2), %%mm7             \n\t" /* C3     C1      C3      C1 */\
+         "pmaddwd %%mm2, %%mm7           \n\t" /* C3R3+C1R1      C3r3+C1r1 */\
+         #rounder ", %%mm4               \n\t"\
+         "movq %%mm4, %%mm6              \n\t" /* C4R4+C4R0      C4r4+C4r0 */\
+         "paddd %%mm5, %%mm4             \n\t" /* A0             a0 */\
+         "psubd %%mm5, %%mm6             \n\t" /* A3             a3 */\
+         "movq 56(%2), %%mm5             \n\t" /* C7     C5      C7      C5 */\
+         "pmaddwd %%mm3, %%mm5           \n\t" /* C7R7+C5R5      C7r7+C5r5 */\
+         #rounder ", %%mm0               \n\t"\
+         "paddd %%mm0, %%mm1             \n\t" /* A1             a1 */\
+         "paddd %%mm0, %%mm0             \n\t" \
+         "psubd %%mm1, %%mm0             \n\t" /* A2             a2 */\
+         "pmaddwd 64(%2), %%mm2          \n\t" /* -C7R3+C3R1     -C7r3+C3r1 */\
+         "paddd %%mm5, %%mm7             \n\t" /* B0             b0 */\
+         "movq 72(%2), %%mm5             \n\t" /* -C5    -C1     -C5     -C1 */\
+         "pmaddwd %%mm3, %%mm5           \n\t" /* -C5R7-C1R5     -C5r7-C1r5 */\
+         "paddd %%mm4, %%mm7             \n\t" /* A0+B0          a0+b0 */\
+         "paddd %%mm4, %%mm4             \n\t" /* 2A0            2a0 */\
+         "psubd %%mm7, %%mm4             \n\t" /* A0-B0          a0-b0 */\
+         "paddd %%mm2, %%mm5             \n\t" /* B1             b1 */\
+         "psrad $" #shift ", %%mm7       \n\t"\
+         "psrad $" #shift ", %%mm4       \n\t"\
+         "movq %%mm1, %%mm2              \n\t" /* A1             a1 */\
+         "paddd %%mm5, %%mm1             \n\t" /* A1+B1          a1+b1 */\
+         "psubd %%mm5, %%mm2             \n\t" /* A1-B1          a1-b1 */\
+         "psrad $" #shift ", %%mm1       \n\t"\
+         "psrad $" #shift ", %%mm2       \n\t"\
+         "packssdw %%mm1, %%mm7          \n\t" /* A1+B1  a1+b1   A0+B0   a0+b0 */\
+         "packssdw %%mm4, %%mm2          \n\t" /* A0-B0  a0-b0   A1-B1   a1-b1 */\
+         "movq %%mm7, " #dst "           \n\t"\
+         "movq " #src1 ", %%mm1          \n\t" /* R3     R1      r3      r1 */\
+         "movq 80(%2), %%mm4             \n\t" /* -C1    C5      -C1     C5 */\
+         "movq %%mm2, 24+" #dst "        \n\t"\
+         "pmaddwd %%mm1, %%mm4           \n\t" /* -C1R3+C5R1     -C1r3+C5r1 */\
+         "movq 88(%2), %%mm7             \n\t" /* C3     C7      C3      C7 */\
+         "pmaddwd 96(%2), %%mm1          \n\t" /* -C5R3+C7R1     -C5r3+C7r1 */\
+         "pmaddwd %%mm3, %%mm7           \n\t" /* C3R7+C7R5      C3r7+C7r5 */\
+         "movq %%mm0, %%mm2              \n\t" /* A2             a2 */\
+         "pmaddwd 104(%2), %%mm3         \n\t" /* -C1R7+C3R5     -C1r7+C3r5 */\
+         "paddd %%mm7, %%mm4             \n\t" /* B2             b2 */\
+         "paddd %%mm4, %%mm2             \n\t" /* A2+B2          a2+b2 */\
+         "psubd %%mm4, %%mm0             \n\t" /* a2-B2          a2-b2 */\
+         "psrad $" #shift ", %%mm2       \n\t"\
+         "psrad $" #shift ", %%mm0       \n\t"\
+         "movq %%mm6, %%mm4              \n\t" /* A3             a3 */\
+         "paddd %%mm1, %%mm3             \n\t" /* B3             b3 */\
+         "paddd %%mm3, %%mm6             \n\t" /* A3+B3          a3+b3 */\
+         "psubd %%mm3, %%mm4             \n\t" /* a3-B3          a3-b3 */\
+         "psrad $" #shift ", %%mm6       \n\t"\
+         "packssdw %%mm6, %%mm2          \n\t" /* A3+B3  a3+b3   A2+B2   a2+b2 */\
+         "movq %%mm2, 8+" #dst "         \n\t"\
+         "psrad $" #shift ", %%mm4       \n\t"\
+         "packssdw %%mm0, %%mm4          \n\t" /* A2-B2  a2-b2   A3-B3   a3-b3 */\
+         "movq %%mm4, 16+" #dst "        \n\t"\
+ #define ROW_IDCT(src0, src4, src1, src5, dst, rounder, shift) \
+         "movq " #src0 ", %%mm0          \n\t" /* R4     R0      r4      r0 */\
+         "movq " #src4 ", %%mm1          \n\t" /* R6     R2      r6      r2 */\
+         "movq " #src1 ", %%mm2          \n\t" /* R3     R1      r3      r1 */\
+         "movq " #src5 ", %%mm3          \n\t" /* R7     R5      r7      r5 */\
+         "movq 16(%2), %%mm4             \n\t" /* C4     C4      C4      C4 */\
+         "pmaddwd %%mm0, %%mm4           \n\t" /* C4R4+C4R0      C4r4+C4r0 */\
+         "movq 24(%2), %%mm5             \n\t" /* -C4    C4      -C4     C4 */\
+         "pmaddwd %%mm5, %%mm0           \n\t" /* -C4R4+C4R0     -C4r4+C4r0 */\
+         "movq 32(%2), %%mm5             \n\t" /* C6     C2      C6      C2 */\
+         "pmaddwd %%mm1, %%mm5           \n\t" /* C6R6+C2R2      C6r6+C2r2 */\
+         "movq 40(%2), %%mm6             \n\t" /* -C2    C6      -C2     C6 */\
+         "pmaddwd %%mm6, %%mm1           \n\t" /* -C2R6+C6R2     -C2r6+C6r2 */\
+         "movq 48(%2), %%mm7             \n\t" /* C3     C1      C3      C1 */\
+         "pmaddwd %%mm2, %%mm7           \n\t" /* C3R3+C1R1      C3r3+C1r1 */\
+         #rounder ", %%mm4               \n\t"\
+         "movq %%mm4, %%mm6              \n\t" /* C4R4+C4R0      C4r4+C4r0 */\
+         "paddd %%mm5, %%mm4             \n\t" /* A0             a0 */\
+         "psubd %%mm5, %%mm6             \n\t" /* A3             a3 */\
+         "movq 56(%2), %%mm5             \n\t" /* C7     C5      C7      C5 */\
+         "pmaddwd %%mm3, %%mm5           \n\t" /* C7R7+C5R5      C7r7+C5r5 */\
+         #rounder ", %%mm0               \n\t"\
+         "paddd %%mm0, %%mm1             \n\t" /* A1             a1 */\
+         "paddd %%mm0, %%mm0             \n\t" \
+         "psubd %%mm1, %%mm0             \n\t" /* A2             a2 */\
+         "pmaddwd 64(%2), %%mm2          \n\t" /* -C7R3+C3R1     -C7r3+C3r1 */\
+         "paddd %%mm5, %%mm7             \n\t" /* B0             b0 */\
+         "movq 72(%2), %%mm5             \n\t" /* -C5    -C1     -C5     -C1 */\
+         "pmaddwd %%mm3, %%mm5           \n\t" /* -C5R7-C1R5     -C5r7-C1r5 */\
+         "paddd %%mm4, %%mm7             \n\t" /* A0+B0          a0+b0 */\
+         "paddd %%mm4, %%mm4             \n\t" /* 2A0            2a0 */\
+         "psubd %%mm7, %%mm4             \n\t" /* A0-B0          a0-b0 */\
+         "paddd %%mm2, %%mm5             \n\t" /* B1             b1 */\
+         "psrad $" #shift ", %%mm7       \n\t"\
+         "psrad $" #shift ", %%mm4       \n\t"\
+         "movq %%mm1, %%mm2              \n\t" /* A1             a1 */\
+         "paddd %%mm5, %%mm1             \n\t" /* A1+B1          a1+b1 */\
+         "psubd %%mm5, %%mm2             \n\t" /* A1-B1          a1-b1 */\
+         "psrad $" #shift ", %%mm1       \n\t"\
+         "psrad $" #shift ", %%mm2       \n\t"\
+         "packssdw %%mm1, %%mm7          \n\t" /* A1+B1  a1+b1   A0+B0   a0+b0 */\
+         "packssdw %%mm4, %%mm2          \n\t" /* A0-B0  a0-b0   A1-B1   a1-b1 */\
+         "movq %%mm7, " #dst "           \n\t"\
+         "movq " #src1 ", %%mm1          \n\t" /* R3     R1      r3      r1 */\
+         "movq 80(%2), %%mm4             \n\t" /* -C1    C5      -C1     C5 */\
+         "movq %%mm2, 24+" #dst "        \n\t"\
+         "pmaddwd %%mm1, %%mm4           \n\t" /* -C1R3+C5R1     -C1r3+C5r1 */\
+         "movq 88(%2), %%mm7             \n\t" /* C3     C7      C3      C7 */\
+         "pmaddwd 96(%2), %%mm1          \n\t" /* -C5R3+C7R1     -C5r3+C7r1 */\
+         "pmaddwd %%mm3, %%mm7           \n\t" /* C3R7+C7R5      C3r7+C7r5 */\
+         "movq %%mm0, %%mm2              \n\t" /* A2             a2 */\
+         "pmaddwd 104(%2), %%mm3         \n\t" /* -C1R7+C3R5     -C1r7+C3r5 */\
+         "paddd %%mm7, %%mm4             \n\t" /* B2             b2 */\
+         "paddd %%mm4, %%mm2             \n\t" /* A2+B2          a2+b2 */\
+         "psubd %%mm4, %%mm0             \n\t" /* a2-B2          a2-b2 */\
+         "psrad $" #shift ", %%mm2       \n\t"\
+         "psrad $" #shift ", %%mm0       \n\t"\
+         "movq %%mm6, %%mm4              \n\t" /* A3             a3 */\
+         "paddd %%mm1, %%mm3             \n\t" /* B3             b3 */\
+         "paddd %%mm3, %%mm6             \n\t" /* A3+B3          a3+b3 */\
+         "psubd %%mm3, %%mm4             \n\t" /* a3-B3          a3-b3 */\
+         "psrad $" #shift ", %%mm6       \n\t"\
+         "packssdw %%mm6, %%mm2          \n\t" /* A3+B3  a3+b3   A2+B2   a2+b2 */\
+         "movq %%mm2, 8+" #dst "         \n\t"\
+         "psrad $" #shift ", %%mm4       \n\t"\
+         "packssdw %%mm0, %%mm4          \n\t" /* A2-B2  a2-b2   A3-B3   a3-b3 */\
+         "movq %%mm4, 16+" #dst "        \n\t"\
+ //IDCT(         src0,   src4,   src1,   src5,    dst,   rounder, shift)
+ DC_COND_IDCT(  0(%0),  8(%0), 16(%0), 24(%0),  0(%1),paddd 8(%2), 11)
+ Z_COND_IDCT(  32(%0), 40(%0), 48(%0), 56(%0), 32(%1),paddd (%2), 11, 4f)
+ Z_COND_IDCT(  64(%0), 72(%0), 80(%0), 88(%0), 64(%1),paddd (%2), 11, 2f)
+ Z_COND_IDCT(  96(%0),104(%0),112(%0),120(%0), 96(%1),paddd (%2), 11, 1f)
+ #undef IDCT
+ #define IDCT(src0, src4, src1, src5, dst, shift) \
+         "movq " #src0 ", %%mm0          \n\t" /* R4     R0      r4      r0 */\
+         "movq " #src4 ", %%mm1          \n\t" /* R6     R2      r6      r2 */\
+         "movq " #src1 ", %%mm2          \n\t" /* R3     R1      r3      r1 */\
+         "movq " #src5 ", %%mm3          \n\t" /* R7     R5      r7      r5 */\
+         "movq 16(%2), %%mm4             \n\t" /* C4     C4      C4      C4 */\
+         "pmaddwd %%mm0, %%mm4           \n\t" /* C4R4+C4R0      C4r4+C4r0 */\
+         "movq 24(%2), %%mm5             \n\t" /* -C4    C4      -C4     C4 */\
+         "pmaddwd %%mm5, %%mm0           \n\t" /* -C4R4+C4R0     -C4r4+C4r0 */\
+         "movq 32(%2), %%mm5             \n\t" /* C6     C2      C6      C2 */\
+         "pmaddwd %%mm1, %%mm5           \n\t" /* C6R6+C2R2      C6r6+C2r2 */\
+         "movq 40(%2), %%mm6             \n\t" /* -C2    C6      -C2     C6 */\
+         "pmaddwd %%mm6, %%mm1           \n\t" /* -C2R6+C6R2     -C2r6+C6r2 */\
+         "movq %%mm4, %%mm6              \n\t" /* C4R4+C4R0      C4r4+C4r0 */\
+         "movq 48(%2), %%mm7             \n\t" /* C3     C1      C3      C1 */\
+         "pmaddwd %%mm2, %%mm7           \n\t" /* C3R3+C1R1      C3r3+C1r1 */\
+         "paddd %%mm5, %%mm4             \n\t" /* A0             a0 */\
+         "psubd %%mm5, %%mm6             \n\t" /* A3             a3 */\
+         "movq %%mm0, %%mm5              \n\t" /* -C4R4+C4R0     -C4r4+C4r0 */\
+         "paddd %%mm1, %%mm0             \n\t" /* A1             a1 */\
+         "psubd %%mm1, %%mm5             \n\t" /* A2             a2 */\
+         "movq 56(%2), %%mm1             \n\t" /* C7     C5      C7      C5 */\
+         "pmaddwd %%mm3, %%mm1           \n\t" /* C7R7+C5R5      C7r7+C5r5 */\
+         "pmaddwd 64(%2), %%mm2          \n\t" /* -C7R3+C3R1     -C7r3+C3r1 */\
+         "paddd %%mm1, %%mm7             \n\t" /* B0             b0 */\
+         "movq 72(%2), %%mm1             \n\t" /* -C5    -C1     -C5     -C1 */\
+         "pmaddwd %%mm3, %%mm1           \n\t" /* -C5R7-C1R5     -C5r7-C1r5 */\
+         "paddd %%mm4, %%mm7             \n\t" /* A0+B0          a0+b0 */\
+         "paddd %%mm4, %%mm4             \n\t" /* 2A0            2a0 */\
+         "psubd %%mm7, %%mm4             \n\t" /* A0-B0          a0-b0 */\
+         "paddd %%mm2, %%mm1             \n\t" /* B1             b1 */\
+         "psrad $" #shift ", %%mm7       \n\t"\
+         "psrad $" #shift ", %%mm4       \n\t"\
+         "movq %%mm0, %%mm2              \n\t" /* A1             a1 */\
+         "paddd %%mm1, %%mm0             \n\t" /* A1+B1          a1+b1 */\
+         "psubd %%mm1, %%mm2             \n\t" /* A1-B1          a1-b1 */\
+         "psrad $" #shift ", %%mm0       \n\t"\
+         "psrad $" #shift ", %%mm2       \n\t"\
+         "packssdw %%mm7, %%mm7          \n\t" /* A0+B0  a0+b0 */\
+         "movd %%mm7, " #dst "           \n\t"\
+         "packssdw %%mm0, %%mm0          \n\t" /* A1+B1  a1+b1 */\
+         "movd %%mm0, 16+" #dst "        \n\t"\
+         "packssdw %%mm2, %%mm2          \n\t" /* A1-B1  a1-b1 */\
+         "movd %%mm2, 96+" #dst "        \n\t"\
+         "packssdw %%mm4, %%mm4          \n\t" /* A0-B0  a0-b0 */\
+         "movd %%mm4, 112+" #dst "       \n\t"\
+         "movq " #src1 ", %%mm0          \n\t" /* R3     R1      r3      r1 */\
+         "movq 80(%2), %%mm4             \n\t" /* -C1    C5      -C1     C5 */\
+         "pmaddwd %%mm0, %%mm4           \n\t" /* -C1R3+C5R1     -C1r3+C5r1 */\
+         "movq 88(%2), %%mm7             \n\t" /* C3     C7      C3      C7 */\
+         "pmaddwd 96(%2), %%mm0          \n\t" /* -C5R3+C7R1     -C5r3+C7r1 */\
+         "pmaddwd %%mm3, %%mm7           \n\t" /* C3R7+C7R5      C3r7+C7r5 */\
+         "movq %%mm5, %%mm2              \n\t" /* A2             a2 */\
+         "pmaddwd 104(%2), %%mm3         \n\t" /* -C1R7+C3R5     -C1r7+C3r5 */\
+         "paddd %%mm7, %%mm4             \n\t" /* B2             b2 */\
+         "paddd %%mm4, %%mm2             \n\t" /* A2+B2          a2+b2 */\
+         "psubd %%mm4, %%mm5             \n\t" /* a2-B2          a2-b2 */\
+         "psrad $" #shift ", %%mm2       \n\t"\
+         "psrad $" #shift ", %%mm5       \n\t"\
+         "movq %%mm6, %%mm4              \n\t" /* A3             a3 */\
+         "paddd %%mm0, %%mm3             \n\t" /* B3             b3 */\
+         "paddd %%mm3, %%mm6             \n\t" /* A3+B3          a3+b3 */\
+         "psubd %%mm3, %%mm4             \n\t" /* a3-B3          a3-b3 */\
+         "psrad $" #shift ", %%mm6       \n\t"\
+         "psrad $" #shift ", %%mm4       \n\t"\
+         "packssdw %%mm2, %%mm2          \n\t" /* A2+B2  a2+b2 */\
+         "packssdw %%mm6, %%mm6          \n\t" /* A3+B3  a3+b3 */\
+         "movd %%mm2, 32+" #dst "        \n\t"\
+         "packssdw %%mm4, %%mm4          \n\t" /* A3-B3  a3-b3 */\
+         "packssdw %%mm5, %%mm5          \n\t" /* A2-B2  a2-b2 */\
+         "movd %%mm6, 48+" #dst "        \n\t"\
+         "movd %%mm4, 64+" #dst "        \n\t"\
+         "movd %%mm5, 80+" #dst "        \n\t"
+ //IDCT(  src0,   src4,   src1,    src5,    dst, shift)
+ IDCT(    (%1), 64(%1), 32(%1),  96(%1),  0(%0), 20)
+ IDCT(   8(%1), 72(%1), 40(%1), 104(%1),  4(%0), 20)
+ IDCT(  16(%1), 80(%1), 48(%1), 112(%1),  8(%0), 20)
+ IDCT(  24(%1), 88(%1), 56(%1), 120(%1), 12(%0), 20)
+         "jmp 9f                         \n\t"
+         "# .p2align 4                   \n\t"\
+         "4:                             \n\t"
+ Z_COND_IDCT(  64(%0), 72(%0), 80(%0), 88(%0), 64(%1),paddd (%2), 11, 6f)
+ Z_COND_IDCT(  96(%0),104(%0),112(%0),120(%0), 96(%1),paddd (%2), 11, 5f)
+ #undef IDCT
+ #define IDCT(src0, src4, src1, src5, dst, shift) \
+         "movq " #src0 ", %%mm0          \n\t" /* R4     R0      r4      r0 */\
+         "movq " #src4 ", %%mm1          \n\t" /* R6     R2      r6      r2 */\
+         "movq " #src5 ", %%mm3          \n\t" /* R7     R5      r7      r5 */\
+         "movq 16(%2), %%mm4             \n\t" /* C4     C4      C4      C4 */\
+         "pmaddwd %%mm0, %%mm4           \n\t" /* C4R4+C4R0      C4r4+C4r0 */\
+         "movq 24(%2), %%mm5             \n\t" /* -C4    C4      -C4     C4 */\
+         "pmaddwd %%mm5, %%mm0           \n\t" /* -C4R4+C4R0     -C4r4+C4r0 */\
+         "movq 32(%2), %%mm5             \n\t" /* C6     C2      C6      C2 */\
+         "pmaddwd %%mm1, %%mm5           \n\t" /* C6R6+C2R2      C6r6+C2r2 */\
+         "movq 40(%2), %%mm6             \n\t" /* -C2    C6      -C2     C6 */\
+         "pmaddwd %%mm6, %%mm1           \n\t" /* -C2R6+C6R2     -C2r6+C6r2 */\
+         "movq %%mm4, %%mm6              \n\t" /* C4R4+C4R0      C4r4+C4r0 */\
+         "paddd %%mm5, %%mm4             \n\t" /* A0             a0 */\
+         "psubd %%mm5, %%mm6             \n\t" /* A3             a3 */\
+         "movq %%mm0, %%mm5              \n\t" /* -C4R4+C4R0     -C4r4+C4r0 */\
+         "paddd %%mm1, %%mm0             \n\t" /* A1             a1 */\
+         "psubd %%mm1, %%mm5             \n\t" /* A2             a2 */\
+         "movq 56(%2), %%mm1             \n\t" /* C7     C5      C7      C5 */\
+         "pmaddwd %%mm3, %%mm1           \n\t" /* C7R7+C5R5      C7r7+C5r5 */\
+         "movq 72(%2), %%mm7             \n\t" /* -C5    -C1     -C5     -C1 */\
+         "pmaddwd %%mm3, %%mm7           \n\t" /* -C5R7-C1R5     -C5r7-C1r5 */\
+         "paddd %%mm4, %%mm1             \n\t" /* A0+B0          a0+b0 */\
+         "paddd %%mm4, %%mm4             \n\t" /* 2A0            2a0 */\
+         "psubd %%mm1, %%mm4             \n\t" /* A0-B0          a0-b0 */\
+         "psrad $" #shift ", %%mm1       \n\t"\
+         "psrad $" #shift ", %%mm4       \n\t"\
+         "movq %%mm0, %%mm2              \n\t" /* A1             a1 */\
+         "paddd %%mm7, %%mm0             \n\t" /* A1+B1          a1+b1 */\
+         "psubd %%mm7, %%mm2             \n\t" /* A1-B1          a1-b1 */\
+         "psrad $" #shift ", %%mm0       \n\t"\
+         "psrad $" #shift ", %%mm2       \n\t"\
+         "packssdw %%mm1, %%mm1          \n\t" /* A0+B0  a0+b0 */\
+         "movd %%mm1, " #dst "           \n\t"\
+         "packssdw %%mm0, %%mm0          \n\t" /* A1+B1  a1+b1 */\
+         "movd %%mm0, 16+" #dst "        \n\t"\
+         "packssdw %%mm2, %%mm2          \n\t" /* A1-B1  a1-b1 */\
+         "movd %%mm2, 96+" #dst "        \n\t"\
+         "packssdw %%mm4, %%mm4          \n\t" /* A0-B0  a0-b0 */\
+         "movd %%mm4, 112+" #dst "       \n\t"\
+         "movq 88(%2), %%mm1             \n\t" /* C3     C7      C3      C7 */\
+         "pmaddwd %%mm3, %%mm1           \n\t" /* C3R7+C7R5      C3r7+C7r5 */\
+         "movq %%mm5, %%mm2              \n\t" /* A2             a2 */\
+         "pmaddwd 104(%2), %%mm3         \n\t" /* -C1R7+C3R5     -C1r7+C3r5 */\
+         "paddd %%mm1, %%mm2             \n\t" /* A2+B2          a2+b2 */\
+         "psubd %%mm1, %%mm5             \n\t" /* a2-B2          a2-b2 */\
+         "psrad $" #shift ", %%mm2       \n\t"\
+         "psrad $" #shift ", %%mm5       \n\t"\
+         "movq %%mm6, %%mm1              \n\t" /* A3             a3 */\
+         "paddd %%mm3, %%mm6             \n\t" /* A3+B3          a3+b3 */\
+         "psubd %%mm3, %%mm1             \n\t" /* a3-B3          a3-b3 */\
+         "psrad $" #shift ", %%mm6       \n\t"\
+         "psrad $" #shift ", %%mm1       \n\t"\
+         "packssdw %%mm2, %%mm2          \n\t" /* A2+B2  a2+b2 */\
+         "packssdw %%mm6, %%mm6          \n\t" /* A3+B3  a3+b3 */\
+         "movd %%mm2, 32+" #dst "        \n\t"\
+         "packssdw %%mm1, %%mm1          \n\t" /* A3-B3  a3-b3 */\
+         "packssdw %%mm5, %%mm5          \n\t" /* A2-B2  a2-b2 */\
+         "movd %%mm6, 48+" #dst "        \n\t"\
+         "movd %%mm1, 64+" #dst "        \n\t"\
+         "movd %%mm5, 80+" #dst "        \n\t"
+ //IDCT(  src0,   src4,   src1,    src5,    dst, shift)
+ IDCT(    (%1), 64(%1), 32(%1),  96(%1),  0(%0), 20)
+ IDCT(   8(%1), 72(%1), 40(%1), 104(%1),  4(%0), 20)
+ IDCT(  16(%1), 80(%1), 48(%1), 112(%1),  8(%0), 20)
+ IDCT(  24(%1), 88(%1), 56(%1), 120(%1), 12(%0), 20)
+         "jmp 9f                         \n\t"
+         "# .p2align 4                   \n\t"\
+         "6:                             \n\t"
+ Z_COND_IDCT(  96(%0),104(%0),112(%0),120(%0), 96(%1),paddd (%2), 11, 7f)
+ #undef IDCT
+ #define IDCT(src0, src4, src1, src5, dst, shift) \
+         "movq " #src0 ", %%mm0          \n\t" /* R4     R0      r4      r0 */\
+         "movq " #src5 ", %%mm3          \n\t" /* R7     R5      r7      r5 */\
+         "movq 16(%2), %%mm4             \n\t" /* C4     C4      C4      C4 */\
+         "pmaddwd %%mm0, %%mm4           \n\t" /* C4R4+C4R0      C4r4+C4r0 */\
+         "movq 24(%2), %%mm5             \n\t" /* -C4    C4      -C4     C4 */\
+         "pmaddwd %%mm5, %%mm0           \n\t" /* -C4R4+C4R0     -C4r4+C4r0 */\
+         "movq %%mm4, %%mm6              \n\t" /* C4R4+C4R0      C4r4+C4r0 */\
+         "movq %%mm0, %%mm5              \n\t" /* -C4R4+C4R0     -C4r4+C4r0 */\
+         "movq 56(%2), %%mm1             \n\t" /* C7     C5      C7      C5 */\
+         "pmaddwd %%mm3, %%mm1           \n\t" /* C7R7+C5R5      C7r7+C5r5 */\
+         "movq 72(%2), %%mm7             \n\t" /* -C5    -C1     -C5     -C1 */\
+         "pmaddwd %%mm3, %%mm7           \n\t" /* -C5R7-C1R5     -C5r7-C1r5 */\
+         "paddd %%mm4, %%mm1             \n\t" /* A0+B0          a0+b0 */\
+         "paddd %%mm4, %%mm4             \n\t" /* 2A0            2a0 */\
+         "psubd %%mm1, %%mm4             \n\t" /* A0-B0          a0-b0 */\
+         "psrad $" #shift ", %%mm1       \n\t"\
+         "psrad $" #shift ", %%mm4       \n\t"\
+         "movq %%mm0, %%mm2              \n\t" /* A1             a1 */\
+         "paddd %%mm7, %%mm0             \n\t" /* A1+B1          a1+b1 */\
+         "psubd %%mm7, %%mm2             \n\t" /* A1-B1          a1-b1 */\
+         "psrad $" #shift ", %%mm0       \n\t"\
+         "psrad $" #shift ", %%mm2       \n\t"\
+         "packssdw %%mm1, %%mm1          \n\t" /* A0+B0  a0+b0 */\
+         "movd %%mm1, " #dst "           \n\t"\
+         "packssdw %%mm0, %%mm0          \n\t" /* A1+B1  a1+b1 */\
+         "movd %%mm0, 16+" #dst "        \n\t"\
+         "packssdw %%mm2, %%mm2          \n\t" /* A1-B1  a1-b1 */\
+         "movd %%mm2, 96+" #dst "        \n\t"\
+         "packssdw %%mm4, %%mm4          \n\t" /* A0-B0  a0-b0 */\
+         "movd %%mm4, 112+" #dst "       \n\t"\
+         "movq 88(%2), %%mm1             \n\t" /* C3     C7      C3      C7 */\
+         "pmaddwd %%mm3, %%mm1           \n\t" /* C3R7+C7R5      C3r7+C7r5 */\
+         "movq %%mm5, %%mm2              \n\t" /* A2             a2 */\
+         "pmaddwd 104(%2), %%mm3         \n\t" /* -C1R7+C3R5     -C1r7+C3r5 */\
+         "paddd %%mm1, %%mm2             \n\t" /* A2+B2          a2+b2 */\
+         "psubd %%mm1, %%mm5             \n\t" /* a2-B2          a2-b2 */\
+         "psrad $" #shift ", %%mm2       \n\t"\
+         "psrad $" #shift ", %%mm5       \n\t"\
+         "movq %%mm6, %%mm1              \n\t" /* A3             a3 */\
+         "paddd %%mm3, %%mm6             \n\t" /* A3+B3          a3+b3 */\
+         "psubd %%mm3, %%mm1             \n\t" /* a3-B3          a3-b3 */\
+         "psrad $" #shift ", %%mm6       \n\t"\
+         "psrad $" #shift ", %%mm1       \n\t"\
+         "packssdw %%mm2, %%mm2          \n\t" /* A2+B2  a2+b2 */\
+         "packssdw %%mm6, %%mm6          \n\t" /* A3+B3  a3+b3 */\
+         "movd %%mm2, 32+" #dst "        \n\t"\
+         "packssdw %%mm1, %%mm1          \n\t" /* A3-B3  a3-b3 */\
+         "packssdw %%mm5, %%mm5          \n\t" /* A2-B2  a2-b2 */\
+         "movd %%mm6, 48+" #dst "        \n\t"\
+         "movd %%mm1, 64+" #dst "        \n\t"\
+         "movd %%mm5, 80+" #dst "        \n\t"
+ //IDCT(  src0,   src4,   src1,    src5,    dst, shift)
+ IDCT(    (%1), 64(%1), 32(%1),  96(%1),  0(%0), 20)
+ IDCT(   8(%1), 72(%1), 40(%1), 104(%1),  4(%0), 20)
+ IDCT(  16(%1), 80(%1), 48(%1), 112(%1),  8(%0), 20)
+ IDCT(  24(%1), 88(%1), 56(%1), 120(%1), 12(%0), 20)
+         "jmp 9f                         \n\t"
+         "# .p2align 4                   \n\t"\
+         "2:                             \n\t"
+ Z_COND_IDCT(  96(%0),104(%0),112(%0),120(%0), 96(%1),paddd (%2), 11, 3f)
+ #undef IDCT
+ #define IDCT(src0, src4, src1, src5, dst, shift) \
+         "movq " #src0 ", %%mm0          \n\t" /* R4     R0      r4      r0 */\
+         "movq " #src1 ", %%mm2          \n\t" /* R3     R1      r3      r1 */\
+         "movq " #src5 ", %%mm3          \n\t" /* R7     R5      r7      r5 */\
+         "movq 16(%2), %%mm4             \n\t" /* C4     C4      C4      C4 */\
+         "pmaddwd %%mm0, %%mm4           \n\t" /* C4R4+C4R0      C4r4+C4r0 */\
+         "movq 24(%2), %%mm5             \n\t" /* -C4    C4      -C4     C4 */\
+         "pmaddwd %%mm5, %%mm0           \n\t" /* -C4R4+C4R0     -C4r4+C4r0 */\
+         "movq %%mm4, %%mm6              \n\t" /* C4R4+C4R0      C4r4+C4r0 */\
+         "movq 48(%2), %%mm7             \n\t" /* C3     C1      C3      C1 */\
+         "pmaddwd %%mm2, %%mm7           \n\t" /* C3R3+C1R1      C3r3+C1r1 */\
+         "movq %%mm0, %%mm5              \n\t" /* -C4R4+C4R0     -C4r4+C4r0 */\
+         "movq 56(%2), %%mm1             \n\t" /* C7     C5      C7      C5 */\
+         "pmaddwd %%mm3, %%mm1           \n\t" /* C7R7+C5R5      C7r7+C5r5 */\
+         "pmaddwd 64(%2), %%mm2          \n\t" /* -C7R3+C3R1     -C7r3+C3r1 */\
+         "paddd %%mm1, %%mm7             \n\t" /* B0             b0 */\
+         "movq 72(%2), %%mm1             \n\t" /* -C5    -C1     -C5     -C1 */\
+         "pmaddwd %%mm3, %%mm1           \n\t" /* -C5R7-C1R5     -C5r7-C1r5 */\
+         "paddd %%mm4, %%mm7             \n\t" /* A0+B0          a0+b0 */\
+         "paddd %%mm4, %%mm4             \n\t" /* 2A0            2a0 */\
+         "psubd %%mm7, %%mm4             \n\t" /* A0-B0          a0-b0 */\
+         "paddd %%mm2, %%mm1             \n\t" /* B1             b1 */\
+         "psrad $" #shift ", %%mm7       \n\t"\
+         "psrad $" #shift ", %%mm4       \n\t"\
+         "movq %%mm0, %%mm2              \n\t" /* A1             a1 */\
+         "paddd %%mm1, %%mm0             \n\t" /* A1+B1          a1+b1 */\
+         "psubd %%mm1, %%mm2             \n\t" /* A1-B1          a1-b1 */\
+         "psrad $" #shift ", %%mm0       \n\t"\
+         "psrad $" #shift ", %%mm2       \n\t"\
+         "packssdw %%mm7, %%mm7          \n\t" /* A0+B0  a0+b0 */\
+         "movd %%mm7, " #dst "           \n\t"\
+         "packssdw %%mm0, %%mm0          \n\t" /* A1+B1  a1+b1 */\
+         "movd %%mm0, 16+" #dst "        \n\t"\
+         "packssdw %%mm2, %%mm2          \n\t" /* A1-B1  a1-b1 */\
+         "movd %%mm2, 96+" #dst "        \n\t"\
+         "packssdw %%mm4, %%mm4          \n\t" /* A0-B0  a0-b0 */\
+         "movd %%mm4, 112+" #dst "       \n\t"\
+         "movq " #src1 ", %%mm0          \n\t" /* R3     R1      r3      r1 */\
+         "movq 80(%2), %%mm4             \n\t" /* -C1    C5      -C1     C5 */\
+         "pmaddwd %%mm0, %%mm4           \n\t" /* -C1R3+C5R1     -C1r3+C5r1 */\
+         "movq 88(%2), %%mm7             \n\t" /* C3     C7      C3      C7 */\
+         "pmaddwd 96(%2), %%mm0          \n\t" /* -C5R3+C7R1     -C5r3+C7r1 */\
+         "pmaddwd %%mm3, %%mm7           \n\t" /* C3R7+C7R5      C3r7+C7r5 */\
+         "movq %%mm5, %%mm2              \n\t" /* A2             a2 */\
+         "pmaddwd 104(%2), %%mm3         \n\t" /* -C1R7+C3R5     -C1r7+C3r5 */\
+         "paddd %%mm7, %%mm4             \n\t" /* B2             b2 */\
+         "paddd %%mm4, %%mm2             \n\t" /* A2+B2          a2+b2 */\
+         "psubd %%mm4, %%mm5             \n\t" /* a2-B2          a2-b2 */\
+         "psrad $" #shift ", %%mm2       \n\t"\
+         "psrad $" #shift ", %%mm5       \n\t"\
+         "movq %%mm6, %%mm4              \n\t" /* A3             a3 */\
+         "paddd %%mm0, %%mm3             \n\t" /* B3             b3 */\
+         "paddd %%mm3, %%mm6             \n\t" /* A3+B3          a3+b3 */\
+         "psubd %%mm3, %%mm4             \n\t" /* a3-B3          a3-b3 */\
+         "psrad $" #shift ", %%mm6       \n\t"\
+         "psrad $" #shift ", %%mm4       \n\t"\
+         "packssdw %%mm2, %%mm2          \n\t" /* A2+B2  a2+b2 */\
+         "packssdw %%mm6, %%mm6          \n\t" /* A3+B3  a3+b3 */\
+         "movd %%mm2, 32+" #dst "        \n\t"\
+         "packssdw %%mm4, %%mm4          \n\t" /* A3-B3  a3-b3 */\
+         "packssdw %%mm5, %%mm5          \n\t" /* A2-B2  a2-b2 */\
+         "movd %%mm6, 48+" #dst "        \n\t"\
+         "movd %%mm4, 64+" #dst "        \n\t"\
+         "movd %%mm5, 80+" #dst "        \n\t"
+ //IDCT(  src0,   src4,   src1,    src5,    dst, shift)
+ IDCT(    (%1), 64(%1), 32(%1),  96(%1),  0(%0), 20)
+ IDCT(   8(%1), 72(%1), 40(%1), 104(%1),  4(%0), 20)
+ IDCT(  16(%1), 80(%1), 48(%1), 112(%1),  8(%0), 20)
+ IDCT(  24(%1), 88(%1), 56(%1), 120(%1), 12(%0), 20)
+         "jmp 9f                         \n\t"
+         "# .p2align 4                   \n\t"\
+         "3:                             \n\t"
+ #undef IDCT
+ #define IDCT(src0, src4, src1, src5, dst, shift) \
+         "movq " #src0 ", %%mm0          \n\t" /* R4     R0      r4      r0 */\
+         "movq " #src1 ", %%mm2          \n\t" /* R3     R1      r3      r1 */\
+         "movq 16(%2), %%mm4             \n\t" /* C4     C4      C4      C4 */\
+         "pmaddwd %%mm0, %%mm4           \n\t" /* C4R4+C4R0      C4r4+C4r0 */\
+         "movq 24(%2), %%mm5             \n\t" /* -C4    C4      -C4     C4 */\
+         "pmaddwd %%mm5, %%mm0           \n\t" /* -C4R4+C4R0     -C4r4+C4r0 */\
+         "movq %%mm4, %%mm6              \n\t" /* C4R4+C4R0      C4r4+C4r0 */\
+         "movq 48(%2), %%mm7             \n\t" /* C3     C1      C3      C1 */\
+         "pmaddwd %%mm2, %%mm7           \n\t" /* C3R3+C1R1      C3r3+C1r1 */\
+         "movq %%mm0, %%mm5              \n\t" /* -C4R4+C4R0     -C4r4+C4r0 */\
+         "movq 64(%2), %%mm3             \n\t"\
+         "pmaddwd %%mm2, %%mm3           \n\t" /* -C7R3+C3R1     -C7r3+C3r1 */\
+         "paddd %%mm4, %%mm7             \n\t" /* A0+B0          a0+b0 */\
+         "paddd %%mm4, %%mm4             \n\t" /* 2A0            2a0 */\
+         "psubd %%mm7, %%mm4             \n\t" /* A0-B0          a0-b0 */\
+         "psrad $" #shift ", %%mm7       \n\t"\
+         "psrad $" #shift ", %%mm4       \n\t"\
+         "movq %%mm0, %%mm1              \n\t" /* A1             a1 */\
+         "paddd %%mm3, %%mm0             \n\t" /* A1+B1          a1+b1 */\
+         "psubd %%mm3, %%mm1             \n\t" /* A1-B1          a1-b1 */\
+         "psrad $" #shift ", %%mm0       \n\t"\
+         "psrad $" #shift ", %%mm1       \n\t"\
+         "packssdw %%mm7, %%mm7          \n\t" /* A0+B0  a0+b0 */\
+         "movd %%mm7, " #dst "           \n\t"\
+         "packssdw %%mm0, %%mm0          \n\t" /* A1+B1  a1+b1 */\
+         "movd %%mm0, 16+" #dst "        \n\t"\
+         "packssdw %%mm1, %%mm1          \n\t" /* A1-B1  a1-b1 */\
+         "movd %%mm1, 96+" #dst "        \n\t"\
+         "packssdw %%mm4, %%mm4          \n\t" /* A0-B0  a0-b0 */\
+         "movd %%mm4, 112+" #dst "       \n\t"\
+         "movq 80(%2), %%mm4             \n\t" /* -C1    C5      -C1     C5 */\
+         "pmaddwd %%mm2, %%mm4           \n\t" /* -C1R3+C5R1     -C1r3+C5r1 */\
+         "pmaddwd 96(%2), %%mm2          \n\t" /* -C5R3+C7R1     -C5r3+C7r1 */\
+         "movq %%mm5, %%mm1              \n\t" /* A2             a2 */\
+         "paddd %%mm4, %%mm1             \n\t" /* A2+B2          a2+b2 */\
+         "psubd %%mm4, %%mm5             \n\t" /* a2-B2          a2-b2 */\
+         "psrad $" #shift ", %%mm1       \n\t"\
+         "psrad $" #shift ", %%mm5       \n\t"\
+         "movq %%mm6, %%mm4              \n\t" /* A3             a3 */\
+         "paddd %%mm2, %%mm6             \n\t" /* A3+B3          a3+b3 */\
+         "psubd %%mm2, %%mm4             \n\t" /* a3-B3          a3-b3 */\
+         "psrad $" #shift ", %%mm6       \n\t"\
+         "psrad $" #shift ", %%mm4       \n\t"\
+         "packssdw %%mm1, %%mm1          \n\t" /* A2+B2  a2+b2 */\
+         "packssdw %%mm6, %%mm6          \n\t" /* A3+B3  a3+b3 */\
+         "movd %%mm1, 32+" #dst "        \n\t"\
+         "packssdw %%mm4, %%mm4          \n\t" /* A3-B3  a3-b3 */\
+         "packssdw %%mm5, %%mm5          \n\t" /* A2-B2  a2-b2 */\
+         "movd %%mm6, 48+" #dst "        \n\t"\
+         "movd %%mm4, 64+" #dst "        \n\t"\
+         "movd %%mm5, 80+" #dst "        \n\t"
+ //IDCT(  src0,   src4,   src1,    src5,    dst, shift)
+ IDCT(    (%1), 64(%1), 32(%1),  96(%1),  0(%0), 20)
+ IDCT(   8(%1), 72(%1), 40(%1), 104(%1),  4(%0), 20)
+ IDCT(  16(%1), 80(%1), 48(%1), 112(%1),  8(%0), 20)
+ IDCT(  24(%1), 88(%1), 56(%1), 120(%1), 12(%0), 20)
+         "jmp 9f                         \n\t"
+         "# .p2align 4                   \n\t"\
+         "5:                             \n\t"
+ #undef IDCT
+ #define IDCT(src0, src4, src1, src5, dst, shift) \
+         "movq " #src0 ", %%mm0          \n\t" /* R4     R0      r4      r0 */\
+         "movq " #src4 ", %%mm1          \n\t" /* R6     R2      r6      r2 */\
+         "movq 16(%2), %%mm4             \n\t" /* C4     C4      C4      C4 */\
+         "pmaddwd %%mm0, %%mm4           \n\t" /* C4R4+C4R0      C4r4+C4r0 */\
+         "movq 24(%2), %%mm5             \n\t" /* -C4    C4      -C4     C4 */\
+         "pmaddwd %%mm5, %%mm0           \n\t" /* -C4R4+C4R0     -C4r4+C4r0 */\
+         "movq 32(%2), %%mm5             \n\t" /* C6     C2      C6      C2 */\
+         "pmaddwd %%mm1, %%mm5           \n\t" /* C6R6+C2R2      C6r6+C2r2 */\
+         "movq 40(%2), %%mm6             \n\t" /* -C2    C6      -C2     C6 */\
+         "pmaddwd %%mm6, %%mm1           \n\t" /* -C2R6+C6R2     -C2r6+C6r2 */\
+         "movq %%mm4, %%mm6              \n\t" /* C4R4+C4R0      C4r4+C4r0 */\
+         "paddd %%mm5, %%mm4             \n\t" /* A0             a0 */\
+         "psubd %%mm5, %%mm6             \n\t" /* A3             a3 */\
+         "movq %%mm0, %%mm5              \n\t" /* -C4R4+C4R0     -C4r4+C4r0 */\
+         "paddd %%mm1, %%mm0             \n\t" /* A1             a1 */\
+         "psubd %%mm1, %%mm5             \n\t" /* A2             a2 */\
+         "movq 8+" #src0 ", %%mm2        \n\t" /* R4     R0      r4      r0 */\
+         "movq 8+" #src4 ", %%mm3        \n\t" /* R6     R2      r6      r2 */\
+         "movq 16(%2), %%mm1             \n\t" /* C4     C4      C4      C4 */\
+         "pmaddwd %%mm2, %%mm1           \n\t" /* C4R4+C4R0      C4r4+C4r0 */\
+         "movq 24(%2), %%mm7             \n\t" /* -C4    C4      -C4     C4 */\
+         "pmaddwd %%mm7, %%mm2           \n\t" /* -C4R4+C4R0     -C4r4+C4r0 */\
+         "movq 32(%2), %%mm7             \n\t" /* C6     C2      C6      C2 */\
+         "pmaddwd %%mm3, %%mm7           \n\t" /* C6R6+C2R2      C6r6+C2r2 */\
+         "pmaddwd 40(%2), %%mm3          \n\t" /* -C2R6+C6R2     -C2r6+C6r2 */\
+         "paddd %%mm1, %%mm7             \n\t" /* A0             a0 */\
+         "paddd %%mm1, %%mm1             \n\t" /* 2C0            2c0 */\
+         "psubd %%mm7, %%mm1             \n\t" /* A3             a3 */\
+         "paddd %%mm2, %%mm3             \n\t" /* A1             a1 */\
+         "paddd %%mm2, %%mm2             \n\t" /* 2C1            2c1 */\
+         "psubd %%mm3, %%mm2             \n\t" /* A2             a2 */\
+         "psrad $" #shift ", %%mm4       \n\t"\
+         "psrad $" #shift ", %%mm7       \n\t"\
+         "psrad $" #shift ", %%mm3       \n\t"\
+         "packssdw %%mm7, %%mm4          \n\t" /* A0     a0 */\
+         "movq %%mm4, " #dst "           \n\t"\
+         "psrad $" #shift ", %%mm0       \n\t"\
+         "packssdw %%mm3, %%mm0          \n\t" /* A1     a1 */\
+         "movq %%mm0, 16+" #dst "        \n\t"\
+         "movq %%mm0, 96+" #dst "        \n\t"\
+         "movq %%mm4, 112+" #dst "       \n\t"\
+         "psrad $" #shift ", %%mm5       \n\t"\
+         "psrad $" #shift ", %%mm6       \n\t"\
+         "psrad $" #shift ", %%mm2       \n\t"\
+         "packssdw %%mm2, %%mm5          \n\t" /* A2-B2  a2-b2 */\
+         "movq %%mm5, 32+" #dst "        \n\t"\
+         "psrad $" #shift ", %%mm1       \n\t"\
+         "packssdw %%mm1, %%mm6          \n\t" /* A3+B3  a3+b3 */\
+         "movq %%mm6, 48+" #dst "        \n\t"\
+         "movq %%mm6, 64+" #dst "        \n\t"\
+         "movq %%mm5, 80+" #dst "        \n\t"
+ //IDCT(  src0,   src4,   src1,    src5,    dst, shift)
+ IDCT(    0(%1), 64(%1), 32(%1),  96(%1),  0(%0), 20)
+ //IDCT(   8(%1), 72(%1), 40(%1), 104(%1),  4(%0), 20)
+ IDCT(  16(%1), 80(%1), 48(%1), 112(%1),  8(%0), 20)
+ //IDCT(  24(%1), 88(%1), 56(%1), 120(%1), 12(%0), 20)
+         "jmp 9f                         \n\t"
+         "# .p2align 4                   \n\t"\
+         "1:                             \n\t"
+ #undef IDCT
+ #define IDCT(src0, src4, src1, src5, dst, shift) \
+         "movq " #src0 ", %%mm0          \n\t" /* R4     R0      r4      r0 */\
+         "movq " #src4 ", %%mm1          \n\t" /* R6     R2      r6      r2 */\
+         "movq " #src1 ", %%mm2          \n\t" /* R3     R1      r3      r1 */\
+         "movq 16(%2), %%mm4             \n\t" /* C4     C4      C4      C4 */\
+         "pmaddwd %%mm0, %%mm4           \n\t" /* C4R4+C4R0      C4r4+C4r0 */\
+         "movq 24(%2), %%mm5             \n\t" /* -C4    C4      -C4     C4 */\
+         "pmaddwd %%mm5, %%mm0           \n\t" /* -C4R4+C4R0     -C4r4+C4r0 */\
+         "movq 32(%2), %%mm5             \n\t" /* C6     C2      C6      C2 */\
+         "pmaddwd %%mm1, %%mm5           \n\t" /* C6R6+C2R2      C6r6+C2r2 */\
+         "movq 40(%2), %%mm6             \n\t" /* -C2    C6      -C2     C6 */\
+         "pmaddwd %%mm6, %%mm1           \n\t" /* -C2R6+C6R2     -C2r6+C6r2 */\
+         "movq %%mm4, %%mm6              \n\t" /* C4R4+C4R0      C4r4+C4r0 */\
+         "movq 48(%2), %%mm7             \n\t" /* C3     C1      C3      C1 */\
+         "pmaddwd %%mm2, %%mm7           \n\t" /* C3R3+C1R1      C3r3+C1r1 */\
+         "paddd %%mm5, %%mm4             \n\t" /* A0             a0 */\
+         "psubd %%mm5, %%mm6             \n\t" /* A3             a3 */\
+         "movq %%mm0, %%mm5              \n\t" /* -C4R4+C4R0     -C4r4+C4r0 */\
+         "paddd %%mm1, %%mm0             \n\t" /* A1             a1 */\
+         "psubd %%mm1, %%mm5             \n\t" /* A2             a2 */\
+         "movq 64(%2), %%mm1             \n\t"\
+         "pmaddwd %%mm2, %%mm1           \n\t" /* -C7R3+C3R1     -C7r3+C3r1 */\
+         "paddd %%mm4, %%mm7             \n\t" /* A0+B0          a0+b0 */\
+         "paddd %%mm4, %%mm4             \n\t" /* 2A0            2a0 */\
+         "psubd %%mm7, %%mm4             \n\t" /* A0-B0          a0-b0 */\
+         "psrad $" #shift ", %%mm7       \n\t"\
+         "psrad $" #shift ", %%mm4       \n\t"\
+         "movq %%mm0, %%mm3              \n\t" /* A1             a1 */\
+         "paddd %%mm1, %%mm0             \n\t" /* A1+B1          a1+b1 */\
+         "psubd %%mm1, %%mm3             \n\t" /* A1-B1          a1-b1 */\
+         "psrad $" #shift ", %%mm0       \n\t"\
+         "psrad $" #shift ", %%mm3       \n\t"\
+         "packssdw %%mm7, %%mm7          \n\t" /* A0+B0  a0+b0 */\
+         "movd %%mm7, " #dst "           \n\t"\
+         "packssdw %%mm0, %%mm0          \n\t" /* A1+B1  a1+b1 */\
+         "movd %%mm0, 16+" #dst "        \n\t"\
+         "packssdw %%mm3, %%mm3          \n\t" /* A1-B1  a1-b1 */\
+         "movd %%mm3, 96+" #dst "        \n\t"\
+         "packssdw %%mm4, %%mm4          \n\t" /* A0-B0  a0-b0 */\
+         "movd %%mm4, 112+" #dst "       \n\t"\
+         "movq 80(%2), %%mm4             \n\t" /* -C1    C5      -C1     C5 */\
+         "pmaddwd %%mm2, %%mm4           \n\t" /* -C1R3+C5R1     -C1r3+C5r1 */\
+         "pmaddwd 96(%2), %%mm2          \n\t" /* -C5R3+C7R1     -C5r3+C7r1 */\
+         "movq %%mm5, %%mm3              \n\t" /* A2             a2 */\
+         "paddd %%mm4, %%mm3             \n\t" /* A2+B2          a2+b2 */\
+         "psubd %%mm4, %%mm5             \n\t" /* a2-B2          a2-b2 */\
+         "psrad $" #shift ", %%mm3       \n\t"\
+         "psrad $" #shift ", %%mm5       \n\t"\
+         "movq %%mm6, %%mm4              \n\t" /* A3             a3 */\
+         "paddd %%mm2, %%mm6             \n\t" /* A3+B3          a3+b3 */\
+         "psubd %%mm2, %%mm4             \n\t" /* a3-B3          a3-b3 */\
+         "psrad $" #shift ", %%mm6       \n\t"\
+         "packssdw %%mm3, %%mm3          \n\t" /* A2+B2  a2+b2 */\
+         "movd %%mm3, 32+" #dst "        \n\t"\
+         "psrad $" #shift ", %%mm4       \n\t"\
+         "packssdw %%mm6, %%mm6          \n\t" /* A3+B3  a3+b3 */\
+         "movd %%mm6, 48+" #dst "        \n\t"\
+         "packssdw %%mm4, %%mm4          \n\t" /* A3-B3  a3-b3 */\
+         "packssdw %%mm5, %%mm5          \n\t" /* A2-B2  a2-b2 */\
+         "movd %%mm4, 64+" #dst "        \n\t"\
+         "movd %%mm5, 80+" #dst "        \n\t"
+ //IDCT(  src0,   src4,   src1,    src5,    dst, shift)
+ IDCT(    (%1), 64(%1), 32(%1),  96(%1),  0(%0), 20)
+ IDCT(   8(%1), 72(%1), 40(%1), 104(%1),  4(%0), 20)
+ IDCT(  16(%1), 80(%1), 48(%1), 112(%1),  8(%0), 20)
+ IDCT(  24(%1), 88(%1), 56(%1), 120(%1), 12(%0), 20)
+         "jmp 9f                         \n\t"
+         "# .p2align 4                   \n\t"
+         "7:                             \n\t"
+ #undef IDCT
+ #define IDCT(src0, src4, src1, src5, dst, shift) \
+         "movq " #src0 ", %%mm0          \n\t" /* R4     R0      r4      r0 */\
+         "movq 16(%2), %%mm4             \n\t" /* C4     C4      C4      C4 */\
+         "pmaddwd %%mm0, %%mm4           \n\t" /* C4R4+C4R0      C4r4+C4r0 */\
+         "movq 24(%2), %%mm5             \n\t" /* -C4    C4      -C4     C4 */\
+         "pmaddwd %%mm5, %%mm0           \n\t" /* -C4R4+C4R0     -C4r4+C4r0 */\
+         "psrad $" #shift ", %%mm4       \n\t"\
+         "psrad $" #shift ", %%mm0       \n\t"\
+         "movq 8+" #src0 ", %%mm2        \n\t" /* R4     R0      r4      r0 */\
+         "movq 16(%2), %%mm1             \n\t" /* C4     C4      C4      C4 */\
+         "pmaddwd %%mm2, %%mm1           \n\t" /* C4R4+C4R0      C4r4+C4r0 */\
+         "movq 24(%2), %%mm7             \n\t" /* -C4    C4      -C4     C4 */\
+         "pmaddwd %%mm7, %%mm2           \n\t" /* -C4R4+C4R0     -C4r4+C4r0 */\
+         "movq 32(%2), %%mm7             \n\t" /* C6     C2      C6      C2 */\
+         "psrad $" #shift ", %%mm1       \n\t"\
+         "packssdw %%mm1, %%mm4          \n\t" /* A0     a0 */\
+         "movq %%mm4, " #dst "           \n\t"\
+         "psrad $" #shift ", %%mm2       \n\t"\
+         "packssdw %%mm2, %%mm0          \n\t" /* A1     a1 */\
+         "movq %%mm0, 16+" #dst "        \n\t"\
+         "movq %%mm0, 96+" #dst "        \n\t"\
+         "movq %%mm4, 112+" #dst "       \n\t"\
+         "movq %%mm0, 32+" #dst "        \n\t"\
+         "movq %%mm4, 48+" #dst "        \n\t"\
+         "movq %%mm4, 64+" #dst "        \n\t"\
+         "movq %%mm0, 80+" #dst "        \n\t"
+ //IDCT(  src0,   src4,   src1,    src5,    dst, shift)
+ IDCT(   0(%1), 64(%1), 32(%1),  96(%1),  0(%0), 20)
+ //IDCT(   8(%1), 72(%1), 40(%1), 104(%1),  4(%0), 20)
+ IDCT(  16(%1), 80(%1), 48(%1), 112(%1),  8(%0), 20)
+ //IDCT(  24(%1), 88(%1), 56(%1), 120(%1), 12(%0), 20)
+ #endif
+ /*
+ Input
+  00 40 04 44 20 60 24 64
+  10 30 14 34 50 70 54 74
+  01 41 03 43 21 61 23 63
+  11 31 13 33 51 71 53 73
+  02 42 06 46 22 62 26 66
+  12 32 16 36 52 72 56 76
+  05 45 07 47 25 65 27 67
+  15 35 17 37 55 75 57 77
+ Temp
+  00 04 10 14 20 24 30 34
+  40 44 50 54 60 64 70 74
+  01 03 11 13 21 23 31 33
+  41 43 51 53 61 63 71 73
+  02 06 12 16 22 26 32 36
+  42 46 52 56 62 66 72 76
+  05 07 15 17 25 27 35 37
+  45 47 55 57 65 67 75 77
+ */
+ "9: \n\t"
+                 :: "r" (block), "r" (temp), "r" (coeffs)
+                 : "%eax"
+         );
+ }
+ void ff_simple_idct_mmx(int16_t *block)
+ {
+     idct(block);
+ }
+ //FIXME merge add/put into the idct
+ void ff_simple_idct_put_mmx(uint8_t *dest, int line_size, DCTELEM *block)
+ {
+     idct(block);
+     ff_put_pixels_clamped_mmx(block, dest, line_size);
+ }
+ void ff_simple_idct_add_mmx(uint8_t *dest, int line_size, DCTELEM *block)
+ {
+     idct(block);
+     ff_add_pixels_clamped_mmx(block, dest, line_size);
+ }
+ #endif /* HAVE_INLINE_ASM */
index 0000000,fb190d8..631291a
mode 000000,100644..100644
--- /dev/null
@@@ -1,0 -1,902 +1,902 @@@
 - * This file is part of Libav.
+ /*
+  * MMX and SSE2 optimized snow DSP utils
+  * Copyright (c) 2005-2006 Robert Edele <yartrebo@earthlink.net>
+  *
 - * Libav is free software; you can redistribute it and/or
++ * This file is part of FFmpeg.
+