mpegvideo: reduce excessive inlining of mpeg_motion()
[ffmpeg.git] / libavcodec / mpegvideo_motion.c
1 /*
2  * Copyright (c) 2000,2001 Fabrice Bellard
3  * Copyright (c) 2002-2004 Michael Niedermayer <michaelni@gmx.at>
4  *
5  * 4MV & hq & B-frame encoding stuff by Michael Niedermayer <michaelni@gmx.at>
6  *
7  * This file is part of Libav.
8  *
9  * Libav is free software; you can redistribute it and/or
10  * modify it under the terms of the GNU Lesser General Public
11  * License as published by the Free Software Foundation; either
12  * version 2.1 of the License, or (at your option) any later version.
13  *
14  * Libav is distributed in the hope that it will be useful,
15  * but WITHOUT ANY WARRANTY; without even the implied warranty of
16  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
17  * Lesser General Public License for more details.
18  *
19  * You should have received a copy of the GNU Lesser General Public
20  * License along with Libav; if not, write to the Free Software
21  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
22  */
23
24 #include <string.h>
25 #include "avcodec.h"
26 #include "dsputil.h"
27 #include "mpegvideo.h"
28 #include "mjpegenc.h"
29 #include "msmpeg4.h"
30 #include <limits.h>
31
32 static inline void gmc1_motion(MpegEncContext *s,
33                                uint8_t *dest_y, uint8_t *dest_cb, uint8_t *dest_cr,
34                                uint8_t **ref_picture)
35 {
36     uint8_t *ptr;
37     int offset, src_x, src_y, linesize, uvlinesize;
38     int motion_x, motion_y;
39     int emu=0;
40
41     motion_x= s->sprite_offset[0][0];
42     motion_y= s->sprite_offset[0][1];
43     src_x = s->mb_x * 16 + (motion_x >> (s->sprite_warping_accuracy+1));
44     src_y = s->mb_y * 16 + (motion_y >> (s->sprite_warping_accuracy+1));
45     motion_x<<=(3-s->sprite_warping_accuracy);
46     motion_y<<=(3-s->sprite_warping_accuracy);
47     src_x = av_clip(src_x, -16, s->width);
48     if (src_x == s->width)
49         motion_x =0;
50     src_y = av_clip(src_y, -16, s->height);
51     if (src_y == s->height)
52         motion_y =0;
53
54     linesize = s->linesize;
55     uvlinesize = s->uvlinesize;
56
57     ptr = ref_picture[0] + (src_y * linesize) + src_x;
58
59     if(s->flags&CODEC_FLAG_EMU_EDGE){
60         if(   (unsigned)src_x >= FFMAX(s->h_edge_pos - 17, 0)
61            || (unsigned)src_y >= FFMAX(s->v_edge_pos - 17, 0)){
62             s->dsp.emulated_edge_mc(s->edge_emu_buffer, ptr, linesize, 17, 17, src_x, src_y, s->h_edge_pos, s->v_edge_pos);
63             ptr= s->edge_emu_buffer;
64         }
65     }
66
67     if((motion_x|motion_y)&7){
68         s->dsp.gmc1(dest_y  , ptr  , linesize, 16, motion_x&15, motion_y&15, 128 - s->no_rounding);
69         s->dsp.gmc1(dest_y+8, ptr+8, linesize, 16, motion_x&15, motion_y&15, 128 - s->no_rounding);
70     }else{
71         int dxy;
72
73         dxy= ((motion_x>>3)&1) | ((motion_y>>2)&2);
74         if (s->no_rounding){
75             s->dsp.put_no_rnd_pixels_tab[0][dxy](dest_y, ptr, linesize, 16);
76         }else{
77             s->dsp.put_pixels_tab       [0][dxy](dest_y, ptr, linesize, 16);
78         }
79     }
80
81     if(CONFIG_GRAY && s->flags&CODEC_FLAG_GRAY) return;
82
83     motion_x= s->sprite_offset[1][0];
84     motion_y= s->sprite_offset[1][1];
85     src_x = s->mb_x * 8 + (motion_x >> (s->sprite_warping_accuracy+1));
86     src_y = s->mb_y * 8 + (motion_y >> (s->sprite_warping_accuracy+1));
87     motion_x<<=(3-s->sprite_warping_accuracy);
88     motion_y<<=(3-s->sprite_warping_accuracy);
89     src_x = av_clip(src_x, -8, s->width>>1);
90     if (src_x == s->width>>1)
91         motion_x =0;
92     src_y = av_clip(src_y, -8, s->height>>1);
93     if (src_y == s->height>>1)
94         motion_y =0;
95
96     offset = (src_y * uvlinesize) + src_x;
97     ptr = ref_picture[1] + offset;
98     if(s->flags&CODEC_FLAG_EMU_EDGE){
99         if(   (unsigned)src_x >= FFMAX((s->h_edge_pos>>1) - 9, 0)
100            || (unsigned)src_y >= FFMAX((s->v_edge_pos>>1) - 9, 0)){
101             s->dsp.emulated_edge_mc(s->edge_emu_buffer, ptr, uvlinesize, 9, 9, src_x, src_y, s->h_edge_pos>>1, s->v_edge_pos>>1);
102             ptr= s->edge_emu_buffer;
103             emu=1;
104         }
105     }
106     s->dsp.gmc1(dest_cb, ptr, uvlinesize, 8, motion_x&15, motion_y&15, 128 - s->no_rounding);
107
108     ptr = ref_picture[2] + offset;
109     if(emu){
110         s->dsp.emulated_edge_mc(s->edge_emu_buffer, ptr, uvlinesize, 9, 9, src_x, src_y, s->h_edge_pos>>1, s->v_edge_pos>>1);
111         ptr= s->edge_emu_buffer;
112     }
113     s->dsp.gmc1(dest_cr, ptr, uvlinesize, 8, motion_x&15, motion_y&15, 128 - s->no_rounding);
114
115     return;
116 }
117
118 static inline void gmc_motion(MpegEncContext *s,
119                                uint8_t *dest_y, uint8_t *dest_cb, uint8_t *dest_cr,
120                                uint8_t **ref_picture)
121 {
122     uint8_t *ptr;
123     int linesize, uvlinesize;
124     const int a= s->sprite_warping_accuracy;
125     int ox, oy;
126
127     linesize = s->linesize;
128     uvlinesize = s->uvlinesize;
129
130     ptr = ref_picture[0];
131
132     ox= s->sprite_offset[0][0] + s->sprite_delta[0][0]*s->mb_x*16 + s->sprite_delta[0][1]*s->mb_y*16;
133     oy= s->sprite_offset[0][1] + s->sprite_delta[1][0]*s->mb_x*16 + s->sprite_delta[1][1]*s->mb_y*16;
134
135     s->dsp.gmc(dest_y, ptr, linesize, 16,
136            ox,
137            oy,
138            s->sprite_delta[0][0], s->sprite_delta[0][1],
139            s->sprite_delta[1][0], s->sprite_delta[1][1],
140            a+1, (1<<(2*a+1)) - s->no_rounding,
141            s->h_edge_pos, s->v_edge_pos);
142     s->dsp.gmc(dest_y+8, ptr, linesize, 16,
143            ox + s->sprite_delta[0][0]*8,
144            oy + s->sprite_delta[1][0]*8,
145            s->sprite_delta[0][0], s->sprite_delta[0][1],
146            s->sprite_delta[1][0], s->sprite_delta[1][1],
147            a+1, (1<<(2*a+1)) - s->no_rounding,
148            s->h_edge_pos, s->v_edge_pos);
149
150     if(CONFIG_GRAY && s->flags&CODEC_FLAG_GRAY) return;
151
152     ox= s->sprite_offset[1][0] + s->sprite_delta[0][0]*s->mb_x*8 + s->sprite_delta[0][1]*s->mb_y*8;
153     oy= s->sprite_offset[1][1] + s->sprite_delta[1][0]*s->mb_x*8 + s->sprite_delta[1][1]*s->mb_y*8;
154
155     ptr = ref_picture[1];
156     s->dsp.gmc(dest_cb, ptr, uvlinesize, 8,
157            ox,
158            oy,
159            s->sprite_delta[0][0], s->sprite_delta[0][1],
160            s->sprite_delta[1][0], s->sprite_delta[1][1],
161            a+1, (1<<(2*a+1)) - s->no_rounding,
162            s->h_edge_pos>>1, s->v_edge_pos>>1);
163
164     ptr = ref_picture[2];
165     s->dsp.gmc(dest_cr, ptr, uvlinesize, 8,
166            ox,
167            oy,
168            s->sprite_delta[0][0], s->sprite_delta[0][1],
169            s->sprite_delta[1][0], s->sprite_delta[1][1],
170            a+1, (1<<(2*a+1)) - s->no_rounding,
171            s->h_edge_pos>>1, s->v_edge_pos>>1);
172 }
173
174 static inline int hpel_motion(MpegEncContext *s,
175                                   uint8_t *dest, uint8_t *src,
176                                   int field_based, int field_select,
177                                   int src_x, int src_y,
178                                   int width, int height, int stride,
179                                   int h_edge_pos, int v_edge_pos,
180                                   int w, int h, op_pixels_func *pix_op,
181                                   int motion_x, int motion_y)
182 {
183     int dxy;
184     int emu=0;
185
186     dxy = ((motion_y & 1) << 1) | (motion_x & 1);
187     src_x += motion_x >> 1;
188     src_y += motion_y >> 1;
189
190     /* WARNING: do no forget half pels */
191     src_x = av_clip(src_x, -16, width); //FIXME unneeded for emu?
192     if (src_x == width)
193         dxy &= ~1;
194     src_y = av_clip(src_y, -16, height);
195     if (src_y == height)
196         dxy &= ~2;
197     src += src_y * stride + src_x;
198
199     if(s->unrestricted_mv && (s->flags&CODEC_FLAG_EMU_EDGE)){
200         if(   (unsigned)src_x > FFMAX(h_edge_pos - (motion_x&1) - w, 0)
201            || (unsigned)src_y > FFMAX(v_edge_pos - (motion_y&1) - h, 0)){
202             s->dsp.emulated_edge_mc(s->edge_emu_buffer, src, s->linesize, w+1, (h+1)<<field_based,
203                              src_x, src_y<<field_based, h_edge_pos, s->v_edge_pos);
204             src= s->edge_emu_buffer;
205             emu=1;
206         }
207     }
208     if(field_select)
209         src += s->linesize;
210     pix_op[dxy](dest, src, stride, h);
211     return emu;
212 }
213
214 static av_always_inline
215 void mpeg_motion_internal(MpegEncContext *s,
216                  uint8_t *dest_y, uint8_t *dest_cb, uint8_t *dest_cr,
217                  int field_based, int bottom_field, int field_select,
218                  uint8_t **ref_picture, op_pixels_func (*pix_op)[4],
219                  int motion_x, int motion_y, int h, int is_mpeg12, int mb_y)
220 {
221     uint8_t *ptr_y, *ptr_cb, *ptr_cr;
222     int dxy, uvdxy, mx, my, src_x, src_y,
223         uvsrc_x, uvsrc_y, v_edge_pos, uvlinesize, linesize;
224
225 #if 0
226 if(s->quarter_sample)
227 {
228     motion_x>>=1;
229     motion_y>>=1;
230 }
231 #endif
232
233     v_edge_pos = s->v_edge_pos >> field_based;
234     linesize   = s->current_picture.f.linesize[0] << field_based;
235     uvlinesize = s->current_picture.f.linesize[1] << field_based;
236
237     dxy = ((motion_y & 1) << 1) | (motion_x & 1);
238     src_x = s->mb_x* 16               + (motion_x >> 1);
239     src_y =(   mb_y<<(4-field_based)) + (motion_y >> 1);
240
241     if (!is_mpeg12 && s->out_format == FMT_H263) {
242         if((s->workaround_bugs & FF_BUG_HPEL_CHROMA) && field_based){
243             mx = (motion_x>>1)|(motion_x&1);
244             my = motion_y >>1;
245             uvdxy = ((my & 1) << 1) | (mx & 1);
246             uvsrc_x = s->mb_x* 8               + (mx >> 1);
247             uvsrc_y =(   mb_y<<(3-field_based))+ (my >> 1);
248         }else{
249             uvdxy = dxy | (motion_y & 2) | ((motion_x & 2) >> 1);
250             uvsrc_x = src_x>>1;
251             uvsrc_y = src_y>>1;
252         }
253     }else if(!is_mpeg12 && s->out_format == FMT_H261){//even chroma mv's are full pel in H261
254         mx = motion_x / 4;
255         my = motion_y / 4;
256         uvdxy = 0;
257         uvsrc_x = s->mb_x*8 + mx;
258         uvsrc_y =    mb_y*8 + my;
259     } else {
260         if(s->chroma_y_shift){
261             mx = motion_x / 2;
262             my = motion_y / 2;
263             uvdxy = ((my & 1) << 1) | (mx & 1);
264             uvsrc_x = s->mb_x* 8               + (mx >> 1);
265             uvsrc_y =(   mb_y<<(3-field_based))+ (my >> 1);
266         } else {
267             if(s->chroma_x_shift){
268             //Chroma422
269                 mx = motion_x / 2;
270                 uvdxy = ((motion_y & 1) << 1) | (mx & 1);
271                 uvsrc_x = s->mb_x* 8           + (mx >> 1);
272                 uvsrc_y = src_y;
273             } else {
274             //Chroma444
275                 uvdxy = dxy;
276                 uvsrc_x = src_x;
277                 uvsrc_y = src_y;
278             }
279         }
280     }
281
282     ptr_y  = ref_picture[0] + src_y * linesize + src_x;
283     ptr_cb = ref_picture[1] + uvsrc_y * uvlinesize + uvsrc_x;
284     ptr_cr = ref_picture[2] + uvsrc_y * uvlinesize + uvsrc_x;
285
286     if(   (unsigned)src_x > FFMAX(s->h_edge_pos - (motion_x&1) - 16, 0)
287        || (unsigned)src_y > FFMAX(   v_edge_pos - (motion_y&1) - h , 0)){
288             if(is_mpeg12 || s->codec_id == AV_CODEC_ID_MPEG2VIDEO ||
289                s->codec_id == AV_CODEC_ID_MPEG1VIDEO){
290                 av_log(s->avctx,AV_LOG_DEBUG,
291                         "MPEG motion vector out of boundary (%d %d)\n", src_x, src_y);
292                 return;
293             }
294             s->dsp.emulated_edge_mc(s->edge_emu_buffer, ptr_y, s->linesize,
295                                 17, 17+field_based,
296                                 src_x, src_y<<field_based,
297                                 s->h_edge_pos, s->v_edge_pos);
298             ptr_y = s->edge_emu_buffer;
299             if(!CONFIG_GRAY || !(s->flags&CODEC_FLAG_GRAY)){
300                 uint8_t *uvbuf= s->edge_emu_buffer+18*s->linesize;
301                 s->dsp.emulated_edge_mc(uvbuf ,
302                                     ptr_cb, s->uvlinesize,
303                                     9, 9+field_based,
304                                     uvsrc_x, uvsrc_y<<field_based,
305                                     s->h_edge_pos>>1, s->v_edge_pos>>1);
306                 s->dsp.emulated_edge_mc(uvbuf+16,
307                                     ptr_cr, s->uvlinesize,
308                                     9, 9+field_based,
309                                     uvsrc_x, uvsrc_y<<field_based,
310                                     s->h_edge_pos>>1, s->v_edge_pos>>1);
311                 ptr_cb= uvbuf;
312                 ptr_cr= uvbuf+16;
313             }
314     }
315
316     if(bottom_field){ //FIXME use this for field pix too instead of the obnoxious hack which changes picture.data
317         dest_y += s->linesize;
318         dest_cb+= s->uvlinesize;
319         dest_cr+= s->uvlinesize;
320     }
321
322     if(field_select){
323         ptr_y += s->linesize;
324         ptr_cb+= s->uvlinesize;
325         ptr_cr+= s->uvlinesize;
326     }
327
328     pix_op[0][dxy](dest_y, ptr_y, linesize, h);
329
330     if(!CONFIG_GRAY || !(s->flags&CODEC_FLAG_GRAY)){
331         pix_op[s->chroma_x_shift][uvdxy]
332                 (dest_cb, ptr_cb, uvlinesize, h >> s->chroma_y_shift);
333         pix_op[s->chroma_x_shift][uvdxy]
334                 (dest_cr, ptr_cr, uvlinesize, h >> s->chroma_y_shift);
335     }
336     if(!is_mpeg12 && (CONFIG_H261_ENCODER || CONFIG_H261_DECODER) &&
337          s->out_format == FMT_H261){
338         ff_h261_loop_filter(s);
339     }
340 }
341 /* apply one mpeg motion vector to the three components */
342 static void mpeg_motion(MpegEncContext *s,
343                         uint8_t *dest_y, uint8_t *dest_cb, uint8_t *dest_cr,
344                         int field_select, uint8_t **ref_picture,
345                         op_pixels_func (*pix_op)[4],
346                         int motion_x, int motion_y, int h, int mb_y)
347 {
348 #if !CONFIG_SMALL
349     if(s->out_format == FMT_MPEG1)
350         mpeg_motion_internal(s, dest_y, dest_cb, dest_cr, 0, 0,
351                     field_select, ref_picture, pix_op,
352                     motion_x, motion_y, h, 1, mb_y);
353     else
354 #endif
355         mpeg_motion_internal(s, dest_y, dest_cb, dest_cr, 0, 0,
356                     field_select, ref_picture, pix_op,
357                     motion_x, motion_y, h, 0, mb_y);
358 }
359
360 static void mpeg_motion_field(MpegEncContext *s, uint8_t *dest_y,
361                               uint8_t *dest_cb, uint8_t *dest_cr,
362                               int bottom_field, int field_select,
363                               uint8_t **ref_picture,
364                               op_pixels_func (*pix_op)[4],
365                               int motion_x, int motion_y, int h, int mb_y)
366 {
367 #if !CONFIG_SMALL
368     if(s->out_format == FMT_MPEG1)
369         mpeg_motion_internal(s, dest_y, dest_cb, dest_cr, 1,
370                     bottom_field, field_select, ref_picture, pix_op,
371                     motion_x, motion_y, h, 1, mb_y);
372     else
373 #endif
374         mpeg_motion_internal(s, dest_y, dest_cb, dest_cr, 1,
375                     bottom_field, field_select, ref_picture, pix_op,
376                     motion_x, motion_y, h, 0, mb_y);
377 }
378
379 //FIXME move to dsputil, avg variant, 16x16 version
380 static inline void put_obmc(uint8_t *dst, uint8_t *src[5], int stride){
381     int x;
382     uint8_t * const top   = src[1];
383     uint8_t * const left  = src[2];
384     uint8_t * const mid   = src[0];
385     uint8_t * const right = src[3];
386     uint8_t * const bottom= src[4];
387 #define OBMC_FILTER(x, t, l, m, r, b)\
388     dst[x]= (t*top[x] + l*left[x] + m*mid[x] + r*right[x] + b*bottom[x] + 4)>>3
389 #define OBMC_FILTER4(x, t, l, m, r, b)\
390     OBMC_FILTER(x         , t, l, m, r, b);\
391     OBMC_FILTER(x+1       , t, l, m, r, b);\
392     OBMC_FILTER(x  +stride, t, l, m, r, b);\
393     OBMC_FILTER(x+1+stride, t, l, m, r, b);
394
395     x=0;
396     OBMC_FILTER (x  , 2, 2, 4, 0, 0);
397     OBMC_FILTER (x+1, 2, 1, 5, 0, 0);
398     OBMC_FILTER4(x+2, 2, 1, 5, 0, 0);
399     OBMC_FILTER4(x+4, 2, 0, 5, 1, 0);
400     OBMC_FILTER (x+6, 2, 0, 5, 1, 0);
401     OBMC_FILTER (x+7, 2, 0, 4, 2, 0);
402     x+= stride;
403     OBMC_FILTER (x  , 1, 2, 5, 0, 0);
404     OBMC_FILTER (x+1, 1, 2, 5, 0, 0);
405     OBMC_FILTER (x+6, 1, 0, 5, 2, 0);
406     OBMC_FILTER (x+7, 1, 0, 5, 2, 0);
407     x+= stride;
408     OBMC_FILTER4(x  , 1, 2, 5, 0, 0);
409     OBMC_FILTER4(x+2, 1, 1, 6, 0, 0);
410     OBMC_FILTER4(x+4, 1, 0, 6, 1, 0);
411     OBMC_FILTER4(x+6, 1, 0, 5, 2, 0);
412     x+= 2*stride;
413     OBMC_FILTER4(x  , 0, 2, 5, 0, 1);
414     OBMC_FILTER4(x+2, 0, 1, 6, 0, 1);
415     OBMC_FILTER4(x+4, 0, 0, 6, 1, 1);
416     OBMC_FILTER4(x+6, 0, 0, 5, 2, 1);
417     x+= 2*stride;
418     OBMC_FILTER (x  , 0, 2, 5, 0, 1);
419     OBMC_FILTER (x+1, 0, 2, 5, 0, 1);
420     OBMC_FILTER4(x+2, 0, 1, 5, 0, 2);
421     OBMC_FILTER4(x+4, 0, 0, 5, 1, 2);
422     OBMC_FILTER (x+6, 0, 0, 5, 2, 1);
423     OBMC_FILTER (x+7, 0, 0, 5, 2, 1);
424     x+= stride;
425     OBMC_FILTER (x  , 0, 2, 4, 0, 2);
426     OBMC_FILTER (x+1, 0, 1, 5, 0, 2);
427     OBMC_FILTER (x+6, 0, 0, 5, 1, 2);
428     OBMC_FILTER (x+7, 0, 0, 4, 2, 2);
429 }
430
431 /* obmc for 1 8x8 luma block */
432 static inline void obmc_motion(MpegEncContext *s,
433                                uint8_t *dest, uint8_t *src,
434                                int src_x, int src_y,
435                                op_pixels_func *pix_op,
436                                int16_t mv[5][2]/* mid top left right bottom*/)
437 #define MID    0
438 {
439     int i;
440     uint8_t *ptr[5];
441
442     assert(s->quarter_sample==0);
443
444     for(i=0; i<5; i++){
445         if(i && mv[i][0]==mv[MID][0] && mv[i][1]==mv[MID][1]){
446             ptr[i]= ptr[MID];
447         }else{
448             ptr[i]= s->obmc_scratchpad + 8*(i&1) + s->linesize*8*(i>>1);
449             hpel_motion(s, ptr[i], src, 0, 0,
450                         src_x, src_y,
451                         s->width, s->height, s->linesize,
452                         s->h_edge_pos, s->v_edge_pos,
453                         8, 8, pix_op,
454                         mv[i][0], mv[i][1]);
455         }
456     }
457
458     put_obmc(dest, ptr, s->linesize);
459 }
460
461 static inline void qpel_motion(MpegEncContext *s,
462                                uint8_t *dest_y, uint8_t *dest_cb, uint8_t *dest_cr,
463                                int field_based, int bottom_field, int field_select,
464                                uint8_t **ref_picture, op_pixels_func (*pix_op)[4],
465                                qpel_mc_func (*qpix_op)[16],
466                                int motion_x, int motion_y, int h)
467 {
468     uint8_t *ptr_y, *ptr_cb, *ptr_cr;
469     int dxy, uvdxy, mx, my, src_x, src_y, uvsrc_x, uvsrc_y, v_edge_pos, linesize, uvlinesize;
470
471     dxy = ((motion_y & 3) << 2) | (motion_x & 3);
472     src_x = s->mb_x *  16                 + (motion_x >> 2);
473     src_y = s->mb_y * (16 >> field_based) + (motion_y >> 2);
474
475     v_edge_pos = s->v_edge_pos >> field_based;
476     linesize = s->linesize << field_based;
477     uvlinesize = s->uvlinesize << field_based;
478
479     if(field_based){
480         mx= motion_x/2;
481         my= motion_y>>1;
482     }else if(s->workaround_bugs&FF_BUG_QPEL_CHROMA2){
483         static const int rtab[8]= {0,0,1,1,0,0,0,1};
484         mx= (motion_x>>1) + rtab[motion_x&7];
485         my= (motion_y>>1) + rtab[motion_y&7];
486     }else if(s->workaround_bugs&FF_BUG_QPEL_CHROMA){
487         mx= (motion_x>>1)|(motion_x&1);
488         my= (motion_y>>1)|(motion_y&1);
489     }else{
490         mx= motion_x/2;
491         my= motion_y/2;
492     }
493     mx= (mx>>1)|(mx&1);
494     my= (my>>1)|(my&1);
495
496     uvdxy= (mx&1) | ((my&1)<<1);
497     mx>>=1;
498     my>>=1;
499
500     uvsrc_x = s->mb_x *  8                 + mx;
501     uvsrc_y = s->mb_y * (8 >> field_based) + my;
502
503     ptr_y  = ref_picture[0] +   src_y *   linesize +   src_x;
504     ptr_cb = ref_picture[1] + uvsrc_y * uvlinesize + uvsrc_x;
505     ptr_cr = ref_picture[2] + uvsrc_y * uvlinesize + uvsrc_x;
506
507     if(   (unsigned)src_x > FFMAX(s->h_edge_pos - (motion_x&3) - 16, 0)
508        || (unsigned)src_y > FFMAX(   v_edge_pos - (motion_y&3) - h , 0)){
509         s->dsp.emulated_edge_mc(s->edge_emu_buffer, ptr_y, s->linesize,
510                             17, 17+field_based, src_x, src_y<<field_based,
511                             s->h_edge_pos, s->v_edge_pos);
512         ptr_y= s->edge_emu_buffer;
513         if(!CONFIG_GRAY || !(s->flags&CODEC_FLAG_GRAY)){
514             uint8_t *uvbuf= s->edge_emu_buffer + 18*s->linesize;
515             s->dsp.emulated_edge_mc(uvbuf, ptr_cb, s->uvlinesize,
516                                 9, 9 + field_based,
517                                 uvsrc_x, uvsrc_y<<field_based,
518                                 s->h_edge_pos>>1, s->v_edge_pos>>1);
519             s->dsp.emulated_edge_mc(uvbuf + 16, ptr_cr, s->uvlinesize,
520                                 9, 9 + field_based,
521                                 uvsrc_x, uvsrc_y<<field_based,
522                                 s->h_edge_pos>>1, s->v_edge_pos>>1);
523             ptr_cb= uvbuf;
524             ptr_cr= uvbuf + 16;
525         }
526     }
527
528     if(!field_based)
529         qpix_op[0][dxy](dest_y, ptr_y, linesize);
530     else{
531         if(bottom_field){
532             dest_y += s->linesize;
533             dest_cb+= s->uvlinesize;
534             dest_cr+= s->uvlinesize;
535         }
536
537         if(field_select){
538             ptr_y  += s->linesize;
539             ptr_cb += s->uvlinesize;
540             ptr_cr += s->uvlinesize;
541         }
542         //damn interlaced mode
543         //FIXME boundary mirroring is not exactly correct here
544         qpix_op[1][dxy](dest_y  , ptr_y  , linesize);
545         qpix_op[1][dxy](dest_y+8, ptr_y+8, linesize);
546     }
547     if(!CONFIG_GRAY || !(s->flags&CODEC_FLAG_GRAY)){
548         pix_op[1][uvdxy](dest_cr, ptr_cr, uvlinesize, h >> 1);
549         pix_op[1][uvdxy](dest_cb, ptr_cb, uvlinesize, h >> 1);
550     }
551 }
552
553 /**
554  * h263 chroma 4mv motion compensation.
555  */
556 static inline void chroma_4mv_motion(MpegEncContext *s,
557                                      uint8_t *dest_cb, uint8_t *dest_cr,
558                                      uint8_t **ref_picture,
559                                      op_pixels_func *pix_op,
560                                      int mx, int my){
561     int dxy, emu=0, src_x, src_y, offset;
562     uint8_t *ptr;
563
564     /* In case of 8X8, we construct a single chroma motion vector
565        with a special rounding */
566     mx= ff_h263_round_chroma(mx);
567     my= ff_h263_round_chroma(my);
568
569     dxy = ((my & 1) << 1) | (mx & 1);
570     mx >>= 1;
571     my >>= 1;
572
573     src_x = s->mb_x * 8 + mx;
574     src_y = s->mb_y * 8 + my;
575     src_x = av_clip(src_x, -8, (s->width >> 1));
576     if (src_x == (s->width >> 1))
577         dxy &= ~1;
578     src_y = av_clip(src_y, -8, (s->height >> 1));
579     if (src_y == (s->height >> 1))
580         dxy &= ~2;
581
582     offset = src_y * s->uvlinesize + src_x;
583     ptr = ref_picture[1] + offset;
584     if(s->flags&CODEC_FLAG_EMU_EDGE){
585         if(   (unsigned)src_x > FFMAX((s->h_edge_pos>>1) - (dxy &1) - 8, 0)
586            || (unsigned)src_y > FFMAX((s->v_edge_pos>>1) - (dxy>>1) - 8, 0)){
587             s->dsp.emulated_edge_mc(s->edge_emu_buffer, ptr, s->uvlinesize,
588                                 9, 9, src_x, src_y,
589                                 s->h_edge_pos>>1, s->v_edge_pos>>1);
590             ptr= s->edge_emu_buffer;
591             emu=1;
592         }
593     }
594     pix_op[dxy](dest_cb, ptr, s->uvlinesize, 8);
595
596     ptr = ref_picture[2] + offset;
597     if(emu){
598         s->dsp.emulated_edge_mc(s->edge_emu_buffer, ptr, s->uvlinesize,
599                             9, 9, src_x, src_y,
600                             s->h_edge_pos>>1, s->v_edge_pos>>1);
601         ptr= s->edge_emu_buffer;
602     }
603     pix_op[dxy](dest_cr, ptr, s->uvlinesize, 8);
604 }
605
606 static inline void prefetch_motion(MpegEncContext *s, uint8_t **pix, int dir){
607     /* fetch pixels for estimated mv 4 macroblocks ahead
608      * optimized for 64byte cache lines */
609     const int shift = s->quarter_sample ? 2 : 1;
610     const int mx= (s->mv[dir][0][0]>>shift) + 16*s->mb_x + 8;
611     const int my= (s->mv[dir][0][1]>>shift) + 16*s->mb_y;
612     int off= mx + (my + (s->mb_x&3)*4)*s->linesize + 64;
613     s->dsp.prefetch(pix[0]+off, s->linesize, 4);
614     off= (mx>>1) + ((my>>1) + (s->mb_x&7))*s->uvlinesize + 64;
615     s->dsp.prefetch(pix[1]+off, pix[2]-pix[1], 2);
616 }
617
618 /**
619  * motion compensation of a single macroblock
620  * @param s context
621  * @param dest_y luma destination pointer
622  * @param dest_cb chroma cb/u destination pointer
623  * @param dest_cr chroma cr/v destination pointer
624  * @param dir direction (0->forward, 1->backward)
625  * @param ref_picture array[3] of pointers to the 3 planes of the reference picture
626  * @param pix_op halfpel motion compensation function (average or put normally)
627  * @param qpix_op qpel motion compensation function (average or put normally)
628  * the motion vectors are taken from s->mv and the MV type from s->mv_type
629  */
630 static av_always_inline void MPV_motion_internal(MpegEncContext *s,
631                               uint8_t *dest_y, uint8_t *dest_cb,
632                               uint8_t *dest_cr, int dir,
633                               uint8_t **ref_picture,
634                               op_pixels_func (*pix_op)[4],
635                               qpel_mc_func (*qpix_op)[16], int is_mpeg12)
636 {
637     int dxy, mx, my, src_x, src_y, motion_x, motion_y;
638     int mb_x, mb_y, i;
639     uint8_t *ptr, *dest;
640
641     mb_x = s->mb_x;
642     mb_y = s->mb_y;
643
644     prefetch_motion(s, ref_picture, dir);
645
646     if(!is_mpeg12 && s->obmc && s->pict_type != AV_PICTURE_TYPE_B){
647         int16_t mv_cache[4][4][2];
648         const int xy= s->mb_x + s->mb_y*s->mb_stride;
649         const int mot_stride= s->b8_stride;
650         const int mot_xy= mb_x*2 + mb_y*2*mot_stride;
651
652         assert(!s->mb_skipped);
653
654         memcpy(mv_cache[1][1], s->current_picture.f.motion_val[0][mot_xy             ], sizeof(int16_t) * 4);
655         memcpy(mv_cache[2][1], s->current_picture.f.motion_val[0][mot_xy + mot_stride], sizeof(int16_t) * 4);
656         memcpy(mv_cache[3][1], s->current_picture.f.motion_val[0][mot_xy + mot_stride], sizeof(int16_t) * 4);
657
658         if (mb_y == 0 || IS_INTRA(s->current_picture.f.mb_type[xy - s->mb_stride])) {
659             memcpy(mv_cache[0][1], mv_cache[1][1], sizeof(int16_t)*4);
660         }else{
661             memcpy(mv_cache[0][1], s->current_picture.f.motion_val[0][mot_xy - mot_stride], sizeof(int16_t) * 4);
662         }
663
664         if (mb_x == 0 || IS_INTRA(s->current_picture.f.mb_type[xy - 1])) {
665             AV_COPY32(mv_cache[1][0], mv_cache[1][1]);
666             AV_COPY32(mv_cache[2][0], mv_cache[2][1]);
667         }else{
668             AV_COPY32(mv_cache[1][0], s->current_picture.f.motion_val[0][mot_xy - 1]);
669             AV_COPY32(mv_cache[2][0], s->current_picture.f.motion_val[0][mot_xy - 1 + mot_stride]);
670         }
671
672         if (mb_x + 1 >= s->mb_width || IS_INTRA(s->current_picture.f.mb_type[xy + 1])) {
673             AV_COPY32(mv_cache[1][3], mv_cache[1][2]);
674             AV_COPY32(mv_cache[2][3], mv_cache[2][2]);
675         }else{
676             AV_COPY32(mv_cache[1][3], s->current_picture.f.motion_val[0][mot_xy + 2]);
677             AV_COPY32(mv_cache[2][3], s->current_picture.f.motion_val[0][mot_xy + 2 + mot_stride]);
678         }
679
680         mx = 0;
681         my = 0;
682         for(i=0;i<4;i++) {
683             const int x= (i&1)+1;
684             const int y= (i>>1)+1;
685             int16_t mv[5][2]= {
686                 {mv_cache[y][x  ][0], mv_cache[y][x  ][1]},
687                 {mv_cache[y-1][x][0], mv_cache[y-1][x][1]},
688                 {mv_cache[y][x-1][0], mv_cache[y][x-1][1]},
689                 {mv_cache[y][x+1][0], mv_cache[y][x+1][1]},
690                 {mv_cache[y+1][x][0], mv_cache[y+1][x][1]}};
691             //FIXME cleanup
692             obmc_motion(s, dest_y + ((i & 1) * 8) + (i >> 1) * 8 * s->linesize,
693                         ref_picture[0],
694                         mb_x * 16 + (i & 1) * 8, mb_y * 16 + (i >>1) * 8,
695                         pix_op[1],
696                         mv);
697
698             mx += mv[0][0];
699             my += mv[0][1];
700         }
701         if(!CONFIG_GRAY || !(s->flags&CODEC_FLAG_GRAY))
702             chroma_4mv_motion(s, dest_cb, dest_cr, ref_picture, pix_op[1], mx, my);
703
704         return;
705     }
706
707     switch(s->mv_type) {
708     case MV_TYPE_16X16:
709         if(s->mcsel){
710             if(s->real_sprite_warping_points==1){
711                 gmc1_motion(s, dest_y, dest_cb, dest_cr,
712                             ref_picture);
713             }else{
714                 gmc_motion(s, dest_y, dest_cb, dest_cr,
715                             ref_picture);
716             }
717         }else if(!is_mpeg12 && s->quarter_sample){
718             qpel_motion(s, dest_y, dest_cb, dest_cr,
719                         0, 0, 0,
720                         ref_picture, pix_op, qpix_op,
721                         s->mv[dir][0][0], s->mv[dir][0][1], 16);
722         } else if (!is_mpeg12 && (CONFIG_WMV2_DECODER || CONFIG_WMV2_ENCODER) &&
723                    s->mspel && s->codec_id == AV_CODEC_ID_WMV2) {
724             ff_mspel_motion(s, dest_y, dest_cb, dest_cr,
725                         ref_picture, pix_op,
726                         s->mv[dir][0][0], s->mv[dir][0][1], 16);
727         }else
728         {
729             mpeg_motion(s, dest_y, dest_cb, dest_cr, 0,
730                         ref_picture, pix_op,
731                         s->mv[dir][0][0], s->mv[dir][0][1], 16, mb_y);
732         }
733         break;
734     case MV_TYPE_8X8:
735     if (!is_mpeg12) {
736         mx = 0;
737         my = 0;
738         if(s->quarter_sample){
739             for(i=0;i<4;i++) {
740                 motion_x = s->mv[dir][i][0];
741                 motion_y = s->mv[dir][i][1];
742
743                 dxy = ((motion_y & 3) << 2) | (motion_x & 3);
744                 src_x = mb_x * 16 + (motion_x >> 2) + (i & 1) * 8;
745                 src_y = mb_y * 16 + (motion_y >> 2) + (i >>1) * 8;
746
747                 /* WARNING: do no forget half pels */
748                 src_x = av_clip(src_x, -16, s->width);
749                 if (src_x == s->width)
750                     dxy &= ~3;
751                 src_y = av_clip(src_y, -16, s->height);
752                 if (src_y == s->height)
753                     dxy &= ~12;
754
755                 ptr = ref_picture[0] + (src_y * s->linesize) + (src_x);
756                 if(s->flags&CODEC_FLAG_EMU_EDGE){
757                     if(   (unsigned)src_x > FFMAX(s->h_edge_pos - (motion_x&3) - 8, 0)
758                        || (unsigned)src_y > FFMAX(s->v_edge_pos - (motion_y&3) - 8, 0)){
759                         s->dsp.emulated_edge_mc(s->edge_emu_buffer, ptr,
760                                             s->linesize, 9, 9,
761                                             src_x, src_y,
762                                             s->h_edge_pos, s->v_edge_pos);
763                         ptr= s->edge_emu_buffer;
764                     }
765                 }
766                 dest = dest_y + ((i & 1) * 8) + (i >> 1) * 8 * s->linesize;
767                 qpix_op[1][dxy](dest, ptr, s->linesize);
768
769                 mx += s->mv[dir][i][0]/2;
770                 my += s->mv[dir][i][1]/2;
771             }
772         }else{
773             for(i=0;i<4;i++) {
774                 hpel_motion(s, dest_y + ((i & 1) * 8) + (i >> 1) * 8 * s->linesize,
775                             ref_picture[0], 0, 0,
776                             mb_x * 16 + (i & 1) * 8, mb_y * 16 + (i >>1) * 8,
777                             s->width, s->height, s->linesize,
778                             s->h_edge_pos, s->v_edge_pos,
779                             8, 8, pix_op[1],
780                             s->mv[dir][i][0], s->mv[dir][i][1]);
781
782                 mx += s->mv[dir][i][0];
783                 my += s->mv[dir][i][1];
784             }
785         }
786
787         if(!CONFIG_GRAY || !(s->flags&CODEC_FLAG_GRAY))
788             chroma_4mv_motion(s, dest_cb, dest_cr, ref_picture, pix_op[1], mx, my);
789     }
790         break;
791     case MV_TYPE_FIELD:
792         if (s->picture_structure == PICT_FRAME) {
793             if(!is_mpeg12 && s->quarter_sample){
794                 for(i=0; i<2; i++){
795                     qpel_motion(s, dest_y, dest_cb, dest_cr,
796                                 1, i, s->field_select[dir][i],
797                                 ref_picture, pix_op, qpix_op,
798                                 s->mv[dir][i][0], s->mv[dir][i][1], 8);
799                 }
800             }else{
801                 /* top field */
802                 mpeg_motion_field(s, dest_y, dest_cb, dest_cr,
803                                   0, s->field_select[dir][0],
804                                   ref_picture, pix_op,
805                                   s->mv[dir][0][0], s->mv[dir][0][1], 8, mb_y);
806                 /* bottom field */
807                 mpeg_motion_field(s, dest_y, dest_cb, dest_cr,
808                                   1, s->field_select[dir][1],
809                                   ref_picture, pix_op,
810                                   s->mv[dir][1][0], s->mv[dir][1][1], 8, mb_y);
811             }
812         } else {
813             if(s->picture_structure != s->field_select[dir][0] + 1 && s->pict_type != AV_PICTURE_TYPE_B && !s->first_field){
814                 ref_picture = s->current_picture_ptr->f.data;
815             }
816
817             mpeg_motion(s, dest_y, dest_cb, dest_cr,
818                         s->field_select[dir][0],
819                         ref_picture, pix_op,
820                         s->mv[dir][0][0], s->mv[dir][0][1], 16, mb_y>>1);
821         }
822         break;
823     case MV_TYPE_16X8:
824         for(i=0; i<2; i++){
825             uint8_t ** ref2picture;
826
827             if(s->picture_structure == s->field_select[dir][i] + 1
828                || s->pict_type == AV_PICTURE_TYPE_B || s->first_field){
829                 ref2picture= ref_picture;
830             }else{
831                 ref2picture = s->current_picture_ptr->f.data;
832             }
833
834             mpeg_motion(s, dest_y, dest_cb, dest_cr,
835                         s->field_select[dir][i],
836                         ref2picture, pix_op,
837                         s->mv[dir][i][0], s->mv[dir][i][1] + 16*i, 8, mb_y>>1);
838
839             dest_y += 16*s->linesize;
840             dest_cb+= (16>>s->chroma_y_shift)*s->uvlinesize;
841             dest_cr+= (16>>s->chroma_y_shift)*s->uvlinesize;
842         }
843         break;
844     case MV_TYPE_DMV:
845         if(s->picture_structure == PICT_FRAME){
846             for(i=0; i<2; i++){
847                 int j;
848                 for(j=0; j<2; j++){
849                     mpeg_motion_field(s, dest_y, dest_cb, dest_cr,
850                                       j, j^i, ref_picture, pix_op,
851                                       s->mv[dir][2*i + j][0],
852                                       s->mv[dir][2*i + j][1], 8, mb_y);
853                 }
854                 pix_op = s->dsp.avg_pixels_tab;
855             }
856         }else{
857             for(i=0; i<2; i++){
858                 mpeg_motion(s, dest_y, dest_cb, dest_cr,
859                             s->picture_structure != i+1,
860                             ref_picture, pix_op,
861                             s->mv[dir][2*i][0],s->mv[dir][2*i][1],16, mb_y>>1);
862
863                 // after put we make avg of the same block
864                 pix_op=s->dsp.avg_pixels_tab;
865
866                 //opposite parity is always in the same frame if this is second field
867                 if(!s->first_field){
868                     ref_picture = s->current_picture_ptr->f.data;
869                 }
870             }
871         }
872     break;
873     default: assert(0);
874     }
875 }
876
877 void ff_MPV_motion(MpegEncContext *s,
878                    uint8_t *dest_y, uint8_t *dest_cb,
879                    uint8_t *dest_cr, int dir,
880                    uint8_t **ref_picture,
881                    op_pixels_func (*pix_op)[4],
882                    qpel_mc_func (*qpix_op)[16])
883 {
884 #if !CONFIG_SMALL
885     if(s->out_format == FMT_MPEG1)
886         MPV_motion_internal(s, dest_y, dest_cb, dest_cr, dir,
887                             ref_picture, pix_op, qpix_op, 1);
888     else
889 #endif
890         MPV_motion_internal(s, dest_y, dest_cb, dest_cr, dir,
891                             ref_picture, pix_op, qpix_op, 0);
892 }