Merge commit 'd4d9068cdf8f4b2b87ae87a2ef880d243f77b977'
[ffmpeg.git] / libavcodec / h264_direct.c
1 /*
2  * H.26L/H.264/AVC/JVT/14496-10/... direct mb/block decoding
3  * Copyright (c) 2003 Michael Niedermayer <michaelni@gmx.at>
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with FFmpeg; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 /**
23  * @file
24  * H.264 / AVC / MPEG4 part10 direct mb/block decoding.
25  * @author Michael Niedermayer <michaelni@gmx.at>
26  */
27
28 #include "internal.h"
29 #include "avcodec.h"
30 #include "h264.h"
31 #include "mpegutils.h"
32 #include "rectangle.h"
33 #include "thread.h"
34
35 #include <assert.h>
36
37 static int get_scale_factor(H264Context *const h, H264SliceContext *sl,
38                             int poc, int poc1, int i)
39 {
40     int poc0 = sl->ref_list[0][i].poc;
41     int td = av_clip_int8(poc1 - poc0);
42     if (td == 0 || sl->ref_list[0][i].long_ref) {
43         return 256;
44     } else {
45         int tb = av_clip_int8(poc - poc0);
46         int tx = (16384 + (FFABS(td) >> 1)) / td;
47         return av_clip_intp2((tb * tx + 32) >> 6, 10);
48     }
49 }
50
51 void ff_h264_direct_dist_scale_factor(H264Context *const h,
52                                       H264SliceContext *sl)
53 {
54     const int poc  = FIELD_PICTURE(h) ? h->cur_pic_ptr->field_poc[h->picture_structure == PICT_BOTTOM_FIELD]
55                                       : h->cur_pic_ptr->poc;
56     const int poc1 = sl->ref_list[1][0].poc;
57     int i, field;
58
59     if (FRAME_MBAFF(h))
60         for (field = 0; field < 2; field++) {
61             const int poc  = h->cur_pic_ptr->field_poc[field];
62             const int poc1 = sl->ref_list[1][0].field_poc[field];
63             for (i = 0; i < 2 * sl->ref_count[0]; i++)
64                 sl->dist_scale_factor_field[field][i ^ field] =
65                     get_scale_factor(h, sl, poc, poc1, i + 16);
66         }
67
68     for (i = 0; i < sl->ref_count[0]; i++)
69         sl->dist_scale_factor[i] = get_scale_factor(h, sl, poc, poc1, i);
70 }
71
72 static void fill_colmap(H264Context *h, H264SliceContext *sl,
73                         int map[2][16 + 32], int list,
74                         int field, int colfield, int mbafi)
75 {
76     H264Picture *const ref1 = &sl->ref_list[1][0];
77     int j, old_ref, rfield;
78     int start  = mbafi ? 16                       : 0;
79     int end    = mbafi ? 16 + 2 * sl->ref_count[0] : sl->ref_count[0];
80     int interl = mbafi || h->picture_structure != PICT_FRAME;
81
82     /* bogus; fills in for missing frames */
83     memset(map[list], 0, sizeof(map[list]));
84
85     for (rfield = 0; rfield < 2; rfield++) {
86         for (old_ref = 0; old_ref < ref1->ref_count[colfield][list]; old_ref++) {
87             int poc = ref1->ref_poc[colfield][list][old_ref];
88
89             if (!interl)
90                 poc |= 3;
91             // FIXME: store all MBAFF references so this is not needed
92             else if (interl && (poc & 3) == 3)
93                 poc = (poc & ~3) + rfield + 1;
94
95             for (j = start; j < end; j++) {
96                 if (4 * sl->ref_list[0][j].frame_num +
97                     (sl->ref_list[0][j].reference & 3) == poc) {
98                     int cur_ref = mbafi ? (j - 16) ^ field : j;
99                     if (ref1->mbaff)
100                         map[list][2 * old_ref + (rfield ^ field) + 16] = cur_ref;
101                     if (rfield == field || !interl)
102                         map[list][old_ref] = cur_ref;
103                     break;
104                 }
105             }
106         }
107     }
108 }
109
110 void ff_h264_direct_ref_list_init(H264Context *const h, H264SliceContext *sl)
111 {
112     H264Picture *const ref1 = &sl->ref_list[1][0];
113     H264Picture *const cur = h->cur_pic_ptr;
114     int list, j, field;
115     int sidx     = (h->picture_structure & 1) ^ 1;
116     int ref1sidx = (ref1->reference      & 1) ^ 1;
117
118     for (list = 0; list < 2; list++) {
119         cur->ref_count[sidx][list] = sl->ref_count[list];
120         for (j = 0; j < sl->ref_count[list]; j++)
121             cur->ref_poc[sidx][list][j] = 4 * sl->ref_list[list][j].frame_num +
122                                           (sl->ref_list[list][j].reference & 3);
123     }
124
125     if (h->picture_structure == PICT_FRAME) {
126         memcpy(cur->ref_count[1], cur->ref_count[0], sizeof(cur->ref_count[0]));
127         memcpy(cur->ref_poc[1],   cur->ref_poc[0],   sizeof(cur->ref_poc[0]));
128     }
129
130     cur->mbaff = FRAME_MBAFF(h);
131
132     sl->col_fieldoff = 0;
133     if (h->picture_structure == PICT_FRAME) {
134         int cur_poc  = h->cur_pic_ptr->poc;
135         int *col_poc = sl->ref_list[1]->field_poc;
136         sl->col_parity = (FFABS(col_poc[0] - cur_poc) >=
137                           FFABS(col_poc[1] - cur_poc));
138         ref1sidx =
139         sidx     = sl->col_parity;
140     // FL -> FL & differ parity
141     } else if (!(h->picture_structure & sl->ref_list[1][0].reference) &&
142                !sl->ref_list[1][0].mbaff) {
143         sl->col_fieldoff = 2 * sl->ref_list[1][0].reference - 3;
144     }
145
146     if (sl->slice_type_nos != AV_PICTURE_TYPE_B || sl->direct_spatial_mv_pred)
147         return;
148
149     for (list = 0; list < 2; list++) {
150         fill_colmap(h, sl, sl->map_col_to_list0, list, sidx, ref1sidx, 0);
151         if (FRAME_MBAFF(h))
152             for (field = 0; field < 2; field++)
153                 fill_colmap(h, sl, sl->map_col_to_list0_field[field], list, field,
154                             field, 1);
155     }
156 }
157
158 static void await_reference_mb_row(H264Context *const h, H264Picture *ref,
159                                    int mb_y)
160 {
161     int ref_field         = ref->reference - 1;
162     int ref_field_picture = ref->field_picture;
163     int ref_height        = 16 * h->mb_height >> ref_field_picture;
164
165     if (!HAVE_THREADS || !(h->avctx->active_thread_type & FF_THREAD_FRAME))
166         return;
167
168     /* FIXME: It can be safe to access mb stuff
169      * even if pixels aren't deblocked yet. */
170
171     ff_thread_await_progress(&ref->tf,
172                              FFMIN(16 * mb_y >> ref_field_picture,
173                                    ref_height - 1),
174                              ref_field_picture && ref_field);
175 }
176
177 static void pred_spatial_direct_motion(H264Context *const h, H264SliceContext *sl,
178                                        int *mb_type)
179 {
180     int b8_stride = 2;
181     int b4_stride = h->b_stride;
182     int mb_xy = sl->mb_xy, mb_y = sl->mb_y;
183     int mb_type_col[2];
184     const int16_t (*l1mv0)[2], (*l1mv1)[2];
185     const int8_t *l1ref0, *l1ref1;
186     const int is_b8x8 = IS_8X8(*mb_type);
187     unsigned int sub_mb_type = MB_TYPE_L0L1;
188     int i8, i4;
189     int ref[2];
190     int mv[2];
191     int list;
192
193     assert(sl->ref_list[1][0].reference & 3);
194
195     await_reference_mb_row(h, &sl->ref_list[1][0],
196                            sl->mb_y + !!IS_INTERLACED(*mb_type));
197
198 #define MB_TYPE_16x16_OR_INTRA (MB_TYPE_16x16 | MB_TYPE_INTRA4x4 | \
199                                 MB_TYPE_INTRA16x16 | MB_TYPE_INTRA_PCM)
200
201     /* ref = min(neighbors) */
202     for (list = 0; list < 2; list++) {
203         int left_ref     = sl->ref_cache[list][scan8[0] - 1];
204         int top_ref      = sl->ref_cache[list][scan8[0] - 8];
205         int refc         = sl->ref_cache[list][scan8[0] - 8 + 4];
206         const int16_t *C = sl->mv_cache[list][scan8[0]  - 8 + 4];
207         if (refc == PART_NOT_AVAILABLE) {
208             refc = sl->ref_cache[list][scan8[0] - 8 - 1];
209             C    = sl->mv_cache[list][scan8[0]  - 8 - 1];
210         }
211         ref[list] = FFMIN3((unsigned)left_ref,
212                            (unsigned)top_ref,
213                            (unsigned)refc);
214         if (ref[list] >= 0) {
215             /* This is just pred_motion() but with the cases removed that
216              * cannot happen for direct blocks. */
217             const int16_t *const A = sl->mv_cache[list][scan8[0] - 1];
218             const int16_t *const B = sl->mv_cache[list][scan8[0] - 8];
219
220             int match_count = (left_ref == ref[list]) +
221                               (top_ref  == ref[list]) +
222                               (refc     == ref[list]);
223
224             if (match_count > 1) { // most common
225                 mv[list] = pack16to32(mid_pred(A[0], B[0], C[0]),
226                                       mid_pred(A[1], B[1], C[1]));
227             } else {
228                 assert(match_count == 1);
229                 if (left_ref == ref[list])
230                     mv[list] = AV_RN32A(A);
231                 else if (top_ref == ref[list])
232                     mv[list] = AV_RN32A(B);
233                 else
234                     mv[list] = AV_RN32A(C);
235             }
236             av_assert2(ref[list] < (sl->ref_count[list] << !!FRAME_MBAFF(h)));
237         } else {
238             int mask = ~(MB_TYPE_L0 << (2 * list));
239             mv[list]  = 0;
240             ref[list] = -1;
241             if (!is_b8x8)
242                 *mb_type &= mask;
243             sub_mb_type &= mask;
244         }
245     }
246     if (ref[0] < 0 && ref[1] < 0) {
247         ref[0] = ref[1] = 0;
248         if (!is_b8x8)
249             *mb_type |= MB_TYPE_L0L1;
250         sub_mb_type |= MB_TYPE_L0L1;
251     }
252
253     if (!(is_b8x8 | mv[0] | mv[1])) {
254         fill_rectangle(&sl->ref_cache[0][scan8[0]], 4, 4, 8, (uint8_t)ref[0], 1);
255         fill_rectangle(&sl->ref_cache[1][scan8[0]], 4, 4, 8, (uint8_t)ref[1], 1);
256         fill_rectangle(&sl->mv_cache[0][scan8[0]], 4, 4, 8, 0, 4);
257         fill_rectangle(&sl->mv_cache[1][scan8[0]], 4, 4, 8, 0, 4);
258         *mb_type = (*mb_type & ~(MB_TYPE_8x8 | MB_TYPE_16x8 | MB_TYPE_8x16 |
259                                  MB_TYPE_P1L0 | MB_TYPE_P1L1)) |
260                    MB_TYPE_16x16 | MB_TYPE_DIRECT2;
261         return;
262     }
263
264     if (IS_INTERLACED(sl->ref_list[1][0].mb_type[mb_xy])) { // AFL/AFR/FR/FL -> AFL/FL
265         if (!IS_INTERLACED(*mb_type)) {                    //     AFR/FR    -> AFL/FL
266             mb_y  = (sl->mb_y & ~1) + sl->col_parity;
267             mb_xy = sl->mb_x +
268                     ((sl->mb_y & ~1) + sl->col_parity) * h->mb_stride;
269             b8_stride = 0;
270         } else {
271             mb_y  += sl->col_fieldoff;
272             mb_xy += h->mb_stride * sl->col_fieldoff; // non-zero for FL -> FL & differ parity
273         }
274         goto single_col;
275     } else {                                             // AFL/AFR/FR/FL -> AFR/FR
276         if (IS_INTERLACED(*mb_type)) {                   // AFL       /FL -> AFR/FR
277             mb_y           =  sl->mb_y & ~1;
278             mb_xy          = (sl->mb_y & ~1) * h->mb_stride + sl->mb_x;
279             mb_type_col[0] = sl->ref_list[1][0].mb_type[mb_xy];
280             mb_type_col[1] = sl->ref_list[1][0].mb_type[mb_xy + h->mb_stride];
281             b8_stride      = 2 + 4 * h->mb_stride;
282             b4_stride     *= 6;
283             if (IS_INTERLACED(mb_type_col[0]) !=
284                 IS_INTERLACED(mb_type_col[1])) {
285                 mb_type_col[0] &= ~MB_TYPE_INTERLACED;
286                 mb_type_col[1] &= ~MB_TYPE_INTERLACED;
287             }
288
289             sub_mb_type |= MB_TYPE_16x16 | MB_TYPE_DIRECT2; /* B_SUB_8x8 */
290             if ((mb_type_col[0] & MB_TYPE_16x16_OR_INTRA) &&
291                 (mb_type_col[1] & MB_TYPE_16x16_OR_INTRA) &&
292                 !is_b8x8) {
293                 *mb_type |= MB_TYPE_16x8 | MB_TYPE_DIRECT2;  /* B_16x8 */
294             } else {
295                 *mb_type |= MB_TYPE_8x8;
296             }
297         } else {                                         //     AFR/FR    -> AFR/FR
298 single_col:
299             mb_type_col[0] =
300             mb_type_col[1] = sl->ref_list[1][0].mb_type[mb_xy];
301
302             sub_mb_type |= MB_TYPE_16x16 | MB_TYPE_DIRECT2; /* B_SUB_8x8 */
303             if (!is_b8x8 && (mb_type_col[0] & MB_TYPE_16x16_OR_INTRA)) {
304                 *mb_type |= MB_TYPE_16x16 | MB_TYPE_DIRECT2; /* B_16x16 */
305             } else if (!is_b8x8 &&
306                        (mb_type_col[0] & (MB_TYPE_16x8 | MB_TYPE_8x16))) {
307                 *mb_type |= MB_TYPE_DIRECT2 |
308                             (mb_type_col[0] & (MB_TYPE_16x8 | MB_TYPE_8x16));
309             } else {
310                 if (!h->sps.direct_8x8_inference_flag) {
311                     /* FIXME: Save sub mb types from previous frames (or derive
312                      * from MVs) so we know exactly what block size to use. */
313                     sub_mb_type += (MB_TYPE_8x8 - MB_TYPE_16x16); /* B_SUB_4x4 */
314                 }
315                 *mb_type |= MB_TYPE_8x8;
316             }
317         }
318     }
319
320     await_reference_mb_row(h, &sl->ref_list[1][0], mb_y);
321
322     l1mv0  = (void*)&sl->ref_list[1][0].motion_val[0][h->mb2b_xy[mb_xy]];
323     l1mv1  = (void*)&sl->ref_list[1][0].motion_val[1][h->mb2b_xy[mb_xy]];
324     l1ref0 = &sl->ref_list[1][0].ref_index[0][4 * mb_xy];
325     l1ref1 = &sl->ref_list[1][0].ref_index[1][4 * mb_xy];
326     if (!b8_stride) {
327         if (sl->mb_y & 1) {
328             l1ref0 += 2;
329             l1ref1 += 2;
330             l1mv0  += 2 * b4_stride;
331             l1mv1  += 2 * b4_stride;
332         }
333     }
334
335     if (IS_INTERLACED(*mb_type) != IS_INTERLACED(mb_type_col[0])) {
336         int n = 0;
337         for (i8 = 0; i8 < 4; i8++) {
338             int x8  = i8 & 1;
339             int y8  = i8 >> 1;
340             int xy8 = x8     + y8 * b8_stride;
341             int xy4 = x8 * 3 + y8 * b4_stride;
342             int a, b;
343
344             if (is_b8x8 && !IS_DIRECT(sl->sub_mb_type[i8]))
345                 continue;
346             sl->sub_mb_type[i8] = sub_mb_type;
347
348             fill_rectangle(&sl->ref_cache[0][scan8[i8 * 4]], 2, 2, 8,
349                            (uint8_t)ref[0], 1);
350             fill_rectangle(&sl->ref_cache[1][scan8[i8 * 4]], 2, 2, 8,
351                            (uint8_t)ref[1], 1);
352             if (!IS_INTRA(mb_type_col[y8]) && !sl->ref_list[1][0].long_ref &&
353                 ((l1ref0[xy8] == 0 &&
354                   FFABS(l1mv0[xy4][0]) <= 1 &&
355                   FFABS(l1mv0[xy4][1]) <= 1) ||
356                  (l1ref0[xy8] < 0 &&
357                   l1ref1[xy8] == 0 &&
358                   FFABS(l1mv1[xy4][0]) <= 1 &&
359                   FFABS(l1mv1[xy4][1]) <= 1))) {
360                 a =
361                 b = 0;
362                 if (ref[0] > 0)
363                     a = mv[0];
364                 if (ref[1] > 0)
365                     b = mv[1];
366                 n++;
367             } else {
368                 a = mv[0];
369                 b = mv[1];
370             }
371             fill_rectangle(&sl->mv_cache[0][scan8[i8 * 4]], 2, 2, 8, a, 4);
372             fill_rectangle(&sl->mv_cache[1][scan8[i8 * 4]], 2, 2, 8, b, 4);
373         }
374         if (!is_b8x8 && !(n & 3))
375             *mb_type = (*mb_type & ~(MB_TYPE_8x8 | MB_TYPE_16x8 | MB_TYPE_8x16 |
376                                      MB_TYPE_P1L0 | MB_TYPE_P1L1)) |
377                        MB_TYPE_16x16 | MB_TYPE_DIRECT2;
378     } else if (IS_16X16(*mb_type)) {
379         int a, b;
380
381         fill_rectangle(&sl->ref_cache[0][scan8[0]], 4, 4, 8, (uint8_t)ref[0], 1);
382         fill_rectangle(&sl->ref_cache[1][scan8[0]], 4, 4, 8, (uint8_t)ref[1], 1);
383         if (!IS_INTRA(mb_type_col[0]) && !sl->ref_list[1][0].long_ref &&
384             ((l1ref0[0] == 0 &&
385               FFABS(l1mv0[0][0]) <= 1 &&
386               FFABS(l1mv0[0][1]) <= 1) ||
387              (l1ref0[0] < 0 && !l1ref1[0] &&
388               FFABS(l1mv1[0][0]) <= 1 &&
389               FFABS(l1mv1[0][1]) <= 1 &&
390               h->x264_build > 33U))) {
391             a = b = 0;
392             if (ref[0] > 0)
393                 a = mv[0];
394             if (ref[1] > 0)
395                 b = mv[1];
396         } else {
397             a = mv[0];
398             b = mv[1];
399         }
400         fill_rectangle(&sl->mv_cache[0][scan8[0]], 4, 4, 8, a, 4);
401         fill_rectangle(&sl->mv_cache[1][scan8[0]], 4, 4, 8, b, 4);
402     } else {
403         int n = 0;
404         for (i8 = 0; i8 < 4; i8++) {
405             const int x8 = i8 & 1;
406             const int y8 = i8 >> 1;
407
408             if (is_b8x8 && !IS_DIRECT(sl->sub_mb_type[i8]))
409                 continue;
410             sl->sub_mb_type[i8] = sub_mb_type;
411
412             fill_rectangle(&sl->mv_cache[0][scan8[i8 * 4]], 2, 2, 8, mv[0], 4);
413             fill_rectangle(&sl->mv_cache[1][scan8[i8 * 4]], 2, 2, 8, mv[1], 4);
414             fill_rectangle(&sl->ref_cache[0][scan8[i8 * 4]], 2, 2, 8,
415                            (uint8_t)ref[0], 1);
416             fill_rectangle(&sl->ref_cache[1][scan8[i8 * 4]], 2, 2, 8,
417                            (uint8_t)ref[1], 1);
418
419             assert(b8_stride == 2);
420             /* col_zero_flag */
421             if (!IS_INTRA(mb_type_col[0]) && !sl->ref_list[1][0].long_ref &&
422                 (l1ref0[i8] == 0 ||
423                  (l1ref0[i8] < 0 &&
424                   l1ref1[i8] == 0 &&
425                   h->x264_build > 33U))) {
426                 const int16_t (*l1mv)[2] = l1ref0[i8] == 0 ? l1mv0 : l1mv1;
427                 if (IS_SUB_8X8(sub_mb_type)) {
428                     const int16_t *mv_col = l1mv[x8 * 3 + y8 * 3 * b4_stride];
429                     if (FFABS(mv_col[0]) <= 1 && FFABS(mv_col[1]) <= 1) {
430                         if (ref[0] == 0)
431                             fill_rectangle(&sl->mv_cache[0][scan8[i8 * 4]], 2, 2,
432                                            8, 0, 4);
433                         if (ref[1] == 0)
434                             fill_rectangle(&sl->mv_cache[1][scan8[i8 * 4]], 2, 2,
435                                            8, 0, 4);
436                         n += 4;
437                     }
438                 } else {
439                     int m = 0;
440                     for (i4 = 0; i4 < 4; i4++) {
441                         const int16_t *mv_col = l1mv[x8 * 2 + (i4 & 1) +
442                                                      (y8 * 2 + (i4 >> 1)) * b4_stride];
443                         if (FFABS(mv_col[0]) <= 1 && FFABS(mv_col[1]) <= 1) {
444                             if (ref[0] == 0)
445                                 AV_ZERO32(sl->mv_cache[0][scan8[i8 * 4 + i4]]);
446                             if (ref[1] == 0)
447                                 AV_ZERO32(sl->mv_cache[1][scan8[i8 * 4 + i4]]);
448                             m++;
449                         }
450                     }
451                     if (!(m & 3))
452                         sl->sub_mb_type[i8] += MB_TYPE_16x16 - MB_TYPE_8x8;
453                     n += m;
454                 }
455             }
456         }
457         if (!is_b8x8 && !(n & 15))
458             *mb_type = (*mb_type & ~(MB_TYPE_8x8 | MB_TYPE_16x8 | MB_TYPE_8x16 |
459                                      MB_TYPE_P1L0 | MB_TYPE_P1L1)) |
460                        MB_TYPE_16x16 | MB_TYPE_DIRECT2;
461     }
462 }
463
464 static void pred_temp_direct_motion(H264Context *const h, H264SliceContext *sl,
465                                     int *mb_type)
466 {
467     int b8_stride = 2;
468     int b4_stride = h->b_stride;
469     int mb_xy = sl->mb_xy, mb_y = sl->mb_y;
470     int mb_type_col[2];
471     const int16_t (*l1mv0)[2], (*l1mv1)[2];
472     const int8_t *l1ref0, *l1ref1;
473     const int is_b8x8 = IS_8X8(*mb_type);
474     unsigned int sub_mb_type;
475     int i8, i4;
476
477     assert(sl->ref_list[1][0].reference & 3);
478
479     await_reference_mb_row(h, &sl->ref_list[1][0],
480                            sl->mb_y + !!IS_INTERLACED(*mb_type));
481
482     if (IS_INTERLACED(sl->ref_list[1][0].mb_type[mb_xy])) { // AFL/AFR/FR/FL -> AFL/FL
483         if (!IS_INTERLACED(*mb_type)) {                    //     AFR/FR    -> AFL/FL
484             mb_y  = (sl->mb_y & ~1) + sl->col_parity;
485             mb_xy = sl->mb_x +
486                     ((sl->mb_y & ~1) + sl->col_parity) * h->mb_stride;
487             b8_stride = 0;
488         } else {
489             mb_y  += sl->col_fieldoff;
490             mb_xy += h->mb_stride * sl->col_fieldoff; // non-zero for FL -> FL & differ parity
491         }
492         goto single_col;
493     } else {                                        // AFL/AFR/FR/FL -> AFR/FR
494         if (IS_INTERLACED(*mb_type)) {              // AFL       /FL -> AFR/FR
495             mb_y           = sl->mb_y & ~1;
496             mb_xy          = sl->mb_x + (sl->mb_y & ~1) * h->mb_stride;
497             mb_type_col[0] = sl->ref_list[1][0].mb_type[mb_xy];
498             mb_type_col[1] = sl->ref_list[1][0].mb_type[mb_xy + h->mb_stride];
499             b8_stride      = 2 + 4 * h->mb_stride;
500             b4_stride     *= 6;
501             if (IS_INTERLACED(mb_type_col[0]) !=
502                 IS_INTERLACED(mb_type_col[1])) {
503                 mb_type_col[0] &= ~MB_TYPE_INTERLACED;
504                 mb_type_col[1] &= ~MB_TYPE_INTERLACED;
505             }
506
507             sub_mb_type = MB_TYPE_16x16 | MB_TYPE_P0L0 | MB_TYPE_P0L1 |
508                           MB_TYPE_DIRECT2;                  /* B_SUB_8x8 */
509
510             if ((mb_type_col[0] & MB_TYPE_16x16_OR_INTRA) &&
511                 (mb_type_col[1] & MB_TYPE_16x16_OR_INTRA) &&
512                 !is_b8x8) {
513                 *mb_type |= MB_TYPE_16x8 | MB_TYPE_L0L1 |
514                             MB_TYPE_DIRECT2;                /* B_16x8 */
515             } else {
516                 *mb_type |= MB_TYPE_8x8 | MB_TYPE_L0L1;
517             }
518         } else {                                    //     AFR/FR    -> AFR/FR
519 single_col:
520             mb_type_col[0]     =
521                 mb_type_col[1] = sl->ref_list[1][0].mb_type[mb_xy];
522
523             sub_mb_type = MB_TYPE_16x16 | MB_TYPE_P0L0 | MB_TYPE_P0L1 |
524                           MB_TYPE_DIRECT2;                  /* B_SUB_8x8 */
525             if (!is_b8x8 && (mb_type_col[0] & MB_TYPE_16x16_OR_INTRA)) {
526                 *mb_type |= MB_TYPE_16x16 | MB_TYPE_P0L0 | MB_TYPE_P0L1 |
527                             MB_TYPE_DIRECT2;                /* B_16x16 */
528             } else if (!is_b8x8 &&
529                        (mb_type_col[0] & (MB_TYPE_16x8 | MB_TYPE_8x16))) {
530                 *mb_type |= MB_TYPE_L0L1 | MB_TYPE_DIRECT2 |
531                             (mb_type_col[0] & (MB_TYPE_16x8 | MB_TYPE_8x16));
532             } else {
533                 if (!h->sps.direct_8x8_inference_flag) {
534                     /* FIXME: save sub mb types from previous frames (or derive
535                      * from MVs) so we know exactly what block size to use */
536                     sub_mb_type = MB_TYPE_8x8 | MB_TYPE_P0L0 | MB_TYPE_P0L1 |
537                                   MB_TYPE_DIRECT2;          /* B_SUB_4x4 */
538                 }
539                 *mb_type |= MB_TYPE_8x8 | MB_TYPE_L0L1;
540             }
541         }
542     }
543
544     await_reference_mb_row(h, &sl->ref_list[1][0], mb_y);
545
546     l1mv0  = (void*)&sl->ref_list[1][0].motion_val[0][h->mb2b_xy[mb_xy]];
547     l1mv1  = (void*)&sl->ref_list[1][0].motion_val[1][h->mb2b_xy[mb_xy]];
548     l1ref0 = &sl->ref_list[1][0].ref_index[0][4 * mb_xy];
549     l1ref1 = &sl->ref_list[1][0].ref_index[1][4 * mb_xy];
550     if (!b8_stride) {
551         if (sl->mb_y & 1) {
552             l1ref0 += 2;
553             l1ref1 += 2;
554             l1mv0  += 2 * b4_stride;
555             l1mv1  += 2 * b4_stride;
556         }
557     }
558
559     {
560         const int *map_col_to_list0[2] = { sl->map_col_to_list0[0],
561                                            sl->map_col_to_list0[1] };
562         const int *dist_scale_factor = sl->dist_scale_factor;
563         int ref_offset;
564
565         if (FRAME_MBAFF(h) && IS_INTERLACED(*mb_type)) {
566             map_col_to_list0[0] = sl->map_col_to_list0_field[sl->mb_y & 1][0];
567             map_col_to_list0[1] = sl->map_col_to_list0_field[sl->mb_y & 1][1];
568             dist_scale_factor   = sl->dist_scale_factor_field[sl->mb_y & 1];
569         }
570         ref_offset = (sl->ref_list[1][0].mbaff << 4) & (mb_type_col[0] >> 3);
571
572         if (IS_INTERLACED(*mb_type) != IS_INTERLACED(mb_type_col[0])) {
573             int y_shift = 2 * !IS_INTERLACED(*mb_type);
574             assert(h->sps.direct_8x8_inference_flag);
575
576             for (i8 = 0; i8 < 4; i8++) {
577                 const int x8 = i8 & 1;
578                 const int y8 = i8 >> 1;
579                 int ref0, scale;
580                 const int16_t (*l1mv)[2] = l1mv0;
581
582                 if (is_b8x8 && !IS_DIRECT(sl->sub_mb_type[i8]))
583                     continue;
584                 sl->sub_mb_type[i8] = sub_mb_type;
585
586                 fill_rectangle(&sl->ref_cache[1][scan8[i8 * 4]], 2, 2, 8, 0, 1);
587                 if (IS_INTRA(mb_type_col[y8])) {
588                     fill_rectangle(&sl->ref_cache[0][scan8[i8 * 4]], 2, 2, 8, 0, 1);
589                     fill_rectangle(&sl->mv_cache[0][scan8[i8 * 4]], 2, 2, 8, 0, 4);
590                     fill_rectangle(&sl->mv_cache[1][scan8[i8 * 4]], 2, 2, 8, 0, 4);
591                     continue;
592                 }
593
594                 ref0 = l1ref0[x8 + y8 * b8_stride];
595                 if (ref0 >= 0)
596                     ref0 = map_col_to_list0[0][ref0 + ref_offset];
597                 else {
598                     ref0 = map_col_to_list0[1][l1ref1[x8 + y8 * b8_stride] +
599                                                ref_offset];
600                     l1mv = l1mv1;
601                 }
602                 scale = dist_scale_factor[ref0];
603                 fill_rectangle(&sl->ref_cache[0][scan8[i8 * 4]], 2, 2, 8,
604                                ref0, 1);
605
606                 {
607                     const int16_t *mv_col = l1mv[x8 * 3 + y8 * b4_stride];
608                     int my_col            = (mv_col[1] << y_shift) / 2;
609                     int mx                = (scale * mv_col[0] + 128) >> 8;
610                     int my                = (scale * my_col    + 128) >> 8;
611                     fill_rectangle(&sl->mv_cache[0][scan8[i8 * 4]], 2, 2, 8,
612                                    pack16to32(mx, my), 4);
613                     fill_rectangle(&sl->mv_cache[1][scan8[i8 * 4]], 2, 2, 8,
614                                    pack16to32(mx - mv_col[0], my - my_col), 4);
615                 }
616             }
617             return;
618         }
619
620         /* one-to-one mv scaling */
621
622         if (IS_16X16(*mb_type)) {
623             int ref, mv0, mv1;
624
625             fill_rectangle(&sl->ref_cache[1][scan8[0]], 4, 4, 8, 0, 1);
626             if (IS_INTRA(mb_type_col[0])) {
627                 ref = mv0 = mv1 = 0;
628             } else {
629                 const int ref0 = l1ref0[0] >= 0 ? map_col_to_list0[0][l1ref0[0] + ref_offset]
630                                                 : map_col_to_list0[1][l1ref1[0] + ref_offset];
631                 const int scale = dist_scale_factor[ref0];
632                 const int16_t *mv_col = l1ref0[0] >= 0 ? l1mv0[0] : l1mv1[0];
633                 int mv_l0[2];
634                 mv_l0[0] = (scale * mv_col[0] + 128) >> 8;
635                 mv_l0[1] = (scale * mv_col[1] + 128) >> 8;
636                 ref      = ref0;
637                 mv0      = pack16to32(mv_l0[0], mv_l0[1]);
638                 mv1      = pack16to32(mv_l0[0] - mv_col[0], mv_l0[1] - mv_col[1]);
639             }
640             fill_rectangle(&sl->ref_cache[0][scan8[0]], 4, 4, 8, ref, 1);
641             fill_rectangle(&sl->mv_cache[0][scan8[0]], 4, 4, 8, mv0, 4);
642             fill_rectangle(&sl->mv_cache[1][scan8[0]], 4, 4, 8, mv1, 4);
643         } else {
644             for (i8 = 0; i8 < 4; i8++) {
645                 const int x8 = i8 & 1;
646                 const int y8 = i8 >> 1;
647                 int ref0, scale;
648                 const int16_t (*l1mv)[2] = l1mv0;
649
650                 if (is_b8x8 && !IS_DIRECT(sl->sub_mb_type[i8]))
651                     continue;
652                 sl->sub_mb_type[i8] = sub_mb_type;
653                 fill_rectangle(&sl->ref_cache[1][scan8[i8 * 4]], 2, 2, 8, 0, 1);
654                 if (IS_INTRA(mb_type_col[0])) {
655                     fill_rectangle(&sl->ref_cache[0][scan8[i8 * 4]], 2, 2, 8, 0, 1);
656                     fill_rectangle(&sl->mv_cache[0][scan8[i8 * 4]], 2, 2, 8, 0, 4);
657                     fill_rectangle(&sl->mv_cache[1][scan8[i8 * 4]], 2, 2, 8, 0, 4);
658                     continue;
659                 }
660
661                 assert(b8_stride == 2);
662                 ref0 = l1ref0[i8];
663                 if (ref0 >= 0)
664                     ref0 = map_col_to_list0[0][ref0 + ref_offset];
665                 else {
666                     ref0 = map_col_to_list0[1][l1ref1[i8] + ref_offset];
667                     l1mv = l1mv1;
668                 }
669                 scale = dist_scale_factor[ref0];
670
671                 fill_rectangle(&sl->ref_cache[0][scan8[i8 * 4]], 2, 2, 8,
672                                ref0, 1);
673                 if (IS_SUB_8X8(sub_mb_type)) {
674                     const int16_t *mv_col = l1mv[x8 * 3 + y8 * 3 * b4_stride];
675                     int mx                = (scale * mv_col[0] + 128) >> 8;
676                     int my                = (scale * mv_col[1] + 128) >> 8;
677                     fill_rectangle(&sl->mv_cache[0][scan8[i8 * 4]], 2, 2, 8,
678                                    pack16to32(mx, my), 4);
679                     fill_rectangle(&sl->mv_cache[1][scan8[i8 * 4]], 2, 2, 8,
680                                    pack16to32(mx - mv_col[0], my - mv_col[1]), 4);
681                 } else {
682                     for (i4 = 0; i4 < 4; i4++) {
683                         const int16_t *mv_col = l1mv[x8 * 2 + (i4 & 1) +
684                                                      (y8 * 2 + (i4 >> 1)) * b4_stride];
685                         int16_t *mv_l0 = sl->mv_cache[0][scan8[i8 * 4 + i4]];
686                         mv_l0[0] = (scale * mv_col[0] + 128) >> 8;
687                         mv_l0[1] = (scale * mv_col[1] + 128) >> 8;
688                         AV_WN32A(sl->mv_cache[1][scan8[i8 * 4 + i4]],
689                                  pack16to32(mv_l0[0] - mv_col[0],
690                                             mv_l0[1] - mv_col[1]));
691                     }
692                 }
693             }
694         }
695     }
696 }
697
698 void ff_h264_pred_direct_motion(H264Context *const h, H264SliceContext *sl,
699                                 int *mb_type)
700 {
701     if (sl->direct_spatial_mv_pred)
702         pred_spatial_direct_motion(h, sl, mb_type);
703     else
704         pred_temp_direct_motion(h, sl, mb_type);
705 }