6de90112c21c23a17bba6adf60d215778fce47e3
[ffmpeg.git] / libavcodec / hevc_filter.c
1 /*
2  * HEVC video Decoder
3  *
4  * Copyright (C) 2012 - 2013 Guillaume Martres
5  * Copyright (C) 2013 Seppo Tomperi
6  * Copyright (C) 2013 Wassim Hamidouche
7  *
8  * This file is part of FFmpeg.
9  *
10  * FFmpeg is free software; you can redistribute it and/or
11  * modify it under the terms of the GNU Lesser General Public
12  * License as published by the Free Software Foundation; either
13  * version 2.1 of the License, or (at your option) any later version.
14  *
15  * FFmpeg is distributed in the hope that it will be useful,
16  * but WITHOUT ANY WARRANTY; without even the implied warranty of
17  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
18  * Lesser General Public License for more details.
19  *
20  * You should have received a copy of the GNU Lesser General Public
21  * License along with FFmpeg; if not, write to the Free Software
22  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
23  */
24
25 #include "libavutil/common.h"
26 #include "libavutil/internal.h"
27
28 #include "cabac_functions.h"
29 #include "golomb.h"
30 #include "hevc.h"
31
32 #include "bit_depth_template.c"
33
34 #define LUMA 0
35 #define CB 1
36 #define CR 2
37
38 static const uint8_t tctable[54] = {
39     0, 0, 0, 0, 0, 0, 0,  0,  0,  0,  0,  0,  0,  0,  0,  0, 0, 0, 1, // QP  0...18
40     1, 1, 1, 1, 1, 1, 1,  1,  2,  2,  2,  2,  3,  3,  3,  3, 4, 4, 4, // QP 19...37
41     5, 5, 6, 6, 7, 8, 9, 10, 11, 13, 14, 16, 18, 20, 22, 24           // QP 38...53
42 };
43
44 static const uint8_t betatable[52] = {
45      0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  6,  7,  8, // QP 0...18
46      9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 20, 22, 24, 26, 28, 30, 32, 34, 36, // QP 19...37
47     38, 40, 42, 44, 46, 48, 50, 52, 54, 56, 58, 60, 62, 64                      // QP 38...51
48 };
49
50 static int chroma_tc(HEVCContext *s, int qp_y, int c_idx, int tc_offset)
51 {
52     static const int qp_c[] = {
53         29, 30, 31, 32, 33, 33, 34, 34, 35, 35, 36, 36, 37, 37
54     };
55     int qp_i, offset;
56     int qp;
57     int idxt;
58
59     // slice qp offset is not used for deblocking
60     if (c_idx == 1)
61         offset = s->pps->cb_qp_offset;
62     else
63         offset = s->pps->cr_qp_offset;
64
65     qp_i = av_clip_c(qp_y + offset, 0, 57);
66     if (qp_i < 30)
67         qp = qp_i;
68     else if (qp_i > 43)
69         qp = qp_i - 6;
70     else
71         qp = qp_c[qp_i - 30];
72
73     idxt = av_clip_c(qp + DEFAULT_INTRA_TC_OFFSET + tc_offset, 0, 53);
74     return tctable[idxt];
75 }
76
77 static int get_qPy_pred(HEVCContext *s, int xC, int yC,
78                         int xBase, int yBase, int log2_cb_size)
79 {
80     HEVCLocalContext *lc     = s->HEVClc;
81     int ctb_size_mask        = (1 << s->sps->log2_ctb_size) - 1;
82     int MinCuQpDeltaSizeMask = (1 << (s->sps->log2_ctb_size -
83                                       s->pps->diff_cu_qp_delta_depth)) - 1;
84     int xQgBase              = xBase - (xBase & MinCuQpDeltaSizeMask);
85     int yQgBase              = yBase - (yBase & MinCuQpDeltaSizeMask);
86     int min_cb_width         = s->sps->min_cb_width;
87     int min_cb_height        = s->sps->min_cb_height;
88     int x_cb                 = xQgBase >> s->sps->log2_min_cb_size;
89     int y_cb                 = yQgBase >> s->sps->log2_min_cb_size;
90     int availableA           = (xBase   & ctb_size_mask) &&
91                                (xQgBase & ctb_size_mask);
92     int availableB           = (yBase   & ctb_size_mask) &&
93                                (yQgBase & ctb_size_mask);
94     int qPy_pred;
95     int qPy_a;
96     int qPy_b;
97
98     // qPy_pred
99     if (lc->first_qp_group) {
100         lc->first_qp_group = !lc->tu.is_cu_qp_delta_coded;
101         qPy_pred = s->sh.slice_qp;
102     } else {
103         qPy_pred = lc->qp_y;
104         if (log2_cb_size < s->sps->log2_ctb_size -
105                            s->pps->diff_cu_qp_delta_depth) {
106             static const int offsetX[8][8] = {
107                 { -1, 1, 3, 1, 7, 1, 3, 1 },
108                 {  0, 0, 0, 0, 0, 0, 0, 0 },
109                 {  1, 3, 1, 3, 1, 3, 1, 3 },
110                 {  2, 2, 2, 2, 2, 2, 2, 2 },
111                 {  3, 5, 7, 5, 3, 5, 7, 5 },
112                 {  4, 4, 4, 4, 4, 4, 4, 4 },
113                 {  5, 7, 5, 7, 5, 7, 5, 7 },
114                 {  6, 6, 6, 6, 6, 6, 6, 6 }
115             };
116             static const int offsetY[8][8] = {
117                 { 7, 0, 1, 2, 3, 4, 5, 6 },
118                 { 0, 1, 2, 3, 4, 5, 6, 7 },
119                 { 1, 0, 3, 2, 5, 4, 7, 6 },
120                 { 0, 1, 2, 3, 4, 5, 6, 7 },
121                 { 3, 0, 1, 2, 7, 4, 5, 6 },
122                 { 0, 1, 2, 3, 4, 5, 6, 7 },
123                 { 1, 0, 3, 2, 5, 4, 7, 6 },
124                 { 0, 1, 2, 3, 4, 5, 6, 7 }
125             };
126             int xC0b = (xC - (xC & ctb_size_mask)) >> s->sps->log2_min_cb_size;
127             int yC0b = (yC - (yC & ctb_size_mask)) >> s->sps->log2_min_cb_size;
128             int idxX = (xQgBase  & ctb_size_mask)  >> s->sps->log2_min_cb_size;
129             int idxY = (yQgBase  & ctb_size_mask)  >> s->sps->log2_min_cb_size;
130             int idx_mask = ctb_size_mask >> s->sps->log2_min_cb_size;
131             int x, y;
132
133             x = FFMIN(xC0b +  offsetX[idxX][idxY],             min_cb_width  - 1);
134             y = FFMIN(yC0b + (offsetY[idxX][idxY] & idx_mask), min_cb_height - 1);
135
136             if (xC0b == (lc->start_of_tiles_x >> s->sps->log2_min_cb_size) &&
137                 offsetX[idxX][idxY] == -1) {
138                 x = (lc->end_of_tiles_x >> s->sps->log2_min_cb_size) - 1;
139                 y = yC0b - 1;
140             }
141             qPy_pred = s->qp_y_tab[y * min_cb_width + x];
142         }
143     }
144
145     // qPy_a
146     if (availableA == 0)
147         qPy_a = qPy_pred;
148     else
149         qPy_a = s->qp_y_tab[(x_cb - 1) + y_cb * min_cb_width];
150
151     // qPy_b
152     if (availableB == 0)
153         qPy_b = qPy_pred;
154     else
155         qPy_b = s->qp_y_tab[x_cb + (y_cb - 1) * min_cb_width];
156
157     return (qPy_a + qPy_b + 1) >> 1;
158 }
159
160 void ff_hevc_set_qPy(HEVCContext *s, int xC, int yC,
161                      int xBase, int yBase, int log2_cb_size)
162 {
163     int qp_y = get_qPy_pred(s, xC, yC, xBase, yBase, log2_cb_size);
164
165     if (s->HEVClc->tu.cu_qp_delta != 0) {
166         int off = s->sps->qp_bd_offset;
167         s->HEVClc->qp_y = ((qp_y + s->HEVClc->tu.cu_qp_delta + 52 + 2 * off) %
168                           (52 + off)) - off;
169     } else
170         s->HEVClc->qp_y = qp_y;
171 }
172
173 static int get_qPy(HEVCContext *s, int xC, int yC)
174 {
175     int log2_min_cb_size  = s->sps->log2_min_cb_size;
176     int x                 = xC >> log2_min_cb_size;
177     int y                 = yC >> log2_min_cb_size;
178     return s->qp_y_tab[x + y * s->sps->min_cb_width];
179 }
180
181 static void copy_CTB(uint8_t *dst, uint8_t *src,
182                      int width, int height, int stride)
183 {
184     int i;
185
186     for (i = 0; i < height; i++) {
187         memcpy(dst, src, width);
188         dst += stride;
189         src += stride;
190     }
191 }
192
193 #define CTB(tab, x, y) ((tab)[(y) * s->sps->ctb_width + (x)])
194
195 static void sao_filter_CTB(HEVCContext *s, int x, int y)
196 {
197     //  TODO: This should be easily parallelizable
198     //  TODO: skip CBs when (cu_transquant_bypass_flag || (pcm_loop_filter_disable_flag && pcm_flag))
199     int c_idx = 0;
200     int class = 1, class_index;
201     int edges[4];  // 0 left 1 top 2 right 3 bottom
202     SAOParams *sao[4];
203     int classes[4];
204     int x_shift = 0, y_shift = 0;
205     int x_ctb = x >> s->sps->log2_ctb_size;
206     int y_ctb = y >> s->sps->log2_ctb_size;
207     int ctb_addr_rs = y_ctb * s->sps->ctb_width + x_ctb;
208     int ctb_addr_ts = s->pps->ctb_addr_rs_to_ts[ctb_addr_rs];
209
210     // flags indicating unfilterable edges
211     uint8_t vert_edge[]  = { 0, 0, 0, 0 };
212     uint8_t horiz_edge[] = { 0, 0, 0, 0 };
213     uint8_t diag_edge[]  = { 0, 0, 0, 0 };
214     uint8_t lfase[3]; // current, above, left
215     uint8_t no_tile_filter = s->pps->tiles_enabled_flag &&
216                              !s->pps->loop_filter_across_tiles_enabled_flag;
217     uint8_t left_tile_edge = 0;
218     uint8_t up_tile_edge = 0;
219
220     sao[0]     = &CTB(s->sao, x_ctb, y_ctb);
221     edges[0]   = x_ctb == 0;
222     edges[1]   = y_ctb == 0;
223     edges[2]   = x_ctb == s->sps->ctb_width  - 1;
224     edges[3]   = y_ctb == s->sps->ctb_height - 1;
225     lfase[0]   = CTB(s->filter_slice_edges, x_ctb, y_ctb);
226     classes[0] = 0;
227
228     if (!edges[0]) {
229         left_tile_edge = no_tile_filter && s->pps->tile_id[ctb_addr_ts] != s->pps->tile_id[s->pps->ctb_addr_rs_to_ts[ctb_addr_rs-1]];
230         sao[class] = &CTB(s->sao, x_ctb - 1, y_ctb);
231         vert_edge[0] = (!lfase[0] && CTB(s->tab_slice_address, x_ctb, y_ctb) != CTB(s->tab_slice_address, x_ctb - 1, y_ctb)) || left_tile_edge;
232         vert_edge[2] = vert_edge[0];
233         lfase[2]     = CTB(s->filter_slice_edges, x_ctb - 1, y_ctb);
234         classes[class] = 2;
235         class++;
236         x_shift = 8;
237     }
238
239     if (!edges[1]) {
240         up_tile_edge = no_tile_filter && s->pps->tile_id[ctb_addr_ts] != s->pps->tile_id[s->pps->ctb_addr_rs_to_ts[ctb_addr_rs - s->sps->ctb_width]];
241         sao[class] = &CTB(s->sao, x_ctb, y_ctb - 1);
242         horiz_edge[0] = (!lfase[0] && CTB(s->tab_slice_address, x_ctb, y_ctb) != CTB(s->tab_slice_address, x_ctb, y_ctb - 1)) || up_tile_edge;
243         horiz_edge[1] = horiz_edge[0];
244         lfase[1] = CTB(s->filter_slice_edges, x_ctb, y_ctb - 1);
245         classes[class] = 1;
246         class++;
247         y_shift = 4;
248
249         if (!edges[0]) {
250             classes[class] = 3;
251             sao[class] = &CTB(s->sao, x_ctb - 1, y_ctb - 1);
252             class++;
253
254             // Tile check here is done current CTB row/col, not above/left like you'd expect,
255             //but that is because the tile boundary always extends through the whole pic
256             vert_edge[1] = (!lfase[1] && CTB(s->tab_slice_address, x_ctb, y_ctb - 1) != CTB(s->tab_slice_address, x_ctb - 1, y_ctb - 1)) || left_tile_edge;
257             vert_edge[3] = vert_edge[1];
258             horiz_edge[2] = (!lfase[2] && CTB(s->tab_slice_address, x_ctb - 1, y_ctb) != CTB(s->tab_slice_address, x_ctb - 1, y_ctb - 1)) || up_tile_edge;
259             horiz_edge[3] = horiz_edge[2];
260             diag_edge[0] = (!lfase[0] && CTB(s->tab_slice_address, x_ctb, y_ctb) != CTB(s->tab_slice_address, x_ctb - 1, y_ctb - 1)) || left_tile_edge || up_tile_edge;
261             diag_edge[3] = diag_edge[0];
262
263             // Does left CTB comes after above CTB?
264             if (CTB(s->tab_slice_address, x_ctb - 1, y_ctb) >
265                 CTB(s->tab_slice_address, x_ctb, y_ctb - 1)) {
266                 diag_edge[2] = !lfase[2] || left_tile_edge || up_tile_edge;
267                 diag_edge[1] = diag_edge[2];
268             } else if (CTB(s->tab_slice_address, x_ctb - 1, y_ctb) <
269                        CTB(s->tab_slice_address, x_ctb, y_ctb - 1)) {
270                 diag_edge[1] = !lfase[1] || left_tile_edge || up_tile_edge;
271                 diag_edge[2] = diag_edge[1];
272             } else {
273                 // Same slice, only consider tiles
274                 diag_edge[2] = left_tile_edge || up_tile_edge;
275                 diag_edge[1] = diag_edge[2];
276             }
277         }
278     }
279
280     for (c_idx = 0; c_idx < 3; c_idx++) {
281         int chroma = c_idx ? 1 : 0;
282         int x0 = x >> chroma;
283         int y0 = y >> chroma;
284         int stride = s->frame->linesize[c_idx];
285         int ctb_size = (1 << (s->sps->log2_ctb_size)) >> s->sps->hshift[c_idx];
286         int width = FFMIN(ctb_size,
287                           (s->sps->width >> s->sps->hshift[c_idx]) - x0);
288         int height = FFMIN(ctb_size,
289                            (s->sps->height >> s->sps->vshift[c_idx]) - y0);
290
291         uint8_t *src = &s->frame->data[c_idx][y0 * stride + (x0 << s->sps->pixel_shift)];
292         uint8_t *dst = &s->sao_frame->data[c_idx][y0 * stride + (x0 << s->sps->pixel_shift)];
293         int offset = (y_shift >> chroma) * stride + ((x_shift >> chroma) << s->sps->pixel_shift);
294
295         copy_CTB(dst - offset, src - offset,
296                  (edges[2] ? width  + (x_shift >> chroma) : width)  << s->sps->pixel_shift,
297                  (edges[3] ? height + (y_shift >> chroma) : height), stride);
298
299         for (class_index = 0; class_index < class; class_index++) {
300
301             switch (sao[class_index]->type_idx[c_idx]) {
302             case SAO_BAND:
303                 s->hevcdsp.sao_band_filter[classes[class_index]](dst, src,
304                                                                  stride,
305                                                                  sao[class_index],
306                                                                  edges, width,
307                                                                  height, c_idx);
308                 break;
309             case SAO_EDGE:
310                 s->hevcdsp.sao_edge_filter[classes[class_index]](dst, src,
311                                                                  stride,
312                                                                  sao[class_index],
313                                                                  edges, width,
314                                                                  height, c_idx,
315                                                                  vert_edge[classes[class_index]],
316                                                                  horiz_edge[classes[class_index]],
317                                                                  diag_edge[classes[class_index]]);
318                 break;
319             }
320         }
321     }
322 }
323
324 static int get_pcm(HEVCContext *s, int x, int y)
325 {
326     int log2_min_pu_size = s->sps->log2_min_pu_size;
327     int x_pu             = x >> log2_min_pu_size;
328     int y_pu             = y >> log2_min_pu_size;
329
330     if (x < 0 || x_pu >= s->sps->min_pu_width ||
331         y < 0 || y_pu >= s->sps->min_pu_height)
332         return 2;
333     return s->is_pcm[y_pu * s->sps->min_pu_width + x_pu];
334 }
335
336 #define TC_CALC(qp, bs)                                                 \
337     tctable[av_clip((qp) + DEFAULT_INTRA_TC_OFFSET * ((bs) - 1) +       \
338                     (tc_offset >> 1 << 1),                              \
339                     0, MAX_QP + DEFAULT_INTRA_TC_OFFSET)]
340
341 static void deblocking_filter_CTB(HEVCContext *s, int x0, int y0)
342 {
343     uint8_t *src;
344     int x, y;
345     int chroma;
346     int c_tc[2];
347     int beta[2];
348     int tc[2];
349     uint8_t no_p[2] = { 0 };
350     uint8_t no_q[2] = { 0 };
351
352     int log2_ctb_size = s->sps->log2_ctb_size;
353     int x_end, y_end;
354     int ctb_size        = 1 << log2_ctb_size;
355     int ctb             = (x0 >> log2_ctb_size) +
356                           (y0 >> log2_ctb_size) * s->sps->ctb_width;
357     int cur_tc_offset   = s->deblock[ctb].tc_offset;
358     int cur_beta_offset = s->deblock[ctb].beta_offset;
359     int left_tc_offset, left_beta_offset;
360     int tc_offset, beta_offset;
361     int pcmf = (s->sps->pcm_enabled_flag &&
362                 s->sps->pcm.loop_filter_disable_flag) ||
363                s->pps->transquant_bypass_enable_flag;
364
365     if (x0) {
366         left_tc_offset   = s->deblock[ctb - 1].tc_offset;
367         left_beta_offset = s->deblock[ctb - 1].beta_offset;
368     }
369
370     x_end = x0 + ctb_size;
371     if (x_end > s->sps->width)
372         x_end = s->sps->width;
373     y_end = y0 + ctb_size;
374     if (y_end > s->sps->height)
375         y_end = s->sps->height;
376
377     tc_offset   = cur_tc_offset;
378     beta_offset = cur_beta_offset;
379
380     // vertical filtering luma
381     for (y = y0; y < y_end; y += 8) {
382         for (x = x0 ? x0 : 8; x < x_end; x += 8) {
383             const int bs0 = s->vertical_bs[(x >> 3) + (y       >> 2) * s->bs_width];
384             const int bs1 = s->vertical_bs[(x >> 3) + ((y + 4) >> 2) * s->bs_width];
385             if (bs0 || bs1) {
386                 const int qp0 = (get_qPy(s, x - 1, y)     + get_qPy(s, x, y)     + 1) >> 1;
387                 const int qp1 = (get_qPy(s, x - 1, y + 4) + get_qPy(s, x, y + 4) + 1) >> 1;
388
389                 beta[0] = betatable[av_clip(qp0 + (beta_offset >> 1 << 1), 0, MAX_QP)];
390                 beta[1] = betatable[av_clip(qp1 + (beta_offset >> 1 << 1), 0, MAX_QP)];
391                 tc[0]   = bs0 ? TC_CALC(qp0, bs0) : 0;
392                 tc[1]   = bs1 ? TC_CALC(qp1, bs1) : 0;
393                 src     = &s->frame->data[LUMA][y * s->frame->linesize[LUMA] + (x << s->sps->pixel_shift)];
394                 if (pcmf) {
395                     no_p[0] = get_pcm(s, x - 1, y);
396                     no_p[1] = get_pcm(s, x - 1, y + 4);
397                     no_q[0] = get_pcm(s, x, y);
398                     no_q[1] = get_pcm(s, x, y + 4);
399                     s->hevcdsp.hevc_v_loop_filter_luma_c(src,
400                                                          s->frame->linesize[LUMA],
401                                                          beta, tc, no_p, no_q);
402                 } else
403                     s->hevcdsp.hevc_v_loop_filter_luma(src,
404                                                        s->frame->linesize[LUMA],
405                                                        beta, tc, no_p, no_q);
406             }
407         }
408     }
409
410     // vertical filtering chroma
411     for (chroma = 1; chroma <= 2; chroma++) {
412         for (y = y0; y < y_end; y += 16) {
413             for (x = x0 ? x0 : 16; x < x_end; x += 16) {
414                 const int bs0 = s->vertical_bs[(x >> 3) + (y       >> 2) * s->bs_width];
415                 const int bs1 = s->vertical_bs[(x >> 3) + ((y + 8) >> 2) * s->bs_width];
416                 if ((bs0 == 2) || (bs1 == 2)) {
417                     const int qp0 = (get_qPy(s, x - 1, y)     + get_qPy(s, x, y)     + 1) >> 1;
418                     const int qp1 = (get_qPy(s, x - 1, y + 8) + get_qPy(s, x, y + 8) + 1) >> 1;
419
420                     c_tc[0] = (bs0 == 2) ? chroma_tc(s, qp0, chroma, tc_offset) : 0;
421                     c_tc[1] = (bs1 == 2) ? chroma_tc(s, qp1, chroma, tc_offset) : 0;
422                     src     = &s->frame->data[chroma][y / 2 * s->frame->linesize[chroma] + ((x / 2) << s->sps->pixel_shift)];
423                     if (pcmf) {
424                         no_p[0] = get_pcm(s, x - 1, y);
425                         no_p[1] = get_pcm(s, x - 1, y + 8);
426                         no_q[0] = get_pcm(s, x, y);
427                         no_q[1] = get_pcm(s, x, y + 8);
428                         s->hevcdsp.hevc_v_loop_filter_chroma_c(src,
429                                                                s->frame->linesize[chroma],
430                                                                c_tc, no_p, no_q);
431                     } else
432                         s->hevcdsp.hevc_v_loop_filter_chroma(src,
433                                                              s->frame->linesize[chroma],
434                                                              c_tc, no_p, no_q);
435                 }
436             }
437         }
438     }
439
440     // horizontal filtering luma
441     if (x_end != s->sps->width)
442         x_end -= 8;
443     for (y = y0 ? y0 : 8; y < y_end; y += 8) {
444         for (x = x0 ? x0 - 8 : 0; x < x_end; x += 8) {
445             const int bs0 = s->horizontal_bs[(x +     y * s->bs_width) >> 2];
446             const int bs1 = s->horizontal_bs[(x + 4 + y * s->bs_width) >> 2];
447             if (bs0 || bs1) {
448                 const int qp0 = (get_qPy(s, x, y - 1)     + get_qPy(s, x, y)     + 1) >> 1;
449                 const int qp1 = (get_qPy(s, x + 4, y - 1) + get_qPy(s, x + 4, y) + 1) >> 1;
450
451                 tc_offset   = x >= x0 ? cur_tc_offset : left_tc_offset;
452                 beta_offset = x >= x0 ? cur_beta_offset : left_beta_offset;
453
454                 beta[0] = betatable[av_clip(qp0 + (beta_offset >> 1 << 1), 0, MAX_QP)];
455                 beta[1] = betatable[av_clip(qp1 + (beta_offset >> 1 << 1), 0, MAX_QP)];
456                 tc[0]   = bs0 ? TC_CALC(qp0, bs0) : 0;
457                 tc[1]   = bs1 ? TC_CALC(qp1, bs1) : 0;
458                 src     = &s->frame->data[LUMA][y * s->frame->linesize[LUMA] + (x << s->sps->pixel_shift)];
459                 if (pcmf) {
460                     no_p[0] = get_pcm(s, x, y - 1);
461                     no_p[1] = get_pcm(s, x + 4, y - 1);
462                     no_q[0] = get_pcm(s, x, y);
463                     no_q[1] = get_pcm(s, x + 4, y);
464                     s->hevcdsp.hevc_h_loop_filter_luma_c(src,
465                                                          s->frame->linesize[LUMA],
466                                                          beta, tc, no_p, no_q);
467                 } else
468                     s->hevcdsp.hevc_h_loop_filter_luma(src,
469                                                        s->frame->linesize[LUMA],
470                                                        beta, tc, no_p, no_q);
471             }
472         }
473     }
474
475     // horizontal filtering chroma
476     for (chroma = 1; chroma <= 2; chroma++) {
477         for (y = y0 ? y0 : 16; y < y_end; y += 16) {
478             for (x = x0 - 8; x < x_end; x += 16) {
479                 int bs0, bs1;
480                 // to make sure no memory access over boundary when x = -8
481                 // TODO: simplify with row based deblocking
482                 if (x < 0) {
483                     bs0 = 0;
484                     bs1 = s->horizontal_bs[(x + 8 + y * s->bs_width) >> 2];
485                 } else if (x >= x_end - 8) {
486                     bs0 = s->horizontal_bs[(x +     y * s->bs_width) >> 2];
487                     bs1 = 0;
488                 } else {
489                     bs0 = s->horizontal_bs[(x + y     * s->bs_width) >> 2];
490                     bs1 = s->horizontal_bs[(x + 8 + y * s->bs_width) >> 2];
491                 }
492
493                 if ((bs0 == 2) || (bs1 == 2)) {
494                     const int qp0 = bs0 == 2 ? (get_qPy(s, x,     y - 1) + get_qPy(s, x,     y) + 1) >> 1 : 0;
495                     const int qp1 = bs1 == 2 ? (get_qPy(s, x + 8, y - 1) + get_qPy(s, x + 8, y) + 1) >> 1 : 0;
496
497                     tc_offset = x >= x0 ? cur_tc_offset : left_tc_offset;
498                     c_tc[0]   = bs0 == 2 ? chroma_tc(s, qp0, chroma, tc_offset)     : 0;
499                     c_tc[1]   = bs1 == 2 ? chroma_tc(s, qp1, chroma, cur_tc_offset) : 0;
500                     src       = &s->frame->data[chroma][y / 2 * s->frame->linesize[chroma] + ((x / 2) << s->sps->pixel_shift)];
501                     if (pcmf) {
502                         no_p[0] = get_pcm(s, x, y - 1);
503                         no_p[1] = get_pcm(s, x + 8, y - 1);
504                         no_q[0] = get_pcm(s, x, y);
505                         no_q[1] = get_pcm(s, x + 8, y);
506                         s->hevcdsp.hevc_h_loop_filter_chroma_c(src,
507                                                                s->frame->linesize[chroma],
508                                                                c_tc, no_p, no_q);
509                     } else
510                         s->hevcdsp.hevc_h_loop_filter_chroma(src,
511                                                              s->frame->linesize[chroma],
512                                                              c_tc, no_p, no_q);
513                 }
514             }
515         }
516     }
517 }
518
519 static int boundary_strength(HEVCContext *s, MvField *curr,
520                              uint8_t curr_cbf_luma, MvField *neigh,
521                              uint8_t neigh_cbf_luma,
522                              RefPicList *neigh_refPicList,
523                              int tu_border)
524 {
525     int mvs = curr->pred_flag[0] + curr->pred_flag[1];
526
527     if (tu_border) {
528         if (curr->is_intra || neigh->is_intra)
529             return 2;
530         if (curr_cbf_luma || neigh_cbf_luma)
531             return 1;
532     }
533
534     if (mvs == neigh->pred_flag[0] + neigh->pred_flag[1]) {
535         if (mvs == 2) {
536             // same L0 and L1
537             if (s->ref->refPicList[0].list[curr->ref_idx[0]] == neigh_refPicList[0].list[neigh->ref_idx[0]]  &&
538                 s->ref->refPicList[0].list[curr->ref_idx[0]] == s->ref->refPicList[1].list[curr->ref_idx[1]] &&
539                 neigh_refPicList[0].list[neigh->ref_idx[0]] == neigh_refPicList[1].list[neigh->ref_idx[1]]) {
540                 if ((abs(neigh->mv[0].x - curr->mv[0].x) >= 4 || abs(neigh->mv[0].y - curr->mv[0].y) >= 4 ||
541                      abs(neigh->mv[1].x - curr->mv[1].x) >= 4 || abs(neigh->mv[1].y - curr->mv[1].y) >= 4) &&
542                     (abs(neigh->mv[1].x - curr->mv[0].x) >= 4 || abs(neigh->mv[1].y - curr->mv[0].y) >= 4 ||
543                      abs(neigh->mv[0].x - curr->mv[1].x) >= 4 || abs(neigh->mv[0].y - curr->mv[1].y) >= 4))
544                     return 1;
545                 else
546                     return 0;
547             } else if (neigh_refPicList[0].list[neigh->ref_idx[0]] == s->ref->refPicList[0].list[curr->ref_idx[0]] &&
548                        neigh_refPicList[1].list[neigh->ref_idx[1]] == s->ref->refPicList[1].list[curr->ref_idx[1]]) {
549                 if (abs(neigh->mv[0].x - curr->mv[0].x) >= 4 || abs(neigh->mv[0].y - curr->mv[0].y) >= 4 ||
550                     abs(neigh->mv[1].x - curr->mv[1].x) >= 4 || abs(neigh->mv[1].y - curr->mv[1].y) >= 4)
551                     return 1;
552                 else
553                     return 0;
554             } else if (neigh_refPicList[1].list[neigh->ref_idx[1]] == s->ref->refPicList[0].list[curr->ref_idx[0]] &&
555                        neigh_refPicList[0].list[neigh->ref_idx[0]] == s->ref->refPicList[1].list[curr->ref_idx[1]]) {
556                 if (abs(neigh->mv[1].x - curr->mv[0].x) >= 4 || abs(neigh->mv[1].y - curr->mv[0].y) >= 4 ||
557                     abs(neigh->mv[0].x - curr->mv[1].x) >= 4 || abs(neigh->mv[0].y - curr->mv[1].y) >= 4)
558                     return 1;
559                 else
560                     return 0;
561             } else {
562                 return 1;
563             }
564         } else { // 1 MV
565             Mv A, B;
566             int ref_A;
567             int ref_B;
568
569             if (curr->pred_flag[0]) {
570                 A     = curr->mv[0];
571                 ref_A = s->ref->refPicList[0].list[curr->ref_idx[0]];
572             } else {
573                 A     = curr->mv[1];
574                 ref_A = s->ref->refPicList[1].list[curr->ref_idx[1]];
575             }
576
577             if (neigh->pred_flag[0]) {
578                 B     = neigh->mv[0];
579                 ref_B = neigh_refPicList[0].list[neigh->ref_idx[0]];
580             } else {
581                 B     = neigh->mv[1];
582                 ref_B = neigh_refPicList[1].list[neigh->ref_idx[1]];
583             }
584
585             if (ref_A == ref_B) {
586                 if (abs(A.x - B.x) >= 4 || abs(A.y - B.y) >= 4)
587                     return 1;
588                 else
589                     return 0;
590             } else
591                 return 1;
592         }
593     }
594
595     return 1;
596 }
597
598 void ff_hevc_deblocking_boundary_strengths(HEVCContext *s, int x0, int y0,
599                                            int log2_trafo_size,
600                                            int slice_or_tiles_up_boundary,
601                                            int slice_or_tiles_left_boundary)
602 {
603     MvField *tab_mvf     = s->ref->tab_mvf;
604     int log2_min_pu_size = s->sps->log2_min_pu_size;
605     int log2_min_tu_size = s->sps->log2_min_tb_size;
606     int min_pu_width     = s->sps->min_pu_width;
607     int min_tu_width     = s->sps->min_tb_width;
608     int is_intra = tab_mvf[(y0 >> log2_min_pu_size) * min_pu_width +
609                            (x0 >> log2_min_pu_size)].is_intra;
610     int i, j;
611     int bs;
612
613     if (y0 > 0 && (y0 & 7) == 0) {
614         int yp_pu = (y0 - 1) >> log2_min_pu_size;
615         int yq_pu =  y0      >> log2_min_pu_size;
616         int yp_tu = (y0 - 1) >> log2_min_tu_size;
617         int yq_tu =  y0      >> log2_min_tu_size;
618
619         for (i = 0; i < (1 << log2_trafo_size); i += 4) {
620             int x_pu = (x0 + i) >> log2_min_pu_size;
621             int x_tu = (x0 + i) >> log2_min_tu_size;
622             MvField *top  = &tab_mvf[yp_pu * min_pu_width + x_pu];
623             MvField *curr = &tab_mvf[yq_pu * min_pu_width + x_pu];
624             uint8_t top_cbf_luma  = s->cbf_luma[yp_tu * min_tu_width + x_tu];
625             uint8_t curr_cbf_luma = s->cbf_luma[yq_tu * min_tu_width + x_tu];
626             RefPicList *top_refPicList = ff_hevc_get_ref_list(s, s->ref,
627                                                               x0 + i, y0 - 1);
628
629             bs = boundary_strength(s, curr, curr_cbf_luma,
630                                    top, top_cbf_luma, top_refPicList, 1);
631             if (!s->sh.slice_loop_filter_across_slices_enabled_flag &&
632                 (slice_or_tiles_up_boundary & 1) &&
633                 (y0 % (1 << s->sps->log2_ctb_size)) == 0)
634                 bs = 0;
635             else if (!s->pps->loop_filter_across_tiles_enabled_flag &&
636                      (slice_or_tiles_up_boundary & 2) &&
637                      (y0 % (1 << s->sps->log2_ctb_size)) == 0)
638                 bs = 0;
639             if (y0 == 0 || s->sh.disable_deblocking_filter_flag == 1)
640                 bs = 0;
641             if (bs)
642                 s->horizontal_bs[((x0 + i) + y0 * s->bs_width) >> 2] = bs;
643         }
644     }
645
646     // bs for TU internal horizontal PU boundaries
647     if (log2_trafo_size > s->sps->log2_min_pu_size && !is_intra)
648         for (j = 8; j < (1 << log2_trafo_size); j += 8) {
649             int yp_pu = (y0 + j - 1) >> log2_min_pu_size;
650             int yq_pu = (y0 + j)     >> log2_min_pu_size;
651             int yp_tu = (y0 + j - 1) >> log2_min_tu_size;
652             int yq_tu = (y0 + j)     >> log2_min_tu_size;
653
654             for (i = 0; i < (1 << log2_trafo_size); i += 4) {
655                 int x_pu = (x0 + i) >> log2_min_pu_size;
656                 int x_tu = (x0 + i) >> log2_min_tu_size;
657                 MvField *top  = &tab_mvf[yp_pu * min_pu_width + x_pu];
658                 MvField *curr = &tab_mvf[yq_pu * min_pu_width + x_pu];
659                 uint8_t top_cbf_luma  = s->cbf_luma[yp_tu * min_tu_width + x_tu];
660                 uint8_t curr_cbf_luma = s->cbf_luma[yq_tu * min_tu_width + x_tu];
661                 RefPicList *top_refPicList = ff_hevc_get_ref_list(s, s->ref,
662                                                                   x0 + i,
663                                                                   y0 + j - 1);
664
665                 bs = boundary_strength(s, curr, curr_cbf_luma,
666                                        top, top_cbf_luma, top_refPicList, 0);
667                 if (s->sh.disable_deblocking_filter_flag == 1)
668                     bs = 0;
669                 if (bs)
670                     s->horizontal_bs[((x0 + i) + (y0 + j) * s->bs_width) >> 2] = bs;
671             }
672         }
673
674     // bs for vertical TU boundaries
675     if (x0 > 0 && (x0 & 7) == 0) {
676         int xp_pu = (x0 - 1) >> log2_min_pu_size;
677         int xq_pu =  x0      >> log2_min_pu_size;
678         int xp_tu = (x0 - 1) >> log2_min_tu_size;
679         int xq_tu =  x0      >> log2_min_tu_size;
680
681         for (i = 0; i < (1 << log2_trafo_size); i += 4) {
682             int y_pu      = (y0 + i) >> log2_min_pu_size;
683             int y_tu      = (y0 + i) >> log2_min_tu_size;
684             MvField *left = &tab_mvf[y_pu * min_pu_width + xp_pu];
685             MvField *curr = &tab_mvf[y_pu * min_pu_width + xq_pu];
686
687             uint8_t left_cbf_luma = s->cbf_luma[y_tu * min_tu_width + xp_tu];
688             uint8_t curr_cbf_luma = s->cbf_luma[y_tu * min_tu_width + xq_tu];
689             RefPicList *left_refPicList = ff_hevc_get_ref_list(s, s->ref,
690                                                                x0 - 1, y0 + i);
691
692             bs = boundary_strength(s, curr, curr_cbf_luma,
693                                    left, left_cbf_luma, left_refPicList, 1);
694             if (!s->sh.slice_loop_filter_across_slices_enabled_flag &&
695                 (slice_or_tiles_left_boundary & 1) &&
696                 (x0 % (1 << s->sps->log2_ctb_size)) == 0)
697                 bs = 0;
698             else if (!s->pps->loop_filter_across_tiles_enabled_flag &&
699                      (slice_or_tiles_left_boundary & 2) &&
700                      (x0 % (1 << s->sps->log2_ctb_size)) == 0)
701                 bs = 0;
702             if (x0 == 0 || s->sh.disable_deblocking_filter_flag == 1)
703                 bs = 0;
704             if (bs)
705                 s->vertical_bs[(x0 >> 3) + ((y0 + i) >> 2) * s->bs_width] = bs;
706         }
707     }
708
709     // bs for TU internal vertical PU boundaries
710     if (log2_trafo_size > log2_min_pu_size && !is_intra)
711         for (j = 0; j < (1 << log2_trafo_size); j += 4) {
712             int y_pu = (y0 + j) >> log2_min_pu_size;
713             int y_tu = (y0 + j) >> log2_min_tu_size;
714
715             for (i = 8; i < (1 << log2_trafo_size); i += 8) {
716                 int xp_pu = (x0 + i - 1) >> log2_min_pu_size;
717                 int xq_pu = (x0 + i)     >> log2_min_pu_size;
718                 int xp_tu = (x0 + i - 1) >> log2_min_tu_size;
719                 int xq_tu = (x0 + i)     >> log2_min_tu_size;
720                 MvField *left = &tab_mvf[y_pu * min_pu_width + xp_pu];
721                 MvField *curr = &tab_mvf[y_pu * min_pu_width + xq_pu];
722                 uint8_t left_cbf_luma = s->cbf_luma[y_tu * min_tu_width + xp_tu];
723                 uint8_t curr_cbf_luma = s->cbf_luma[y_tu * min_tu_width + xq_tu];
724                 RefPicList *left_refPicList = ff_hevc_get_ref_list(s, s->ref,
725                                                                    x0 + i - 1,
726                                                                    y0 + j);
727
728                 bs = boundary_strength(s, curr, curr_cbf_luma,
729                                        left, left_cbf_luma, left_refPicList, 0);
730                 if (s->sh.disable_deblocking_filter_flag == 1)
731                     bs = 0;
732                 if (bs)
733                     s->vertical_bs[((x0 + i) >> 3) + ((y0 + j) >> 2) * s->bs_width] = bs;
734             }
735         }
736 }
737
738 #undef LUMA
739 #undef CB
740 #undef CR
741
742 void ff_hevc_hls_filter(HEVCContext *s, int x, int y)
743 {
744     deblocking_filter_CTB(s, x, y);
745     if (s->sps->sao_enabled)
746         sao_filter_CTB(s, x, y);
747 }
748
749 void ff_hevc_hls_filters(HEVCContext *s, int x_ctb, int y_ctb, int ctb_size)
750 {
751     if (y_ctb && x_ctb)
752         ff_hevc_hls_filter(s, x_ctb - ctb_size, y_ctb - ctb_size);
753     if (y_ctb && x_ctb >= s->sps->width - ctb_size) {
754         ff_hevc_hls_filter(s, x_ctb, y_ctb - ctb_size);
755         if (s->threads_type == FF_THREAD_FRAME )
756             ff_thread_report_progress(&s->ref->tf, y_ctb - ctb_size, 0);
757     }
758     if (x_ctb && y_ctb >= s->sps->height - ctb_size)
759         ff_hevc_hls_filter(s, x_ctb - ctb_size, y_ctb);
760 }