85189a87f6e28e896b3ae4e6fb3556fc1dc5e30b
[ffmpeg.git] / libavcodec / hevc_filter.c
1 /*
2  * HEVC video Decoder
3  *
4  * Copyright (C) 2012 - 2013 Guillaume Martres
5  * Copyright (C) 2013 Seppo Tomperi
6  * Copyright (C) 2013 Wassim Hamidouche
7  *
8  * This file is part of FFmpeg.
9  *
10  * FFmpeg is free software; you can redistribute it and/or
11  * modify it under the terms of the GNU Lesser General Public
12  * License as published by the Free Software Foundation; either
13  * version 2.1 of the License, or (at your option) any later version.
14  *
15  * FFmpeg is distributed in the hope that it will be useful,
16  * but WITHOUT ANY WARRANTY; without even the implied warranty of
17  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
18  * Lesser General Public License for more details.
19  *
20  * You should have received a copy of the GNU Lesser General Public
21  * License along with FFmpeg; if not, write to the Free Software
22  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
23  */
24
25 #include "libavutil/common.h"
26 #include "libavutil/internal.h"
27
28 #include "cabac_functions.h"
29 #include "golomb.h"
30 #include "hevc.h"
31 #include "bit_depth_template.c"
32
33 #define LUMA 0
34 #define CB 1
35 #define CR 2
36
37 static const uint8_t tctable[54] = {
38      0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, // QP  0...18
39      1, 1, 1, 1, 1, 1, 1, 1, 2, 2, 2, 2, 3, 3, 3, 3, 4, 4, 4, // QP 19...37
40      5, 5, 6, 6, 7, 8, 9,10,11,13,14,16,18,20,22,24           // QP 38...53
41 };
42
43 static const uint8_t betatable[52] = {
44      0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 6, 7, 8, // QP 0...18
45      9,10,11,12,13,14,15,16,17,18,20,22,24,26,28,30,32,34,36, // QP 19...37
46     38,40,42,44,46,48,50,52,54,56,58,60,62,64                 // QP 38...51
47 };
48
49 static int chroma_tc(HEVCContext *s, int qp_y, int c_idx, int tc_offset)
50 {
51     static const int qp_c[] = { 29, 30, 31, 32, 33, 33, 34, 34, 35, 35, 36, 36, 37, 37 };
52     int qp_i, offset;
53     int qp;
54     int idxt;
55
56     // slice qp offset is not used for deblocking
57     if (c_idx == 1)
58         offset = s->pps->cb_qp_offset;
59     else
60         offset = s->pps->cr_qp_offset;
61
62     qp_i = av_clip_c(qp_y + offset, 0, 57);
63     if (qp_i < 30)
64         qp = qp_i;
65     else if (qp_i > 43)
66         qp = qp_i - 6;
67     else
68         qp = qp_c[qp_i - 30];
69
70     idxt = av_clip_c(qp + DEFAULT_INTRA_TC_OFFSET + tc_offset, 0, 53);
71     return tctable[idxt];
72 }
73
74 static int get_qPy_pred(HEVCContext *s, int xC, int yC, int xBase, int yBase, int log2_cb_size)
75 {
76     HEVCLocalContext *lc     = &s->HEVClc;
77     int ctb_size_mask        = (1 << s->sps->log2_ctb_size) - 1;
78     int MinCuQpDeltaSizeMask = (1 << (s->sps->log2_ctb_size - s->pps->diff_cu_qp_delta_depth)) - 1;
79     int xQgBase              = xBase - ( xBase & MinCuQpDeltaSizeMask );
80     int yQgBase              = yBase - ( yBase & MinCuQpDeltaSizeMask );
81     int pic_width            = s->sps->width  >> s->sps->log2_min_coding_block_size;
82     int pic_height           = s->sps->height >> s->sps->log2_min_coding_block_size;
83     int x_cb                 = xQgBase >> s->sps->log2_min_coding_block_size;
84     int y_cb                 = yQgBase >> s->sps->log2_min_coding_block_size;
85     int availableA           = (xBase & ctb_size_mask) && (xQgBase & ctb_size_mask);
86     int availableB           = (yBase & ctb_size_mask) && (yQgBase & ctb_size_mask);
87     int qPy_pred;
88     int qPy_a;
89     int qPy_b;
90
91     // qPy_pred
92     if (lc->first_qp_group) {
93         lc->first_qp_group = !lc->tu.is_cu_qp_delta_coded;
94         qPy_pred = s->sh.slice_qp;
95     } else {
96         qPy_pred = lc->qp_y;
97         if (log2_cb_size < s->sps->log2_ctb_size - s->pps->diff_cu_qp_delta_depth) {
98             static const int offsetX[8][8] = {
99                     {-1, 1, 3, 1, 7, 1, 3, 1},
100                     { 0, 0, 0, 0, 0, 0, 0, 0},
101                     { 1, 3, 1, 3, 1, 3, 1, 3},
102                     { 2, 2, 2, 2, 2, 2, 2, 2},
103                     { 3, 5, 7, 5, 3, 5, 7, 5},
104                     { 4, 4, 4, 4, 4, 4, 4, 4},
105                     { 5, 7, 5, 7, 5, 7, 5, 7},
106                     { 6, 6, 6, 6, 6, 6, 6, 6}
107             };
108             static const int offsetY[8][8] = {
109                     { 7, 0, 1, 2, 3, 4, 5, 6},
110                     { 0, 1, 2, 3, 4, 5, 6, 7},
111                     { 1, 0, 3, 2, 5, 4, 7, 6},
112                     { 0, 1, 2, 3, 4, 5, 6, 7},
113                     { 3, 0, 1, 2, 7, 4, 5, 6},
114                     { 0, 1, 2, 3, 4, 5, 6, 7},
115                     { 1, 0, 3, 2, 5, 4, 7, 6},
116                     { 0, 1, 2, 3, 4, 5, 6, 7}
117             };
118             int xC0b = (xC - (xC & ctb_size_mask)) >> s->sps->log2_min_coding_block_size;
119             int yC0b = (yC - (yC & ctb_size_mask)) >> s->sps->log2_min_coding_block_size;
120             int idxX = (xQgBase & ctb_size_mask)   >> s->sps->log2_min_coding_block_size;
121             int idxY = (yQgBase & ctb_size_mask)   >> s->sps->log2_min_coding_block_size;
122             int idx_mask = ctb_size_mask >> s->sps->log2_min_coding_block_size;
123             int x, y;
124
125             x = FFMIN(xC0b + offsetX[idxX][idxY],              pic_width  - 1);
126             y = FFMIN(yC0b + (offsetY[idxX][idxY] & idx_mask), pic_height - 1);
127
128             if (xC0b == (lc->start_of_tiles_x >> s->sps->log2_min_coding_block_size) &&
129                 offsetX[idxX][idxY] == -1) {
130                 x = (lc->end_of_tiles_x >> s->sps->log2_min_coding_block_size) - 1;
131                 y = yC0b - 1;
132             }
133             qPy_pred = s->qp_y_tab[y * pic_width + x];
134         }
135     }
136
137     // qPy_a
138     if (availableA == 0)
139         qPy_a = qPy_pred;
140     else
141         qPy_a = s->qp_y_tab[(x_cb - 1) + y_cb * pic_width];
142
143     // qPy_b
144     if (availableB == 0)
145         qPy_b = qPy_pred;
146     else
147         qPy_b = s->qp_y_tab[x_cb + (y_cb - 1) * pic_width];
148
149     return (qPy_a + qPy_b + 1) >> 1;
150 }
151
152 void ff_hevc_set_qPy(HEVCContext *s, int xC, int yC, int xBase, int yBase, int log2_cb_size)
153 {
154     int qp_y = get_qPy_pred(s, xC, yC, xBase, yBase, log2_cb_size);
155
156     if (s->HEVClc.tu.cu_qp_delta != 0) {
157         int off = s->sps->qp_bd_offset;
158         s->HEVClc.qp_y = ((qp_y + s->HEVClc.tu.cu_qp_delta + 52 + 2 * off) % (52 + off)) - off;
159     } else
160         s->HEVClc.qp_y = qp_y;
161 }
162
163 static int get_qPy(HEVCContext *s, int xC, int yC)
164 {
165     int log2_min_cb_size  = s->sps->log2_min_coding_block_size;
166     int pic_width         = s->sps->width>>log2_min_cb_size;
167     int x                 = xC >> log2_min_cb_size;
168     int y                 = yC >> log2_min_cb_size;
169     return s->qp_y_tab[x + y * pic_width];
170 }
171
172 static void copy_CTB(uint8_t *dst, uint8_t *src, int width, int height, int stride)
173 {
174     int i;
175
176     for(i=0; i< height; i++){
177         memcpy(dst, src, width);
178         dst += stride;
179         src += stride;
180     }
181 }
182
183 #define CTB(tab, x, y) ((tab)[(y) * s->sps->ctb_width + (x)])
184
185 static void sao_filter_CTB(HEVCContext *s, int x, int y, int c_idx_min, int c_idx_max)
186 {
187     //  TODO: This should be easily parallelizable
188     //  TODO: skip CBs when (cu_transquant_bypass_flag || (pcm_loop_filter_disable_flag && pcm_flag))
189     int c_idx = 0;
190     int class = 1, class_index;
191     int  edges[4]; // 0 left 1 top 2 right 3 bottom
192     SAOParams *sao[4];
193     int classes[4];
194     int x_shift = 0, y_shift = 0;
195     int x_ctb = x>>s->sps->log2_ctb_size;
196     int y_ctb = y>>s->sps->log2_ctb_size;
197     int ctb_addr_rs = y_ctb * s->sps->ctb_width + x_ctb;
198     int ctb_addr_ts = s->pps->ctb_addr_rs_to_ts[ctb_addr_rs];
199
200     // flags indicating unfilterable edges
201     uint8_t vert_edge[] = {0,0,0,0};
202     uint8_t horiz_edge[] = {0,0,0,0};
203     uint8_t diag_edge[] = {0,0,0,0};
204     uint8_t lfase[3]; // current, above, left
205     uint8_t no_tile_filter = s->pps->tiles_enabled_flag && !s->pps->loop_filter_across_tiles_enabled_flag;
206     uint8_t left_tile_edge = 0;
207     uint8_t up_tile_edge = 0;
208
209     sao[0]     = &CTB(s->sao, x_ctb, y_ctb);
210     edges[0]   = x_ctb == 0;
211     edges[1]   = y_ctb == 0;
212     edges[2]   = x_ctb == (s->sps->ctb_width - 1);
213     edges[3]   = y_ctb == (s->sps->ctb_height - 1);
214     lfase[0]   = CTB(s->filter_slice_edges, x_ctb, y_ctb);
215     classes[0] = 0;
216
217     if (!edges[0]) {
218         left_tile_edge = no_tile_filter && s->pps->tile_id[ctb_addr_ts] != s->pps->tile_id[s->pps->ctb_addr_rs_to_ts[ctb_addr_rs-1]];
219         sao[class] = &CTB(s->sao, x_ctb - 1, y_ctb);
220         vert_edge[0] = (!lfase[0] && CTB(s->tab_slice_address, x_ctb, y_ctb) != CTB(s->tab_slice_address, x_ctb - 1, y_ctb)) || left_tile_edge;
221         vert_edge[2] = vert_edge[0];
222         lfase[2]     = CTB(s->filter_slice_edges, x_ctb - 1, y_ctb);
223         classes[class] = 2;
224         class++;
225         x_shift = 8;
226     }
227
228     if (!edges[1]) {
229         up_tile_edge = no_tile_filter && s->pps->tile_id[ctb_addr_ts] != s->pps->tile_id[s->pps->ctb_addr_rs_to_ts[ctb_addr_rs - s->sps->ctb_width]];
230         sao[class] = &CTB(s->sao, x_ctb, y_ctb - 1);
231         horiz_edge[0] = (!lfase[0] && CTB(s->tab_slice_address, x_ctb, y_ctb) != CTB(s->tab_slice_address, x_ctb, y_ctb - 1)) || up_tile_edge;
232         horiz_edge[1] = horiz_edge[0];
233         lfase[1] = CTB(s->filter_slice_edges, x_ctb, y_ctb - 1);
234         classes[class] = 1;
235         class++;
236         y_shift = 4;
237
238         if (!edges[0]) {
239             classes[class] = 3;
240             sao[class] = &CTB(s->sao, x_ctb - 1, y_ctb - 1);
241             class++;
242
243             // Tile check here is done current CTB row/col, not above/left like you'd expect,
244             //but that is because the tile boundary always extends through the whole pic
245             vert_edge[1] = (!lfase[1] && CTB(s->tab_slice_address, x_ctb, y_ctb - 1) != CTB(s->tab_slice_address, x_ctb - 1, y_ctb - 1)) || left_tile_edge;
246             vert_edge[3] = vert_edge[1];
247             horiz_edge[2] = (!lfase[2] && CTB(s->tab_slice_address, x_ctb - 1, y_ctb) != CTB(s->tab_slice_address, x_ctb - 1, y_ctb - 1)) || up_tile_edge;
248             horiz_edge[3] = horiz_edge[2];
249             diag_edge[0] = (!lfase[0] && CTB(s->tab_slice_address, x_ctb, y_ctb) != CTB(s->tab_slice_address, x_ctb - 1, y_ctb - 1)) || left_tile_edge || up_tile_edge;
250             diag_edge[3] = diag_edge[0];
251
252             // Does left CTB comes after above CTB?
253             if(CTB(s->tab_slice_address, x_ctb - 1, y_ctb) > CTB(s->tab_slice_address, x_ctb, y_ctb - 1)) {
254                 diag_edge[2] = !lfase[2] || left_tile_edge || up_tile_edge;
255                 diag_edge[1] = diag_edge[2];
256             } else if(CTB(s->tab_slice_address, x_ctb - 1, y_ctb) < CTB(s->tab_slice_address, x_ctb, y_ctb - 1)) {
257                 diag_edge[1] = !lfase[1] || left_tile_edge || up_tile_edge;
258                 diag_edge[2] = diag_edge[1];
259             } else {
260                 // Same slice, only consider tiles
261                 diag_edge[2] = left_tile_edge || up_tile_edge;
262                 diag_edge[1] = diag_edge[2];
263             }
264         }
265     }
266
267     for (c_idx = 0; c_idx < 3; c_idx++) {
268         int chroma = c_idx ? 1 : 0;
269         int x0 = x >> chroma;
270         int y0 = y >> chroma;
271         int stride = s->frame->linesize[c_idx];
272         int ctb_size = (1 << (s->sps->log2_ctb_size)) >> s->sps->hshift[c_idx];
273         int width = FFMIN(ctb_size,
274                           (s->sps->width >> s->sps->hshift[c_idx]) - x0);
275         int height = FFMIN(ctb_size,
276                            (s->sps->height >> s->sps->vshift[c_idx]) - y0);
277
278         uint8_t *src = &s->frame->data[c_idx][y0 * stride + (x0 << s->sps->pixel_shift)];
279         uint8_t *dst = &s->sao_frame->data[c_idx][y0 * stride + (x0 << s->sps->pixel_shift)];
280         int offset = (y_shift >> chroma) * stride + ((x_shift >> chroma) << s->sps->pixel_shift);
281
282         copy_CTB(dst - offset, src - offset,
283                  (edges[2] ? width  + (x_shift >> chroma) : width)  << s->sps->pixel_shift,
284                  (edges[3] ? height + (y_shift >> chroma) : height), stride);
285
286         for (class_index = 0; class_index < class && c_idx >= c_idx_min &&
287                               c_idx < c_idx_max; class_index++) {
288             switch (sao[class_index]->type_idx[c_idx]) {
289             case SAO_BAND:
290                 s->hevcdsp.sao_band_filter[classes[class_index]](dst, src, stride, sao[class_index], edges, width, height, c_idx);
291                     break;
292             case SAO_EDGE:
293                 s->hevcdsp.sao_edge_filter[classes[class_index]](dst, src, stride, sao[class_index],  edges, width, height, c_idx, vert_edge[classes[class_index]], horiz_edge[classes[class_index]], diag_edge[classes[class_index]]);
294                 break;
295             }
296         }
297     }
298 }
299
300 static int get_pcm(HEVCContext *s, int x, int y)
301 {
302     int log2_min_pu_size     = s->sps->log2_min_pu_size;
303     int pic_width_in_min_pu  = s->sps->width  >> s->sps->log2_min_pu_size;
304     int pic_height_in_min_pu = s->sps->height >> s->sps->log2_min_pu_size;
305     int x_pu = x >> log2_min_pu_size;
306     int y_pu = y >> log2_min_pu_size;
307
308     if (x < 0 || x_pu >= pic_width_in_min_pu || y < 0 || y_pu >= pic_height_in_min_pu)
309         return 2;
310     return s->is_pcm[y_pu * pic_width_in_min_pu + x_pu];
311 }
312
313 #define TC_CALC(qp, bs) tctable[av_clip((qp) + DEFAULT_INTRA_TC_OFFSET * ((bs) - 1) + ((tc_offset >> 1) << 1), 0, MAX_QP + DEFAULT_INTRA_TC_OFFSET)]
314
315 static void deblocking_filter_CTB(HEVCContext *s, int x0, int y0)
316 {
317     uint8_t *src;
318     int x, y;
319     int chroma;
320     int c_tc[2];
321     int beta[2];
322     int tc[2];
323     uint8_t no_p[2] = {0};
324     uint8_t no_q[2] = {0};
325
326     int log2_ctb_size =  s->sps->log2_ctb_size;
327     int x_end, y_end;
328     int ctb_size    = 1<<log2_ctb_size;
329     int ctb         = (x0 >> log2_ctb_size) + (y0 >> log2_ctb_size) * s->sps->ctb_width;
330     int cur_tc_offset   = s->deblock[ctb].tc_offset;
331     int cur_beta_offset = s->deblock[ctb].beta_offset;
332     int left_tc_offset, left_beta_offset;
333     int tc_offset, beta_offset;
334     int pcmf        = (s->sps->pcm_enabled_flag && s->sps->pcm.loop_filter_disable_flag) ||
335                       s->pps->transquant_bypass_enable_flag;
336
337     if (s->deblock[ctb].disable)
338         return;
339
340     if (x0) {
341         left_tc_offset   = s->deblock[ctb-1].tc_offset;
342         left_beta_offset = s->deblock[ctb-1].beta_offset;
343     }
344
345     x_end = x0+ctb_size;
346     if (x_end > s->sps->width)
347         x_end = s->sps->width;
348     y_end = y0+ctb_size;
349     if (y_end > s->sps->height)
350         y_end = s->sps->height;
351
352     tc_offset = cur_tc_offset;
353     beta_offset = cur_beta_offset;
354
355     // vertical filtering luma
356     for (y = y0; y < y_end; y += 8) {
357         for (x = x0 ? x0 : 8; x < x_end; x += 8) {
358             const int bs0 = s->vertical_bs[(x >> 3) + (y       >> 2) * s->bs_width];
359             const int bs1 = s->vertical_bs[(x >> 3) + ((y + 4) >> 2) * s->bs_width];
360             if (bs0 || bs1) {
361                 const int qp0 = (get_qPy(s, x - 1, y) + get_qPy(s, x, y) + 1) >> 1;
362                 const int qp1 = (get_qPy(s, x - 1, y + 4) + get_qPy(s, x, y + 4) + 1) >> 1;
363
364                 beta[0] = betatable[av_clip(qp0 + ((beta_offset >> 1) << 1), 0, MAX_QP)];
365                 beta[1] = betatable[av_clip(qp1 + ((beta_offset >> 1) << 1), 0, MAX_QP)];
366                 tc[0] = bs0 ? TC_CALC(qp0, bs0) : 0;
367                 tc[1] = bs1 ? TC_CALC(qp1, bs1) : 0;
368                 src = &s->frame->data[LUMA][y * s->frame->linesize[LUMA] + (x << s->sps->pixel_shift)];
369                 if (pcmf) {
370                     no_p[0] = get_pcm(s, x - 1, y);
371                     no_p[1] = get_pcm(s, x - 1, y + 4);
372                     no_q[0] = get_pcm(s, x, y);
373                     no_q[1] = get_pcm(s, x, y + 4);
374                     s->hevcdsp.hevc_v_loop_filter_luma_c(src, s->frame->linesize[LUMA], beta, tc, no_p, no_q);
375                 } else
376                     s->hevcdsp.hevc_v_loop_filter_luma(src, s->frame->linesize[LUMA], beta, tc, no_p, no_q);
377             }
378         }
379     }
380
381     // vertical filtering chroma
382     for (chroma = 1; chroma <= 2; chroma++) {
383         for (y = y0; y < y_end; y += 16) {
384             for (x = x0 ? x0:16; x < x_end; x += 16) {
385                 const int bs0 = s->vertical_bs[(x >> 3) + (y >> 2) * s->bs_width];
386                 const int bs1 = s->vertical_bs[(x >> 3) + ((y + 8) >> 2) * s->bs_width];
387                 if ((bs0 == 2) || (bs1 == 2)) {
388                     const int qp0 = (get_qPy(s, x - 1, y) + get_qPy(s, x, y) + 1) >> 1;
389                     const int qp1 = (get_qPy(s, x - 1, y + 8) + get_qPy(s, x, y + 8) + 1) >> 1;
390
391                     c_tc[0] = (bs0 == 2) ? chroma_tc(s, qp0, chroma, tc_offset) : 0;
392                     c_tc[1] = (bs1 == 2) ? chroma_tc(s, qp1, chroma, tc_offset) : 0;
393                     src = &s->frame->data[chroma][(y / 2) * s->frame->linesize[chroma] + ((x / 2) << s->sps->pixel_shift)];
394                     if (pcmf) {
395                         no_p[0] = get_pcm(s, x - 1, y);
396                         no_p[1] = get_pcm(s, x - 1, y + 8);
397                         no_q[0] = get_pcm(s, x, y);
398                         no_q[1] = get_pcm(s, x, y + 8);
399                         s->hevcdsp.hevc_v_loop_filter_chroma_c(src, s->frame->linesize[chroma], c_tc, no_p, no_q);
400                     } else
401                         s->hevcdsp.hevc_v_loop_filter_chroma(src, s->frame->linesize[chroma], c_tc, no_p, no_q);
402                 }
403             }
404         }
405     }
406
407     // horizontal filtering luma
408     if (x_end != s->sps->width)
409         x_end -= 8;
410     for (y = y0 ? y0 : 8; y < y_end; y += 8) {
411         for (x = x0 ? x0 - 8 : 0; x < x_end; x += 8) {
412             const int bs0 = s->horizontal_bs[(x +     y * s->bs_width) >> 2];
413             const int bs1 = s->horizontal_bs[(x + 4 + y * s->bs_width) >> 2];
414             if (bs0 || bs1) {
415                 const int qp0 = (get_qPy(s, x, y - 1)     + get_qPy(s, x, y)     + 1) >> 1;
416                 const int qp1 = (get_qPy(s, x + 4, y - 1) + get_qPy(s, x + 4, y) + 1) >> 1;
417
418                 tc_offset = x >= x0 ? cur_tc_offset : left_tc_offset;
419                 beta_offset = x >= x0 ? cur_beta_offset : left_beta_offset;
420
421                 beta[0]  = betatable[av_clip(qp0 + ((beta_offset >> 1) << 1), 0, MAX_QP)];
422                 beta[1]  = betatable[av_clip(qp1 + ((beta_offset >> 1) << 1), 0, MAX_QP)];
423                 tc[0] = bs0 ? TC_CALC(qp0, bs0) : 0;
424                 tc[1] = bs1 ? TC_CALC(qp1, bs1) : 0;
425                 src = &s->frame->data[LUMA][y * s->frame->linesize[LUMA] + (x << s->sps->pixel_shift)];
426                 if (pcmf) {
427                     no_p[0] = get_pcm(s, x, y - 1);
428                     no_p[1] = get_pcm(s, x + 4, y - 1);
429                     no_q[0] = get_pcm(s, x, y);
430                     no_q[1] = get_pcm(s, x + 4, y);
431                     s->hevcdsp.hevc_h_loop_filter_luma_c(src, s->frame->linesize[LUMA], beta, tc, no_p, no_q);
432                 } else
433                     s->hevcdsp.hevc_h_loop_filter_luma(src, s->frame->linesize[LUMA], beta, tc, no_p, no_q);
434             }
435         }
436     }
437
438     // horizontal filtering chroma
439     for (chroma = 1; chroma <= 2; chroma++) {
440         for (y = y0 ? y0 : 16; y < y_end; y += 16) {
441             for (x = x0 - 8; x < x_end; x += 16) {
442                 int bs0, bs1;
443                 // to make sure no memory access over boundary when x = -8
444                 // TODO: simplify with row based deblocking
445                 if (x < 0) {
446                     bs0 = 0;
447                     bs1 = s->horizontal_bs[(x + 8 + y * s->bs_width) >> 2];
448                 } else if (x >= x_end - 8) {
449                     bs0 = s->horizontal_bs[(x + y * s->bs_width) >> 2];
450                     bs1 = 0;
451                 } else {
452                     bs0 = s->horizontal_bs[(x + y * s->bs_width) >> 2];
453                     bs1 = s->horizontal_bs[(x + 8 + y * s->bs_width) >> 2];
454                 }
455
456                 if ((bs0 == 2) || (bs1 == 2)) {
457                     const int qp0 = (bs0 == 2) ? ((get_qPy(s, x, y - 1)     + get_qPy(s, x, y)     + 1) >> 1) : 0;
458                     const int qp1 = (bs1 == 2) ? ((get_qPy(s, x + 8, y - 1) + get_qPy(s, x + 8, y) + 1) >> 1) : 0;
459
460                     tc_offset = x >= x0 ? cur_tc_offset : left_tc_offset;
461                     c_tc[0] = (bs0 == 2) ? chroma_tc(s, qp0, chroma, tc_offset) : 0;
462                     c_tc[1] = (bs1 == 2) ? chroma_tc(s, qp1, chroma, cur_tc_offset) : 0;
463                     src = &s->frame->data[chroma][(y / 2) * s->frame->linesize[chroma] + ((x / 2) << s->sps->pixel_shift)];
464                     if (pcmf) {
465                         no_p[0] = get_pcm(s, x, y - 1);
466                         no_p[1] = get_pcm(s, x + 8, y - 1);
467                         no_q[0] = get_pcm(s, x, y);
468                         no_q[1] = get_pcm(s, x + 8, y);
469                         s->hevcdsp.hevc_h_loop_filter_chroma_c(src, s->frame->linesize[chroma], c_tc, no_p, no_q);
470                     } else
471                         s->hevcdsp.hevc_h_loop_filter_chroma(src, s->frame->linesize[chroma], c_tc, no_p, no_q);
472                 }
473             }
474         }
475     }
476 }
477
478 static int boundary_strength(HEVCContext *s, MvField *curr,
479                              uint8_t curr_cbf_luma, MvField *neigh,
480                              uint8_t neigh_cbf_luma, RefPicList *neigh_refPicList,
481                              int tu_border)
482 {
483     int mvs = curr->pred_flag[0] + curr->pred_flag[1];
484
485     if (tu_border) {
486         if (curr->is_intra || neigh->is_intra)
487             return 2;
488         if (curr_cbf_luma || neigh_cbf_luma)
489             return 1;
490     }
491
492     if (mvs == neigh->pred_flag[0] + neigh->pred_flag[1]) {
493         if (mvs == 2) {
494             // same L0 and L1
495             if (s->ref->refPicList[0].list[curr->ref_idx[0]] == neigh_refPicList[0].list[neigh->ref_idx[0]]   &&
496                 s->ref->refPicList[0].list[curr->ref_idx[0]] == s->ref->refPicList[1].list[curr->ref_idx[1]] &&
497                 neigh_refPicList[0].list[neigh->ref_idx[0]] == neigh_refPicList[1].list[neigh->ref_idx[1]]) {
498                 if ((abs(neigh->mv[0].x - curr->mv[0].x) >= 4 || abs(neigh->mv[0].y - curr->mv[0].y) >= 4 ||
499                      abs(neigh->mv[1].x - curr->mv[1].x) >= 4 || abs(neigh->mv[1].y - curr->mv[1].y) >= 4) &&
500                     (abs(neigh->mv[1].x - curr->mv[0].x) >= 4 || abs(neigh->mv[1].y - curr->mv[0].y) >= 4 ||
501                      abs(neigh->mv[0].x - curr->mv[1].x) >= 4 || abs(neigh->mv[0].y - curr->mv[1].y) >= 4))
502                     return 1;
503                 else
504                     return 0;
505             } else if (neigh_refPicList[0].list[neigh->ref_idx[0]] == s->ref->refPicList[0].list[curr->ref_idx[0]] &&
506                        neigh_refPicList[1].list[neigh->ref_idx[1]] == s->ref->refPicList[1].list[curr->ref_idx[1]]) {
507                 if (abs(neigh->mv[0].x - curr->mv[0].x) >= 4 || abs(neigh->mv[0].y - curr->mv[0].y) >= 4 ||
508                     abs(neigh->mv[1].x - curr->mv[1].x) >= 4 || abs(neigh->mv[1].y - curr->mv[1].y) >= 4)
509                     return 1;
510                 else
511                     return 0;
512             } else if (neigh_refPicList[1].list[neigh->ref_idx[1]] == s->ref->refPicList[0].list[curr->ref_idx[0]] &&
513                        neigh_refPicList[0].list[neigh->ref_idx[0]] == s->ref->refPicList[1].list[curr->ref_idx[1]]) {
514                 if (abs(neigh->mv[1].x - curr->mv[0].x) >= 4 || abs(neigh->mv[1].y - curr->mv[0].y) >= 4 ||
515                     abs(neigh->mv[0].x - curr->mv[1].x) >= 4 || abs(neigh->mv[0].y - curr->mv[1].y) >= 4)
516                     return 1;
517                 else
518                     return 0;
519             } else {
520                 return 1;
521             }
522         } else { // 1 MV
523             Mv A, B;
524             int ref_A;
525             int ref_B;
526
527             if (curr->pred_flag[0]) {
528                 A = curr->mv[0];
529                 ref_A = s->ref->refPicList[0].list[curr->ref_idx[0]];
530             } else {
531                 A = curr->mv[1];
532                 ref_A = s->ref->refPicList[1].list[curr->ref_idx[1]];
533             }
534
535             if (neigh->pred_flag[0]) {
536                 B = neigh->mv[0];
537                 ref_B = neigh_refPicList[0].list[neigh->ref_idx[0]];
538             } else {
539                 B = neigh->mv[1];
540                 ref_B = neigh_refPicList[1].list[neigh->ref_idx[1]];
541             }
542
543             if (ref_A == ref_B) {
544                 if (abs(A.x - B.x) >= 4 || abs(A.y - B.y) >= 4)
545                     return 1;
546                 else
547                     return 0;
548             } else
549                 return 1;
550         }
551     }
552
553     return 1;
554 }
555
556 void ff_hevc_deblocking_boundary_strengths(HEVCContext *s, int x0, int y0, int log2_trafo_size,
557                                            int slice_or_tiles_up_boundary, int slice_or_tiles_left_boundary)
558 {
559     MvField *tab_mvf      = s->ref->tab_mvf;
560     int log2_min_pu_size  = s->sps->log2_min_pu_size;
561     int log2_min_tu_size  = s->sps->log2_min_transform_block_size;
562     int pic_width_in_min_pu = s->sps->width >> log2_min_pu_size;
563     int pic_width_in_min_tu = s->sps->width >> log2_min_tu_size;
564     int is_intra = tab_mvf[(y0 >> log2_min_pu_size) * pic_width_in_min_pu + (x0 >> log2_min_pu_size)].is_intra;
565
566     int i, j;
567     int bs;
568
569     if (y0 > 0 && (y0 & 7) == 0) {
570         int yp_pu = (y0 - 1) >> log2_min_pu_size;
571         int yq_pu = y0 >> log2_min_pu_size;
572         int yp_tu = (y0 - 1) >> log2_min_tu_size;
573         int yq_tu = y0 >> log2_min_tu_size;
574
575         for (i = 0; i < (1 << log2_trafo_size); i += 4) {
576             int x_pu = (x0 + i) >> log2_min_pu_size;
577             int x_tu = (x0 + i) >> log2_min_tu_size;
578             MvField *top  = &tab_mvf[yp_pu * pic_width_in_min_pu + x_pu];
579             MvField *curr = &tab_mvf[yq_pu * pic_width_in_min_pu + x_pu];
580             uint8_t top_cbf_luma  = s->cbf_luma[yp_tu * pic_width_in_min_tu + x_tu];
581             uint8_t curr_cbf_luma = s->cbf_luma[yq_tu * pic_width_in_min_tu + x_tu];
582             RefPicList* top_refPicList = ff_hevc_get_ref_list(s, s->ref, x0 + i, y0 - 1);
583
584             bs = boundary_strength(s, curr, curr_cbf_luma, top, top_cbf_luma, top_refPicList, 1);
585             if (!s->sh.slice_loop_filter_across_slices_enabled_flag && (slice_or_tiles_up_boundary & 1) && (y0 % (1 << s->sps->log2_ctb_size)) == 0)
586                 bs = 0;
587             else if (!s->pps->loop_filter_across_tiles_enabled_flag && (slice_or_tiles_up_boundary & 2)  && (y0 % (1 << s->sps->log2_ctb_size)) == 0)
588                 bs = 0;
589             if (y0 == 0 || s->sh.disable_deblocking_filter_flag == 1)
590                 bs = 0;
591             if (bs)
592                 s->horizontal_bs[((x0 + i) + y0 * s->bs_width) >> 2] = bs;
593         }
594     }
595
596     // bs for TU internal horizontal PU boundaries
597     if (log2_trafo_size > s->sps->log2_min_pu_size && !is_intra)
598         for (j = 8; j < (1 << log2_trafo_size); j += 8) {
599             int yp_pu = (y0 + j - 1) >> log2_min_pu_size;
600             int yq_pu = (y0 + j)     >> log2_min_pu_size;
601             int yp_tu = (y0 + j - 1) >> log2_min_tu_size;
602             int yq_tu = (y0 + j)     >> log2_min_tu_size;
603
604
605             for (i = 0; i < (1<<log2_trafo_size); i += 4) {
606                 int x_pu = (x0 + i) >> log2_min_pu_size;
607                 int x_tu = (x0 + i) >> log2_min_tu_size;
608                 MvField *top  = &tab_mvf[yp_pu * pic_width_in_min_pu + x_pu];
609                 MvField *curr = &tab_mvf[yq_pu * pic_width_in_min_pu + x_pu];
610                 uint8_t top_cbf_luma  = s->cbf_luma[yp_tu * pic_width_in_min_tu + x_tu];
611                 uint8_t curr_cbf_luma = s->cbf_luma[yq_tu * pic_width_in_min_tu + x_tu];
612                 RefPicList* top_refPicList = ff_hevc_get_ref_list(s, s->ref, x0 + i, y0 + j - 1);
613
614                 bs = boundary_strength(s, curr, curr_cbf_luma, top, top_cbf_luma, top_refPicList, 0);
615                 if (s->sh.disable_deblocking_filter_flag == 1)
616                     bs = 0;
617                 if (bs)
618                     s->horizontal_bs[((x0 + i) + (y0 + j) * s->bs_width) >> 2] = bs;
619             }
620         }
621
622     // bs for vertical TU boundaries
623     if (x0 > 0 && (x0 & 7) == 0) {
624         int xp_pu = (x0 - 1) >> log2_min_pu_size;
625         int xq_pu =  x0      >> log2_min_pu_size;
626         int xp_tu = (x0 - 1) >> log2_min_tu_size;
627         int xq_tu =  x0      >> log2_min_tu_size;
628
629         for (i = 0; i < (1 << log2_trafo_size); i += 4) {
630             int y_pu = (y0 + i) >> log2_min_pu_size;
631             int y_tu = (y0 + i) >> log2_min_tu_size;
632             MvField *left = &tab_mvf[y_pu * pic_width_in_min_pu + xp_pu];
633             MvField *curr = &tab_mvf[y_pu * pic_width_in_min_pu + xq_pu];
634
635             uint8_t left_cbf_luma = s->cbf_luma[y_tu * pic_width_in_min_tu + xp_tu];
636             uint8_t curr_cbf_luma = s->cbf_luma[y_tu * pic_width_in_min_tu + xq_tu];
637             RefPicList* left_refPicList = ff_hevc_get_ref_list(s, s->ref, x0 - 1, y0 + i);
638
639             bs = boundary_strength(s, curr, curr_cbf_luma, left, left_cbf_luma, left_refPicList, 1);
640             if (!s->sh.slice_loop_filter_across_slices_enabled_flag && (slice_or_tiles_left_boundary & 1) && (x0 % (1 << s->sps->log2_ctb_size)) == 0)
641                 bs = 0;
642             else if (!s->pps->loop_filter_across_tiles_enabled_flag && (slice_or_tiles_left_boundary & 2) && (x0 % (1 << s->sps->log2_ctb_size)) == 0)
643                 bs = 0;
644             if (x0 == 0 || s->sh.disable_deblocking_filter_flag == 1)
645                 bs = 0;
646             if (bs)
647                 s->vertical_bs[(x0 >> 3) + ((y0 + i) >> 2) * s->bs_width] = bs;
648         }
649     }
650
651     // bs for TU internal vertical PU boundaries
652     if (log2_trafo_size > s->sps->log2_min_pu_size && !is_intra)
653         for (j = 0; j < (1 << log2_trafo_size); j += 4) {
654             int y_pu = (y0 + j) >> log2_min_pu_size;
655             int y_tu = (y0 + j) >> log2_min_tu_size;
656
657             for (i = 8; i < (1 << log2_trafo_size); i += 8) {
658                 int xp_pu = (x0 + i - 1) >> log2_min_pu_size;
659                 int xq_pu = (x0 + i) >> log2_min_pu_size;
660                 int xp_tu = (x0 + i - 1) >> log2_min_tu_size;
661                 int xq_tu = (x0 + i) >> log2_min_tu_size;
662                 MvField *left = &tab_mvf[y_pu * pic_width_in_min_pu + xp_pu];
663                 MvField *curr = &tab_mvf[y_pu * pic_width_in_min_pu + xq_pu];
664                 uint8_t left_cbf_luma = s->cbf_luma[y_tu * pic_width_in_min_tu + xp_tu];
665                 uint8_t curr_cbf_luma = s->cbf_luma[y_tu * pic_width_in_min_tu + xq_tu];
666                 RefPicList* left_refPicList = ff_hevc_get_ref_list(s, s->ref, x0 + i - 1, y0 + j);
667
668
669                 bs = boundary_strength(s, curr, curr_cbf_luma, left, left_cbf_luma, left_refPicList, 0);
670                 if (s->sh.disable_deblocking_filter_flag == 1)
671                     bs = 0;
672                 if (bs)
673                     s->vertical_bs[((x0 + i) >> 3) + ((y0 + j) >> 2) * s->bs_width] = bs;
674             }
675         }
676 }
677 #undef LUMA
678 #undef CB
679 #undef CR
680
681 void ff_hevc_hls_filter(HEVCContext *s, int x, int y)
682 {
683     int c_idx_min = s->sh.slice_sample_adaptive_offset_flag[0] != 0 ? 0 : 1;
684     int c_idx_max = s->sh.slice_sample_adaptive_offset_flag[1] != 0 ? 3 : 1;
685     deblocking_filter_CTB(s, x, y);
686     if (s->sps->sao_enabled)
687         sao_filter_CTB(s, x, y, c_idx_min, c_idx_max);
688 }
689
690 void ff_hevc_hls_filters(HEVCContext *s, int x_ctb, int y_ctb, int ctb_size)
691 {
692     if (y_ctb && x_ctb)
693         ff_hevc_hls_filter(s, x_ctb - ctb_size, y_ctb - ctb_size);
694     if (y_ctb && x_ctb >= s->sps->width - ctb_size)
695         ff_hevc_hls_filter(s, x_ctb, y_ctb - ctb_size);
696     if (x_ctb && y_ctb >= s->sps->height - ctb_size)
697         ff_hevc_hls_filter(s, x_ctb - ctb_size, y_ctb);
698 }