289eed783be358a38f2d4f698863e786987e80ef
[vlc.git] / modules / video_filter / deinterlace / algo_phosphor.c
1 /*****************************************************************************
2  * algo_phosphor.c : Phosphor algorithm for the VLC deinterlacer
3  *****************************************************************************
4  * Copyright (C) 2011 VLC authors and VideoLAN
5  *
6  * Author: Juha Jeronen <juha.jeronen@jyu.fi>
7  *
8  * This program is free software; you can redistribute it and/or modify it
9  * under the terms of the GNU Lesser General Public License as published by
10  * the Free Software Foundation; either version 2.1 of the License, or
11  * (at your option) any later version.
12  *
13  * This program is distributed in the hope that it will be useful,
14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16  * GNU Lesser General Public License for more details.
17  *
18  * You should have received a copy of the GNU Lesser General Public License
19  * along with this program; if not, write to the Free Software Foundation,
20  * Inc., 51 Franklin Street, Fifth Floor, Boston MA 02110-1301, USA.
21  *****************************************************************************/
22
23 #ifdef HAVE_CONFIG_H
24 #   include "config.h"
25 #endif
26
27 #ifdef CAN_COMPILE_MMXEXT
28 #   include "mmx.h"
29 #   include <stdalign.h>
30 #endif
31
32 #include <stdint.h>
33 #include <assert.h>
34
35 #include <vlc_common.h>
36 #include <vlc_cpu.h>
37 #include <vlc_picture.h>
38 #include <vlc_filter.h>
39
40 #include "deinterlace.h" /* filter_sys_t */
41 #include "helpers.h"     /* ComposeFrame() */
42
43 #include "algo_phosphor.h"
44
45 /*****************************************************************************
46  * Internal functions
47  *****************************************************************************/
48
49 /**
50  * Internal helper function: dims (darkens) the given field
51  * of the given picture.
52  *
53  * This is used for simulating CRT light output decay in RenderPhosphor().
54  *
55  * The strength "1" is recommended. It's a matter of taste,
56  * so it's parametrized.
57  *
58  * Note on chroma formats:
59  *   - If input is 4:2:2, all planes are processed.
60  *   - If input is 4:2:0, only the luma plane is processed, because both fields
61  *     have the same chroma. This will distort colours, especially for high
62  *     filter strengths, especially for pixels whose U and/or V values are
63  *     far away from the origin (which is at 128 in uint8 format).
64  *
65  * @param p_dst Input/output picture. Will be modified in-place.
66  * @param i_field Darken which field? 0 = top, 1 = bottom.
67  * @param i_strength Strength of effect: 1, 2 or 3 (division by 2, 4 or 8).
68  * @see RenderPhosphor()
69  * @see ComposeFrame()
70  */
71 static void DarkenField( picture_t *p_dst,
72                          const int i_field, const int i_strength,
73                          bool process_chroma )
74 {
75     assert( p_dst != NULL );
76     assert( i_field == 0 || i_field == 1 );
77     assert( i_strength >= 1 && i_strength <= 3 );
78
79     /* Bitwise ANDing with this clears the i_strength highest bits
80        of each byte */
81     const uint8_t  remove_high_u8 = 0xFF >> i_strength;
82     const uint64_t remove_high_u64 = remove_high_u8 *
83                                             INT64_C(0x0101010101010101);
84
85     /* Process luma.
86
87        For luma, the operation is just a shift + bitwise AND, so we vectorize
88        even in the C version.
89
90        There is an MMX version too, because it performs about twice faster.
91     */
92     int i_plane = Y_PLANE;
93     uint8_t *p_out, *p_out_end;
94     int w = p_dst->p[i_plane].i_visible_pitch;
95     p_out = p_dst->p[i_plane].p_pixels;
96     p_out_end = p_out + p_dst->p[i_plane].i_pitch
97                       * p_dst->p[i_plane].i_visible_lines;
98
99     /* skip first line for bottom field */
100     if( i_field == 1 )
101         p_out += p_dst->p[i_plane].i_pitch;
102
103     int wm8 = w % 8;   /* remainder */
104     int w8  = w - wm8; /* part of width that is divisible by 8 */
105     for( ; p_out < p_out_end ; p_out += 2*p_dst->p[i_plane].i_pitch )
106     {
107         uint64_t *po = (uint64_t *)p_out;
108         int x = 0;
109
110         for( ; x < w8; x += 8, ++po )
111             (*po) = ( ((*po) >> i_strength) & remove_high_u64 );
112
113         /* handle the width remainder */
114         uint8_t *po_temp = (uint8_t *)po;
115         for( ; x < w; ++x, ++po_temp )
116             (*po_temp) = ( ((*po_temp) >> i_strength) & remove_high_u8 );
117     }
118
119     /* Process chroma if the field chromas are independent.
120
121        The origin (black) is at YUV = (0, 128, 128) in the uint8 format.
122        The chroma processing is a bit more complicated than luma,
123        and needs MMX for vectorization.
124     */
125     if( process_chroma )
126     {
127         for( i_plane++ /* luma already handled*/;
128              i_plane < p_dst->i_planes;
129              i_plane++ )
130         {
131             w = p_dst->p[i_plane].i_visible_pitch;
132             p_out = p_dst->p[i_plane].p_pixels;
133             p_out_end = p_out + p_dst->p[i_plane].i_pitch
134                               * p_dst->p[i_plane].i_visible_lines;
135
136             /* skip first line for bottom field */
137             if( i_field == 1 )
138                 p_out += p_dst->p[i_plane].i_pitch;
139
140             for( ; p_out < p_out_end ; p_out += 2*p_dst->p[i_plane].i_pitch )
141             {
142                 /* Handle the width remainder */
143                 uint8_t *po = p_out;
144                 for( int x = 0; x < w; ++x, ++po )
145                     (*po) = 128 + ( ((*po) - 128) / (1 << i_strength) );
146             } /* for p_out... */
147         } /* for i_plane... */
148     } /* if process_chroma */
149 }
150
151 #ifdef CAN_COMPILE_MMXEXT
152 VLC_MMX
153 static void DarkenFieldMMX( picture_t *p_dst,
154                             const int i_field, const int i_strength,
155                             bool process_chroma )
156 {
157     assert( p_dst != NULL );
158     assert( i_field == 0 || i_field == 1 );
159     assert( i_strength >= 1 && i_strength <= 3 );
160
161     uint64_t i_strength_u64 = i_strength; /* needs to know number of bits */
162     const uint8_t  remove_high_u8 = 0xFF >> i_strength;
163     const uint64_t remove_high_u64 = remove_high_u8 *
164                                             INT64_C(0x0101010101010101);
165
166     int i_plane = Y_PLANE;
167     uint8_t *p_out, *p_out_end;
168     int w = p_dst->p[i_plane].i_visible_pitch;
169     p_out = p_dst->p[i_plane].p_pixels;
170     p_out_end = p_out + p_dst->p[i_plane].i_pitch
171                       * p_dst->p[i_plane].i_visible_lines;
172
173     /* skip first line for bottom field */
174     if( i_field == 1 )
175         p_out += p_dst->p[i_plane].i_pitch;
176
177     int wm8 = w % 8;   /* remainder */
178     int w8  = w - wm8; /* part of width that is divisible by 8 */
179     for( ; p_out < p_out_end ; p_out += 2*p_dst->p[i_plane].i_pitch )
180     {
181         uint64_t *po = (uint64_t *)p_out;
182         int x = 0;
183
184         movq_m2r( i_strength_u64,  mm1 );
185         movq_m2r( remove_high_u64, mm2 );
186         for( ; x < w8; x += 8 )
187         {
188             movq_m2r( (*po), mm0 );
189
190             psrlq_r2r( mm1, mm0 );
191             pand_r2r(  mm2, mm0 );
192
193             movq_r2m( mm0, (*po++) );
194         }
195
196         /* handle the width remainder */
197         uint8_t *po_temp = (uint8_t *)po;
198         for( ; x < w; ++x, ++po_temp )
199             (*po_temp) = ( ((*po_temp) >> i_strength) & remove_high_u8 );
200     }
201
202     /* Process chroma if the field chromas are independent.
203
204        The origin (black) is at YUV = (0, 128, 128) in the uint8 format.
205        The chroma processing is a bit more complicated than luma,
206        and needs MMX for vectorization.
207     */
208     if( process_chroma )
209     {
210         for( i_plane++ /* luma already handled */;
211              i_plane < p_dst->i_planes;
212              i_plane++ )
213         {
214             w = p_dst->p[i_plane].i_visible_pitch;
215             wm8 = w % 8;   /* remainder */
216             w8  = w - wm8; /* part of width that is divisible by 8 */
217
218             p_out = p_dst->p[i_plane].p_pixels;
219             p_out_end = p_out + p_dst->p[i_plane].i_pitch
220                               * p_dst->p[i_plane].i_visible_lines;
221
222             /* skip first line for bottom field */
223             if( i_field == 1 )
224                 p_out += p_dst->p[i_plane].i_pitch;
225
226             for( ; p_out < p_out_end ; p_out += 2*p_dst->p[i_plane].i_pitch )
227             {
228                 int x = 0;
229
230                 /* See also easy-to-read C version below. */
231                 static alignas (8) const mmx_t b128 = {
232                     .uq = 0x8080808080808080ULL
233                 };
234
235                 movq_m2r( b128, mm5 );
236                 movq_m2r( i_strength_u64,  mm6 );
237                 movq_m2r( remove_high_u64, mm7 );
238
239                 uint64_t *po8 = (uint64_t *)p_out;
240                 for( ; x < w8; x += 8 )
241                 {
242                     movq_m2r( (*po8), mm0 );
243
244                     movq_r2r( mm5, mm2 ); /* 128 */
245                     movq_r2r( mm0, mm1 ); /* copy of data */
246                     psubusb_r2r( mm2, mm1 ); /* mm1 = max(data - 128, 0) */
247                     psubusb_r2r( mm0, mm2 ); /* mm2 = max(128 - data, 0) */
248
249                     /* >> i_strength */
250                     psrlq_r2r( mm6, mm1 );
251                     psrlq_r2r( mm6, mm2 );
252                     pand_r2r(  mm7, mm1 );
253                     pand_r2r(  mm7, mm2 );
254
255                     /* collect results from pos./neg. parts */
256                     psubb_r2r( mm2, mm1 );
257                     paddb_r2r( mm5, mm1 );
258
259                     movq_r2m( mm1, (*po8++) );
260                 }
261
262                 /* C version - handle the width remainder */
263                 uint8_t *po = p_out;
264                 for( ; x < w; ++x, ++po )
265                     (*po) = 128 + ( ((*po) - 128) / (1 << i_strength) );
266             } /* for p_out... */
267         } /* for i_plane... */
268     } /* if process_chroma */
269
270     emms();
271 }
272 #endif
273
274 /*****************************************************************************
275  * Public functions
276  *****************************************************************************/
277
278 /* See header for function doc. */
279 int RenderPhosphor( filter_t *p_filter,
280                     picture_t *p_dst, picture_t *p_pic,
281                     int i_order, int i_field )
282 {
283     VLC_UNUSED(p_pic);
284     assert( p_filter != NULL );
285     assert( p_dst != NULL );
286     assert( i_order >= 0 && i_order <= 2 ); /* 2 = soft field repeat */
287     assert( i_field == 0 || i_field == 1 );
288
289     filter_sys_t *p_sys = p_filter->p_sys;
290
291     /* Last two input frames */
292     picture_t *p_in  = p_sys->context.pp_history[HISTORY_SIZE-1];
293     picture_t *p_old = p_sys->context.pp_history[HISTORY_SIZE-2];
294
295     /* Use the same input picture as "old" at the first frame after startup */
296     if( !p_old )
297         p_old = p_in;
298
299     /* If the history mechanism has failed, we can't do anything. */
300     if( !p_in )
301         return VLC_EGENERIC;
302
303     assert( p_old != NULL );
304     assert( p_in != NULL );
305
306     /* Decide sources for top & bottom fields of output. */
307     picture_t *p_in_top    = p_in;
308     picture_t *p_in_bottom = p_in;
309     /* For the first output field this frame,
310        grab "old" field from previous frame. */
311     if( i_order == 0 )
312     {
313         if( i_field == 0 ) /* rendering top field */
314             p_in_bottom = p_old;
315         else /* i_field == 1, rendering bottom field */
316             p_in_top = p_old;
317     }
318
319     compose_chroma_t cc = CC_ALTLINE;
320     if( 2 * p_sys->chroma->p[1].h.num == p_sys->chroma->p[1].h.den &&
321         2 * p_sys->chroma->p[2].h.num == p_sys->chroma->p[2].h.den )
322     {
323         /* Only 420 like chroma */
324         switch( p_sys->phosphor.i_chroma_for_420 )
325         {
326         case PC_BLEND:
327             cc = CC_MERGE;
328             break;
329         case PC_LATEST:
330             if( i_field == 0 )
331                 cc = CC_SOURCE_TOP;
332             else /* i_field == 1 */
333                 cc = CC_SOURCE_BOTTOM;
334             break;
335         case PC_ALTLINE:
336             cc = CC_ALTLINE;
337             break;
338         case PC_UPCONVERT:
339             cc = CC_UPCONVERT;
340             break;
341         default:
342             /* The above are the only possibilities, if there are no bugs. */
343             vlc_assert_unreachable();
344             break;
345         }
346     }
347     ComposeFrame( p_filter, p_dst, p_in_top, p_in_bottom, cc, p_filter->fmt_in.video.i_chroma == VLC_CODEC_YV12 );
348
349     /* Simulate phosphor light output decay for the old field.
350
351        The dimmer can also be switched off in the configuration, but that is
352        more of a technical curiosity or an educational toy for advanced users
353        than a useful deinterlacer mode (although it does make telecined
354        material look slightly better than without any filtering).
355
356        In most use cases the dimmer is used.
357     */
358     if( p_sys->phosphor.i_dimmer_strength > 0 )
359     {
360 #ifdef CAN_COMPILE_MMXEXT
361         if( vlc_CPU_MMXEXT() )
362             DarkenFieldMMX( p_dst, !i_field, p_sys->phosphor.i_dimmer_strength,
363                 p_sys->chroma->p[1].h.num == p_sys->chroma->p[1].h.den &&
364                 p_sys->chroma->p[2].h.num == p_sys->chroma->p[2].h.den );
365         else
366 #endif
367             DarkenField( p_dst, !i_field, p_sys->phosphor.i_dimmer_strength,
368                 p_sys->chroma->p[1].h.num == p_sys->chroma->p[1].h.den &&
369                 p_sys->chroma->p[2].h.num == p_sys->chroma->p[2].h.den );
370     }
371     return VLC_SUCCESS;
372 }