swscale: fix gbrap to gbrap alpha scaling
[ffmpeg.git] / libavcodec / rv30.c
1 /*
2  * RV30 decoder
3  * Copyright (c) 2007 Konstantin Shishkov
4  *
5  * This file is part of Libav.
6  *
7  * Libav is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * Libav is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with Libav; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 /**
23  * @file
24  * RV30 decoder
25  */
26
27 #include "avcodec.h"
28 #include "mpegutils.h"
29 #include "mpegvideo.h"
30 #include "golomb.h"
31
32 #include "rv34.h"
33 #include "rv30data.h"
34
35
36 static int rv30_parse_slice_header(RV34DecContext *r, GetBitContext *gb, SliceInfo *si)
37 {
38     AVCodecContext *avctx = r->s.avctx;
39     int mb_bits;
40     int w = r->s.width, h = r->s.height;
41     int mb_size;
42     int rpr;
43
44     memset(si, 0, sizeof(SliceInfo));
45     if(get_bits(gb, 3))
46         return -1;
47     si->type = get_bits(gb, 2);
48     if(si->type == 1) si->type = 0;
49     if(get_bits1(gb))
50         return -1;
51     si->quant = get_bits(gb, 5);
52     skip_bits1(gb);
53     si->pts = get_bits(gb, 13);
54     rpr = get_bits(gb, r->rpr);
55     if(rpr){
56         if (avctx->extradata_size < rpr * 2 + 8) {
57             av_log(avctx, AV_LOG_ERROR,
58                    "Insufficient extradata - need at least %d bytes, got %d\n",
59                    8 + rpr * 2, avctx->extradata_size);
60             return AVERROR(EINVAL);
61         }
62
63         w = r->s.avctx->extradata[6 + rpr*2] << 2;
64         h = r->s.avctx->extradata[7 + rpr*2] << 2;
65     }
66     si->width  = w;
67     si->height = h;
68     mb_size = ((w + 15) >> 4) * ((h + 15) >> 4);
69     mb_bits = ff_rv34_get_start_offset(gb, mb_size);
70     si->start = get_bits(gb, mb_bits);
71     skip_bits1(gb);
72     return 0;
73 }
74
75 /**
76  * Decode 4x4 intra types array.
77  */
78 static int rv30_decode_intra_types(RV34DecContext *r, GetBitContext *gb, int8_t *dst)
79 {
80     int i, j, k;
81
82     for(i = 0; i < 4; i++, dst += r->intra_types_stride - 4){
83         for(j = 0; j < 4; j+= 2){
84             unsigned code = svq3_get_ue_golomb(gb) << 1;
85             if(code >= 81*2){
86                 av_log(r->s.avctx, AV_LOG_ERROR, "Incorrect intra prediction code\n");
87                 return -1;
88             }
89             for(k = 0; k < 2; k++){
90                 int A = dst[-r->intra_types_stride] + 1;
91                 int B = dst[-1] + 1;
92                 *dst++ = rv30_itype_from_context[A * 90 + B * 9 + rv30_itype_code[code + k]];
93                 if(dst[-1] == 9){
94                     av_log(r->s.avctx, AV_LOG_ERROR, "Incorrect intra prediction mode\n");
95                     return -1;
96                 }
97             }
98         }
99     }
100     return 0;
101 }
102
103 /**
104  * Decode macroblock information.
105  */
106 static int rv30_decode_mb_info(RV34DecContext *r)
107 {
108     static const int rv30_p_types[6] = { RV34_MB_SKIP, RV34_MB_P_16x16, RV34_MB_P_8x8, -1, RV34_MB_TYPE_INTRA, RV34_MB_TYPE_INTRA16x16 };
109     static const int rv30_b_types[6] = { RV34_MB_SKIP, RV34_MB_B_DIRECT, RV34_MB_B_FORWARD, RV34_MB_B_BACKWARD, RV34_MB_TYPE_INTRA, RV34_MB_TYPE_INTRA16x16 };
110     MpegEncContext *s = &r->s;
111     GetBitContext *gb = &s->gb;
112     unsigned code     = svq3_get_ue_golomb(gb);
113
114     if (code > 11) {
115         av_log(s->avctx, AV_LOG_ERROR, "Incorrect MB type code\n");
116         return -1;
117     }
118     if(code > 5){
119         av_log(s->avctx, AV_LOG_ERROR, "dquant needed\n");
120         code -= 6;
121     }
122     if(s->pict_type != AV_PICTURE_TYPE_B)
123         return rv30_p_types[code];
124     else
125         return rv30_b_types[code];
126 }
127
128 static inline void rv30_weak_loop_filter(uint8_t *src, const int step,
129                                          const int stride, const int lim)
130 {
131     const uint8_t *cm = ff_crop_tab + MAX_NEG_CROP;
132     int i, diff;
133
134     for(i = 0; i < 4; i++){
135         diff = ((src[-2*step] - src[1*step]) - (src[-1*step] - src[0*step])*4) >> 3;
136         diff = av_clip(diff, -lim, lim);
137         src[-1*step] = cm[src[-1*step] + diff];
138         src[ 0*step] = cm[src[ 0*step] - diff];
139         src += stride;
140     }
141 }
142
143 static void rv30_loop_filter(RV34DecContext *r, int row)
144 {
145     MpegEncContext *s = &r->s;
146     int mb_pos, mb_x;
147     int i, j, k;
148     uint8_t *Y, *C;
149     int loc_lim, cur_lim, left_lim = 0, top_lim = 0;
150
151     mb_pos = row * s->mb_stride;
152     for(mb_x = 0; mb_x < s->mb_width; mb_x++, mb_pos++){
153         int mbtype = s->current_picture_ptr->mb_type[mb_pos];
154         if(IS_INTRA(mbtype) || IS_SEPARATE_DC(mbtype))
155             r->deblock_coefs[mb_pos] = 0xFFFF;
156         if(IS_INTRA(mbtype))
157             r->cbp_chroma[mb_pos] = 0xFF;
158     }
159
160     /* all vertical edges are filtered first
161      * and horizontal edges are filtered on the next iteration
162      */
163     mb_pos = row * s->mb_stride;
164     for(mb_x = 0; mb_x < s->mb_width; mb_x++, mb_pos++){
165         cur_lim = rv30_loop_filt_lim[s->current_picture_ptr->qscale_table[mb_pos]];
166         if(mb_x)
167             left_lim = rv30_loop_filt_lim[s->current_picture_ptr->qscale_table[mb_pos - 1]];
168         for(j = 0; j < 16; j += 4){
169             Y = s->current_picture_ptr->f->data[0] + mb_x*16 + (row*16 + j) * s->linesize + 4 * !mb_x;
170             for(i = !mb_x; i < 4; i++, Y += 4){
171                 int ij = i + j;
172                 loc_lim = 0;
173                 if(r->deblock_coefs[mb_pos] & (1 << ij))
174                     loc_lim = cur_lim;
175                 else if(!i && r->deblock_coefs[mb_pos - 1] & (1 << (ij + 3)))
176                     loc_lim = left_lim;
177                 else if( i && r->deblock_coefs[mb_pos]     & (1 << (ij - 1)))
178                     loc_lim = cur_lim;
179                 if(loc_lim)
180                     rv30_weak_loop_filter(Y, 1, s->linesize, loc_lim);
181             }
182         }
183         for(k = 0; k < 2; k++){
184             int cur_cbp, left_cbp = 0;
185             cur_cbp = (r->cbp_chroma[mb_pos] >> (k*4)) & 0xF;
186             if(mb_x)
187                 left_cbp = (r->cbp_chroma[mb_pos - 1] >> (k*4)) & 0xF;
188             for(j = 0; j < 8; j += 4){
189                 C = s->current_picture_ptr->f->data[k + 1] + mb_x*8 + (row*8 + j) * s->uvlinesize + 4 * !mb_x;
190                 for(i = !mb_x; i < 2; i++, C += 4){
191                     int ij = i + (j >> 1);
192                     loc_lim = 0;
193                     if (cur_cbp & (1 << ij))
194                         loc_lim = cur_lim;
195                     else if(!i && left_cbp & (1 << (ij + 1)))
196                         loc_lim = left_lim;
197                     else if( i && cur_cbp  & (1 << (ij - 1)))
198                         loc_lim = cur_lim;
199                     if(loc_lim)
200                         rv30_weak_loop_filter(C, 1, s->uvlinesize, loc_lim);
201                 }
202             }
203         }
204     }
205     mb_pos = row * s->mb_stride;
206     for(mb_x = 0; mb_x < s->mb_width; mb_x++, mb_pos++){
207         cur_lim = rv30_loop_filt_lim[s->current_picture_ptr->qscale_table[mb_pos]];
208         if(row)
209             top_lim = rv30_loop_filt_lim[s->current_picture_ptr->qscale_table[mb_pos - s->mb_stride]];
210         for(j = 4*!row; j < 16; j += 4){
211             Y = s->current_picture_ptr->f->data[0] + mb_x*16 + (row*16 + j) * s->linesize;
212             for(i = 0; i < 4; i++, Y += 4){
213                 int ij = i + j;
214                 loc_lim = 0;
215                 if(r->deblock_coefs[mb_pos] & (1 << ij))
216                     loc_lim = cur_lim;
217                 else if(!j && r->deblock_coefs[mb_pos - s->mb_stride] & (1 << (ij + 12)))
218                     loc_lim = top_lim;
219                 else if( j && r->deblock_coefs[mb_pos]                & (1 << (ij - 4)))
220                     loc_lim = cur_lim;
221                 if(loc_lim)
222                     rv30_weak_loop_filter(Y, s->linesize, 1, loc_lim);
223             }
224         }
225         for(k = 0; k < 2; k++){
226             int cur_cbp, top_cbp = 0;
227             cur_cbp = (r->cbp_chroma[mb_pos] >> (k*4)) & 0xF;
228             if(row)
229                 top_cbp = (r->cbp_chroma[mb_pos - s->mb_stride] >> (k*4)) & 0xF;
230             for(j = 4*!row; j < 8; j += 4){
231                 C = s->current_picture_ptr->f->data[k+1] + mb_x*8 + (row*8 + j) * s->uvlinesize;
232                 for(i = 0; i < 2; i++, C += 4){
233                     int ij = i + (j >> 1);
234                     loc_lim = 0;
235                     if (r->cbp_chroma[mb_pos] & (1 << ij))
236                         loc_lim = cur_lim;
237                     else if(!j && top_cbp & (1 << (ij + 2)))
238                         loc_lim = top_lim;
239                     else if( j && cur_cbp & (1 << (ij - 2)))
240                         loc_lim = cur_lim;
241                     if(loc_lim)
242                         rv30_weak_loop_filter(C, s->uvlinesize, 1, loc_lim);
243                 }
244             }
245         }
246     }
247 }
248
249 /**
250  * Initialize decoder.
251  */
252 static av_cold int rv30_decode_init(AVCodecContext *avctx)
253 {
254     RV34DecContext *r = avctx->priv_data;
255     int ret;
256
257     r->rv30 = 1;
258     if ((ret = ff_rv34_decode_init(avctx)) < 0)
259         return ret;
260     if(avctx->extradata_size < 2){
261         av_log(avctx, AV_LOG_ERROR, "Extradata is too small.\n");
262         return -1;
263     }
264     r->rpr = (avctx->extradata[1] & 7) >> 1;
265     r->rpr = FFMIN(r->rpr + 1, 3);
266
267     r->parse_slice_header = rv30_parse_slice_header;
268     r->decode_intra_types = rv30_decode_intra_types;
269     r->decode_mb_info     = rv30_decode_mb_info;
270     r->loop_filter        = rv30_loop_filter;
271     r->luma_dc_quant_i = rv30_luma_dc_quant;
272     r->luma_dc_quant_p = rv30_luma_dc_quant;
273     return 0;
274 }
275
276 AVCodec ff_rv30_decoder = {
277     .name                  = "rv30",
278     .long_name             = NULL_IF_CONFIG_SMALL("RealVideo 3.0"),
279     .type                  = AVMEDIA_TYPE_VIDEO,
280     .id                    = AV_CODEC_ID_RV30,
281     .priv_data_size        = sizeof(RV34DecContext),
282     .init                  = rv30_decode_init,
283     .close                 = ff_rv34_decode_end,
284     .decode                = ff_rv34_decode_frame,
285     .capabilities          = CODEC_CAP_DR1 | CODEC_CAP_DELAY |
286                              CODEC_CAP_FRAME_THREADS,
287     .flush                 = ff_mpeg_flush,
288     .pix_fmts              = (const enum AVPixelFormat[]) {
289         AV_PIX_FMT_YUV420P,
290         AV_PIX_FMT_NONE
291     },
292     .init_thread_copy      = ONLY_IF_THREADS_ENABLED(ff_rv34_decode_init_thread_copy),
293     .update_thread_context = ONLY_IF_THREADS_ENABLED(ff_rv34_decode_update_thread_context),
294 };