setting intra prediction modes to default values
[ffmpeg.git] / libavcodec / cavs.h
1 /*
2  * Chinese AVS video (AVS1-P2, JiZhun profile) decoder.
3  * Copyright (c) 2006  Stefan Gehrer <stefan.gehrer@gmx.de>
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with FFmpeg; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 #ifndef CAVS_H
23 #define CAVS_H
24
25 #include "dsputil.h"
26 #include "mpegvideo.h"
27
28 #define SLICE_MIN_START_CODE    0x00000101
29 #define SLICE_MAX_START_CODE    0x000001af
30 #define EXT_START_CODE          0x000001b5
31 #define USER_START_CODE         0x000001b2
32 #define CAVS_START_CODE         0x000001b0
33 #define PIC_I_START_CODE        0x000001b3
34 #define PIC_PB_START_CODE       0x000001b6
35
36 #define A_AVAIL                          1
37 #define B_AVAIL                          2
38 #define C_AVAIL                          4
39 #define D_AVAIL                          8
40 #define NOT_AVAIL                       -1
41 #define REF_INTRA                       -2
42 #define REF_DIR                         -3
43
44 #define ESCAPE_CODE                     59
45
46 #define FWD0                          0x01
47 #define FWD1                          0x02
48 #define BWD0                          0x04
49 #define BWD1                          0x08
50 #define SYM0                          0x10
51 #define SYM1                          0x20
52 #define SPLITH                        0x40
53 #define SPLITV                        0x80
54
55 #define MV_BWD_OFFS                     12
56 #define MV_STRIDE                        4
57
58 enum mb_t {
59   I_8X8 = 0,
60   P_SKIP,
61   P_16X16,
62   P_16X8,
63   P_8X16,
64   P_8X8,
65   B_SKIP,
66   B_DIRECT,
67   B_FWD_16X16,
68   B_BWD_16X16,
69   B_SYM_16X16,
70   B_8X8 = 29
71 };
72
73 enum sub_mb_t {
74   B_SUB_DIRECT,
75   B_SUB_FWD,
76   B_SUB_BWD,
77   B_SUB_SYM
78 };
79
80 enum intra_luma_t {
81   INTRA_L_VERT,
82   INTRA_L_HORIZ,
83   INTRA_L_LP,
84   INTRA_L_DOWN_LEFT,
85   INTRA_L_DOWN_RIGHT,
86   INTRA_L_LP_LEFT,
87   INTRA_L_LP_TOP,
88   INTRA_L_DC_128
89 };
90
91 enum intra_chroma_t {
92   INTRA_C_LP,
93   INTRA_C_HORIZ,
94   INTRA_C_VERT,
95   INTRA_C_PLANE,
96   INTRA_C_LP_LEFT,
97   INTRA_C_LP_TOP,
98   INTRA_C_DC_128,
99 };
100
101 enum mv_pred_t {
102   MV_PRED_MEDIAN,
103   MV_PRED_LEFT,
104   MV_PRED_TOP,
105   MV_PRED_TOPRIGHT,
106   MV_PRED_PSKIP,
107   MV_PRED_BSKIP
108 };
109
110 enum block_t {
111   BLK_16X16,
112   BLK_16X8,
113   BLK_8X16,
114   BLK_8X8
115 };
116
117 enum mv_loc_t {
118   MV_FWD_D3 = 0,
119   MV_FWD_B2,
120   MV_FWD_B3,
121   MV_FWD_C2,
122   MV_FWD_A1,
123   MV_FWD_X0,
124   MV_FWD_X1,
125   MV_FWD_A3 = 8,
126   MV_FWD_X2,
127   MV_FWD_X3,
128   MV_BWD_D3 = MV_BWD_OFFS,
129   MV_BWD_B2,
130   MV_BWD_B3,
131   MV_BWD_C2,
132   MV_BWD_A1,
133   MV_BWD_X0,
134   MV_BWD_X1,
135   MV_BWD_A3 = MV_BWD_OFFS+8,
136   MV_BWD_X2,
137   MV_BWD_X3
138 };
139
140 DECLARE_ALIGNED_8(typedef, struct) {
141     int16_t x;
142     int16_t y;
143     int16_t dist;
144     int16_t ref;
145 } vector_t;
146
147 typedef struct residual_vlc_t {
148   int8_t rltab[59][3];
149   int8_t level_add[27];
150   int8_t golomb_order;
151   int inc_limit;
152   int8_t max_run;
153 } residual_vlc_t;
154
155 typedef struct {
156     MpegEncContext s;
157     Picture picture; ///< currently decoded frame
158     Picture DPB[2];  ///< reference frames
159     int dist[2];     ///< temporal distances from current frame to ref frames
160     int profile, level;
161     int aspect_ratio;
162     int mb_width, mb_height;
163     int pic_type;
164     int progressive;
165     int pic_structure;
166     int skip_mode_flag; ///< select between skip_count or one skip_flag per MB
167     int loop_filter_disable;
168     int alpha_offset, beta_offset;
169     int ref_flag;
170     int mbx, mby;      ///< macroblock coordinates
171     int flags;         ///< availability flags of neighbouring macroblocks
172     int stc;           ///< last start code
173     uint8_t *cy, *cu, *cv; ///< current MB sample pointers
174     int left_qp;
175     uint8_t *top_qp;
176
177     /** mv motion vector cache
178        0:    D3  B2  B3  C2
179        4:    A1  X0  X1   -
180        8:    A3  X2  X3   -
181
182        X are the vectors in the current macroblock (5,6,9,10)
183        A is the macroblock to the left (4,8)
184        B is the macroblock to the top (1,2)
185        C is the macroblock to the top-right (3)
186        D is the macroblock to the top-left (0)
187
188        the same is repeated for backward motion vectors */
189     vector_t mv[2*4*3];
190     vector_t *top_mv[2];
191     vector_t *col_mv;
192
193     /** luma pred mode cache
194        0:    --  B2  B3
195        3:    A1  X0  X1
196        6:    A3  X2  X3   */
197     int pred_mode_Y[3*3];
198     int *top_pred_Y;
199     int l_stride, c_stride;
200     int luma_scan[4];
201     int qp;
202     int qp_fixed;
203     int cbp;
204     ScanTable scantable;
205
206     /** intra prediction is done with un-deblocked samples
207      they are saved here before deblocking the MB  */
208     uint8_t *top_border_y, *top_border_u, *top_border_v;
209     uint8_t left_border_y[26], left_border_u[10], left_border_v[10];
210     uint8_t intern_border_y[26];
211     uint8_t topleft_border_y, topleft_border_u, topleft_border_v;
212
213     void (*intra_pred_l[8])(uint8_t *d,uint8_t *top,uint8_t *left,int stride);
214     void (*intra_pred_c[7])(uint8_t *d,uint8_t *top,uint8_t *left,int stride);
215     uint8_t *col_type_base;
216     uint8_t *col_type;
217
218     /* scaling factors for MV prediction */
219     int sym_factor;    ///< for scaling in symmetrical B block
220     int direct_den[2]; ///< for scaling in direct B block
221     int scale_den[2];  ///< for scaling neighbouring MVs
222
223     int got_keyframe;
224     DCTELEM *block;
225 } AVSContext;
226
227 extern const int_fast8_t ff_left_modifier_l[8];
228 extern const int_fast8_t ff_top_modifier_l[8];
229 extern const int_fast8_t ff_left_modifier_c[7];
230 extern const int_fast8_t ff_top_modifier_c[7];
231 extern const vector_t ff_cavs_un_mv;
232
233 static inline void load_intra_pred_luma(AVSContext *h, uint8_t *top,
234                                         uint8_t **left, int block) {
235     int i;
236
237     switch(block) {
238     case 0:
239         *left = h->left_border_y;
240         h->left_border_y[0] = h->left_border_y[1];
241         memset(&h->left_border_y[17],h->left_border_y[16],9);
242         memcpy(&top[1],&h->top_border_y[h->mbx*16],16);
243         top[17] = top[16];
244         top[0] = top[1];
245         if((h->flags & A_AVAIL) && (h->flags & B_AVAIL))
246             h->left_border_y[0] = top[0] = h->topleft_border_y;
247         break;
248     case 1:
249         *left = h->intern_border_y;
250         for(i=0;i<8;i++)
251             h->intern_border_y[i+1] = *(h->cy + 7 + i*h->l_stride);
252         memset(&h->intern_border_y[9],h->intern_border_y[8],9);
253         h->intern_border_y[0] = h->intern_border_y[1];
254         memcpy(&top[1],&h->top_border_y[h->mbx*16+8],8);
255         if(h->flags & C_AVAIL)
256             memcpy(&top[9],&h->top_border_y[(h->mbx + 1)*16],8);
257         else
258             memset(&top[9],top[8],9);
259         top[17] = top[16];
260         top[0] = top[1];
261         if(h->flags & B_AVAIL)
262             h->intern_border_y[0] = top[0] = h->top_border_y[h->mbx*16+7];
263         break;
264     case 2:
265         *left = &h->left_border_y[8];
266         memcpy(&top[1],h->cy + 7*h->l_stride,16);
267         top[17] = top[16];
268         top[0] = top[1];
269         if(h->flags & A_AVAIL)
270             top[0] = h->left_border_y[8];
271         break;
272     case 3:
273         *left = &h->intern_border_y[8];
274         for(i=0;i<8;i++)
275             h->intern_border_y[i+9] = *(h->cy + 7 + (i+8)*h->l_stride);
276         memset(&h->intern_border_y[17],h->intern_border_y[16],9);
277         memcpy(&top[0],h->cy + 7 + 7*h->l_stride,9);
278         memset(&top[9],top[8],9);
279         break;
280     }
281 }
282
283 static inline void load_intra_pred_chroma(AVSContext *h) {
284     /* extend borders by one pixel */
285     h->left_border_u[9] = h->left_border_u[8];
286     h->left_border_v[9] = h->left_border_v[8];
287     h->top_border_u[h->mbx*10+9] = h->top_border_u[h->mbx*10+8];
288     h->top_border_v[h->mbx*10+9] = h->top_border_v[h->mbx*10+8];
289     if(h->mbx && h->mby) {
290         h->top_border_u[h->mbx*10] = h->left_border_u[0] = h->topleft_border_u;
291         h->top_border_v[h->mbx*10] = h->left_border_v[0] = h->topleft_border_v;
292     } else {
293         h->left_border_u[0] = h->left_border_u[1];
294         h->left_border_v[0] = h->left_border_v[1];
295         h->top_border_u[h->mbx*10] = h->top_border_u[h->mbx*10+1];
296         h->top_border_v[h->mbx*10] = h->top_border_v[h->mbx*10+1];
297     }
298 }
299
300 static inline void modify_pred(const int_fast8_t *mod_table, int *mode) {
301     *mode = mod_table[*mode];
302     if(*mode < 0) {
303         av_log(NULL, AV_LOG_ERROR, "Illegal intra prediction mode\n");
304         *mode = 0;
305     }
306 }
307
308 static inline void modify_mb_i(AVSContext *h, int *pred_mode_uv) {
309     /* save pred modes before they get modified */
310     h->pred_mode_Y[3] =  h->pred_mode_Y[5];
311     h->pred_mode_Y[6] =  h->pred_mode_Y[8];
312     h->top_pred_Y[h->mbx*2+0] = h->pred_mode_Y[7];
313     h->top_pred_Y[h->mbx*2+1] = h->pred_mode_Y[8];
314
315     /* modify pred modes according to availability of neighbour samples */
316     if(!(h->flags & A_AVAIL)) {
317         modify_pred(ff_left_modifier_l, &h->pred_mode_Y[4] );
318         modify_pred(ff_left_modifier_l, &h->pred_mode_Y[7] );
319         modify_pred(ff_left_modifier_c, pred_mode_uv );
320     }
321     if(!(h->flags & B_AVAIL)) {
322         modify_pred(ff_top_modifier_l, &h->pred_mode_Y[4] );
323         modify_pred(ff_top_modifier_l, &h->pred_mode_Y[5] );
324         modify_pred(ff_top_modifier_c, pred_mode_uv );
325     }
326 }
327
328 static inline void set_intra_mode_default(AVSContext *h) {
329     h->pred_mode_Y[3] =  h->pred_mode_Y[6] = INTRA_L_LP;
330     h->top_pred_Y[h->mbx*2+0] = h->top_pred_Y[h->mbx*2+1] = INTRA_L_LP;
331 }
332
333 static inline void set_mvs(vector_t *mv, enum block_t size) {
334     switch(size) {
335     case BLK_16X16:
336         mv[MV_STRIDE  ] = mv[0];
337         mv[MV_STRIDE+1] = mv[0];
338     case BLK_16X8:
339         mv[1] = mv[0];
340         break;
341     case BLK_8X16:
342         mv[MV_STRIDE] = mv[0];
343         break;
344     }
345 }
346
347 /**
348  * initialise predictors for motion vectors and intra prediction
349  */
350 static inline void init_mb(AVSContext *h) {
351     int i;
352
353     /* copy predictors from top line (MB B and C) into cache */
354     for(i=0;i<3;i++) {
355         h->mv[MV_FWD_B2+i] = h->top_mv[0][h->mbx*2+i];
356         h->mv[MV_BWD_B2+i] = h->top_mv[1][h->mbx*2+i];
357     }
358     h->pred_mode_Y[1] = h->top_pred_Y[h->mbx*2+0];
359     h->pred_mode_Y[2] = h->top_pred_Y[h->mbx*2+1];
360     /* clear top predictors if MB B is not available */
361     if(!(h->flags & B_AVAIL)) {
362         h->mv[MV_FWD_B2] = ff_cavs_un_mv;
363         h->mv[MV_FWD_B3] = ff_cavs_un_mv;
364         h->mv[MV_BWD_B2] = ff_cavs_un_mv;
365         h->mv[MV_BWD_B3] = ff_cavs_un_mv;
366         h->pred_mode_Y[1] = h->pred_mode_Y[2] = NOT_AVAIL;
367         h->flags &= ~(C_AVAIL|D_AVAIL);
368     } else if(h->mbx) {
369         h->flags |= D_AVAIL;
370     }
371     if(h->mbx == h->mb_width-1) //MB C not available
372         h->flags &= ~C_AVAIL;
373     /* clear top-right predictors if MB C is not available */
374     if(!(h->flags & C_AVAIL)) {
375         h->mv[MV_FWD_C2] = ff_cavs_un_mv;
376         h->mv[MV_BWD_C2] = ff_cavs_un_mv;
377     }
378     /* clear top-left predictors if MB D is not available */
379     if(!(h->flags & D_AVAIL)) {
380         h->mv[MV_FWD_D3] = ff_cavs_un_mv;
381         h->mv[MV_BWD_D3] = ff_cavs_un_mv;
382     }
383     /* set pointer for co-located macroblock type */
384     h->col_type = &h->col_type_base[h->mby*h->mb_width + h->mbx];
385 }
386
387 static inline void check_for_slice(AVSContext *h);
388
389 /**
390  * save predictors for later macroblocks and increase
391  * macroblock address
392  * @returns 0 if end of frame is reached, 1 otherwise
393  */
394 static inline int next_mb(AVSContext *h) {
395     int i;
396
397     h->flags |= A_AVAIL;
398     h->cy += 16;
399     h->cu += 8;
400     h->cv += 8;
401     /* copy mvs as predictors to the left */
402     for(i=0;i<=20;i+=4)
403         h->mv[i] = h->mv[i+2];
404     /* copy bottom mvs from cache to top line */
405     h->top_mv[0][h->mbx*2+0] = h->mv[MV_FWD_X2];
406     h->top_mv[0][h->mbx*2+1] = h->mv[MV_FWD_X3];
407     h->top_mv[1][h->mbx*2+0] = h->mv[MV_BWD_X2];
408     h->top_mv[1][h->mbx*2+1] = h->mv[MV_BWD_X3];
409     /* next MB address */
410     h->mbx++;
411     if(h->mbx == h->mb_width) { //new mb line
412         h->flags = B_AVAIL|C_AVAIL;
413         /* clear left pred_modes */
414         h->pred_mode_Y[3] = h->pred_mode_Y[6] = NOT_AVAIL;
415         /* clear left mv predictors */
416         for(i=0;i<=20;i+=4)
417             h->mv[i] = ff_cavs_un_mv;
418         h->mbx = 0;
419         h->mby++;
420         /* re-calculate sample pointers */
421         h->cy = h->picture.data[0] + h->mby*16*h->l_stride;
422         h->cu = h->picture.data[1] + h->mby*8*h->c_stride;
423         h->cv = h->picture.data[2] + h->mby*8*h->c_stride;
424         if(h->mby == h->mb_height) { //frame end
425             return 0;
426         } else {
427             //check_for_slice(h);
428         }
429     }
430     return 1;
431 }
432
433 #endif /* CAVS_H */