- Preliminary RTP friendly mode for H.263.
[ffmpeg.git] / libavcodec / mpegvideo.h
1 /*
2  * Generic DCT based hybrid video encoder
3  * Copyright (c) 2000,2001 Gerard Lantau.
4  *
5  * This program is free software; you can redistribute it and/or modify
6  * it under the terms of the GNU General Public License as published by
7  * the Free Software Foundation; either version 2 of the License, or
8  * (at your option) any later version.
9  *
10  * This program is distributed in the hope that it will be useful,
11  * but WITHOUT ANY WARRANTY; without even the implied warranty of
12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
13  * GNU General Public License for more details.
14  *
15  * You should have received a copy of the GNU General Public License
16  * along with this program; if not, write to the Free Software
17  * Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
18  */
19
20 /* Macros for picture code type. */
21 #define I_TYPE 1
22 #define P_TYPE 2
23 #define B_TYPE 3
24
25 enum OutputFormat {
26     FMT_MPEG1,
27     FMT_H263,
28     FMT_MJPEG,
29 };
30
31 #define MPEG_BUF_SIZE (16 * 1024)
32
33 typedef struct MpegEncContext {
34     struct AVCodecContext *avctx;
35     /* the following parameters must be initialized before encoding */
36     int width, height; /* picture size. must be a multiple of 16 */
37     int gop_size;
38     int frame_rate; /* number of frames per second */
39     int intra_only; /* if true, only intra pictures are generated */
40     int bit_rate;        /* wanted bit rate */
41     enum OutputFormat out_format; /* output format */
42     int h263_plus; /* h263 plus headers */
43     int h263_rv10; /* use RV10 variation for H263 */
44     int h263_pred; /* use mpeg4/h263 ac/dc predictions */
45     int h263_msmpeg4; /* generate MSMPEG4 compatible stream */
46     int h263_intel; /* use I263 intel h263 header */
47     int fixed_qscale; /* fixed qscale if non zero */
48     int encoding;     /* true if we are encoding (vs decoding) */
49     /* the following fields are managed internally by the encoder */
50
51     /* bit output */
52     PutBitContext pb;
53
54     /* sequence parameters */
55     int context_initialized;
56     int picture_number;
57     int fake_picture_number; /* picture number at the bitstream frame rate */
58     int gop_picture_number; /* index of the first picture of a GOP */
59     int mb_width, mb_height;
60     int linesize;              /* line size, in bytes, may be different from width */
61     UINT8 *new_picture[3];     /* picture to be compressed */
62     UINT8 *last_picture[3];    /* previous picture */
63     UINT8 *last_picture_base[3]; /* real start of the picture */
64     UINT8 *next_picture[3];    /* previous picture (for bidir pred) */
65     UINT8 *next_picture_base[3]; /* real start of the picture */
66     UINT8 *aux_picture[3];    /* aux picture (for B frames only) */
67     UINT8 *aux_picture_base[3]; /* real start of the picture */
68     UINT8 *current_picture[3]; /* buffer to store the decompressed current picture */
69     int last_dc[3]; /* last DC values for MPEG1 */
70     INT16 *dc_val[3]; /* used for mpeg4 DC prediction */
71     int y_dc_scale, c_dc_scale;
72     UINT8 *coded_block; /* used for coded block pattern prediction */
73     INT16 (*ac_val[3])[16]; /* used for for mpeg4 AC prediction */
74     int ac_pred;
75     int mb_skiped;              /* MUST BE SET only during DECODING */
76     UINT8 *mbskip_table;        /* used to avoid copy if macroblock
77                                    skipped (for black regions for example) */
78
79     int qscale;
80     int pict_type;
81     int frame_rate_index;
82     /* motion compensation */
83     int unrestricted_mv;
84     int h263_long_vectors; /* use horrible h263v1 long vector mode */
85
86     int f_code; /* resolution */
87     INT16 (*motion_val)[2]; /* used for MV prediction */
88     int full_search;
89     int mv_dir;
90 #define MV_DIR_BACKWARD  1
91 #define MV_DIR_FORWARD   2
92     int mv_type;
93 #define MV_TYPE_16X16       0   /* 1 vector for the whole mb */
94 #define MV_TYPE_8X8         1   /* 4 vectors (h263) */
95 #define MV_TYPE_16X8        2   /* 2 vectors, one per 16x8 block */ 
96 #define MV_TYPE_FIELD       3   /* 2 vectors, one per field */ 
97 #define MV_TYPE_DMV         4   /* 2 vectors, special mpeg2 Dual Prime Vectors */
98     /* motion vectors for a macroblock 
99        first coordinate : 0 = forward 1 = backward
100        second "         : depend on type
101        third  "         : 0 = x, 1 = y
102     */
103     int mv[2][4][2];
104     int field_select[2][2];
105     int last_mv[2][2][2];
106
107     int has_b_frames;
108     int no_rounding; /* apply no rounding to motion estimation (MPEG4) */
109
110     /* macroblock layer */
111     int mb_x, mb_y;
112     int mb_incr;
113     int mb_intra;
114     /* matrix transmitted in the bitstream */
115     UINT16 intra_matrix[64];
116     UINT16 chroma_intra_matrix[64];
117     UINT16 non_intra_matrix[64];
118     UINT16 chroma_non_intra_matrix[64];
119     /* precomputed matrix (combine qscale and DCT renorm) */
120     int q_intra_matrix[64];
121     int q_non_intra_matrix[64];
122     int block_last_index[6];  /* last non zero coefficient in block */
123
124     void *opaque; /* private data for the user */
125
126     /* bit rate control */
127     int I_frame_bits;    /* wanted number of bits per I frame */
128     int P_frame_bits;    /* same for P frame */
129     INT64 wanted_bits;
130     INT64 total_bits;
131     
132     /* H.263 specific */
133     int gob_number;
134     int gob_index;
135     int first_gob_line;
136     
137     /* H.263+ specific */
138     int umvplus;
139     int umvplus_dec;
140     
141     /* mpeg4 specific */
142     int time_increment_bits;
143     int shape;
144     int vol_sprite_usage;
145     int quant_precision;
146
147     /* RV10 specific */
148     int rv10_version; /* RV10 version: 0 or 3 */
149     int rv10_first_dc_coded[3];
150     
151     /* MJPEG specific */
152     struct MJpegContext *mjpeg_ctx;
153
154     /* MSMPEG4 specific */
155     int mv_table_index;
156     int rl_table_index;
157     int rl_chroma_table_index;
158     int dc_table_index;
159     int use_skip_mb_code;
160     int slice_height;      /* in macroblocks */
161     int first_slice_line;  
162     /* decompression specific */
163     GetBitContext gb;
164
165     /* MPEG2 specific - I wish I had not to support this mess. */
166     int progressive_sequence;
167     int mpeg_f_code[2][2];
168     int picture_structure;
169 /* picture type */
170 #define PICT_TOP_FIELD     1
171 #define PICT_BOTTOM_FIELD  2
172 #define PICT_FRAME         3
173
174     int intra_dc_precision;
175     int frame_pred_frame_dct;
176     int top_field_first;
177     int concealment_motion_vectors;
178     int q_scale_type;
179     int intra_vlc_format;
180     int alternate_scan;
181     int repeat_first_field;
182     int chroma_420_type;
183     int progressive_frame;
184     int mpeg2;
185     int full_pel[2];
186     int interlaced_dct;
187     int last_qscale;
188     int first_slice;
189     
190     /* RTP specific */
191     int rtp_mode;
192     int rtp_payload_size;
193     UINT8 *ptr_lastgob;
194     UINT8 *ptr_last_mb_line;
195     UINT32 mb_line_avgsize;
196     
197     DCTELEM block[6][64] __align8;
198     void (*dct_unquantize)(struct MpegEncContext *s, 
199                            DCTELEM *block, int n, int qscale);
200 } MpegEncContext;
201
202 int MPV_common_init(MpegEncContext *s);
203 void MPV_common_end(MpegEncContext *s);
204 void MPV_decode_mb(MpegEncContext *s, DCTELEM block[6][64]);
205 void MPV_frame_start(MpegEncContext *s);
206 void MPV_frame_end(MpegEncContext *s);
207 #ifdef HAVE_MMX
208 void MPV_common_init_mmx(MpegEncContext *s);
209 #endif
210
211 /* motion_est.c */
212
213 int estimate_motion(MpegEncContext *s, 
214                     int mb_x, int mb_y,
215                     int *mx_ptr, int *my_ptr);
216
217 /* mpeg12.c */
218 extern INT16 default_intra_matrix[64];
219 extern INT16 default_non_intra_matrix[64];
220
221 void mpeg1_encode_picture_header(MpegEncContext *s, int picture_number);
222 void mpeg1_encode_mb(MpegEncContext *s,
223                      DCTELEM block[6][64],
224                      int motion_x, int motion_y);
225
226 /* h263enc.c */
227
228 /* run length table */
229 #define MAX_RUN    64
230 #define MAX_LEVEL  64
231
232 typedef struct RLTable {
233     int n; /* number of entries of table_vlc minus 1 */
234     int last; /* number of values for last = 0 */
235     const UINT16 (*table_vlc)[2];
236     const INT8 *table_run;
237     const INT8 *table_level;
238     UINT8 *index_run[2]; /* encoding only */
239     INT8 *max_level[2]; /* encoding & decoding */
240     INT8 *max_run[2];   /* encoding & decoding */
241     VLC vlc;            /* decoding only */
242 } RLTable;
243
244 void init_rl(RLTable *rl);
245 void init_vlc_rl(RLTable *rl);
246
247 extern inline int get_rl_index(const RLTable *rl, int last, int run, int level)
248 {
249     int index;
250     index = rl->index_run[last][run];
251     if (index >= rl->n)
252         return rl->n;
253     if (level > rl->max_level[last][run])
254         return rl->n;
255     return index + level - 1;
256 }
257
258 void h263_encode_mb(MpegEncContext *s, 
259                     DCTELEM block[6][64],
260                     int motion_x, int motion_y);
261 void h263_encode_picture_header(MpegEncContext *s, int picture_number);
262 int h263_encode_gob_header(MpegEncContext * s, int mb_line);
263 void h263_dc_scale(MpegEncContext *s);
264 INT16 *h263_pred_motion(MpegEncContext * s, int block, 
265                         int *px, int *py);
266 void mpeg4_pred_ac(MpegEncContext * s, INT16 *block, int n, 
267                    int dir);
268 void mpeg4_encode_picture_header(MpegEncContext *s, int picture_number);
269 void h263_encode_init_vlc(MpegEncContext *s);
270
271 void h263_decode_init_vlc(MpegEncContext *s);
272 int h263_decode_picture_header(MpegEncContext *s);
273 int h263_decode_gob_header(MpegEncContext *s);
274 int mpeg4_decode_picture_header(MpegEncContext * s);
275 int intel_h263_decode_picture_header(MpegEncContext *s);
276 int h263_decode_mb(MpegEncContext *s,
277                    DCTELEM block[6][64]);
278 int h263_get_picture_format(int width, int height);
279
280 /* rv10.c */
281 void rv10_encode_picture_header(MpegEncContext *s, int picture_number);
282 int rv_decode_dc(MpegEncContext *s, int n);
283
284 /* msmpeg4.c */
285 void msmpeg4_encode_picture_header(MpegEncContext * s, int picture_number);
286 void msmpeg4_encode_mb(MpegEncContext * s, 
287                        DCTELEM block[6][64],
288                        int motion_x, int motion_y);
289 void msmpeg4_dc_scale(MpegEncContext * s);
290 int msmpeg4_decode_picture_header(MpegEncContext * s);
291 int msmpeg4_decode_mb(MpegEncContext *s, 
292                       DCTELEM block[6][64]);
293 int msmpeg4_decode_init_vlc(MpegEncContext *s);
294
295 /* mjpegenc.c */
296
297 int mjpeg_init(MpegEncContext *s);
298 void mjpeg_close(MpegEncContext *s);
299 void mjpeg_encode_mb(MpegEncContext *s, 
300                      DCTELEM block[6][64]);
301 void mjpeg_picture_header(MpegEncContext *s);
302 void mjpeg_picture_trailer(MpegEncContext *s);