* started to cleanup name clashes for onetime compilation
[ffmpeg.git] / libavcodec / mpegvideo.h
1 /*
2  * Generic DCT based hybrid video encoder
3  * Copyright (c) 2000, 2001, 2002 Fabrice Bellard.
4  *
5  * This library is free software; you can redistribute it and/or
6  * modify it under the terms of the GNU Lesser General Public
7  * License as published by the Free Software Foundation; either
8  * version 2 of the License, or (at your option) any later version.
9  *
10  * This library is distributed in the hope that it will be useful,
11  * but WITHOUT ANY WARRANTY; without even the implied warranty of
12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13  * Lesser General Public License for more details.
14  *
15  * You should have received a copy of the GNU Lesser General Public
16  * License along with this library; if not, write to the Free Software
17  * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
18  */
19
20 #ifndef AVCODEC_MPEGVIDEO_H
21 #define AVCODEC_MPEGVIDEO_H
22
23 #define FRAME_SKIPED 100 // return value for header parsers if frame is not coded
24
25 enum OutputFormat {
26     FMT_MPEG1,
27     FMT_H263,
28     FMT_MJPEG, 
29 };
30
31 #define MPEG_BUF_SIZE (16 * 1024)
32
33 #define QMAT_SHIFT_MMX 19
34 #define QMAT_SHIFT 25
35
36 #define MAX_FCODE 7
37 #define MAX_MV 2048
38 #define REORDER_BUFFER_SIZE (FF_MAX_B_FRAMES+2)
39
40 typedef struct Predictor{
41     double coeff;
42     double count;
43     double decay;
44 } Predictor;
45
46 typedef struct RateControlEntry{
47     int pict_type;
48     int qscale;
49     int mv_bits;
50     int i_tex_bits;
51     int p_tex_bits;
52     int misc_bits;
53     UINT64 expected_bits;
54     int new_pict_type;
55     float new_qscale;
56 }RateControlEntry;
57
58 typedef struct RateControlContext{
59     FILE *stats_file;
60     int num_entries;
61     RateControlEntry *entry;
62 }RateControlContext;
63
64 typedef struct ReorderBuffer{
65     UINT8 *picture[3];
66     int pict_type;
67     int qscale;
68     int force_type;
69     int picture_number;
70     int picture_in_gop_number;
71 } ReorderBuffer;
72
73 typedef struct MpegEncContext {
74     struct AVCodecContext *avctx;
75     /* the following parameters must be initialized before encoding */
76     int width, height; /* picture size. must be a multiple of 16 */
77     int gop_size;
78     int frame_rate; /* number of frames per second */
79     int intra_only; /* if true, only intra pictures are generated */
80     int bit_rate;        /* wanted bit rate */
81     int bit_rate_tolerance; /* amount of +- bits (>0)*/
82     enum OutputFormat out_format; /* output format */
83     int h263_pred;    /* use mpeg4/h263 ac/dc predictions */
84
85 /* the following codec id fields are deprecated in favor of codec_id */
86     int h263_plus; /* h263 plus headers */
87     int h263_rv10; /* use RV10 variation for H263 */
88     int h263_msmpeg4; /* generate MSMPEG4 compatible stream (deprecated, use msmpeg4_version instead)*/
89     int h263_intel; /* use I263 intel h263 header */
90     
91     int codec_id;     /* see CODEC_ID_xxx */
92     int fixed_qscale; /* fixed qscale if non zero */
93     float qcompress;  /* amount of qscale change between easy & hard scenes (0.0-1.0) */
94     float qblur;      /* amount of qscale smoothing over time (0.0-1.0) */
95     int qmin;         /* min qscale */
96     int qmax;         /* max qscale */
97     int max_qdiff;    /* max qscale difference between frames */
98     int encoding;     /* true if we are encoding (vs decoding) */
99     int flags;        /* AVCodecContext.flags (HQ, MV4, ...) */
100     int force_input_type;/* 0= no force, otherwise I_TYPE, P_TYPE, ... */
101     int max_b_frames; /* max number of b-frames for encoding */
102     float b_quant_factor;/* qscale factor between ips and b frames */
103     int rc_strategy;
104     int b_frame_strategy;
105     int workaround_bugs;       /* workaround bugs in encoders which cannot be detected automatically */
106     /* the following fields are managed internally by the encoder */
107
108     /* bit output */
109     PutBitContext pb;
110
111     /* sequence parameters */
112     int context_initialized;
113     int input_picture_number;
114     int input_picture_in_gop_number; /* 0-> first pic in gop, ... */
115     int picture_number;
116     int fake_picture_number; /* picture number at the bitstream frame rate */
117     int gop_picture_number;  /* index of the first picture of a GOP based on fake_pic_num & mpeg1 specific */
118     int picture_in_gop_number; /* 0-> first pic in gop, ... */
119     int b_frames_since_non_b;  /* used for encoding, relative to not yet reordered input */
120     int mb_width, mb_height;   /* number of MBs horizontally & vertically */
121     int mb_num;                /* number of MBs of a picture */
122     int linesize;              /* line size, in bytes, may be different from width */
123     UINT8 *new_picture[3];     /* picture to be compressed */
124     UINT8 *picture_buffer[REORDER_BUFFER_SIZE][3]; /* internal buffers used for reordering of input pictures */
125     int picture_buffer_index;
126     ReorderBuffer coded_order[REORDER_BUFFER_SIZE];
127     UINT8 *last_picture[3];      /* previous picture */
128     UINT8 *last_picture_base[3]; /* real start of the picture */
129     UINT8 *next_picture[3];      /* previous picture (for bidir pred) */
130     UINT8 *next_picture_base[3]; /* real start of the picture */
131     UINT8 *aux_picture[3];       /* aux picture (for B frames only) */
132     UINT8 *aux_picture_base[3];  /* real start of the picture */
133     UINT8 *current_picture[3];   /* buffer to store the decompressed current picture */
134     int num_available_buffers;   /* is 0 at the start & after seeking, after the first I frame its 1 after next I/P 2 */
135     int last_dc[3];              /* last DC values for MPEG1 */
136     INT16 *dc_val[3];            /* used for mpeg4 DC prediction, all 3 arrays must be continuous */
137     int y_dc_scale, c_dc_scale;
138     UINT8 *coded_block;          /* used for coded block pattern prediction (msmpeg4v3, wmv1)*/
139     INT16 (*ac_val[3])[16];      /* used for for mpeg4 AC prediction, all 3 arrays must be continuous */
140     int ac_pred;
141     int mb_skiped;              /* MUST BE SET only during DECODING */
142     UINT8 *mbskip_table;        /* used to avoid copy if macroblock skipped (for black regions for example) 
143                                    and used for b-frame encoding & decoding (contains skip table of next P Frame) */
144     UINT8 *mbintra_table;       /* used to avoid setting {ac, dc, cbp}-pred stuff to zero on inter MB decoding */
145
146     int input_qscale;           /* qscale prior to reordering of frames */
147     int input_pict_type;        /* pict_type prior to reordering of frames */
148     int force_type;             /* 0= no force, otherwise I_TYPE, P_TYPE, ... */
149     int qscale;                 /* QP */
150     int last_non_b_qscale;      /* QP of last non b frame used for b frame qscale*/
151     int pict_type;              /* I_TYPE, P_TYPE, B_TYPE, ... */
152     int last_non_b_pict_type;   /* used for mpeg4 gmc b-frames & ratecontrol */
153     int frame_rate_index;
154     /* motion compensation */
155     int unrestricted_mv;
156     int h263_long_vectors; /* use horrible h263v1 long vector mode */
157
158     int f_code; /* forward MV resolution */
159     int b_code; /* backward MV resolution for B Frames (mpeg4) */
160     INT16 (*motion_val)[2];            /* used for MV prediction (4MV per MB) */
161     INT16 (*p_mv_table)[2];            /* MV table (1MV per MB) p-frame encoding */
162     INT16 (*last_p_mv_table)[2];       /* MV table (1MV per MB) p-frame encoding */
163     INT16 (*b_forw_mv_table)[2];       /* MV table (1MV per MB) forward mode b-frame encoding */
164     INT16 (*b_back_mv_table)[2];       /* MV table (1MV per MB) backward mode b-frame encoding */
165     INT16 (*b_bidir_forw_mv_table)[2]; /* MV table (1MV per MB) bidir mode b-frame encoding */
166     INT16 (*b_bidir_back_mv_table)[2]; /* MV table (1MV per MB) bidir mode b-frame encoding */
167     INT16 (*b_direct_forw_mv_table)[2];/* MV table (1MV per MB) direct mode b-frame encoding */
168     INT16 (*b_direct_back_mv_table)[2];/* MV table (1MV per MB) direct mode b-frame encoding */
169     INT16 (*b_direct_mv_table)[2];     /* MV table (1MV per MB) direct mode b-frame encoding */
170     int me_method;                     /* ME algorithm */
171     uint8_t *me_scratchpad;            /* data area for the me algo, so that the ME doesnt need to malloc/free */
172     int mv_dir;
173 #define MV_DIR_BACKWARD  1
174 #define MV_DIR_FORWARD   2
175 #define MV_DIRECT        4 // bidirectional mode where the difference equals the MV of the last P/S/I-Frame (mpeg4)
176     int mv_type;
177 #define MV_TYPE_16X16       0   /* 1 vector for the whole mb */
178 #define MV_TYPE_8X8         1   /* 4 vectors (h263, mpeg4 4MV) */
179 #define MV_TYPE_16X8        2   /* 2 vectors, one per 16x8 block */ 
180 #define MV_TYPE_FIELD       3   /* 2 vectors, one per field */ 
181 #define MV_TYPE_DMV         4   /* 2 vectors, special mpeg2 Dual Prime Vectors */
182     /* motion vectors for a macroblock 
183        first coordinate : 0 = forward 1 = backward
184        second "         : depend on type
185        third  "         : 0 = x, 1 = y
186     */
187     int mv[2][4][2];
188     int field_select[2][2];
189     int last_mv[2][2][2];             /* last MV, used for MV prediction in MPEG1 & B-frame MPEG4 */
190     UINT16 (*mv_penalty)[MAX_MV*2+1]; /* amount of bits needed to encode a MV, used for ME */
191     UINT8 *fcode_tab; /* smallest fcode needed for each MV */
192
193     int has_b_frames;
194     int no_rounding; /* apply no rounding to motion compensation (MPEG4, msmpeg4, ...) 
195                         for b-frames rounding mode is allways 0 */
196
197     int hurry_up;     /* when set to 1 during decoding, b frames will be skiped
198                          when set to 2 idct/dequant will be skipped too */
199
200     /* macroblock layer */
201     int mb_x, mb_y;
202     int mb_incr;
203     int mb_intra;
204     UINT16 *mb_var;    /* Table for MB variances */
205     UINT8 *mb_type;    /* Table for MB type */
206 #define MB_TYPE_INTRA    0x01
207 #define MB_TYPE_INTER    0x02
208 #define MB_TYPE_INTER4V  0x04
209 #define MB_TYPE_SKIPED   0x08
210 #define MB_TYPE_DIRECT   0x10
211 #define MB_TYPE_FORWARD  0x20
212 #define MB_TYPE_BACKWARD 0x40
213 #define MB_TYPE_BIDIR    0x80
214
215     int block_index[6]; /* index to current MB in block based arrays with edges*/
216     int block_wrap[6];
217
218     /* matrix transmitted in the bitstream */
219     UINT16 intra_matrix[64];
220     UINT16 chroma_intra_matrix[64];
221     UINT16 inter_matrix[64];
222     UINT16 chroma_inter_matrix[64];
223 #define QUANT_BIAS_SHIFT 4
224     int intra_quant_bias;    /* bias for the quantizer */
225     int inter_quant_bias;    /* bias for the quantizer */
226     int min_qcoeff;          /* minimum encodable coefficient */
227     int max_qcoeff;          /* maximum encodable coefficient */
228     /* precomputed matrix (combine qscale and DCT renorm) */
229     int q_intra_matrix[32][64];
230     int q_inter_matrix[32][64];
231     /* identical to the above but for MMX & these are not permutated */
232     UINT16 __align8 q_intra_matrix16[32][64];
233     UINT16 __align8 q_inter_matrix16[32][64];
234     UINT16 __align8 q_intra_matrix16_bias[32][64];
235     UINT16 __align8 q_inter_matrix16_bias[32][64];
236     int block_last_index[6];  /* last non zero coefficient in block */
237
238     void *opaque; /* private data for the user */
239
240     /* bit rate control */
241     int I_frame_bits; //FIXME used in mpeg12 ...
242     int avg_mb_var;        /* average MB variance for current frame */
243     int mc_mb_var;         /* motion compensated MB variance for current frame */
244     int last_non_b_mc_mb_var;/* motion compensated MB variance for last non b frame */
245     INT64 wanted_bits;
246     INT64 total_bits;
247     int frame_bits;        /* bits used for the current frame */
248     int pb_frame_bits;     /* bits of the last b...bp group */
249     Predictor i_pred;
250     Predictor p_pred;
251     double qsum;         /* sum of qscales */
252     double qcount;       /* count of qscales */
253     double short_term_qsum;   /* sum of recent qscales */
254     double short_term_qcount; /* count of recent qscales */
255     RateControlContext rc_context;
256
257     /* statistics, used for 2-pass encoding */
258     int mv_bits;
259     int header_bits;
260     int i_tex_bits;
261     int p_tex_bits;
262     int i_count;
263     int p_count;
264     int skip_count;
265     int misc_bits; // cbp, mb_type
266     int last_bits; //temp var used for calculating the above vars
267
268     /* H.263 specific */
269     int gob_number;
270     int gob_index;
271     int first_gob_line;
272         
273     /* H.263+ specific */
274     int umvplus;
275     int umvplus_dec;
276     int h263_aic; /* Advanded INTRA Coding (AIC) */
277     int h263_aic_dir; /* AIC direction: 0 = left, 1 = top */
278     
279     /* mpeg4 specific */
280     int time_increment_resolution;
281     int time_increment_bits;        /* number of bits to represent the fractional part of time */
282     int last_time_base;
283     int time_base;                  /* time in seconds of last I,P,S Frame */
284     INT64 time;                   /* time of current frame */ 
285     INT64 last_non_b_time;
286     UINT16 pp_time;               /* time distance between the last 2 p,s,i frames */
287     UINT16 bp_time;               /* time distance between the last b and p,s,i frame */
288     int shape;
289     int vol_sprite_usage;
290     int sprite_width;
291     int sprite_height;
292     int sprite_left;
293     int sprite_top;
294     int sprite_brightness_change;
295     int num_sprite_warping_points;
296     int real_sprite_warping_points;
297     int sprite_offset[2][2];
298     int sprite_delta[2][2][2];
299     int sprite_shift[2][2];
300     int mcsel;
301     int quant_precision;
302     int quarter_sample;              /* 1->qpel, 0->half pel ME/MC */ 
303     int scalability;
304     int new_pred;
305     int reduced_res_vop;
306     int aspect_ratio_info;
307     int sprite_warping_accuracy;
308     int low_latency_sprite;
309     int data_partioning;
310     int resync_marker;
311     int resync_x_pos;
312     int low_delay;                   /* no reordering needed / has no b-frames */
313     int vo_type;
314     int vol_control_parameters;      /* does the stream contain the low_delay flag, used to workaround buggy encoders */
315
316     /* divx specific, used to workaround (many) bugs in divx5 */
317     int divx_version;
318     int divx_build;
319 #define BITSTREAM_BUFFER_SIZE 1024*256
320     UINT8 *bitstream_buffer; //Divx 5.01 puts several frames in a single one, this is used to reorder them
321     int bitstream_buffer_size;
322     
323     /* RV10 specific */
324     int rv10_version; /* RV10 version: 0 or 3 */
325     int rv10_first_dc_coded[3];
326     
327     /* MJPEG specific */
328     struct MJpegContext *mjpeg_ctx;
329     int mjpeg_vsample[3]; /* vertical sampling factors, default = {2, 1, 1} */
330     int mjpeg_hsample[3]; /* horizontal sampling factors, default = {2, 1, 1} */
331     int mjpeg_write_tables; /* do we want to have quantisation- and
332                                huffmantables in the jpeg file ? */
333     int mjpeg_data_only_frames; /* frames only with SOI, SOS and EOI markers */
334
335     /* MSMPEG4 specific */
336     int mv_table_index;
337     int rl_table_index;
338     int rl_chroma_table_index;
339     int dc_table_index;
340     int use_skip_mb_code;
341     int slice_height;      /* in macroblocks */
342     int first_slice_line;  /* used in mpeg4 too to handle resync markers */
343     int flipflop_rounding;
344     int bitrate;
345     int msmpeg4_version;   /* 0=not msmpeg4, 1=mp41, 2=mp42, 3=mp43/divx3 */
346     /* decompression specific */
347     GetBitContext gb;
348
349     /* MPEG2 specific - I wish I had not to support this mess. */
350     int progressive_sequence;
351     int mpeg_f_code[2][2];
352     int picture_structure;
353 /* picture type */
354 #define PICT_TOP_FIELD     1
355 #define PICT_BOTTOM_FIELD  2
356 #define PICT_FRAME         3
357
358     int intra_dc_precision;
359     int frame_pred_frame_dct;
360     int top_field_first;
361     int concealment_motion_vectors;
362     int q_scale_type;
363     int intra_vlc_format;
364     int alternate_scan;
365     int repeat_first_field;
366     int chroma_420_type;
367     int progressive_frame;
368     int mpeg2;
369     int full_pel[2];
370     int interlaced_dct;
371     int last_qscale;
372     int first_slice;
373     
374     /* RTP specific */
375     /* These are explained on avcodec.h */
376     int rtp_mode;
377     int rtp_payload_size;
378     void (*rtp_callback)(void *data, int size, int packet_number);
379     UINT8 *ptr_lastgob;
380     UINT8 *ptr_last_mb_line;
381     UINT32 mb_line_avgsize;
382     
383     DCTELEM (*block)[64]; /* points to one of the following blocks */
384     DCTELEM blocks[2][6][64] __align8; // for HQ mode we need to keep the best block
385     void (*dct_unquantize_mpeg1)(struct MpegEncContext *s, 
386                            DCTELEM *block, int n, int qscale);
387     void (*dct_unquantize_mpeg2)(struct MpegEncContext *s, 
388                            DCTELEM *block, int n, int qscale);
389     void (*dct_unquantize_h263)(struct MpegEncContext *s, 
390                            DCTELEM *block, int n, int qscale);
391     void (*dct_unquantize)(struct MpegEncContext *s, // unquantizer to use (mpeg4 can use both)
392                            DCTELEM *block, int n, int qscale);
393 } MpegEncContext;
394
395 int MPV_common_init(MpegEncContext *s);
396 void MPV_common_end(MpegEncContext *s);
397 void MPV_decode_mb(MpegEncContext *s, DCTELEM block[6][64]);
398 void MPV_frame_start(MpegEncContext *s);
399 void MPV_frame_end(MpegEncContext *s);
400 #ifdef HAVE_MMX
401 void MPV_common_init_mmx(MpegEncContext *s);
402 #endif
403 int (*dct_quantize)(MpegEncContext *s, DCTELEM *block, int n, int qscale, int *overflow);
404 void (*draw_edges)(UINT8 *buf, int wrap, int width, int height, int w);
405
406 /* motion_est.c */
407 void ff_estimate_p_frame_motion(MpegEncContext * s,
408                              int mb_x, int mb_y);
409 void ff_estimate_b_frame_motion(MpegEncContext * s,
410                              int mb_x, int mb_y);
411 int ff_get_best_fcode(MpegEncContext * s, int16_t (*mv_table)[2], int type);
412 void ff_fix_long_p_mvs(MpegEncContext * s);
413 void ff_fix_long_b_mvs(MpegEncContext * s, int16_t (*mv_table)[2], int f_code, int type);
414
415 /* mpeg12.c */
416 extern INT16 default_intra_matrix[64];
417 extern INT16 default_non_intra_matrix[64];
418
419 void mpeg1_encode_picture_header(MpegEncContext *s, int picture_number);
420 void mpeg1_encode_mb(MpegEncContext *s,
421                      DCTELEM block[6][64],
422                      int motion_x, int motion_y);
423 void mpeg1_encode_init(MpegEncContext *s);
424
425 /* h263enc.c */
426
427 /* run length table */
428 #define MAX_RUN    64
429 #define MAX_LEVEL  64
430
431 typedef struct RLTable {
432     int n; /* number of entries of table_vlc minus 1 */
433     int last; /* number of values for last = 0 */
434     const UINT16 (*table_vlc)[2];
435     const INT8 *table_run;
436     const INT8 *table_level;
437     UINT8 *index_run[2]; /* encoding only */
438     INT8 *max_level[2]; /* encoding & decoding */
439     INT8 *max_run[2];   /* encoding & decoding */
440     VLC vlc;            /* decoding only */
441 } RLTable;
442
443 void init_rl(RLTable *rl);
444 void init_vlc_rl(RLTable *rl);
445
446 static inline int get_rl_index(const RLTable *rl, int last, int run, int level)
447 {
448     int index;
449     index = rl->index_run[last][run];
450     if (index >= rl->n)
451         return rl->n;
452     if (level > rl->max_level[last][run])
453         return rl->n;
454     return index + level - 1;
455 }
456
457 void h263_encode_mb(MpegEncContext *s, 
458                     DCTELEM block[6][64],
459                     int motion_x, int motion_y);
460 void mpeg4_encode_mb(MpegEncContext *s, 
461                     DCTELEM block[6][64],
462                     int motion_x, int motion_y);
463 void h263_encode_picture_header(MpegEncContext *s, int picture_number);
464 int h263_encode_gob_header(MpegEncContext * s, int mb_line);
465 void h263_dc_scale(MpegEncContext *s);
466 INT16 *h263_pred_motion(MpegEncContext * s, int block, 
467                         int *px, int *py);
468 void mpeg4_pred_ac(MpegEncContext * s, INT16 *block, int n, 
469                    int dir);
470 void ff_set_mpeg4_time(MpegEncContext * s, int picture_number);
471 void mpeg4_encode_picture_header(MpegEncContext *s, int picture_number);
472 void h263_encode_init(MpegEncContext *s);
473
474 void h263_decode_init_vlc(MpegEncContext *s);
475 int h263_decode_picture_header(MpegEncContext *s);
476 int h263_decode_gob_header(MpegEncContext *s);
477 int mpeg4_decode_picture_header(MpegEncContext * s);
478 int intel_h263_decode_picture_header(MpegEncContext *s);
479 int h263_decode_mb(MpegEncContext *s,
480                    DCTELEM block[6][64]);
481 int h263_get_picture_format(int width, int height);
482
483 /* rv10.c */
484 void rv10_encode_picture_header(MpegEncContext *s, int picture_number);
485 int rv_decode_dc(MpegEncContext *s, int n);
486
487 /* msmpeg4.c */
488 void msmpeg4_encode_picture_header(MpegEncContext * s, int picture_number);
489 void msmpeg4_encode_ext_header(MpegEncContext * s);
490 void msmpeg4_encode_mb(MpegEncContext * s, 
491                        DCTELEM block[6][64],
492                        int motion_x, int motion_y);
493 int msmpeg4_decode_picture_header(MpegEncContext * s);
494 int msmpeg4_decode_ext_header(MpegEncContext * s, int buf_size);
495 int msmpeg4_decode_mb(MpegEncContext *s, 
496                       DCTELEM block[6][64]);
497 int msmpeg4_decode_init_vlc(MpegEncContext *s);
498 void ff_old_msmpeg4_dc_scale(MpegEncContext *s);
499
500 /* mjpegenc.c */
501
502 int mjpeg_init(MpegEncContext *s);
503 void mjpeg_close(MpegEncContext *s);
504 void mjpeg_encode_mb(MpegEncContext *s, 
505                      DCTELEM block[6][64]);
506 void mjpeg_picture_header(MpegEncContext *s);
507 void mjpeg_picture_trailer(MpegEncContext *s);
508
509 /* rate control */
510 int ff_rate_control_init(MpegEncContext *s);
511 int ff_rate_estimate_qscale(MpegEncContext *s);
512 int ff_rate_estimate_qscale_pass2(MpegEncContext *s);
513 void ff_write_pass1_stats(MpegEncContext *s);
514 void ff_rate_control_uninit(MpegEncContext *s);
515
516 #endif /* AVCODEC_MPEGVIDEO_H */