mpegvideo: Make sure mpegutils.h is included where needed
[ffmpeg.git] / libavcodec / libxvid.c
1 /*
2  * Interface to xvidcore for mpeg4 encoding
3  * Copyright (c) 2004 Adam Thayer <krevnik@comcast.net>
4  *
5  * This file is part of Libav.
6  *
7  * Libav is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * Libav is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with Libav; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 /**
23  * @file
24  * Interface to xvidcore for MPEG-4 compliant encoding.
25  * @author Adam Thayer (krevnik@comcast.net)
26  */
27
28 #include <unistd.h>
29 #include <xvid.h>
30
31 #include "libavutil/cpu.h"
32 #include "libavutil/intreadwrite.h"
33 #include "libavutil/mathematics.h"
34
35 #include "avcodec.h"
36 #include "internal.h"
37 #include "libxvid.h"
38 #include "mpegutils.h"
39 #include "mpegvideo.h"
40
41 /**
42  * Buffer management macros.
43  */
44 #define BUFFER_SIZE         1024
45 #define BUFFER_REMAINING(x) (BUFFER_SIZE - strlen(x))
46 #define BUFFER_CAT(x)       (&((x)[strlen(x)]))
47
48 /**
49  * Structure for the private Xvid context.
50  * This stores all the private context for the codec.
51  */
52 struct xvid_context {
53     AVClass *class;                /**< Handle for Xvid encoder */
54     void *encoder_handle;          /**< Handle for Xvid encoder */
55     int xsize;                     /**< Frame x size */
56     int ysize;                     /**< Frame y size */
57     int vop_flags;                 /**< VOP flags for Xvid encoder */
58     int vol_flags;                 /**< VOL flags for Xvid encoder */
59     int me_flags;                  /**< Motion Estimation flags */
60     int qscale;                    /**< Do we use constant scale? */
61     int quicktime_format;          /**< Are we in a QT-based format? */
62     char *twopassbuffer;           /**< Character buffer for two-pass */
63     char *old_twopassbuffer;       /**< Old character buffer (two-pass) */
64     char *twopassfile;             /**< second pass temp file name */
65     unsigned char *intra_matrix;   /**< P-Frame Quant Matrix */
66     unsigned char *inter_matrix;   /**< I-Frame Quant Matrix */
67     int lumi_aq;                   /**< Lumi masking as an aq method */
68     int variance_aq;               /**< Variance adaptive quantization */
69     int ssim;                      /**< SSIM information display mode */
70     int ssim_acc;                  /**< SSIM accuracy. 0: accurate. 4: fast. */
71     int gmc;
72     int me_quality;                /**< Motion estimation quality. 0: fast 6: best. */
73 };
74
75 /**
76  * Structure for the private first-pass plugin.
77  */
78 struct xvid_ff_pass1 {
79     int version;                    /**< Xvid version */
80     struct xvid_context *context;   /**< Pointer to private context */
81 };
82
83 /*
84  * Xvid 2-Pass Kludge Section
85  *
86  * Xvid's default 2-pass doesn't allow us to create data as we need to, so
87  * this section spends time replacing the first pass plugin so we can write
88  * statistic information as libavcodec requests in. We have another kludge
89  * that allows us to pass data to the second pass in Xvid without a custom
90  * rate-control plugin.
91  */
92
93 /**
94  * Initialize the two-pass plugin and context.
95  *
96  * @param param Input construction parameter structure
97  * @param handle Private context handle
98  * @return Returns XVID_ERR_xxxx on failure, or 0 on success.
99  */
100 static int xvid_ff_2pass_create(xvid_plg_create_t *param, void **handle)
101 {
102     struct xvid_ff_pass1 *x = (struct xvid_ff_pass1 *) param->param;
103     char *log = x->context->twopassbuffer;
104
105     /* Do a quick bounds check */
106     if (!log)
107         return XVID_ERR_FAIL;
108
109     /* We use snprintf() */
110     /* This is because we can safely prevent a buffer overflow */
111     log[0] = 0;
112     snprintf(log, BUFFER_REMAINING(log),
113              "# avconv 2-pass log file, using xvid codec\n");
114     snprintf(BUFFER_CAT(log), BUFFER_REMAINING(log),
115              "# Do not modify. libxvidcore version: %d.%d.%d\n\n",
116              XVID_VERSION_MAJOR(XVID_VERSION),
117              XVID_VERSION_MINOR(XVID_VERSION),
118              XVID_VERSION_PATCH(XVID_VERSION));
119
120     *handle = x->context;
121     return 0;
122 }
123
124 /**
125  * Destroy the two-pass plugin context.
126  *
127  * @param ref Context pointer for the plugin
128  * @param param Destrooy context
129  * @return Returns 0, success guaranteed
130  */
131 static int xvid_ff_2pass_destroy(struct xvid_context *ref,
132                                  xvid_plg_destroy_t *param)
133 {
134     /* Currently cannot think of anything to do on destruction */
135     /* Still, the framework should be here for reference/use */
136     if (ref->twopassbuffer)
137         ref->twopassbuffer[0] = 0;
138     return 0;
139 }
140
141 /**
142  * Enable fast encode mode during the first pass.
143  *
144  * @param ref Context pointer for the plugin
145  * @param param Frame data
146  * @return Returns 0, success guaranteed
147  */
148 static int xvid_ff_2pass_before(struct xvid_context *ref,
149                                 xvid_plg_data_t *param)
150 {
151     int motion_remove;
152     int motion_replacements;
153     int vop_remove;
154
155     /* Nothing to do here, result is changed too much */
156     if (param->zone && param->zone->mode == XVID_ZONE_QUANT)
157         return 0;
158
159     /* We can implement a 'turbo' first pass mode here */
160     param->quant = 2;
161
162     /* Init values */
163     motion_remove       = ~XVID_ME_CHROMA_PVOP &
164                           ~XVID_ME_CHROMA_BVOP &
165                           ~XVID_ME_EXTSEARCH16 &
166                           ~XVID_ME_ADVANCEDDIAMOND16;
167     motion_replacements = XVID_ME_FAST_MODEINTERPOLATE |
168                           XVID_ME_SKIP_DELTASEARCH     |
169                           XVID_ME_FASTREFINE16         |
170                           XVID_ME_BFRAME_EARLYSTOP;
171     vop_remove          = ~XVID_VOP_MODEDECISION_RD      &
172                           ~XVID_VOP_FAST_MODEDECISION_RD &
173                           ~XVID_VOP_TRELLISQUANT         &
174                           ~XVID_VOP_INTER4V              &
175                           ~XVID_VOP_HQACPRED;
176
177     param->vol_flags    &= ~XVID_VOL_GMC;
178     param->vop_flags    &= vop_remove;
179     param->motion_flags &= motion_remove;
180     param->motion_flags |= motion_replacements;
181
182     return 0;
183 }
184
185 /**
186  * Capture statistic data and write it during first pass.
187  *
188  * @param ref Context pointer for the plugin
189  * @param param Statistic data
190  * @return Returns XVID_ERR_xxxx on failure, or 0 on success
191  */
192 static int xvid_ff_2pass_after(struct xvid_context *ref,
193                                xvid_plg_data_t *param)
194 {
195     char *log = ref->twopassbuffer;
196     const char *frame_types = " ipbs";
197     char frame_type;
198
199     /* Quick bounds check */
200     if (!log)
201         return XVID_ERR_FAIL;
202
203     /* Convert the type given to us into a character */
204     if (param->type < 5 && param->type > 0)
205         frame_type = frame_types[param->type];
206     else
207         return XVID_ERR_FAIL;
208
209     snprintf(BUFFER_CAT(log), BUFFER_REMAINING(log),
210              "%c %d %d %d %d %d %d\n",
211              frame_type, param->stats.quant, param->stats.kblks,
212              param->stats.mblks, param->stats.ublks,
213              param->stats.length, param->stats.hlength);
214
215     return 0;
216 }
217
218 /**
219  * Dispatch function for our custom plugin.
220  * This handles the dispatch for the Xvid plugin. It passes data
221  * on to other functions for actual processing.
222  *
223  * @param ref Context pointer for the plugin
224  * @param cmd The task given for us to complete
225  * @param p1 First parameter (varies)
226  * @param p2 Second parameter (varies)
227  * @return Returns XVID_ERR_xxxx on failure, or 0 on success
228  */
229 static int xvid_ff_2pass(void *ref, int cmd, void *p1, void *p2)
230 {
231     switch (cmd) {
232     case XVID_PLG_INFO:
233     case XVID_PLG_FRAME:
234         return 0;
235     case XVID_PLG_BEFORE:
236         return xvid_ff_2pass_before(ref, p1);
237     case XVID_PLG_CREATE:
238         return xvid_ff_2pass_create(p1, p2);
239     case XVID_PLG_AFTER:
240         return xvid_ff_2pass_after(ref, p1);
241     case XVID_PLG_DESTROY:
242         return xvid_ff_2pass_destroy(ref, p1);
243     default:
244         return XVID_ERR_FAIL;
245     }
246 }
247
248 /**
249  * Routine to create a global VO/VOL header for MP4 container.
250  * What we do here is extract the header from the Xvid bitstream
251  * as it is encoded. We also strip the repeated headers from the
252  * bitstream when a global header is requested for MPEG-4 ISO
253  * compliance.
254  *
255  * @param avctx AVCodecContext pointer to context
256  * @param frame Pointer to encoded frame data
257  * @param header_len Length of header to search
258  * @param frame_len Length of encoded frame data
259  * @return Returns new length of frame data
260  */
261 static int xvid_strip_vol_header(AVCodecContext *avctx, AVPacket *pkt,
262                                  unsigned int header_len,
263                                  unsigned int frame_len)
264 {
265     int vo_len = 0, i;
266
267     for (i = 0; i < header_len - 3; i++) {
268         if (pkt->data[i]     == 0x00 &&
269             pkt->data[i + 1] == 0x00 &&
270             pkt->data[i + 2] == 0x01 &&
271             pkt->data[i + 3] == 0xB6) {
272             vo_len = i;
273             break;
274         }
275     }
276
277     if (vo_len > 0) {
278         /* We need to store the header, so extract it */
279         if (!avctx->extradata) {
280             avctx->extradata = av_malloc(vo_len);
281             if (!avctx->extradata)
282                 return AVERROR(ENOMEM);
283             memcpy(avctx->extradata, pkt->data, vo_len);
284             avctx->extradata_size = vo_len;
285         }
286         /* Less dangerous now, memmove properly copies the two
287          * chunks of overlapping data */
288         memmove(pkt->data, &pkt->data[vo_len], frame_len - vo_len);
289         pkt->size = frame_len - vo_len;
290     }
291     return 0;
292 }
293
294 /**
295  * Routine to correct a possibly erroneous framerate being fed to us.
296  * Xvid currently chokes on framerates where the ticks per frame is
297  * extremely large. This function works to correct problems in this area
298  * by estimating a new framerate and taking the simpler fraction of
299  * the two presented.
300  *
301  * @param avctx Context that contains the framerate to correct.
302  */
303 static void xvid_correct_framerate(AVCodecContext *avctx)
304 {
305     int frate, fbase;
306     int est_frate, est_fbase;
307     int gcd;
308     float est_fps, fps;
309
310     frate = avctx->time_base.den;
311     fbase = avctx->time_base.num;
312
313     gcd = av_gcd(frate, fbase);
314     if (gcd > 1) {
315         frate /= gcd;
316         fbase /= gcd;
317     }
318
319     if (frate <= 65000 && fbase <= 65000) {
320         avctx->time_base.den = frate;
321         avctx->time_base.num = fbase;
322         return;
323     }
324
325     fps     = (float) frate / (float) fbase;
326     est_fps = roundf(fps * 1000.0) / 1000.0;
327
328     est_frate = (int) est_fps;
329     if (est_fps > (int) est_fps) {
330         est_frate = (est_frate + 1) * 1000;
331         est_fbase = (int) roundf((float) est_frate / est_fps);
332     } else
333         est_fbase = 1;
334
335     gcd = av_gcd(est_frate, est_fbase);
336     if (gcd > 1) {
337         est_frate /= gcd;
338         est_fbase /= gcd;
339     }
340
341     if (fbase > est_fbase) {
342         avctx->time_base.den = est_frate;
343         avctx->time_base.num = est_fbase;
344         av_log(avctx, AV_LOG_DEBUG,
345                "Xvid: framerate re-estimated: %.2f, %.3f%% correction\n",
346                est_fps, (((est_fps - fps) / fps) * 100.0));
347     } else {
348         avctx->time_base.den = frate;
349         avctx->time_base.num = fbase;
350     }
351 }
352
353 static av_cold int xvid_encode_init(AVCodecContext *avctx)
354 {
355     int xerr, i;
356     int xvid_flags = avctx->flags;
357     struct xvid_context *x = avctx->priv_data;
358     uint16_t *intra, *inter;
359     int fd;
360
361     xvid_plugin_single_t single         = { 0 };
362     struct xvid_ff_pass1 rc2pass1       = { 0 };
363     xvid_plugin_2pass2_t rc2pass2       = { 0 };
364     xvid_plugin_lumimasking_t masking_l = { 0 }; /* For lumi masking */
365     xvid_plugin_lumimasking_t masking_v = { 0 }; /* For variance AQ */
366     xvid_plugin_ssim_t ssim             = { 0 };
367     xvid_gbl_init_t xvid_gbl_init       = { 0 };
368     xvid_enc_create_t xvid_enc_create   = { 0 };
369     xvid_enc_plugin_t plugins[7];
370
371     /* Bring in VOP flags from avconv command-line */
372     x->vop_flags = XVID_VOP_HALFPEL; /* Bare minimum quality */
373     if (xvid_flags & AV_CODEC_FLAG_4MV)
374         x->vop_flags |= XVID_VOP_INTER4V; /* Level 3 */
375     if (avctx->trellis)
376         x->vop_flags |= XVID_VOP_TRELLISQUANT; /* Level 5 */
377     if (xvid_flags & AV_CODEC_FLAG_AC_PRED)
378         x->vop_flags |= XVID_VOP_HQACPRED; /* Level 6 */
379     if (xvid_flags & AV_CODEC_FLAG_GRAY)
380         x->vop_flags |= XVID_VOP_GREYSCALE;
381
382     /* Decide which ME quality setting to use */
383     x->me_flags = 0;
384     switch (x->me_quality) {
385     case 6:
386     case 5:
387         x->me_flags |= XVID_ME_EXTSEARCH16 |
388                        XVID_ME_EXTSEARCH8;
389     case 4:
390     case 3:
391         x->me_flags |= XVID_ME_ADVANCEDDIAMOND8 |
392                        XVID_ME_HALFPELREFINE8   |
393                        XVID_ME_CHROMA_PVOP      |
394                        XVID_ME_CHROMA_BVOP;
395     case 2:
396     case 1:
397         x->me_flags |= XVID_ME_ADVANCEDDIAMOND16 |
398                        XVID_ME_HALFPELREFINE16;
399 #if FF_API_MOTION_EST
400 FF_DISABLE_DEPRECATION_WARNINGS
401         break;
402     default:
403         switch (avctx->me_method) {
404         case ME_FULL:   /* Quality 6 */
405              x->me_flags |= XVID_ME_EXTSEARCH16 |
406                             XVID_ME_EXTSEARCH8;
407         case ME_EPZS:   /* Quality 4 */
408              x->me_flags |= XVID_ME_ADVANCEDDIAMOND8 |
409                             XVID_ME_HALFPELREFINE8   |
410                             XVID_ME_CHROMA_PVOP      |
411                             XVID_ME_CHROMA_BVOP;
412         case ME_LOG:    /* Quality 2 */
413         case ME_PHODS:
414         case ME_X1:
415              x->me_flags |= XVID_ME_ADVANCEDDIAMOND16 |
416                             XVID_ME_HALFPELREFINE16;
417         case ME_ZERO:   /* Quality 0 */
418         default:
419             break;
420         }
421 FF_ENABLE_DEPRECATION_WARNINGS
422 #endif
423     }
424
425     /* Decide how we should decide blocks */
426     switch (avctx->mb_decision) {
427     case 2:
428         x->vop_flags |=  XVID_VOP_MODEDECISION_RD;
429         x->me_flags  |=  XVID_ME_HALFPELREFINE8_RD    |
430                          XVID_ME_QUARTERPELREFINE8_RD |
431                          XVID_ME_EXTSEARCH_RD         |
432                          XVID_ME_CHECKPREDICTION_RD;
433     case 1:
434         if (!(x->vop_flags & XVID_VOP_MODEDECISION_RD))
435             x->vop_flags |= XVID_VOP_FAST_MODEDECISION_RD;
436         x->me_flags |= XVID_ME_HALFPELREFINE16_RD |
437                        XVID_ME_QUARTERPELREFINE16_RD;
438     default:
439         break;
440     }
441
442     /* Bring in VOL flags from avconv command-line */
443 #if FF_API_GMC
444     if (avctx->flags & CODEC_FLAG_GMC)
445         x->gmc = 1;
446 #endif
447
448     x->vol_flags = 0;
449     if (x->gmc) {
450         x->vol_flags |= XVID_VOL_GMC;
451         x->me_flags  |= XVID_ME_GME_REFINE;
452     }
453     if (xvid_flags & AV_CODEC_FLAG_QPEL) {
454         x->vol_flags |= XVID_VOL_QUARTERPEL;
455         x->me_flags  |= XVID_ME_QUARTERPELREFINE16;
456         if (x->vop_flags & XVID_VOP_INTER4V)
457             x->me_flags |= XVID_ME_QUARTERPELREFINE8;
458     }
459
460     xvid_gbl_init.version   = XVID_VERSION;
461     xvid_gbl_init.debug     = 0;
462     xvid_gbl_init.cpu_flags = 0;
463
464     /* Initialize */
465     xvid_global(NULL, XVID_GBL_INIT, &xvid_gbl_init, NULL);
466
467     /* Create the encoder reference */
468     xvid_enc_create.version = XVID_VERSION;
469
470     /* Store the desired frame size */
471     xvid_enc_create.width  =
472     x->xsize               = avctx->width;
473     xvid_enc_create.height =
474     x->ysize               = avctx->height;
475
476     /* Xvid can determine the proper profile to use */
477     /* xvid_enc_create.profile = XVID_PROFILE_S_L3; */
478
479     /* We don't use zones */
480     xvid_enc_create.zones     = NULL;
481     xvid_enc_create.num_zones = 0;
482
483     xvid_enc_create.num_threads = avctx->thread_count;
484
485     xvid_enc_create.plugins     = plugins;
486     xvid_enc_create.num_plugins = 0;
487
488     /* Initialize Buffers */
489     x->twopassbuffer     = NULL;
490     x->old_twopassbuffer = NULL;
491     x->twopassfile       = NULL;
492
493     if (xvid_flags & AV_CODEC_FLAG_PASS1) {
494         rc2pass1.version     = XVID_VERSION;
495         rc2pass1.context     = x;
496         x->twopassbuffer     = av_malloc(BUFFER_SIZE);
497         x->old_twopassbuffer = av_malloc(BUFFER_SIZE);
498         if (!x->twopassbuffer || !x->old_twopassbuffer) {
499             av_log(avctx, AV_LOG_ERROR,
500                    "Xvid: Cannot allocate 2-pass log buffers\n");
501             return AVERROR(ENOMEM);
502         }
503         x->twopassbuffer[0]     =
504         x->old_twopassbuffer[0] = 0;
505
506         plugins[xvid_enc_create.num_plugins].func  = xvid_ff_2pass;
507         plugins[xvid_enc_create.num_plugins].param = &rc2pass1;
508         xvid_enc_create.num_plugins++;
509     } else if (xvid_flags & AV_CODEC_FLAG_PASS2) {
510         rc2pass2.version = XVID_VERSION;
511         rc2pass2.bitrate = avctx->bit_rate;
512
513         fd = ff_tempfile("xvidff.", &x->twopassfile);
514         if (fd < 0) {
515             av_log(avctx, AV_LOG_ERROR, "Xvid: Cannot write 2-pass pipe\n");
516             return fd;
517         }
518
519         if (!avctx->stats_in) {
520             av_log(avctx, AV_LOG_ERROR,
521                    "Xvid: No 2-pass information loaded for second pass\n");
522             return AVERROR_INVALIDDATA;
523         }
524
525         if (strlen(avctx->stats_in) >
526             write(fd, avctx->stats_in, strlen(avctx->stats_in))) {
527             close(fd);
528             av_log(avctx, AV_LOG_ERROR, "Xvid: Cannot write to 2-pass pipe\n");
529             return AVERROR(EIO);
530         }
531
532         close(fd);
533         rc2pass2.filename                          = x->twopassfile;
534         plugins[xvid_enc_create.num_plugins].func  = xvid_plugin_2pass2;
535         plugins[xvid_enc_create.num_plugins].param = &rc2pass2;
536         xvid_enc_create.num_plugins++;
537     } else if (!(xvid_flags & AV_CODEC_FLAG_QSCALE)) {
538         /* Single Pass Bitrate Control! */
539         single.version = XVID_VERSION;
540         single.bitrate = avctx->bit_rate;
541
542         plugins[xvid_enc_create.num_plugins].func  = xvid_plugin_single;
543         plugins[xvid_enc_create.num_plugins].param = &single;
544         xvid_enc_create.num_plugins++;
545     }
546
547     if (avctx->lumi_masking != 0.0)
548         x->lumi_aq = 1;
549
550     if (x->lumi_aq && x->variance_aq) {
551         x->variance_aq = 0;
552         av_log(avctx, AV_LOG_WARNING,
553                "variance_aq is ignored when lumi_aq is set.\n");
554     }
555
556     /* Luminance Masking */
557     if (x->lumi_aq) {
558         masking_l.method                          = 0;
559         plugins[xvid_enc_create.num_plugins].func = xvid_plugin_lumimasking;
560
561         /* The old behavior is that when avctx->lumi_masking is specified,
562          * plugins[...].param = NULL. Trying to keep the old behavior here. */
563         plugins[xvid_enc_create.num_plugins].param =
564             avctx->lumi_masking ? NULL : &masking_l;
565         xvid_enc_create.num_plugins++;
566     }
567
568     /* Variance AQ */
569     if (x->variance_aq) {
570         masking_v.method                           = 1;
571         plugins[xvid_enc_create.num_plugins].func  = xvid_plugin_lumimasking;
572         plugins[xvid_enc_create.num_plugins].param = &masking_v;
573         xvid_enc_create.num_plugins++;
574     }
575
576     /* SSIM */
577     if (x->ssim) {
578         plugins[xvid_enc_create.num_plugins].func  = xvid_plugin_ssim;
579         ssim.b_printstat                           = x->ssim == 2;
580         ssim.acc                                   = x->ssim_acc;
581         ssim.cpu_flags                             = xvid_gbl_init.cpu_flags;
582         ssim.b_visualize                           = 0;
583         plugins[xvid_enc_create.num_plugins].param = &ssim;
584         xvid_enc_create.num_plugins++;
585     }
586
587     /* Frame Rate and Key Frames */
588     xvid_correct_framerate(avctx);
589     xvid_enc_create.fincr = avctx->time_base.num;
590     xvid_enc_create.fbase = avctx->time_base.den;
591     if (avctx->gop_size > 0)
592         xvid_enc_create.max_key_interval = avctx->gop_size;
593     else
594         xvid_enc_create.max_key_interval = 240; /* Xvid's best default */
595
596     /* Quants */
597     if (xvid_flags & AV_CODEC_FLAG_QSCALE)
598         x->qscale = 1;
599     else
600         x->qscale = 0;
601
602     xvid_enc_create.min_quant[0] = avctx->qmin;
603     xvid_enc_create.min_quant[1] = avctx->qmin;
604     xvid_enc_create.min_quant[2] = avctx->qmin;
605     xvid_enc_create.max_quant[0] = avctx->qmax;
606     xvid_enc_create.max_quant[1] = avctx->qmax;
607     xvid_enc_create.max_quant[2] = avctx->qmax;
608
609     /* Quant Matrices */
610     x->intra_matrix =
611     x->inter_matrix = NULL;
612     if (avctx->mpeg_quant)
613         x->vol_flags |= XVID_VOL_MPEGQUANT;
614     if ((avctx->intra_matrix || avctx->inter_matrix)) {
615         x->vol_flags |= XVID_VOL_MPEGQUANT;
616
617         if (avctx->intra_matrix) {
618             intra           = avctx->intra_matrix;
619             x->intra_matrix = av_malloc(sizeof(unsigned char) * 64);
620             if (!x->intra_matrix)
621                 return AVERROR(ENOMEM);
622         } else
623             intra = NULL;
624         if (avctx->inter_matrix) {
625             inter           = avctx->inter_matrix;
626             x->inter_matrix = av_malloc(sizeof(unsigned char) * 64);
627             if (!x->inter_matrix)
628                 return AVERROR(ENOMEM);
629         } else
630             inter = NULL;
631
632         for (i = 0; i < 64; i++) {
633             if (intra)
634                 x->intra_matrix[i] = (unsigned char) intra[i];
635             if (inter)
636                 x->inter_matrix[i] = (unsigned char) inter[i];
637         }
638     }
639
640     /* Misc Settings */
641     xvid_enc_create.frame_drop_ratio = 0;
642     xvid_enc_create.global           = 0;
643     if (xvid_flags & AV_CODEC_FLAG_CLOSED_GOP)
644         xvid_enc_create.global |= XVID_GLOBAL_CLOSED_GOP;
645
646     /* Determines which codec mode we are operating in */
647     avctx->extradata      = NULL;
648     avctx->extradata_size = 0;
649     if (xvid_flags & AV_CODEC_FLAG_GLOBAL_HEADER) {
650         /* In this case, we are claiming to be MPEG4 */
651         x->quicktime_format = 1;
652         avctx->codec_id     = AV_CODEC_ID_MPEG4;
653     } else {
654         /* We are claiming to be Xvid */
655         x->quicktime_format = 0;
656         if (!avctx->codec_tag)
657             avctx->codec_tag = AV_RL32("xvid");
658     }
659
660     /* Bframes */
661     xvid_enc_create.max_bframes   = avctx->max_b_frames;
662     xvid_enc_create.bquant_offset = 100 * avctx->b_quant_offset;
663     xvid_enc_create.bquant_ratio  = 100 * avctx->b_quant_factor;
664     if (avctx->max_b_frames > 0 && !x->quicktime_format)
665         xvid_enc_create.global |= XVID_GLOBAL_PACKED;
666
667     /* Create encoder context */
668     xerr = xvid_encore(NULL, XVID_ENC_CREATE, &xvid_enc_create, NULL);
669     if (xerr) {
670         av_log(avctx, AV_LOG_ERROR, "Xvid: Could not create encoder reference\n");
671         return -1;
672     }
673
674     x->encoder_handle  = xvid_enc_create.handle;
675
676     return 0;
677 }
678
679 static int xvid_encode_frame(AVCodecContext *avctx, AVPacket *pkt,
680                              const AVFrame *picture, int *got_packet)
681 {
682     int xerr, i, ret, user_packet = !!pkt->data;
683     struct xvid_context *x = avctx->priv_data;
684     int mb_width  = (avctx->width  + 15) / 16;
685     int mb_height = (avctx->height + 15) / 16;
686     char *tmp;
687
688     xvid_enc_frame_t xvid_enc_frame = { 0 };
689     xvid_enc_stats_t xvid_enc_stats = { 0 };
690
691     if (!user_packet &&
692         (ret = av_new_packet(pkt, mb_width * mb_height * MAX_MB_BYTES + AV_INPUT_BUFFER_MIN_SIZE)) < 0) {
693         av_log(avctx, AV_LOG_ERROR, "Error getting output packet.\n");
694         return ret;
695     }
696
697     /* Start setting up the frame */
698     xvid_enc_frame.version = XVID_VERSION;
699     xvid_enc_stats.version = XVID_VERSION;
700
701     /* Let Xvid know where to put the frame. */
702     xvid_enc_frame.bitstream = pkt->data;
703     xvid_enc_frame.length    = pkt->size;
704
705     /* Initialize input image fields */
706     if (avctx->pix_fmt != AV_PIX_FMT_YUV420P) {
707         av_log(avctx, AV_LOG_ERROR,
708                "Xvid: Color spaces other than 420P not supported\n");
709         return -1;
710     }
711
712     xvid_enc_frame.input.csp = XVID_CSP_PLANAR; /* YUV420P */
713
714     for (i = 0; i < 4; i++) {
715         xvid_enc_frame.input.plane[i]  = picture->data[i];
716         xvid_enc_frame.input.stride[i] = picture->linesize[i];
717     }
718
719     /* Encoder Flags */
720     xvid_enc_frame.vop_flags = x->vop_flags;
721     xvid_enc_frame.vol_flags = x->vol_flags;
722     xvid_enc_frame.motion    = x->me_flags;
723     xvid_enc_frame.type      =
724         picture->pict_type == AV_PICTURE_TYPE_I ? XVID_TYPE_IVOP :
725         picture->pict_type == AV_PICTURE_TYPE_P ? XVID_TYPE_PVOP :
726         picture->pict_type == AV_PICTURE_TYPE_B ? XVID_TYPE_BVOP :
727                                                   XVID_TYPE_AUTO;
728
729     /* Pixel aspect ratio setting */
730     if (avctx->sample_aspect_ratio.num < 1 || avctx->sample_aspect_ratio.num > 255 ||
731         avctx->sample_aspect_ratio.den < 1 || avctx->sample_aspect_ratio.den > 255) {
732         av_log(avctx, AV_LOG_ERROR, "Invalid pixel aspect ratio %i/%i\n",
733                avctx->sample_aspect_ratio.num, avctx->sample_aspect_ratio.den);
734         return -1;
735     }
736     xvid_enc_frame.par        = XVID_PAR_EXT;
737     xvid_enc_frame.par_width  = avctx->sample_aspect_ratio.num;
738     xvid_enc_frame.par_height = avctx->sample_aspect_ratio.den;
739
740     /* Quant Setting */
741     if (x->qscale)
742         xvid_enc_frame.quant = picture->quality / FF_QP2LAMBDA;
743     else
744         xvid_enc_frame.quant = 0;
745
746     /* Matrices */
747     xvid_enc_frame.quant_intra_matrix = x->intra_matrix;
748     xvid_enc_frame.quant_inter_matrix = x->inter_matrix;
749
750     /* Encode */
751     xerr = xvid_encore(x->encoder_handle, XVID_ENC_ENCODE,
752                        &xvid_enc_frame, &xvid_enc_stats);
753
754     /* Two-pass log buffer swapping */
755     avctx->stats_out = NULL;
756     if (x->twopassbuffer) {
757         tmp                  = x->old_twopassbuffer;
758         x->old_twopassbuffer = x->twopassbuffer;
759         x->twopassbuffer     = tmp;
760         x->twopassbuffer[0]  = 0;
761         if (x->old_twopassbuffer[0] != 0) {
762             avctx->stats_out = x->old_twopassbuffer;
763         }
764     }
765
766     if (xerr > 0) {
767         uint8_t *sd = av_packet_new_side_data(pkt, AV_PKT_DATA_QUALITY_FACTOR,
768                                               sizeof(int));
769         if (!sd)
770             return AVERROR(ENOMEM);
771         *(int *)sd = xvid_enc_stats.quant * FF_QP2LAMBDA;
772
773         *got_packet = 1;
774
775 #if FF_API_CODED_FRAME
776 FF_DISABLE_DEPRECATION_WARNINGS
777         avctx->coded_frame->quality = xvid_enc_stats.quant * FF_QP2LAMBDA;
778         if (xvid_enc_stats.type == XVID_TYPE_PVOP)
779             avctx->coded_frame->pict_type = AV_PICTURE_TYPE_P;
780         else if (xvid_enc_stats.type == XVID_TYPE_BVOP)
781             avctx->coded_frame->pict_type = AV_PICTURE_TYPE_B;
782         else if (xvid_enc_stats.type == XVID_TYPE_SVOP)
783             avctx->coded_frame->pict_type = AV_PICTURE_TYPE_S;
784         else
785             avctx->coded_frame->pict_type = AV_PICTURE_TYPE_I;
786 FF_ENABLE_DEPRECATION_WARNINGS
787 #endif
788         if (xvid_enc_frame.out_flags & XVID_KEYFRAME) {
789 #if FF_API_CODED_FRAME
790 FF_DISABLE_DEPRECATION_WARNINGS
791             avctx->coded_frame->key_frame = 1;
792 FF_ENABLE_DEPRECATION_WARNINGS
793 #endif
794             pkt->flags  |= AV_PKT_FLAG_KEY;
795             if (x->quicktime_format)
796                 return xvid_strip_vol_header(avctx, pkt,
797                                              xvid_enc_stats.hlength, xerr);
798         } else {
799 #if FF_API_CODED_FRAME
800 FF_DISABLE_DEPRECATION_WARNINGS
801             avctx->coded_frame->key_frame = 0;
802 FF_ENABLE_DEPRECATION_WARNINGS
803 #endif
804         }
805
806         pkt->size = xerr;
807
808         return 0;
809     } else {
810         if (!user_packet)
811             av_free_packet(pkt);
812         if (!xerr)
813             return 0;
814         av_log(avctx, AV_LOG_ERROR,
815                "Xvid: Encoding Error Occurred: %i\n", xerr);
816         return xerr;
817     }
818 }
819
820 static av_cold int xvid_encode_close(AVCodecContext *avctx)
821 {
822     struct xvid_context *x = avctx->priv_data;
823
824     if (x->encoder_handle) {
825         xvid_encore(x->encoder_handle, XVID_ENC_DESTROY, NULL, NULL);
826         x->encoder_handle = NULL;
827     }
828
829     av_freep(&avctx->extradata);
830     if (x->twopassbuffer) {
831         av_free(x->twopassbuffer);
832         av_free(x->old_twopassbuffer);
833     }
834     av_free(x->twopassfile);
835     av_free(x->intra_matrix);
836     av_free(x->inter_matrix);
837
838     return 0;
839 }
840
841 #define OFFSET(x) offsetof(struct xvid_context, x)
842 #define VE AV_OPT_FLAG_VIDEO_PARAM | AV_OPT_FLAG_ENCODING_PARAM
843 static const AVOption options[] = {
844     { "lumi_aq",     "Luminance masking AQ",            OFFSET(lumi_aq),     AV_OPT_TYPE_INT,   { .i64 = 0 },       0,       1, VE         },
845     { "variance_aq", "Variance AQ",                     OFFSET(variance_aq), AV_OPT_TYPE_INT,   { .i64 = 0 },       0,       1, VE         },
846     { "ssim",        "Show SSIM information to stdout", OFFSET(ssim),        AV_OPT_TYPE_INT,   { .i64 = 0 },       0,       2, VE, "ssim" },
847     { "off",         NULL,                                                0, AV_OPT_TYPE_CONST, { .i64 = 0 }, INT_MIN, INT_MAX, VE, "ssim" },
848     { "avg",         NULL,                                                0, AV_OPT_TYPE_CONST, { .i64 = 1 }, INT_MIN, INT_MAX, VE, "ssim" },
849     { "frame",       NULL,                                                0, AV_OPT_TYPE_CONST, { .i64 = 2 }, INT_MIN, INT_MAX, VE, "ssim" },
850     { "ssim_acc",    "SSIM accuracy",                   OFFSET(ssim_acc),    AV_OPT_TYPE_INT,   { .i64 = 2 },       0,       4, VE         },
851     { "gmc",         "use GMC",                         OFFSET(gmc),         AV_OPT_TYPE_INT,   { .i64 = 0 },       0,       1, VE         },
852     { "me_quality",  "Motion estimation quality",       OFFSET(me_quality),  AV_OPT_TYPE_INT,   { .i64 = 0 },       0,       6, VE         },
853     { NULL },
854 };
855
856 static const AVClass xvid_class = {
857     .class_name = "libxvid",
858     .item_name  = av_default_item_name,
859     .option     = options,
860     .version    = LIBAVUTIL_VERSION_INT,
861 };
862
863 AVCodec ff_libxvid_encoder = {
864     .name           = "libxvid",
865     .long_name      = NULL_IF_CONFIG_SMALL("libxvidcore MPEG-4 part 2"),
866     .type           = AVMEDIA_TYPE_VIDEO,
867     .id             = AV_CODEC_ID_MPEG4,
868     .priv_data_size = sizeof(struct xvid_context),
869     .init           = xvid_encode_init,
870     .encode2        = xvid_encode_frame,
871     .close          = xvid_encode_close,
872     .pix_fmts       = (const enum AVPixelFormat[]) { AV_PIX_FMT_YUV420P, AV_PIX_FMT_NONE },
873     .priv_class     = &xvid_class,
874     .caps_internal  = FF_CODEC_CAP_INIT_THREADSAFE |
875                       FF_CODEC_CAP_INIT_CLEANUP,
876 };