stereo3d: Support view type for frame sequence type
[ffmpeg.git] / libavcodec / libxvid.c
1 /*
2  * Interface to xvidcore for MPEG-4 encoding
3  * Copyright (c) 2004 Adam Thayer <krevnik@comcast.net>
4  *
5  * This file is part of Libav.
6  *
7  * Libav is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * Libav is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with Libav; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 /**
23  * @file
24  * Interface to xvidcore for MPEG-4 compliant encoding.
25  * @author Adam Thayer (krevnik@comcast.net)
26  */
27
28 #include <stdio.h>
29 #include <stdlib.h>
30 #include <string.h>
31 #include <unistd.h>
32 #include <xvid.h>
33
34 #include "libavutil/cpu.h"
35 #include "libavutil/internal.h"
36 #include "libavutil/intreadwrite.h"
37 #include "libavutil/mathematics.h"
38 #include "libavutil/mem.h"
39 #include "libavutil/opt.h"
40
41 #include "avcodec.h"
42 #include "internal.h"
43 #include "mpegutils.h"
44
45 /**
46  * Buffer management macros.
47  */
48 #define BUFFER_SIZE         1024
49 #define BUFFER_REMAINING(x) (BUFFER_SIZE - strlen(x))
50 #define BUFFER_CAT(x)       (&((x)[strlen(x)]))
51
52 /**
53  * Structure for the private Xvid context.
54  * This stores all the private context for the codec.
55  */
56 struct xvid_context {
57     AVClass *class;                /**< Handle for Xvid encoder */
58     void *encoder_handle;          /**< Handle for Xvid encoder */
59     int xsize;                     /**< Frame x size */
60     int ysize;                     /**< Frame y size */
61     int vop_flags;                 /**< VOP flags for Xvid encoder */
62     int vol_flags;                 /**< VOL flags for Xvid encoder */
63     int me_flags;                  /**< Motion Estimation flags */
64     int qscale;                    /**< Do we use constant scale? */
65     int quicktime_format;          /**< Are we in a QT-based format? */
66     char *twopassbuffer;           /**< Character buffer for two-pass */
67     char *old_twopassbuffer;       /**< Old character buffer (two-pass) */
68     char *twopassfile;             /**< second pass temp file name */
69     unsigned char *intra_matrix;   /**< P-Frame Quant Matrix */
70     unsigned char *inter_matrix;   /**< I-Frame Quant Matrix */
71     int lumi_aq;                   /**< Lumi masking as an aq method */
72     int variance_aq;               /**< Variance adaptive quantization */
73     int ssim;                      /**< SSIM information display mode */
74     int ssim_acc;                  /**< SSIM accuracy. 0: accurate. 4: fast. */
75     int gmc;
76     int me_quality;                /**< Motion estimation quality. 0: fast 6: best. */
77     int mpeg_quant;                /**< Quantization type. 0: H.263, 1: MPEG */
78 };
79
80 /**
81  * Structure for the private first-pass plugin.
82  */
83 struct xvid_ff_pass1 {
84     int version;                    /**< Xvid version */
85     struct xvid_context *context;   /**< Pointer to private context */
86 };
87
88 static int xvid_encode_frame(AVCodecContext *avctx, AVPacket *pkt,
89                              const AVFrame *picture, int *got_packet);
90
91
92 /*
93  * Xvid 2-Pass Kludge Section
94  *
95  * Xvid's default 2-pass doesn't allow us to create data as we need to, so
96  * this section spends time replacing the first pass plugin so we can write
97  * statistic information as libavcodec requests in. We have another kludge
98  * that allows us to pass data to the second pass in Xvid without a custom
99  * rate-control plugin.
100  */
101
102 /**
103  * Initialize the two-pass plugin and context.
104  *
105  * @param param Input construction parameter structure
106  * @param handle Private context handle
107  * @return Returns XVID_ERR_xxxx on failure, or 0 on success.
108  */
109 static int xvid_ff_2pass_create(xvid_plg_create_t *param, void **handle)
110 {
111     struct xvid_ff_pass1 *x = (struct xvid_ff_pass1 *) param->param;
112     char *log = x->context->twopassbuffer;
113
114     /* Do a quick bounds check */
115     if (!log)
116         return XVID_ERR_FAIL;
117
118     /* We use snprintf() */
119     /* This is because we can safely prevent a buffer overflow */
120     log[0] = 0;
121     snprintf(log, BUFFER_REMAINING(log),
122              "# avconv 2-pass log file, using xvid codec\n");
123     snprintf(BUFFER_CAT(log), BUFFER_REMAINING(log),
124              "# Do not modify. libxvidcore version: %d.%d.%d\n\n",
125              XVID_VERSION_MAJOR(XVID_VERSION),
126              XVID_VERSION_MINOR(XVID_VERSION),
127              XVID_VERSION_PATCH(XVID_VERSION));
128
129     *handle = x->context;
130     return 0;
131 }
132
133 /**
134  * Destroy the two-pass plugin context.
135  *
136  * @param ref Context pointer for the plugin
137  * @param param Destroy context
138  * @return Returns 0, success guaranteed
139  */
140 static int xvid_ff_2pass_destroy(struct xvid_context *ref,
141                                  xvid_plg_destroy_t *param)
142 {
143     /* Currently cannot think of anything to do on destruction */
144     /* Still, the framework should be here for reference/use */
145     if (ref->twopassbuffer)
146         ref->twopassbuffer[0] = 0;
147     return 0;
148 }
149
150 /**
151  * Enable fast encode mode during the first pass.
152  *
153  * @param ref Context pointer for the plugin
154  * @param param Frame data
155  * @return Returns 0, success guaranteed
156  */
157 static int xvid_ff_2pass_before(struct xvid_context *ref,
158                                 xvid_plg_data_t *param)
159 {
160     int motion_remove;
161     int motion_replacements;
162     int vop_remove;
163
164     /* Nothing to do here, result is changed too much */
165     if (param->zone && param->zone->mode == XVID_ZONE_QUANT)
166         return 0;
167
168     /* We can implement a 'turbo' first pass mode here */
169     param->quant = 2;
170
171     /* Init values */
172     motion_remove       = ~XVID_ME_CHROMA_PVOP &
173                           ~XVID_ME_CHROMA_BVOP &
174                           ~XVID_ME_EXTSEARCH16 &
175                           ~XVID_ME_ADVANCEDDIAMOND16;
176     motion_replacements = XVID_ME_FAST_MODEINTERPOLATE |
177                           XVID_ME_SKIP_DELTASEARCH     |
178                           XVID_ME_FASTREFINE16         |
179                           XVID_ME_BFRAME_EARLYSTOP;
180     vop_remove          = ~XVID_VOP_MODEDECISION_RD      &
181                           ~XVID_VOP_FAST_MODEDECISION_RD &
182                           ~XVID_VOP_TRELLISQUANT         &
183                           ~XVID_VOP_INTER4V              &
184                           ~XVID_VOP_HQACPRED;
185
186     param->vol_flags    &= ~XVID_VOL_GMC;
187     param->vop_flags    &= vop_remove;
188     param->motion_flags &= motion_remove;
189     param->motion_flags |= motion_replacements;
190
191     return 0;
192 }
193
194 /**
195  * Capture statistic data and write it during first pass.
196  *
197  * @param ref Context pointer for the plugin
198  * @param param Statistic data
199  * @return Returns XVID_ERR_xxxx on failure, or 0 on success
200  */
201 static int xvid_ff_2pass_after(struct xvid_context *ref,
202                                xvid_plg_data_t *param)
203 {
204     char *log = ref->twopassbuffer;
205     const char *frame_types = " ipbs";
206     char frame_type;
207
208     /* Quick bounds check */
209     if (!log)
210         return XVID_ERR_FAIL;
211
212     /* Convert the type given to us into a character */
213     if (param->type < 5 && param->type > 0)
214         frame_type = frame_types[param->type];
215     else
216         return XVID_ERR_FAIL;
217
218     snprintf(BUFFER_CAT(log), BUFFER_REMAINING(log),
219              "%c %d %d %d %d %d %d\n",
220              frame_type, param->stats.quant, param->stats.kblks,
221              param->stats.mblks, param->stats.ublks,
222              param->stats.length, param->stats.hlength);
223
224     return 0;
225 }
226
227 /**
228  * Dispatch function for our custom plugin.
229  * This handles the dispatch for the Xvid plugin. It passes data
230  * on to other functions for actual processing.
231  *
232  * @param ref Context pointer for the plugin
233  * @param cmd The task given for us to complete
234  * @param p1 First parameter (varies)
235  * @param p2 Second parameter (varies)
236  * @return Returns XVID_ERR_xxxx on failure, or 0 on success
237  */
238 static int xvid_ff_2pass(void *ref, int cmd, void *p1, void *p2)
239 {
240     switch (cmd) {
241     case XVID_PLG_INFO:
242     case XVID_PLG_FRAME:
243         return 0;
244     case XVID_PLG_BEFORE:
245         return xvid_ff_2pass_before(ref, p1);
246     case XVID_PLG_CREATE:
247         return xvid_ff_2pass_create(p1, p2);
248     case XVID_PLG_AFTER:
249         return xvid_ff_2pass_after(ref, p1);
250     case XVID_PLG_DESTROY:
251         return xvid_ff_2pass_destroy(ref, p1);
252     default:
253         return XVID_ERR_FAIL;
254     }
255 }
256
257 /**
258  * Routine to create a global VO/VOL header for MP4 container.
259  * What we do here is extract the header from the Xvid bitstream
260  * as it is encoded. We also strip the repeated headers from the
261  * bitstream when a global header is requested for MPEG-4 ISO
262  * compliance.
263  *
264  * @param avctx AVCodecContext pointer to context
265  * @param frame Pointer to encoded frame data
266  * @param header_len Length of header to search
267  * @param frame_len Length of encoded frame data
268  * @return Returns new length of frame data
269  */
270 static int xvid_strip_vol_header(AVCodecContext *avctx, AVPacket *pkt,
271                                  unsigned int header_len,
272                                  unsigned int frame_len)
273 {
274     int vo_len = 0, i;
275
276     for (i = 0; i < header_len - 3; i++) {
277         if (pkt->data[i]     == 0x00 &&
278             pkt->data[i + 1] == 0x00 &&
279             pkt->data[i + 2] == 0x01 &&
280             pkt->data[i + 3] == 0xB6) {
281             vo_len = i;
282             break;
283         }
284     }
285
286     if (vo_len > 0) {
287         /* We need to store the header, so extract it */
288         if (!avctx->extradata) {
289             avctx->extradata = av_malloc(vo_len);
290             if (!avctx->extradata)
291                 return AVERROR(ENOMEM);
292             memcpy(avctx->extradata, pkt->data, vo_len);
293             avctx->extradata_size = vo_len;
294         }
295         /* Less dangerous now, memmove properly copies the two
296          * chunks of overlapping data */
297         memmove(pkt->data, &pkt->data[vo_len], frame_len - vo_len);
298         pkt->size = frame_len - vo_len;
299     }
300     return 0;
301 }
302
303 /**
304  * Routine to correct a possibly erroneous framerate being fed to us.
305  * Xvid currently chokes on framerates where the ticks per frame is
306  * extremely large. This function works to correct problems in this area
307  * by estimating a new framerate and taking the simpler fraction of
308  * the two presented.
309  *
310  * @param avctx Context that contains the framerate to correct.
311  */
312 static void xvid_correct_framerate(AVCodecContext *avctx)
313 {
314     int frate, fbase;
315     int est_frate, est_fbase;
316     int gcd;
317     float est_fps, fps;
318
319     frate = avctx->time_base.den;
320     fbase = avctx->time_base.num;
321
322     gcd = av_gcd(frate, fbase);
323     if (gcd > 1) {
324         frate /= gcd;
325         fbase /= gcd;
326     }
327
328     if (frate <= 65000 && fbase <= 65000) {
329         avctx->time_base.den = frate;
330         avctx->time_base.num = fbase;
331         return;
332     }
333
334     fps     = (float) frate / (float) fbase;
335     est_fps = roundf(fps * 1000.0) / 1000.0;
336
337     est_frate = (int) est_fps;
338     if (est_fps > (int) est_fps) {
339         est_frate = (est_frate + 1) * 1000;
340         est_fbase = (int) roundf((float) est_frate / est_fps);
341     } else
342         est_fbase = 1;
343
344     gcd = av_gcd(est_frate, est_fbase);
345     if (gcd > 1) {
346         est_frate /= gcd;
347         est_fbase /= gcd;
348     }
349
350     if (fbase > est_fbase) {
351         avctx->time_base.den = est_frate;
352         avctx->time_base.num = est_fbase;
353         av_log(avctx, AV_LOG_DEBUG,
354                "Xvid: framerate re-estimated: %.2f, %.3f%% correction\n",
355                est_fps, (((est_fps - fps) / fps) * 100.0));
356     } else {
357         avctx->time_base.den = frate;
358         avctx->time_base.num = fbase;
359     }
360 }
361
362 /* Create temporary file using mkstemp(), tries /tmp first, if possible.
363  * *prefix can be a character constant; *filename will be allocated internally.
364  * Return file descriptor of opened file (or error code on error)
365  * and opened file name in **filename. */
366 static int xvid_tempfile(AVCodecContext *avctx, const char *prefix,
367                          char **filename)
368 {
369     int fd = -1;
370     size_t len = strlen(prefix) + 12; /* room for "/tmp/" and "XXXXXX\0" */
371     *filename  = av_malloc(len);
372     if (!(*filename)) {
373         av_log(avctx, AV_LOG_ERROR, "xvid_tempfile: Cannot allocate file name\n");
374         return AVERROR(ENOMEM);
375     }
376     snprintf(*filename, len, "/tmp/%sXXXXXX", prefix);
377     fd = mkstemp(*filename);
378     if (fd < 0) {
379         snprintf(*filename, len, "./%sXXXXXX", prefix);
380         fd = mkstemp(*filename);
381     }
382     if (fd < 0) {
383         av_log(avctx, AV_LOG_ERROR, "xvid_tempfile: Cannot open temporary file %s\n", *filename);
384         return AVERROR(EIO);
385     }
386     return fd; /* success */
387 }
388
389 static av_cold int xvid_encode_init(AVCodecContext *avctx)
390 {
391     int xerr, i;
392     int xvid_flags = avctx->flags;
393     struct xvid_context *x = avctx->priv_data;
394     uint16_t *intra, *inter;
395     int fd;
396
397     xvid_plugin_single_t single         = { 0 };
398     struct xvid_ff_pass1 rc2pass1       = { 0 };
399     xvid_plugin_2pass2_t rc2pass2       = { 0 };
400     xvid_plugin_lumimasking_t masking_l = { 0 }; /* For lumi masking */
401     xvid_plugin_lumimasking_t masking_v = { 0 }; /* For variance AQ */
402     xvid_plugin_ssim_t ssim             = { 0 };
403     xvid_gbl_init_t xvid_gbl_init       = { 0 };
404     xvid_enc_create_t xvid_enc_create   = { 0 };
405     xvid_enc_plugin_t plugins[7];
406
407     /* Bring in VOP flags from avconv command-line */
408     x->vop_flags = XVID_VOP_HALFPEL; /* Bare minimum quality */
409     if (xvid_flags & AV_CODEC_FLAG_4MV)
410         x->vop_flags |= XVID_VOP_INTER4V; /* Level 3 */
411     if (avctx->trellis)
412         x->vop_flags |= XVID_VOP_TRELLISQUANT; /* Level 5 */
413     if (xvid_flags & AV_CODEC_FLAG_AC_PRED)
414         x->vop_flags |= XVID_VOP_HQACPRED; /* Level 6 */
415     if (xvid_flags & AV_CODEC_FLAG_GRAY)
416         x->vop_flags |= XVID_VOP_GREYSCALE;
417
418     /* Decide which ME quality setting to use */
419     x->me_flags = 0;
420     switch (x->me_quality) {
421     case 6:
422     case 5:
423         x->me_flags |= XVID_ME_EXTSEARCH16 |
424                        XVID_ME_EXTSEARCH8;
425     case 4:
426     case 3:
427         x->me_flags |= XVID_ME_ADVANCEDDIAMOND8 |
428                        XVID_ME_HALFPELREFINE8   |
429                        XVID_ME_CHROMA_PVOP      |
430                        XVID_ME_CHROMA_BVOP;
431     case 2:
432     case 1:
433         x->me_flags |= XVID_ME_ADVANCEDDIAMOND16 |
434                        XVID_ME_HALFPELREFINE16;
435     }
436
437     /* Decide how we should decide blocks */
438     switch (avctx->mb_decision) {
439     case 2:
440         x->vop_flags |=  XVID_VOP_MODEDECISION_RD;
441         x->me_flags  |=  XVID_ME_HALFPELREFINE8_RD    |
442                          XVID_ME_QUARTERPELREFINE8_RD |
443                          XVID_ME_EXTSEARCH_RD         |
444                          XVID_ME_CHECKPREDICTION_RD;
445     case 1:
446         if (!(x->vop_flags & XVID_VOP_MODEDECISION_RD))
447             x->vop_flags |= XVID_VOP_FAST_MODEDECISION_RD;
448         x->me_flags |= XVID_ME_HALFPELREFINE16_RD |
449                        XVID_ME_QUARTERPELREFINE16_RD;
450     default:
451         break;
452     }
453
454     x->vol_flags = 0;
455     if (x->gmc) {
456         x->vol_flags |= XVID_VOL_GMC;
457         x->me_flags  |= XVID_ME_GME_REFINE;
458     }
459     if (xvid_flags & AV_CODEC_FLAG_QPEL) {
460         x->vol_flags |= XVID_VOL_QUARTERPEL;
461         x->me_flags  |= XVID_ME_QUARTERPELREFINE16;
462         if (x->vop_flags & XVID_VOP_INTER4V)
463             x->me_flags |= XVID_ME_QUARTERPELREFINE8;
464     }
465
466     xvid_gbl_init.version   = XVID_VERSION;
467     xvid_gbl_init.debug     = 0;
468     xvid_gbl_init.cpu_flags = 0;
469
470     /* Initialize */
471     xvid_global(NULL, XVID_GBL_INIT, &xvid_gbl_init, NULL);
472
473     /* Create the encoder reference */
474     xvid_enc_create.version = XVID_VERSION;
475
476     /* Store the desired frame size */
477     xvid_enc_create.width  =
478     x->xsize               = avctx->width;
479     xvid_enc_create.height =
480     x->ysize               = avctx->height;
481
482     /* Xvid can determine the proper profile to use */
483     /* xvid_enc_create.profile = XVID_PROFILE_S_L3; */
484
485     /* We don't use zones */
486     xvid_enc_create.zones     = NULL;
487     xvid_enc_create.num_zones = 0;
488
489     xvid_enc_create.num_threads = avctx->thread_count;
490
491     xvid_enc_create.plugins     = plugins;
492     xvid_enc_create.num_plugins = 0;
493
494     /* Initialize Buffers */
495     x->twopassbuffer     = NULL;
496     x->old_twopassbuffer = NULL;
497     x->twopassfile       = NULL;
498
499     if (xvid_flags & AV_CODEC_FLAG_PASS1) {
500         rc2pass1.version     = XVID_VERSION;
501         rc2pass1.context     = x;
502         x->twopassbuffer     = av_malloc(BUFFER_SIZE);
503         x->old_twopassbuffer = av_malloc(BUFFER_SIZE);
504         if (!x->twopassbuffer || !x->old_twopassbuffer) {
505             av_log(avctx, AV_LOG_ERROR,
506                    "Xvid: Cannot allocate 2-pass log buffers\n");
507             return AVERROR(ENOMEM);
508         }
509         x->twopassbuffer[0]     =
510         x->old_twopassbuffer[0] = 0;
511
512         plugins[xvid_enc_create.num_plugins].func  = xvid_ff_2pass;
513         plugins[xvid_enc_create.num_plugins].param = &rc2pass1;
514         xvid_enc_create.num_plugins++;
515     } else if (xvid_flags & AV_CODEC_FLAG_PASS2) {
516         rc2pass2.version = XVID_VERSION;
517         rc2pass2.bitrate = avctx->bit_rate;
518
519         fd = xvid_tempfile(avctx, "xvidff.", &x->twopassfile);
520         if (fd < 0) {
521             av_log(avctx, AV_LOG_ERROR, "Xvid: Cannot write 2-pass pipe\n");
522             return fd;
523         }
524
525         if (!avctx->stats_in) {
526             av_log(avctx, AV_LOG_ERROR,
527                    "Xvid: No 2-pass information loaded for second pass\n");
528             return AVERROR_INVALIDDATA;
529         }
530
531         if (strlen(avctx->stats_in) >
532             write(fd, avctx->stats_in, strlen(avctx->stats_in))) {
533             close(fd);
534             av_log(avctx, AV_LOG_ERROR, "Xvid: Cannot write to 2-pass pipe\n");
535             return AVERROR(EIO);
536         }
537
538         close(fd);
539         rc2pass2.filename                          = x->twopassfile;
540         plugins[xvid_enc_create.num_plugins].func  = xvid_plugin_2pass2;
541         plugins[xvid_enc_create.num_plugins].param = &rc2pass2;
542         xvid_enc_create.num_plugins++;
543     } else if (!(xvid_flags & AV_CODEC_FLAG_QSCALE)) {
544         /* Single Pass Bitrate Control! */
545         single.version = XVID_VERSION;
546         single.bitrate = avctx->bit_rate;
547
548         plugins[xvid_enc_create.num_plugins].func  = xvid_plugin_single;
549         plugins[xvid_enc_create.num_plugins].param = &single;
550         xvid_enc_create.num_plugins++;
551     }
552
553     if (avctx->lumi_masking != 0.0)
554         x->lumi_aq = 1;
555
556     if (x->lumi_aq && x->variance_aq) {
557         x->variance_aq = 0;
558         av_log(avctx, AV_LOG_WARNING,
559                "variance_aq is ignored when lumi_aq is set.\n");
560     }
561
562     /* Luminance Masking */
563     if (x->lumi_aq) {
564         masking_l.method                          = 0;
565         plugins[xvid_enc_create.num_plugins].func = xvid_plugin_lumimasking;
566
567         /* The old behavior is that when avctx->lumi_masking is specified,
568          * plugins[...].param = NULL. Trying to keep the old behavior here. */
569         plugins[xvid_enc_create.num_plugins].param =
570             avctx->lumi_masking ? NULL : &masking_l;
571         xvid_enc_create.num_plugins++;
572     }
573
574     /* Variance AQ */
575     if (x->variance_aq) {
576         masking_v.method                           = 1;
577         plugins[xvid_enc_create.num_plugins].func  = xvid_plugin_lumimasking;
578         plugins[xvid_enc_create.num_plugins].param = &masking_v;
579         xvid_enc_create.num_plugins++;
580     }
581
582     /* SSIM */
583     if (x->ssim) {
584         plugins[xvid_enc_create.num_plugins].func  = xvid_plugin_ssim;
585         ssim.b_printstat                           = x->ssim == 2;
586         ssim.acc                                   = x->ssim_acc;
587         ssim.cpu_flags                             = xvid_gbl_init.cpu_flags;
588         ssim.b_visualize                           = 0;
589         plugins[xvid_enc_create.num_plugins].param = &ssim;
590         xvid_enc_create.num_plugins++;
591     }
592
593     /* Frame Rate and Key Frames */
594     xvid_correct_framerate(avctx);
595     xvid_enc_create.fincr = avctx->time_base.num;
596     xvid_enc_create.fbase = avctx->time_base.den;
597     if (avctx->gop_size > 0)
598         xvid_enc_create.max_key_interval = avctx->gop_size;
599     else
600         xvid_enc_create.max_key_interval = 240; /* Xvid's best default */
601
602     /* Quants */
603     if (xvid_flags & AV_CODEC_FLAG_QSCALE)
604         x->qscale = 1;
605     else
606         x->qscale = 0;
607
608     xvid_enc_create.min_quant[0] = avctx->qmin;
609     xvid_enc_create.min_quant[1] = avctx->qmin;
610     xvid_enc_create.min_quant[2] = avctx->qmin;
611     xvid_enc_create.max_quant[0] = avctx->qmax;
612     xvid_enc_create.max_quant[1] = avctx->qmax;
613     xvid_enc_create.max_quant[2] = avctx->qmax;
614
615     /* Quant Matrices */
616     x->intra_matrix =
617     x->inter_matrix = NULL;
618
619 #if FF_API_PRIVATE_OPT
620 FF_DISABLE_DEPRECATION_WARNINGS
621     if (avctx->mpeg_quant)
622         x->mpeg_quant = avctx->mpeg_quant;
623 FF_ENABLE_DEPRECATION_WARNINGS
624 #endif
625
626     if (x->mpeg_quant)
627         x->vol_flags |= XVID_VOL_MPEGQUANT;
628     if ((avctx->intra_matrix || avctx->inter_matrix)) {
629         x->vol_flags |= XVID_VOL_MPEGQUANT;
630
631         if (avctx->intra_matrix) {
632             intra           = avctx->intra_matrix;
633             x->intra_matrix = av_malloc(sizeof(unsigned char) * 64);
634             if (!x->intra_matrix)
635                 return AVERROR(ENOMEM);
636         } else
637             intra = NULL;
638         if (avctx->inter_matrix) {
639             inter           = avctx->inter_matrix;
640             x->inter_matrix = av_malloc(sizeof(unsigned char) * 64);
641             if (!x->inter_matrix)
642                 return AVERROR(ENOMEM);
643         } else
644             inter = NULL;
645
646         for (i = 0; i < 64; i++) {
647             if (intra)
648                 x->intra_matrix[i] = (unsigned char) intra[i];
649             if (inter)
650                 x->inter_matrix[i] = (unsigned char) inter[i];
651         }
652     }
653
654     /* Misc Settings */
655     xvid_enc_create.frame_drop_ratio = 0;
656     xvid_enc_create.global           = 0;
657     if (xvid_flags & AV_CODEC_FLAG_CLOSED_GOP)
658         xvid_enc_create.global |= XVID_GLOBAL_CLOSED_GOP;
659
660     /* Determines which codec mode we are operating in */
661     avctx->extradata      = NULL;
662     avctx->extradata_size = 0;
663     if (xvid_flags & AV_CODEC_FLAG_GLOBAL_HEADER) {
664         /* In this case, we are claiming to be MPEG-4 */
665         x->quicktime_format = 1;
666         avctx->codec_id     = AV_CODEC_ID_MPEG4;
667     } else {
668         /* We are claiming to be Xvid */
669         x->quicktime_format = 0;
670         if (!avctx->codec_tag)
671             avctx->codec_tag = AV_RL32("xvid");
672     }
673
674     /* Bframes */
675     xvid_enc_create.max_bframes   = avctx->max_b_frames;
676     xvid_enc_create.bquant_offset = 100 * avctx->b_quant_offset;
677     xvid_enc_create.bquant_ratio  = 100 * avctx->b_quant_factor;
678     if (avctx->max_b_frames > 0 && !x->quicktime_format)
679         xvid_enc_create.global |= XVID_GLOBAL_PACKED;
680
681     /* Encode a dummy frame to get the extradata immediately */
682     if (x->quicktime_format) {
683         AVFrame *picture;
684         AVPacket packet;
685         int got_packet, ret;
686
687         av_init_packet(&packet);
688
689         picture = av_frame_alloc();
690         if (!picture)
691             return AVERROR(ENOMEM);
692
693         xerr = xvid_encore(NULL, XVID_ENC_CREATE, &xvid_enc_create, NULL);
694         if (xerr) {
695             av_frame_free(&picture);
696             av_log(avctx, AV_LOG_ERROR, "Xvid: Could not create encoder reference\n");
697             return AVERROR_UNKNOWN;
698         }
699         x->encoder_handle = xvid_enc_create.handle;
700
701         picture->width  = avctx->width;
702         picture->height = avctx->height;
703         picture->format = avctx->pix_fmt;
704
705         if ((ret = av_frame_get_buffer(picture, 32)) < 0) {
706             xvid_encore(x->encoder_handle, XVID_ENC_DESTROY, NULL, NULL);
707             av_frame_free(&picture);
708             return ret;
709         }
710
711         ret = xvid_encode_frame(avctx, &packet, picture, &got_packet);
712         if (!ret && got_packet)
713             av_packet_unref(&packet);
714         av_frame_free(&picture);
715         xvid_encore(x->encoder_handle, XVID_ENC_DESTROY, NULL, NULL);
716     }
717
718     /* Create encoder context */
719     xerr = xvid_encore(NULL, XVID_ENC_CREATE, &xvid_enc_create, NULL);
720     if (xerr) {
721         av_log(avctx, AV_LOG_ERROR, "Xvid: Could not create encoder reference\n");
722         return -1;
723     }
724
725     x->encoder_handle  = xvid_enc_create.handle;
726
727     return 0;
728 }
729
730 static int xvid_encode_frame(AVCodecContext *avctx, AVPacket *pkt,
731                              const AVFrame *picture, int *got_packet)
732 {
733     int xerr, i, ret, user_packet = !!pkt->data;
734     struct xvid_context *x = avctx->priv_data;
735     int mb_width  = (avctx->width  + 15) / 16;
736     int mb_height = (avctx->height + 15) / 16;
737     char *tmp;
738
739     xvid_enc_frame_t xvid_enc_frame = { 0 };
740     xvid_enc_stats_t xvid_enc_stats = { 0 };
741
742     if (!user_packet &&
743         (ret = av_new_packet(pkt, mb_width * mb_height * MAX_MB_BYTES + AV_INPUT_BUFFER_MIN_SIZE)) < 0) {
744         av_log(avctx, AV_LOG_ERROR, "Error getting output packet.\n");
745         return ret;
746     }
747
748     /* Start setting up the frame */
749     xvid_enc_frame.version = XVID_VERSION;
750     xvid_enc_stats.version = XVID_VERSION;
751
752     /* Let Xvid know where to put the frame. */
753     xvid_enc_frame.bitstream = pkt->data;
754     xvid_enc_frame.length    = pkt->size;
755
756     /* Initialize input image fields */
757     if (avctx->pix_fmt != AV_PIX_FMT_YUV420P) {
758         av_log(avctx, AV_LOG_ERROR,
759                "Xvid: Color spaces other than 420P not supported\n");
760         return -1;
761     }
762
763     xvid_enc_frame.input.csp = XVID_CSP_PLANAR; /* YUV420P */
764
765     for (i = 0; i < 4; i++) {
766         xvid_enc_frame.input.plane[i]  = picture->data[i];
767         xvid_enc_frame.input.stride[i] = picture->linesize[i];
768     }
769
770     /* Encoder Flags */
771     xvid_enc_frame.vop_flags = x->vop_flags;
772     xvid_enc_frame.vol_flags = x->vol_flags;
773     xvid_enc_frame.motion    = x->me_flags;
774     xvid_enc_frame.type      =
775         picture->pict_type == AV_PICTURE_TYPE_I ? XVID_TYPE_IVOP :
776         picture->pict_type == AV_PICTURE_TYPE_P ? XVID_TYPE_PVOP :
777         picture->pict_type == AV_PICTURE_TYPE_B ? XVID_TYPE_BVOP :
778                                                   XVID_TYPE_AUTO;
779
780     /* Pixel aspect ratio setting */
781     if (avctx->sample_aspect_ratio.num < 1 || avctx->sample_aspect_ratio.num > 255 ||
782         avctx->sample_aspect_ratio.den < 1 || avctx->sample_aspect_ratio.den > 255) {
783         av_log(avctx, AV_LOG_ERROR, "Invalid pixel aspect ratio %i/%i\n",
784                avctx->sample_aspect_ratio.num, avctx->sample_aspect_ratio.den);
785         return -1;
786     }
787     xvid_enc_frame.par        = XVID_PAR_EXT;
788     xvid_enc_frame.par_width  = avctx->sample_aspect_ratio.num;
789     xvid_enc_frame.par_height = avctx->sample_aspect_ratio.den;
790
791     /* Quant Setting */
792     if (x->qscale)
793         xvid_enc_frame.quant = picture->quality / FF_QP2LAMBDA;
794     else
795         xvid_enc_frame.quant = 0;
796
797     /* Matrices */
798     xvid_enc_frame.quant_intra_matrix = x->intra_matrix;
799     xvid_enc_frame.quant_inter_matrix = x->inter_matrix;
800
801     /* Encode */
802     xerr = xvid_encore(x->encoder_handle, XVID_ENC_ENCODE,
803                        &xvid_enc_frame, &xvid_enc_stats);
804
805     /* Two-pass log buffer swapping */
806     avctx->stats_out = NULL;
807     if (x->twopassbuffer) {
808         tmp                  = x->old_twopassbuffer;
809         x->old_twopassbuffer = x->twopassbuffer;
810         x->twopassbuffer     = tmp;
811         x->twopassbuffer[0]  = 0;
812         if (x->old_twopassbuffer[0] != 0) {
813             avctx->stats_out = x->old_twopassbuffer;
814         }
815     }
816
817     if (xerr > 0) {
818         uint8_t *sd = av_packet_new_side_data(pkt, AV_PKT_DATA_QUALITY_FACTOR,
819                                               sizeof(int));
820         if (!sd)
821             return AVERROR(ENOMEM);
822         *(int *)sd = xvid_enc_stats.quant * FF_QP2LAMBDA;
823
824         *got_packet = 1;
825
826 #if FF_API_CODED_FRAME
827 FF_DISABLE_DEPRECATION_WARNINGS
828         avctx->coded_frame->quality = xvid_enc_stats.quant * FF_QP2LAMBDA;
829         if (xvid_enc_stats.type == XVID_TYPE_PVOP)
830             avctx->coded_frame->pict_type = AV_PICTURE_TYPE_P;
831         else if (xvid_enc_stats.type == XVID_TYPE_BVOP)
832             avctx->coded_frame->pict_type = AV_PICTURE_TYPE_B;
833         else if (xvid_enc_stats.type == XVID_TYPE_SVOP)
834             avctx->coded_frame->pict_type = AV_PICTURE_TYPE_S;
835         else
836             avctx->coded_frame->pict_type = AV_PICTURE_TYPE_I;
837 FF_ENABLE_DEPRECATION_WARNINGS
838 #endif
839         if (xvid_enc_frame.out_flags & XVID_KEYFRAME) {
840 #if FF_API_CODED_FRAME
841 FF_DISABLE_DEPRECATION_WARNINGS
842             avctx->coded_frame->key_frame = 1;
843 FF_ENABLE_DEPRECATION_WARNINGS
844 #endif
845             pkt->flags  |= AV_PKT_FLAG_KEY;
846             if (x->quicktime_format)
847                 return xvid_strip_vol_header(avctx, pkt,
848                                              xvid_enc_stats.hlength, xerr);
849         } else {
850 #if FF_API_CODED_FRAME
851 FF_DISABLE_DEPRECATION_WARNINGS
852             avctx->coded_frame->key_frame = 0;
853 FF_ENABLE_DEPRECATION_WARNINGS
854 #endif
855         }
856
857         pkt->size = xerr;
858
859         return 0;
860     } else {
861         if (!user_packet)
862             av_packet_unref(pkt);
863         if (!xerr)
864             return 0;
865         av_log(avctx, AV_LOG_ERROR,
866                "Xvid: Encoding Error Occurred: %i\n", xerr);
867         return xerr;
868     }
869 }
870
871 static av_cold int xvid_encode_close(AVCodecContext *avctx)
872 {
873     struct xvid_context *x = avctx->priv_data;
874
875     if (x->encoder_handle) {
876         xvid_encore(x->encoder_handle, XVID_ENC_DESTROY, NULL, NULL);
877         x->encoder_handle = NULL;
878     }
879
880     av_freep(&avctx->extradata);
881     if (x->twopassbuffer) {
882         av_free(x->twopassbuffer);
883         av_free(x->old_twopassbuffer);
884     }
885     av_free(x->twopassfile);
886     av_free(x->intra_matrix);
887     av_free(x->inter_matrix);
888
889     return 0;
890 }
891
892 #define OFFSET(x) offsetof(struct xvid_context, x)
893 #define VE AV_OPT_FLAG_VIDEO_PARAM | AV_OPT_FLAG_ENCODING_PARAM
894 static const AVOption options[] = {
895     { "lumi_aq",     "Luminance masking AQ",            OFFSET(lumi_aq),     AV_OPT_TYPE_INT,   { .i64 = 0 },       0,       1, VE         },
896     { "variance_aq", "Variance AQ",                     OFFSET(variance_aq), AV_OPT_TYPE_INT,   { .i64 = 0 },       0,       1, VE         },
897     { "ssim",        "Show SSIM information to stdout", OFFSET(ssim),        AV_OPT_TYPE_INT,   { .i64 = 0 },       0,       2, VE, "ssim" },
898     { "off",         NULL,                                                0, AV_OPT_TYPE_CONST, { .i64 = 0 }, INT_MIN, INT_MAX, VE, "ssim" },
899     { "avg",         NULL,                                                0, AV_OPT_TYPE_CONST, { .i64 = 1 }, INT_MIN, INT_MAX, VE, "ssim" },
900     { "frame",       NULL,                                                0, AV_OPT_TYPE_CONST, { .i64 = 2 }, INT_MIN, INT_MAX, VE, "ssim" },
901     { "ssim_acc",    "SSIM accuracy",                   OFFSET(ssim_acc),    AV_OPT_TYPE_INT,   { .i64 = 2 },       0,       4, VE         },
902     { "gmc",         "use GMC",                         OFFSET(gmc),         AV_OPT_TYPE_INT,   { .i64 = 0 },       0,       1, VE         },
903     { "me_quality",  "Motion estimation quality",       OFFSET(me_quality),  AV_OPT_TYPE_INT,   { .i64 = 0 },       0,       6, VE         },
904     { "mpeg_quant",  "Use MPEG quantizers instead of H.263", OFFSET(mpeg_quant), AV_OPT_TYPE_INT, { .i64 = 0 },     0,       1, VE         },
905     { NULL },
906 };
907
908 static const AVClass xvid_class = {
909     .class_name = "libxvid",
910     .item_name  = av_default_item_name,
911     .option     = options,
912     .version    = LIBAVUTIL_VERSION_INT,
913 };
914
915 AVCodec ff_libxvid_encoder = {
916     .name           = "libxvid",
917     .long_name      = NULL_IF_CONFIG_SMALL("libxvidcore MPEG-4 part 2"),
918     .type           = AVMEDIA_TYPE_VIDEO,
919     .id             = AV_CODEC_ID_MPEG4,
920     .priv_data_size = sizeof(struct xvid_context),
921     .init           = xvid_encode_init,
922     .encode2        = xvid_encode_frame,
923     .close          = xvid_encode_close,
924     .pix_fmts       = (const enum AVPixelFormat[]) { AV_PIX_FMT_YUV420P, AV_PIX_FMT_NONE },
925     .priv_class     = &xvid_class,
926     .caps_internal  = FF_CODEC_CAP_INIT_THREADSAFE |
927                       FF_CODEC_CAP_INIT_CLEANUP,
928 };