build: Group general components separate from de/encoders in arch Makefiles
[ffmpeg.git] / libavcodec / libxvid.c
1 /*
2  * Interface to xvidcore for mpeg4 encoding
3  * Copyright (c) 2004 Adam Thayer <krevnik@comcast.net>
4  *
5  * This file is part of Libav.
6  *
7  * Libav is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * Libav is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with Libav; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 /**
23  * @file
24  * Interface to xvidcore for MPEG-4 compliant encoding.
25  * @author Adam Thayer (krevnik@comcast.net)
26  */
27
28 #include <xvid.h>
29 #include <unistd.h>
30 #include "avcodec.h"
31 #include "libavutil/cpu.h"
32 #include "libavutil/intreadwrite.h"
33 #include "libavutil/mathematics.h"
34 #include "libxvid.h"
35 #include "mpegvideo.h"
36
37 /**
38  * Buffer management macros.
39  */
40 #define BUFFER_SIZE                 1024
41 #define BUFFER_REMAINING(x)         (BUFFER_SIZE - strlen(x))
42 #define BUFFER_CAT(x)               (&((x)[strlen(x)]))
43
44 /**
45  * Structure for the private Xvid context.
46  * This stores all the private context for the codec.
47  */
48 struct xvid_context {
49     void *encoder_handle;          /**< Handle for Xvid encoder */
50     int xsize;                     /**< Frame x size */
51     int ysize;                     /**< Frame y size */
52     int vop_flags;                 /**< VOP flags for Xvid encoder */
53     int vol_flags;                 /**< VOL flags for Xvid encoder */
54     int me_flags;                  /**< Motion Estimation flags */
55     int qscale;                    /**< Do we use constant scale? */
56     int quicktime_format;          /**< Are we in a QT-based format? */
57     char *twopassbuffer;           /**< Character buffer for two-pass */
58     char *old_twopassbuffer;       /**< Old character buffer (two-pass) */
59     char *twopassfile;             /**< second pass temp file name */
60     unsigned char *intra_matrix;   /**< P-Frame Quant Matrix */
61     unsigned char *inter_matrix;   /**< I-Frame Quant Matrix */
62 };
63
64 /**
65  * Structure for the private first-pass plugin.
66  */
67 struct xvid_ff_pass1 {
68     int     version;                /**< Xvid version */
69     struct xvid_context *context;   /**< Pointer to private context */
70 };
71
72 /*
73  * Xvid 2-Pass Kludge Section
74  *
75  * Xvid's default 2-pass doesn't allow us to create data as we need to, so
76  * this section spends time replacing the first pass plugin so we can write
77  * statistic information as libavcodec requests in. We have another kludge
78  * that allows us to pass data to the second pass in Xvid without a custom
79  * rate-control plugin.
80  */
81
82 /**
83  * Initialize the two-pass plugin and context.
84  *
85  * @param param Input construction parameter structure
86  * @param handle Private context handle
87  * @return Returns XVID_ERR_xxxx on failure, or 0 on success.
88  */
89 static int xvid_ff_2pass_create(xvid_plg_create_t * param,
90                                 void ** handle) {
91     struct xvid_ff_pass1 *x = (struct xvid_ff_pass1 *)param->param;
92     char *log = x->context->twopassbuffer;
93
94     /* Do a quick bounds check */
95     if( log == NULL )
96         return XVID_ERR_FAIL;
97
98     /* We use snprintf() */
99     /* This is because we can safely prevent a buffer overflow */
100     log[0] = 0;
101     snprintf(log, BUFFER_REMAINING(log),
102         "# avconv 2-pass log file, using xvid codec\n");
103     snprintf(BUFFER_CAT(log), BUFFER_REMAINING(log),
104         "# Do not modify. libxvidcore version: %d.%d.%d\n\n",
105         XVID_VERSION_MAJOR(XVID_VERSION),
106         XVID_VERSION_MINOR(XVID_VERSION),
107         XVID_VERSION_PATCH(XVID_VERSION));
108
109     *handle = x->context;
110     return 0;
111 }
112
113 /**
114  * Destroy the two-pass plugin context.
115  *
116  * @param ref Context pointer for the plugin
117  * @param param Destrooy context
118  * @return Returns 0, success guaranteed
119  */
120 static int xvid_ff_2pass_destroy(struct xvid_context *ref,
121                                 xvid_plg_destroy_t *param) {
122     /* Currently cannot think of anything to do on destruction */
123     /* Still, the framework should be here for reference/use */
124     if( ref->twopassbuffer != NULL )
125         ref->twopassbuffer[0] = 0;
126     return 0;
127 }
128
129 /**
130  * Enable fast encode mode during the first pass.
131  *
132  * @param ref Context pointer for the plugin
133  * @param param Frame data
134  * @return Returns 0, success guaranteed
135  */
136 static int xvid_ff_2pass_before(struct xvid_context *ref,
137                                 xvid_plg_data_t *param) {
138     int motion_remove;
139     int motion_replacements;
140     int vop_remove;
141
142     /* Nothing to do here, result is changed too much */
143     if( param->zone && param->zone->mode == XVID_ZONE_QUANT )
144         return 0;
145
146     /* We can implement a 'turbo' first pass mode here */
147     param->quant = 2;
148
149     /* Init values */
150     motion_remove = ~XVID_ME_CHROMA_PVOP &
151                     ~XVID_ME_CHROMA_BVOP &
152                     ~XVID_ME_EXTSEARCH16 &
153                     ~XVID_ME_ADVANCEDDIAMOND16;
154     motion_replacements = XVID_ME_FAST_MODEINTERPOLATE |
155                           XVID_ME_SKIP_DELTASEARCH |
156                           XVID_ME_FASTREFINE16 |
157                           XVID_ME_BFRAME_EARLYSTOP;
158     vop_remove = ~XVID_VOP_MODEDECISION_RD &
159                  ~XVID_VOP_FAST_MODEDECISION_RD &
160                  ~XVID_VOP_TRELLISQUANT &
161                  ~XVID_VOP_INTER4V &
162                  ~XVID_VOP_HQACPRED;
163
164     param->vol_flags &= ~XVID_VOL_GMC;
165     param->vop_flags &= vop_remove;
166     param->motion_flags &= motion_remove;
167     param->motion_flags |= motion_replacements;
168
169     return 0;
170 }
171
172 /**
173  * Capture statistic data and write it during first pass.
174  *
175  * @param ref Context pointer for the plugin
176  * @param param Statistic data
177  * @return Returns XVID_ERR_xxxx on failure, or 0 on success
178  */
179 static int xvid_ff_2pass_after(struct xvid_context *ref,
180                                 xvid_plg_data_t *param) {
181     char *log = ref->twopassbuffer;
182     const char *frame_types = " ipbs";
183     char frame_type;
184
185     /* Quick bounds check */
186     if( log == NULL )
187         return XVID_ERR_FAIL;
188
189     /* Convert the type given to us into a character */
190     if( param->type < 5 && param->type > 0 ) {
191         frame_type = frame_types[param->type];
192     } else {
193         return XVID_ERR_FAIL;
194     }
195
196     snprintf(BUFFER_CAT(log), BUFFER_REMAINING(log),
197         "%c %d %d %d %d %d %d\n",
198         frame_type, param->stats.quant, param->stats.kblks, param->stats.mblks,
199         param->stats.ublks, param->stats.length, param->stats.hlength);
200
201     return 0;
202 }
203
204 /**
205  * Dispatch function for our custom plugin.
206  * This handles the dispatch for the Xvid plugin. It passes data
207  * on to other functions for actual processing.
208  *
209  * @param ref Context pointer for the plugin
210  * @param cmd The task given for us to complete
211  * @param p1 First parameter (varies)
212  * @param p2 Second parameter (varies)
213  * @return Returns XVID_ERR_xxxx on failure, or 0 on success
214  */
215 static int xvid_ff_2pass(void *ref, int cmd, void *p1, void *p2)
216 {
217     switch( cmd ) {
218         case XVID_PLG_INFO:
219         case XVID_PLG_FRAME:
220             return 0;
221
222         case XVID_PLG_BEFORE:
223             return xvid_ff_2pass_before(ref, p1);
224
225         case XVID_PLG_CREATE:
226             return xvid_ff_2pass_create(p1, p2);
227
228         case XVID_PLG_AFTER:
229             return xvid_ff_2pass_after(ref, p1);
230
231         case XVID_PLG_DESTROY:
232             return xvid_ff_2pass_destroy(ref, p1);
233
234         default:
235             return XVID_ERR_FAIL;
236     }
237 }
238
239 /**
240  * Routine to create a global VO/VOL header for MP4 container.
241  * What we do here is extract the header from the Xvid bitstream
242  * as it is encoded. We also strip the repeated headers from the
243  * bitstream when a global header is requested for MPEG-4 ISO
244  * compliance.
245  *
246  * @param avctx AVCodecContext pointer to context
247  * @param frame Pointer to encoded frame data
248  * @param header_len Length of header to search
249  * @param frame_len Length of encoded frame data
250  * @return Returns new length of frame data
251  */
252 static int xvid_strip_vol_header(AVCodecContext *avctx,
253                   AVPacket *pkt,
254                   unsigned int header_len,
255                   unsigned int frame_len) {
256     int vo_len = 0, i;
257
258     for( i = 0; i < header_len - 3; i++ ) {
259         if( pkt->data[i] == 0x00 &&
260             pkt->data[i+1] == 0x00 &&
261             pkt->data[i+2] == 0x01 &&
262             pkt->data[i+3] == 0xB6 ) {
263             vo_len = i;
264             break;
265         }
266     }
267
268     if( vo_len > 0 ) {
269         /* We need to store the header, so extract it */
270         if( avctx->extradata == NULL ) {
271             avctx->extradata = av_malloc(vo_len);
272             memcpy(avctx->extradata, pkt->data, vo_len);
273             avctx->extradata_size = vo_len;
274         }
275         /* Less dangerous now, memmove properly copies the two
276            chunks of overlapping data */
277         memmove(pkt->data, &pkt->data[vo_len], frame_len - vo_len);
278         pkt->size = frame_len - vo_len;
279     }
280     return 0;
281 }
282
283 /**
284  * Routine to correct a possibly erroneous framerate being fed to us.
285  * Xvid currently chokes on framerates where the ticks per frame is
286  * extremely large. This function works to correct problems in this area
287  * by estimating a new framerate and taking the simpler fraction of
288  * the two presented.
289  *
290  * @param avctx Context that contains the framerate to correct.
291  */
292 static void xvid_correct_framerate(AVCodecContext *avctx)
293 {
294     int frate, fbase;
295     int est_frate, est_fbase;
296     int gcd;
297     float est_fps, fps;
298
299     frate = avctx->time_base.den;
300     fbase = avctx->time_base.num;
301
302     gcd = av_gcd(frate, fbase);
303     if( gcd > 1 ) {
304         frate /= gcd;
305         fbase /= gcd;
306     }
307
308     if( frate <= 65000 && fbase <= 65000 ) {
309         avctx->time_base.den = frate;
310         avctx->time_base.num = fbase;
311         return;
312     }
313
314     fps = (float)frate / (float)fbase;
315     est_fps = roundf(fps * 1000.0) / 1000.0;
316
317     est_frate = (int)est_fps;
318     if( est_fps > (int)est_fps ) {
319         est_frate = (est_frate + 1) * 1000;
320         est_fbase = (int)roundf((float)est_frate / est_fps);
321     } else
322         est_fbase = 1;
323
324     gcd = av_gcd(est_frate, est_fbase);
325     if( gcd > 1 ) {
326         est_frate /= gcd;
327         est_fbase /= gcd;
328     }
329
330     if( fbase > est_fbase ) {
331         avctx->time_base.den = est_frate;
332         avctx->time_base.num = est_fbase;
333         av_log(avctx, AV_LOG_DEBUG,
334             "Xvid: framerate re-estimated: %.2f, %.3f%% correction\n",
335             est_fps, (((est_fps - fps)/fps) * 100.0));
336     } else {
337         avctx->time_base.den = frate;
338         avctx->time_base.num = fbase;
339     }
340 }
341
342 static av_cold int xvid_encode_init(AVCodecContext *avctx)  {
343     int xerr, i;
344     int xvid_flags = avctx->flags;
345     struct xvid_context *x = avctx->priv_data;
346     uint16_t *intra, *inter;
347     int fd;
348
349     xvid_plugin_single_t single       = { 0 };
350     struct xvid_ff_pass1 rc2pass1     = { 0 };
351     xvid_plugin_2pass2_t rc2pass2     = { 0 };
352     xvid_gbl_init_t xvid_gbl_init     = { 0 };
353     xvid_enc_create_t xvid_enc_create = { 0 };
354     xvid_enc_plugin_t plugins[7];
355
356     /* Bring in VOP flags from avconv command-line */
357     x->vop_flags = XVID_VOP_HALFPEL; /* Bare minimum quality */
358     if( xvid_flags & CODEC_FLAG_4MV )
359         x->vop_flags |= XVID_VOP_INTER4V; /* Level 3 */
360     if( avctx->trellis
361         )
362         x->vop_flags |= XVID_VOP_TRELLISQUANT; /* Level 5 */
363     if( xvid_flags & CODEC_FLAG_AC_PRED )
364         x->vop_flags |= XVID_VOP_HQACPRED; /* Level 6 */
365     if( xvid_flags & CODEC_FLAG_GRAY )
366         x->vop_flags |= XVID_VOP_GREYSCALE;
367
368     /* Decide which ME quality setting to use */
369     x->me_flags = 0;
370     switch( avctx->me_method ) {
371        case ME_FULL:   /* Quality 6 */
372            x->me_flags |=  XVID_ME_EXTSEARCH16
373                        |   XVID_ME_EXTSEARCH8;
374
375        case ME_EPZS:   /* Quality 4 */
376            x->me_flags |=  XVID_ME_ADVANCEDDIAMOND8
377                        |   XVID_ME_HALFPELREFINE8
378                        |   XVID_ME_CHROMA_PVOP
379                        |   XVID_ME_CHROMA_BVOP;
380
381        case ME_LOG:    /* Quality 2 */
382        case ME_PHODS:
383        case ME_X1:
384            x->me_flags |=  XVID_ME_ADVANCEDDIAMOND16
385                        |   XVID_ME_HALFPELREFINE16;
386
387        case ME_ZERO:   /* Quality 0 */
388        default:
389            break;
390     }
391
392     /* Decide how we should decide blocks */
393     switch( avctx->mb_decision ) {
394        case 2:
395            x->vop_flags |= XVID_VOP_MODEDECISION_RD;
396            x->me_flags |=  XVID_ME_HALFPELREFINE8_RD
397                        |   XVID_ME_QUARTERPELREFINE8_RD
398                        |   XVID_ME_EXTSEARCH_RD
399                        |   XVID_ME_CHECKPREDICTION_RD;
400        case 1:
401            if( !(x->vop_flags & XVID_VOP_MODEDECISION_RD) )
402                x->vop_flags |= XVID_VOP_FAST_MODEDECISION_RD;
403            x->me_flags |=  XVID_ME_HALFPELREFINE16_RD
404                        |   XVID_ME_QUARTERPELREFINE16_RD;
405
406        default:
407            break;
408     }
409
410     /* Bring in VOL flags from avconv command-line */
411     x->vol_flags = 0;
412     if( xvid_flags & CODEC_FLAG_GMC ) {
413         x->vol_flags |= XVID_VOL_GMC;
414         x->me_flags |= XVID_ME_GME_REFINE;
415     }
416     if( xvid_flags & CODEC_FLAG_QPEL ) {
417         x->vol_flags |= XVID_VOL_QUARTERPEL;
418         x->me_flags |= XVID_ME_QUARTERPELREFINE16;
419         if( x->vop_flags & XVID_VOP_INTER4V )
420             x->me_flags |= XVID_ME_QUARTERPELREFINE8;
421     }
422
423     xvid_gbl_init.version = XVID_VERSION;
424     xvid_gbl_init.debug = 0;
425
426 #if ARCH_PPC
427     /* Xvid's PPC support is borked, use libavcodec to detect */
428 #if HAVE_ALTIVEC
429     if (av_get_cpu_flags() & AV_CPU_FLAG_ALTIVEC) {
430         xvid_gbl_init.cpu_flags = XVID_CPU_FORCE | XVID_CPU_ALTIVEC;
431     } else
432 #endif
433         xvid_gbl_init.cpu_flags = XVID_CPU_FORCE;
434 #else
435     /* Xvid can detect on x86 */
436     xvid_gbl_init.cpu_flags = 0;
437 #endif
438
439     /* Initialize */
440     xvid_global(NULL, XVID_GBL_INIT, &xvid_gbl_init, NULL);
441
442     /* Create the encoder reference */
443     xvid_enc_create.version = XVID_VERSION;
444
445     /* Store the desired frame size */
446     xvid_enc_create.width = x->xsize = avctx->width;
447     xvid_enc_create.height = x->ysize = avctx->height;
448
449     /* Xvid can determine the proper profile to use */
450     /* xvid_enc_create.profile = XVID_PROFILE_S_L3; */
451
452     /* We don't use zones */
453     xvid_enc_create.zones = NULL;
454     xvid_enc_create.num_zones = 0;
455
456     xvid_enc_create.num_threads = avctx->thread_count;
457
458     xvid_enc_create.plugins = plugins;
459     xvid_enc_create.num_plugins = 0;
460
461     /* Initialize Buffers */
462     x->twopassbuffer = NULL;
463     x->old_twopassbuffer = NULL;
464     x->twopassfile = NULL;
465
466     if( xvid_flags & CODEC_FLAG_PASS1 ) {
467         rc2pass1.version = XVID_VERSION;
468         rc2pass1.context = x;
469         x->twopassbuffer = av_malloc(BUFFER_SIZE);
470         x->old_twopassbuffer = av_malloc(BUFFER_SIZE);
471         if( x->twopassbuffer == NULL || x->old_twopassbuffer == NULL ) {
472             av_log(avctx, AV_LOG_ERROR,
473                 "Xvid: Cannot allocate 2-pass log buffers\n");
474             return -1;
475         }
476         x->twopassbuffer[0] = x->old_twopassbuffer[0] = 0;
477
478         plugins[xvid_enc_create.num_plugins].func = xvid_ff_2pass;
479         plugins[xvid_enc_create.num_plugins].param = &rc2pass1;
480         xvid_enc_create.num_plugins++;
481     } else if( xvid_flags & CODEC_FLAG_PASS2 ) {
482         rc2pass2.version = XVID_VERSION;
483         rc2pass2.bitrate = avctx->bit_rate;
484
485         fd = ff_tempfile("xvidff.", &x->twopassfile);
486         if( fd == -1 ) {
487             av_log(avctx, AV_LOG_ERROR,
488                 "Xvid: Cannot write 2-pass pipe\n");
489             return -1;
490         }
491
492         if( avctx->stats_in == NULL ) {
493             av_log(avctx, AV_LOG_ERROR,
494                 "Xvid: No 2-pass information loaded for second pass\n");
495             return -1;
496         }
497
498         if( strlen(avctx->stats_in) >
499               write(fd, avctx->stats_in, strlen(avctx->stats_in)) ) {
500             close(fd);
501             av_log(avctx, AV_LOG_ERROR,
502                 "Xvid: Cannot write to 2-pass pipe\n");
503             return -1;
504         }
505
506         close(fd);
507         rc2pass2.filename = x->twopassfile;
508         plugins[xvid_enc_create.num_plugins].func = xvid_plugin_2pass2;
509         plugins[xvid_enc_create.num_plugins].param = &rc2pass2;
510         xvid_enc_create.num_plugins++;
511     } else if( !(xvid_flags & CODEC_FLAG_QSCALE) ) {
512         /* Single Pass Bitrate Control! */
513         single.version = XVID_VERSION;
514         single.bitrate = avctx->bit_rate;
515
516         plugins[xvid_enc_create.num_plugins].func = xvid_plugin_single;
517         plugins[xvid_enc_create.num_plugins].param = &single;
518         xvid_enc_create.num_plugins++;
519     }
520
521     /* Luminance Masking */
522     if( 0.0 != avctx->lumi_masking ) {
523         plugins[xvid_enc_create.num_plugins].func = xvid_plugin_lumimasking;
524         plugins[xvid_enc_create.num_plugins].param = NULL;
525         xvid_enc_create.num_plugins++;
526     }
527
528     /* Frame Rate and Key Frames */
529     xvid_correct_framerate(avctx);
530     xvid_enc_create.fincr = avctx->time_base.num;
531     xvid_enc_create.fbase = avctx->time_base.den;
532     if( avctx->gop_size > 0 )
533         xvid_enc_create.max_key_interval = avctx->gop_size;
534     else
535         xvid_enc_create.max_key_interval = 240; /* Xvid's best default */
536
537     /* Quants */
538     if( xvid_flags & CODEC_FLAG_QSCALE ) x->qscale = 1;
539     else x->qscale = 0;
540
541     xvid_enc_create.min_quant[0] = avctx->qmin;
542     xvid_enc_create.min_quant[1] = avctx->qmin;
543     xvid_enc_create.min_quant[2] = avctx->qmin;
544     xvid_enc_create.max_quant[0] = avctx->qmax;
545     xvid_enc_create.max_quant[1] = avctx->qmax;
546     xvid_enc_create.max_quant[2] = avctx->qmax;
547
548     /* Quant Matrices */
549     x->intra_matrix = x->inter_matrix = NULL;
550     if( avctx->mpeg_quant )
551        x->vol_flags |= XVID_VOL_MPEGQUANT;
552     if( (avctx->intra_matrix || avctx->inter_matrix) ) {
553        x->vol_flags |= XVID_VOL_MPEGQUANT;
554
555        if( avctx->intra_matrix ) {
556            intra = avctx->intra_matrix;
557            x->intra_matrix = av_malloc(sizeof(unsigned char) * 64);
558        } else
559            intra = NULL;
560        if( avctx->inter_matrix ) {
561            inter = avctx->inter_matrix;
562            x->inter_matrix = av_malloc(sizeof(unsigned char) * 64);
563        } else
564            inter = NULL;
565
566        for( i = 0; i < 64; i++ ) {
567            if( intra )
568                x->intra_matrix[i] = (unsigned char)intra[i];
569            if( inter )
570                x->inter_matrix[i] = (unsigned char)inter[i];
571        }
572     }
573
574     /* Misc Settings */
575     xvid_enc_create.frame_drop_ratio = 0;
576     xvid_enc_create.global = 0;
577     if( xvid_flags & CODEC_FLAG_CLOSED_GOP )
578         xvid_enc_create.global |= XVID_GLOBAL_CLOSED_GOP;
579
580     /* Determines which codec mode we are operating in */
581     avctx->extradata = NULL;
582     avctx->extradata_size = 0;
583     if( xvid_flags & CODEC_FLAG_GLOBAL_HEADER ) {
584         /* In this case, we are claiming to be MPEG4 */
585         x->quicktime_format = 1;
586         avctx->codec_id = AV_CODEC_ID_MPEG4;
587     } else {
588         /* We are claiming to be Xvid */
589         x->quicktime_format = 0;
590         if(!avctx->codec_tag)
591             avctx->codec_tag = AV_RL32("xvid");
592     }
593
594     /* Bframes */
595     xvid_enc_create.max_bframes = avctx->max_b_frames;
596     xvid_enc_create.bquant_offset = 100 * avctx->b_quant_offset;
597     xvid_enc_create.bquant_ratio = 100 * avctx->b_quant_factor;
598     if( avctx->max_b_frames > 0  && !x->quicktime_format ) xvid_enc_create.global |= XVID_GLOBAL_PACKED;
599
600     /* Create encoder context */
601     xerr = xvid_encore(NULL, XVID_ENC_CREATE, &xvid_enc_create, NULL);
602     if( xerr ) {
603         av_log(avctx, AV_LOG_ERROR, "Xvid: Could not create encoder reference\n");
604         return -1;
605     }
606
607     x->encoder_handle = xvid_enc_create.handle;
608     avctx->coded_frame = av_frame_alloc();
609     if (!avctx->coded_frame)
610         return AVERROR(ENOMEM);
611
612     return 0;
613 }
614
615 static int xvid_encode_frame(AVCodecContext *avctx, AVPacket *pkt,
616                              const AVFrame *picture, int *got_packet)
617 {
618     int xerr, i, ret, user_packet = !!pkt->data;
619     char *tmp;
620     struct xvid_context *x = avctx->priv_data;
621     AVFrame *p = avctx->coded_frame;
622     int mb_width   = (avctx->width  + 15) / 16;
623     int mb_height  = (avctx->height + 15) / 16;
624
625     xvid_enc_frame_t xvid_enc_frame = { 0 };
626     xvid_enc_stats_t xvid_enc_stats = { 0 };
627
628     if (!user_packet &&
629         (ret = av_new_packet(pkt, mb_width*mb_height*MAX_MB_BYTES + FF_MIN_BUFFER_SIZE)) < 0) {
630         av_log(avctx, AV_LOG_ERROR, "Error getting output packet.\n");
631         return ret;
632     }
633
634     /* Start setting up the frame */
635     xvid_enc_frame.version = XVID_VERSION;
636     xvid_enc_stats.version = XVID_VERSION;
637
638     /* Let Xvid know where to put the frame. */
639     xvid_enc_frame.bitstream = pkt->data;
640     xvid_enc_frame.length    = pkt->size;
641
642     /* Initialize input image fields */
643     if( avctx->pix_fmt != AV_PIX_FMT_YUV420P ) {
644         av_log(avctx, AV_LOG_ERROR, "Xvid: Color spaces other than 420p not supported\n");
645         return -1;
646     }
647
648     xvid_enc_frame.input.csp = XVID_CSP_PLANAR; /* YUV420P */
649
650     for( i = 0; i < 4; i++ ) {
651         xvid_enc_frame.input.plane[i] = picture->data[i];
652         xvid_enc_frame.input.stride[i] = picture->linesize[i];
653     }
654
655     /* Encoder Flags */
656     xvid_enc_frame.vop_flags = x->vop_flags;
657     xvid_enc_frame.vol_flags = x->vol_flags;
658     xvid_enc_frame.motion = x->me_flags;
659     xvid_enc_frame.type =
660         picture->pict_type == AV_PICTURE_TYPE_I ? XVID_TYPE_IVOP :
661         picture->pict_type == AV_PICTURE_TYPE_P ? XVID_TYPE_PVOP :
662         picture->pict_type == AV_PICTURE_TYPE_B ? XVID_TYPE_BVOP :
663                                           XVID_TYPE_AUTO;
664
665     /* Pixel aspect ratio setting */
666     if (avctx->sample_aspect_ratio.num < 1 || avctx->sample_aspect_ratio.num > 255 ||
667         avctx->sample_aspect_ratio.den < 1 || avctx->sample_aspect_ratio.den > 255) {
668         av_log(avctx, AV_LOG_ERROR, "Invalid pixel aspect ratio %i/%i\n",
669                avctx->sample_aspect_ratio.num, avctx->sample_aspect_ratio.den);
670         return -1;
671     }
672     xvid_enc_frame.par = XVID_PAR_EXT;
673     xvid_enc_frame.par_width  = avctx->sample_aspect_ratio.num;
674     xvid_enc_frame.par_height = avctx->sample_aspect_ratio.den;
675
676     /* Quant Setting */
677     if( x->qscale ) xvid_enc_frame.quant = picture->quality / FF_QP2LAMBDA;
678     else xvid_enc_frame.quant = 0;
679
680     /* Matrices */
681     xvid_enc_frame.quant_intra_matrix = x->intra_matrix;
682     xvid_enc_frame.quant_inter_matrix = x->inter_matrix;
683
684     /* Encode */
685     xerr = xvid_encore(x->encoder_handle, XVID_ENC_ENCODE,
686         &xvid_enc_frame, &xvid_enc_stats);
687
688     /* Two-pass log buffer swapping */
689     avctx->stats_out = NULL;
690     if( x->twopassbuffer ) {
691         tmp = x->old_twopassbuffer;
692         x->old_twopassbuffer = x->twopassbuffer;
693         x->twopassbuffer = tmp;
694         x->twopassbuffer[0] = 0;
695         if( x->old_twopassbuffer[0] != 0 ) {
696             avctx->stats_out = x->old_twopassbuffer;
697         }
698     }
699
700     if (xerr > 0) {
701         *got_packet = 1;
702
703         p->quality = xvid_enc_stats.quant * FF_QP2LAMBDA;
704         if( xvid_enc_stats.type == XVID_TYPE_PVOP )
705             p->pict_type = AV_PICTURE_TYPE_P;
706         else if( xvid_enc_stats.type == XVID_TYPE_BVOP )
707             p->pict_type = AV_PICTURE_TYPE_B;
708         else if( xvid_enc_stats.type == XVID_TYPE_SVOP )
709             p->pict_type = AV_PICTURE_TYPE_S;
710         else
711             p->pict_type = AV_PICTURE_TYPE_I;
712         if( xvid_enc_frame.out_flags & XVID_KEYFRAME ) {
713             p->key_frame = 1;
714             pkt->flags |= AV_PKT_FLAG_KEY;
715             if( x->quicktime_format )
716                 return xvid_strip_vol_header(avctx, pkt,
717                     xvid_enc_stats.hlength, xerr);
718          } else
719             p->key_frame = 0;
720
721         pkt->size = xerr;
722
723         return 0;
724     } else {
725         if (!user_packet)
726             av_free_packet(pkt);
727         if (!xerr)
728             return 0;
729         av_log(avctx, AV_LOG_ERROR, "Xvid: Encoding Error Occurred: %i\n", xerr);
730         return -1;
731     }
732 }
733
734 static av_cold int xvid_encode_close(AVCodecContext *avctx) {
735     struct xvid_context *x = avctx->priv_data;
736
737     xvid_encore(x->encoder_handle, XVID_ENC_DESTROY, NULL, NULL);
738
739     av_freep(&avctx->extradata);
740     if( x->twopassbuffer != NULL ) {
741         av_free(x->twopassbuffer);
742         av_free(x->old_twopassbuffer);
743     }
744     av_free(x->twopassfile);
745     av_free(x->intra_matrix);
746     av_free(x->inter_matrix);
747
748     return 0;
749 }
750
751 AVCodec ff_libxvid_encoder = {
752     .name           = "libxvid",
753     .long_name      = NULL_IF_CONFIG_SMALL("libxvidcore MPEG-4 part 2"),
754     .type           = AVMEDIA_TYPE_VIDEO,
755     .id             = AV_CODEC_ID_MPEG4,
756     .priv_data_size = sizeof(struct xvid_context),
757     .init           = xvid_encode_init,
758     .encode2        = xvid_encode_frame,
759     .close          = xvid_encode_close,
760     .pix_fmts       = (const enum AVPixelFormat[]){ AV_PIX_FMT_YUV420P, AV_PIX_FMT_NONE },
761 };