libopenh264enc: Return a more sensible error code in some init failure paths
[ffmpeg.git] / libavcodec / wmv2enc.c
1 /*
2  * Copyright (c) 2002 The Libav Project
3  *
4  * This file is part of Libav.
5  *
6  * Libav is free software; you can redistribute it and/or
7  * modify it under the terms of the GNU Lesser General Public
8  * License as published by the Free Software Foundation; either
9  * version 2.1 of the License, or (at your option) any later version.
10  *
11  * Libav is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14  * Lesser General Public License for more details.
15  *
16  * You should have received a copy of the GNU Lesser General Public
17  * License along with Libav; if not, write to the Free Software
18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
19  */
20
21 #include "avcodec.h"
22 #include "h263.h"
23 #include "mpegvideo.h"
24 #include "msmpeg4.h"
25 #include "msmpeg4data.h"
26 #include "wmv2.h"
27
28
29 static int encode_ext_header(Wmv2Context *w)
30 {
31     MpegEncContext *const s = &w->s;
32     PutBitContext pb;
33     int code;
34
35     init_put_bits(&pb, s->avctx->extradata, s->avctx->extradata_size);
36
37     put_bits(&pb, 5, s->avctx->time_base.den / s->avctx->time_base.num); // yes 29.97 -> 29
38     put_bits(&pb, 11, FFMIN(s->bit_rate / 1024, 2047));
39
40     put_bits(&pb, 1, w->mspel_bit        = 1);
41     put_bits(&pb, 1, s->loop_filter);
42     put_bits(&pb, 1, w->abt_flag         = 1);
43     put_bits(&pb, 1, w->j_type_bit       = 1);
44     put_bits(&pb, 1, w->top_left_mv_flag = 0);
45     put_bits(&pb, 1, w->per_mb_rl_bit    = 1);
46     put_bits(&pb, 3, code                = 1);
47
48     flush_put_bits(&pb);
49
50     s->slice_height = s->mb_height / code;
51
52     return 0;
53 }
54
55 static av_cold int wmv2_encode_init(AVCodecContext *avctx)
56 {
57     Wmv2Context *const w = avctx->priv_data;
58
59     if (ff_mpv_encode_init(avctx) < 0)
60         return -1;
61
62     ff_wmv2_common_init(w);
63
64     avctx->extradata_size = 4;
65     avctx->extradata      = av_mallocz(avctx->extradata_size + 10);
66     if (!avctx->extradata)
67         return AVERROR(ENOMEM);
68
69     encode_ext_header(w);
70
71     return 0;
72 }
73
74 int ff_wmv2_encode_picture_header(MpegEncContext *s, int picture_number)
75 {
76     Wmv2Context *const w = (Wmv2Context *) s;
77
78     put_bits(&s->pb, 1, s->pict_type - 1);
79     if (s->pict_type == AV_PICTURE_TYPE_I)
80         put_bits(&s->pb, 7, 0);
81     put_bits(&s->pb, 5, s->qscale);
82
83     s->dc_table_index  = 1;
84     s->mv_table_index  = 1; /* only if P-frame */
85     s->per_mb_rl_table = 0;
86     s->mspel           = 0;
87     w->per_mb_abt      = 0;
88     w->abt_type        = 0;
89     w->j_type          = 0;
90
91     assert(s->flipflop_rounding);
92
93     if (s->pict_type == AV_PICTURE_TYPE_I) {
94         assert(s->no_rounding == 1);
95         if (w->j_type_bit)
96             put_bits(&s->pb, 1, w->j_type);
97
98         if (w->per_mb_rl_bit)
99             put_bits(&s->pb, 1, s->per_mb_rl_table);
100
101         if (!s->per_mb_rl_table) {
102             ff_msmpeg4_code012(&s->pb, s->rl_chroma_table_index);
103             ff_msmpeg4_code012(&s->pb, s->rl_table_index);
104         }
105
106         put_bits(&s->pb, 1, s->dc_table_index);
107
108         s->inter_intra_pred = 0;
109     } else {
110         int cbp_index;
111
112         put_bits(&s->pb, 2, SKIP_TYPE_NONE);
113
114         ff_msmpeg4_code012(&s->pb, cbp_index = 0);
115         if (s->qscale <= 10) {
116             int map[3]         = { 0, 2, 1 };
117             w->cbp_table_index = map[cbp_index];
118         } else if (s->qscale <= 20) {
119             int map[3]         = { 1, 0, 2 };
120             w->cbp_table_index = map[cbp_index];
121         } else {
122             int map[3]         = { 2, 1, 0 };
123             w->cbp_table_index = map[cbp_index];
124         }
125
126         if (w->mspel_bit)
127             put_bits(&s->pb, 1, s->mspel);
128
129         if (w->abt_flag) {
130             put_bits(&s->pb, 1, w->per_mb_abt ^ 1);
131             if (!w->per_mb_abt)
132                 ff_msmpeg4_code012(&s->pb, w->abt_type);
133         }
134
135         if (w->per_mb_rl_bit)
136             put_bits(&s->pb, 1, s->per_mb_rl_table);
137
138         if (!s->per_mb_rl_table) {
139             ff_msmpeg4_code012(&s->pb, s->rl_table_index);
140             s->rl_chroma_table_index = s->rl_table_index;
141         }
142         put_bits(&s->pb, 1, s->dc_table_index);
143         put_bits(&s->pb, 1, s->mv_table_index);
144
145         s->inter_intra_pred = 0; // (s->width * s->height < 320 * 240 && s->bit_rate <= II_BITRATE);
146     }
147     s->esc3_level_length = 0;
148     s->esc3_run_length   = 0;
149
150     return 0;
151 }
152
153 /* Nearly identical to wmv1 but that is just because we do not use the
154  * useless M$ crap features. It is duplicated here in case someone wants
155  * to add support for these crap features. */
156 void ff_wmv2_encode_mb(MpegEncContext *s, int16_t block[6][64],
157                        int motion_x, int motion_y)
158 {
159     Wmv2Context *const w = (Wmv2Context *) s;
160     int cbp, coded_cbp, i;
161     int pred_x, pred_y;
162     uint8_t *coded_block;
163
164     ff_msmpeg4_handle_slices(s);
165
166     if (!s->mb_intra) {
167         /* compute cbp */
168         cbp = 0;
169         for (i = 0; i < 6; i++)
170             if (s->block_last_index[i] >= 0)
171                 cbp |= 1 << (5 - i);
172
173         put_bits(&s->pb,
174                  ff_wmv2_inter_table[w->cbp_table_index][cbp + 64][1],
175                  ff_wmv2_inter_table[w->cbp_table_index][cbp + 64][0]);
176
177         /* motion vector */
178         ff_h263_pred_motion(s, 0, 0, &pred_x, &pred_y);
179         ff_msmpeg4_encode_motion(s, motion_x - pred_x,
180                                  motion_y - pred_y);
181     } else {
182         /* compute cbp */
183         cbp       = 0;
184         coded_cbp = 0;
185         for (i = 0; i < 6; i++) {
186             int val, pred;
187             val  = (s->block_last_index[i] >= 1);
188             cbp |= val << (5 - i);
189             if (i < 4) {
190                 /* predict value for close blocks only for luma */
191                 pred         = ff_msmpeg4_coded_block_pred(s, i, &coded_block);
192                 *coded_block = val;
193                 val          = val ^ pred;
194             }
195             coded_cbp |= val << (5 - i);
196         }
197
198         if (s->pict_type == AV_PICTURE_TYPE_I)
199             put_bits(&s->pb,
200                      ff_msmp4_mb_i_table[coded_cbp][1],
201                      ff_msmp4_mb_i_table[coded_cbp][0]);
202         else
203             put_bits(&s->pb,
204                      ff_wmv2_inter_table[w->cbp_table_index][cbp][1],
205                      ff_wmv2_inter_table[w->cbp_table_index][cbp][0]);
206         put_bits(&s->pb, 1, 0);         /* no AC prediction yet */
207         if (s->inter_intra_pred) {
208             s->h263_aic_dir = 0;
209             put_bits(&s->pb,
210                      ff_table_inter_intra[s->h263_aic_dir][1],
211                      ff_table_inter_intra[s->h263_aic_dir][0]);
212         }
213     }
214
215     for (i = 0; i < 6; i++)
216         ff_msmpeg4_encode_block(s, block[i], i);
217 }
218
219 static const AVClass wmv2_class = {
220     .class_name = "wmv2 encoder",
221     .item_name  = av_default_item_name,
222     .option     = ff_mpv_generic_options,
223     .version    = LIBAVUTIL_VERSION_INT,
224 };
225
226 AVCodec ff_wmv2_encoder = {
227     .name           = "wmv2",
228     .long_name      = NULL_IF_CONFIG_SMALL("Windows Media Video 8"),
229     .type           = AVMEDIA_TYPE_VIDEO,
230     .id             = AV_CODEC_ID_WMV2,
231     .priv_data_size = sizeof(Wmv2Context),
232     .priv_class     = &wmv2_class,
233     .init           = wmv2_encode_init,
234     .encode2        = ff_mpv_encode_picture,
235     .close          = ff_mpv_encode_end,
236     .pix_fmts       = (const enum AVPixelFormat[]) { AV_PIX_FMT_YUV420P,
237                                                      AV_PIX_FMT_NONE },
238 };