h264: create a new header for common h264 definitions
[ffmpeg.git] / libavcodec / h264_parse.c
1 /*
2  * This file is part of Libav.
3  *
4  * Libav is free software; you can redistribute it and/or
5  * modify it under the terms of the GNU Lesser General Public
6  * License as published by the Free Software Foundation; either
7  * version 2.1 of the License, or (at your option) any later version.
8  *
9  * Libav is distributed in the hope that it will be useful,
10  * but WITHOUT ANY WARRANTY; without even the implied warranty of
11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
12  * Lesser General Public License for more details.
13  *
14  * You should have received a copy of the GNU Lesser General Public
15  * License along with Libav; if not, write to the Free Software
16  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
17  */
18
19 #include "bytestream.h"
20 #include "get_bits.h"
21 #include "golomb.h"
22 #include "h264.h"
23 #include "h264dec.h"
24 #include "h264_parse.h"
25
26 int ff_h264_pred_weight_table(GetBitContext *gb, const SPS *sps,
27                               const int *ref_count, int slice_type_nos,
28                               H264PredWeightTable *pwt)
29 {
30     int list, i, j;
31     int luma_def, chroma_def;
32
33     pwt->use_weight             = 0;
34     pwt->use_weight_chroma      = 0;
35     pwt->luma_log2_weight_denom = get_ue_golomb(gb);
36     if (sps->chroma_format_idc)
37         pwt->chroma_log2_weight_denom = get_ue_golomb(gb);
38     luma_def   = 1 << pwt->luma_log2_weight_denom;
39     chroma_def = 1 << pwt->chroma_log2_weight_denom;
40
41     for (list = 0; list < 2; list++) {
42         pwt->luma_weight_flag[list]   = 0;
43         pwt->chroma_weight_flag[list] = 0;
44         for (i = 0; i < ref_count[list]; i++) {
45             int luma_weight_flag, chroma_weight_flag;
46
47             luma_weight_flag = get_bits1(gb);
48             if (luma_weight_flag) {
49                 pwt->luma_weight[i][list][0] = get_se_golomb(gb);
50                 pwt->luma_weight[i][list][1] = get_se_golomb(gb);
51                 if (pwt->luma_weight[i][list][0] != luma_def ||
52                     pwt->luma_weight[i][list][1] != 0) {
53                     pwt->use_weight             = 1;
54                     pwt->luma_weight_flag[list] = 1;
55                 }
56             } else {
57                 pwt->luma_weight[i][list][0] = luma_def;
58                 pwt->luma_weight[i][list][1] = 0;
59             }
60
61             if (sps->chroma_format_idc) {
62                 chroma_weight_flag = get_bits1(gb);
63                 if (chroma_weight_flag) {
64                     int j;
65                     for (j = 0; j < 2; j++) {
66                         pwt->chroma_weight[i][list][j][0] = get_se_golomb(gb);
67                         pwt->chroma_weight[i][list][j][1] = get_se_golomb(gb);
68                         if (pwt->chroma_weight[i][list][j][0] != chroma_def ||
69                             pwt->chroma_weight[i][list][j][1] != 0) {
70                             pwt->use_weight_chroma        = 1;
71                             pwt->chroma_weight_flag[list] = 1;
72                         }
73                     }
74                 } else {
75                     int j;
76                     for (j = 0; j < 2; j++) {
77                         pwt->chroma_weight[i][list][j][0] = chroma_def;
78                         pwt->chroma_weight[i][list][j][1] = 0;
79                     }
80                 }
81             }
82
83             // for MBAFF
84             pwt->luma_weight[16 + 2 * i][list][0] = pwt->luma_weight[16 + 2 * i + 1][list][0] = pwt->luma_weight[i][list][0];
85             pwt->luma_weight[16 + 2 * i][list][1] = pwt->luma_weight[16 + 2 * i + 1][list][1] = pwt->luma_weight[i][list][1];
86             for (j = 0; j < 2; j++) {
87                 pwt->chroma_weight[16 + 2 * i][list][j][0] = pwt->chroma_weight[16 + 2 * i + 1][list][j][0] = pwt->chroma_weight[i][list][j][0];
88                 pwt->chroma_weight[16 + 2 * i][list][j][1] = pwt->chroma_weight[16 + 2 * i + 1][list][j][1] = pwt->chroma_weight[i][list][j][1];
89             }
90         }
91         if (slice_type_nos != AV_PICTURE_TYPE_B)
92             break;
93     }
94     pwt->use_weight = pwt->use_weight || pwt->use_weight_chroma;
95     return 0;
96 }
97
98 /**
99  * Check if the top & left blocks are available if needed and
100  * change the dc mode so it only uses the available blocks.
101  */
102 int ff_h264_check_intra4x4_pred_mode(int8_t *pred_mode_cache, void *logctx,
103                                      int top_samples_available, int left_samples_available)
104 {
105     static const int8_t top[12] = {
106         -1, 0, LEFT_DC_PRED, -1, -1, -1, -1, -1, 0
107     };
108     static const int8_t left[12] = {
109         0, -1, TOP_DC_PRED, 0, -1, -1, -1, 0, -1, DC_128_PRED
110     };
111     int i;
112
113     if (!(top_samples_available & 0x8000)) {
114         for (i = 0; i < 4; i++) {
115             int status = top[pred_mode_cache[scan8[0] + i]];
116             if (status < 0) {
117                 av_log(logctx, AV_LOG_ERROR,
118                        "top block unavailable for requested intra4x4 mode %d\n",
119                        status);
120                 return AVERROR_INVALIDDATA;
121             } else if (status) {
122                 pred_mode_cache[scan8[0] + i] = status;
123             }
124         }
125     }
126
127     if ((left_samples_available & 0x8888) != 0x8888) {
128         static const int mask[4] = { 0x8000, 0x2000, 0x80, 0x20 };
129         for (i = 0; i < 4; i++)
130             if (!(left_samples_available & mask[i])) {
131                 int status = left[pred_mode_cache[scan8[0] + 8 * i]];
132                 if (status < 0) {
133                     av_log(logctx, AV_LOG_ERROR,
134                            "left block unavailable for requested intra4x4 mode %d\n",
135                            status);
136                     return AVERROR_INVALIDDATA;
137                 } else if (status) {
138                     pred_mode_cache[scan8[0] + 8 * i] = status;
139                 }
140             }
141     }
142
143     return 0;
144 }
145
146 /**
147  * Check if the top & left blocks are available if needed and
148  * change the dc mode so it only uses the available blocks.
149  */
150 int ff_h264_check_intra_pred_mode(void *logctx, int top_samples_available,
151                                   int left_samples_available,
152                                   int mode, int is_chroma)
153 {
154     static const int8_t top[4]  = { LEFT_DC_PRED8x8, 1, -1, -1 };
155     static const int8_t left[5] = { TOP_DC_PRED8x8, -1,  2, -1, DC_128_PRED8x8 };
156
157     if (mode > 3U) {
158         av_log(logctx, AV_LOG_ERROR,
159                "out of range intra chroma pred mode\n");
160         return AVERROR_INVALIDDATA;
161     }
162
163     if (!(top_samples_available & 0x8000)) {
164         mode = top[mode];
165         if (mode < 0) {
166             av_log(logctx, AV_LOG_ERROR,
167                    "top block unavailable for requested intra mode\n");
168             return AVERROR_INVALIDDATA;
169         }
170     }
171
172     if ((left_samples_available & 0x8080) != 0x8080) {
173         mode = left[mode];
174         if (is_chroma && (left_samples_available & 0x8080)) {
175             // mad cow disease mode, aka MBAFF + constrained_intra_pred
176             mode = ALZHEIMER_DC_L0T_PRED8x8 +
177                    (!(left_samples_available & 0x8000)) +
178                    2 * (mode == DC_128_PRED8x8);
179         }
180         if (mode < 0) {
181             av_log(logctx, AV_LOG_ERROR,
182                    "left block unavailable for requested intra mode\n");
183             return AVERROR_INVALIDDATA;
184         }
185     }
186
187     return mode;
188 }
189
190 int ff_h264_parse_ref_count(int *plist_count, int ref_count[2],
191                             GetBitContext *gb, const PPS *pps,
192                             int slice_type_nos, int picture_structure)
193 {
194     int list_count;
195     int num_ref_idx_active_override_flag, max_refs;
196
197     // set defaults, might be overridden a few lines later
198     ref_count[0] = pps->ref_count[0];
199     ref_count[1] = pps->ref_count[1];
200
201     if (slice_type_nos != AV_PICTURE_TYPE_I) {
202         num_ref_idx_active_override_flag = get_bits1(gb);
203
204         if (num_ref_idx_active_override_flag) {
205             ref_count[0] = get_ue_golomb(gb) + 1;
206             if (ref_count[0] < 1)
207                 goto fail;
208             if (slice_type_nos == AV_PICTURE_TYPE_B) {
209                 ref_count[1] = get_ue_golomb(gb) + 1;
210                 if (ref_count[1] < 1)
211                     goto fail;
212             }
213         }
214
215         if (slice_type_nos == AV_PICTURE_TYPE_B)
216             list_count = 2;
217         else
218             list_count = 1;
219     } else {
220         list_count   = 0;
221         ref_count[0] = ref_count[1] = 0;
222     }
223
224     max_refs = picture_structure == PICT_FRAME ? 16 : 32;
225
226     if (ref_count[0] > max_refs || ref_count[1] > max_refs)
227         goto fail;
228
229     *plist_count = list_count;
230
231     return 0;
232 fail:
233     *plist_count = 0;
234     ref_count[0] = 0;
235     ref_count[1] = 0;
236     return AVERROR_INVALIDDATA;
237 }
238
239 int ff_h264_init_poc(int pic_field_poc[2], int *pic_poc,
240                      const SPS *sps, H264POCContext *pc,
241                      int picture_structure, int nal_ref_idc)
242 {
243     const int max_frame_num = 1 << sps->log2_max_frame_num;
244     int field_poc[2];
245
246     pc->frame_num_offset = pc->prev_frame_num_offset;
247     if (pc->frame_num < pc->prev_frame_num)
248         pc->frame_num_offset += max_frame_num;
249
250     if (sps->poc_type == 0) {
251         const int max_poc_lsb = 1 << sps->log2_max_poc_lsb;
252
253         if (pc->poc_lsb < pc->prev_poc_lsb &&
254             pc->prev_poc_lsb - pc->poc_lsb >= max_poc_lsb / 2)
255             pc->poc_msb = pc->prev_poc_msb + max_poc_lsb;
256         else if (pc->poc_lsb > pc->prev_poc_lsb &&
257                  pc->prev_poc_lsb - pc->poc_lsb < -max_poc_lsb / 2)
258             pc->poc_msb = pc->prev_poc_msb - max_poc_lsb;
259         else
260             pc->poc_msb = pc->prev_poc_msb;
261         field_poc[0] =
262         field_poc[1] = pc->poc_msb + pc->poc_lsb;
263         if (picture_structure == PICT_FRAME)
264             field_poc[1] += pc->delta_poc_bottom;
265     } else if (sps->poc_type == 1) {
266         int abs_frame_num, expected_delta_per_poc_cycle, expectedpoc;
267         int i;
268
269         if (sps->poc_cycle_length != 0)
270             abs_frame_num = pc->frame_num_offset + pc->frame_num;
271         else
272             abs_frame_num = 0;
273
274         if (nal_ref_idc == 0 && abs_frame_num > 0)
275             abs_frame_num--;
276
277         expected_delta_per_poc_cycle = 0;
278         for (i = 0; i < sps->poc_cycle_length; i++)
279             // FIXME integrate during sps parse
280             expected_delta_per_poc_cycle += sps->offset_for_ref_frame[i];
281
282         if (abs_frame_num > 0) {
283             int poc_cycle_cnt          = (abs_frame_num - 1) / sps->poc_cycle_length;
284             int frame_num_in_poc_cycle = (abs_frame_num - 1) % sps->poc_cycle_length;
285
286             expectedpoc = poc_cycle_cnt * expected_delta_per_poc_cycle;
287             for (i = 0; i <= frame_num_in_poc_cycle; i++)
288                 expectedpoc = expectedpoc + sps->offset_for_ref_frame[i];
289         } else
290             expectedpoc = 0;
291
292         if (nal_ref_idc == 0)
293             expectedpoc = expectedpoc + sps->offset_for_non_ref_pic;
294
295         field_poc[0] = expectedpoc + pc->delta_poc[0];
296         field_poc[1] = field_poc[0] + sps->offset_for_top_to_bottom_field;
297
298         if (picture_structure == PICT_FRAME)
299             field_poc[1] += pc->delta_poc[1];
300     } else {
301         int poc = 2 * (pc->frame_num_offset + pc->frame_num);
302
303         if (!nal_ref_idc)
304             poc--;
305
306         field_poc[0] = poc;
307         field_poc[1] = poc;
308     }
309
310     if (picture_structure != PICT_BOTTOM_FIELD)
311         pic_field_poc[0] = field_poc[0];
312     if (picture_structure != PICT_TOP_FIELD)
313         pic_field_poc[1] = field_poc[1];
314     *pic_poc = FFMIN(pic_field_poc[0], pic_field_poc[1]);
315
316     return 0;
317 }
318
319 static int decode_extradata_ps(const uint8_t *data, int size, H264ParamSets *ps,
320                                int is_avc, void *logctx)
321 {
322     H2645Packet pkt = { 0 };
323     int i, ret = 0;
324
325     ret = ff_h2645_packet_split(&pkt, data, size, logctx, is_avc, 2, AV_CODEC_ID_H264);
326     if (ret < 0)
327         goto fail;
328
329     for (i = 0; i < pkt.nb_nals; i++) {
330         H2645NAL *nal = &pkt.nals[i];
331         switch (nal->type) {
332         case NAL_SPS:
333             ret = ff_h264_decode_seq_parameter_set(&nal->gb, logctx, ps);
334             if (ret < 0)
335                 goto fail;
336             break;
337         case NAL_PPS:
338             ret = ff_h264_decode_picture_parameter_set(&nal->gb, logctx, ps,
339                                                        nal->size_bits);
340             if (ret < 0)
341                 goto fail;
342             break;
343         default:
344             av_log(logctx, AV_LOG_VERBOSE, "Ignoring NAL type %d in extradata\n",
345                    nal->type);
346             break;
347         }
348     }
349
350 fail:
351     ff_h2645_packet_uninit(&pkt);
352     return ret;
353 }
354
355 /* There are (invalid) samples in the wild with mp4-style extradata, where the
356  * parameter sets are stored unescaped (i.e. as RBSP).
357  * This function catches the parameter set decoding failure and tries again
358  * after escaping it */
359 static int decode_extradata_ps_mp4(const uint8_t *buf, int buf_size, H264ParamSets *ps,
360                                    int err_recognition, void *logctx)
361 {
362     int ret;
363
364     ret = decode_extradata_ps(buf, buf_size, ps, 1, logctx);
365     if (ret < 0 && !(err_recognition & AV_EF_EXPLODE)) {
366         GetByteContext gbc;
367         PutByteContext pbc;
368         uint8_t *escaped_buf;
369         int escaped_buf_size;
370
371         av_log(logctx, AV_LOG_WARNING,
372                "SPS decoding failure, trying again after escaping the NAL\n");
373
374         if (buf_size / 2 >= (INT16_MAX - AV_INPUT_BUFFER_PADDING_SIZE) / 3)
375             return AVERROR(ERANGE);
376         escaped_buf_size = buf_size * 3 / 2 + AV_INPUT_BUFFER_PADDING_SIZE;
377         escaped_buf = av_mallocz(escaped_buf_size);
378         if (!escaped_buf)
379             return AVERROR(ENOMEM);
380
381         bytestream2_init(&gbc, buf, buf_size);
382         bytestream2_init_writer(&pbc, escaped_buf, escaped_buf_size);
383
384         while (bytestream2_get_bytes_left(&gbc)) {
385             if (bytestream2_get_bytes_left(&gbc) >= 3 &&
386                 bytestream2_peek_be24(&gbc) <= 3) {
387                 bytestream2_put_be24(&pbc, 3);
388                 bytestream2_skip(&gbc, 2);
389             } else
390                 bytestream2_put_byte(&pbc, bytestream2_get_byte(&gbc));
391         }
392
393         escaped_buf_size = bytestream2_tell_p(&pbc);
394         AV_WB16(escaped_buf, escaped_buf_size - 2);
395
396         ret = decode_extradata_ps(escaped_buf, escaped_buf_size, ps, 1, logctx);
397         av_freep(&escaped_buf);
398         if (ret < 0)
399             return ret;
400     }
401
402     return 0;
403 }
404
405 int ff_h264_decode_extradata(const uint8_t *data, int size, H264ParamSets *ps,
406                              int *is_avc, int *nal_length_size,
407                              int err_recognition, void *logctx)
408 {
409     int ret;
410
411     if (data[0] == 1) {
412         int i, cnt, nalsize;
413         const uint8_t *p = data;
414
415         *is_avc = 1;
416
417         if (size < 7) {
418             av_log(logctx, AV_LOG_ERROR, "avcC %d too short\n", size);
419             return AVERROR_INVALIDDATA;
420         }
421
422         // Decode sps from avcC
423         cnt = *(p + 5) & 0x1f; // Number of sps
424         p  += 6;
425         for (i = 0; i < cnt; i++) {
426             nalsize = AV_RB16(p) + 2;
427             if (p - data + nalsize > size)
428                 return AVERROR_INVALIDDATA;
429             ret = decode_extradata_ps_mp4(p, nalsize, ps, err_recognition, logctx);
430             if (ret < 0) {
431                 av_log(logctx, AV_LOG_ERROR,
432                        "Decoding sps %d from avcC failed\n", i);
433                 return ret;
434             }
435             p += nalsize;
436         }
437         // Decode pps from avcC
438         cnt = *(p++); // Number of pps
439         for (i = 0; i < cnt; i++) {
440             nalsize = AV_RB16(p) + 2;
441             if (p - data + nalsize > size)
442                 return AVERROR_INVALIDDATA;
443             ret = decode_extradata_ps_mp4(p, nalsize, ps, err_recognition, logctx);
444             if (ret < 0) {
445                 av_log(logctx, AV_LOG_ERROR,
446                        "Decoding pps %d from avcC failed\n", i);
447                 return ret;
448             }
449             p += nalsize;
450         }
451         // Store right nal length size that will be used to parse all other nals
452         *nal_length_size = (data[4] & 0x03) + 1;
453     } else {
454         *is_avc = 0;
455         ret = decode_extradata_ps(data, size, ps, 0, logctx);
456         if (ret < 0)
457             return ret;
458     }
459     return 0;
460 }
461
462 /**
463  * Compute profile from profile_idc and constraint_set?_flags.
464  *
465  * @param sps SPS
466  *
467  * @return profile as defined by FF_PROFILE_H264_*
468  */
469 int ff_h264_get_profile(const SPS *sps)
470 {
471     int profile = sps->profile_idc;
472
473     switch (sps->profile_idc) {
474     case FF_PROFILE_H264_BASELINE:
475         // constraint_set1_flag set to 1
476         profile |= (sps->constraint_set_flags & 1 << 1) ? FF_PROFILE_H264_CONSTRAINED : 0;
477         break;
478     case FF_PROFILE_H264_HIGH_10:
479     case FF_PROFILE_H264_HIGH_422:
480     case FF_PROFILE_H264_HIGH_444_PREDICTIVE:
481         // constraint_set3_flag set to 1
482         profile |= (sps->constraint_set_flags & 1 << 3) ? FF_PROFILE_H264_INTRA : 0;
483         break;
484     }
485
486     return profile;
487 }