Merge commit '251cbb44003caf179fb17afbb8a6c56643c2a646'
[ffmpeg.git] / libavcodec / h264_parse.c
1 /*
2  * This file is part of FFmpeg.
3  *
4  * FFmpeg is free software; you can redistribute it and/or
5  * modify it under the terms of the GNU Lesser General Public
6  * License as published by the Free Software Foundation; either
7  * version 2.1 of the License, or (at your option) any later version.
8  *
9  * FFmpeg is distributed in the hope that it will be useful,
10  * but WITHOUT ANY WARRANTY; without even the implied warranty of
11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
12  * Lesser General Public License for more details.
13  *
14  * You should have received a copy of the GNU Lesser General Public
15  * License along with FFmpeg; if not, write to the Free Software
16  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
17  */
18
19 #include "bytestream.h"
20 #include "get_bits.h"
21 #include "golomb.h"
22 #include "h264.h"
23 #include "h264dec.h"
24 #include "h264_parse.h"
25
26 int ff_h264_pred_weight_table(GetBitContext *gb, const SPS *sps,
27                               const int *ref_count, int slice_type_nos,
28                               H264PredWeightTable *pwt, void *logctx)
29 {
30     int list, i, j;
31     int luma_def, chroma_def;
32
33     pwt->use_weight             = 0;
34     pwt->use_weight_chroma      = 0;
35     pwt->luma_log2_weight_denom = get_ue_golomb(gb);
36     if (sps->chroma_format_idc)
37         pwt->chroma_log2_weight_denom = get_ue_golomb(gb);
38
39     if (pwt->luma_log2_weight_denom > 7U) {
40         av_log(logctx, AV_LOG_ERROR, "luma_log2_weight_denom %d is out of range\n", pwt->luma_log2_weight_denom);
41         pwt->luma_log2_weight_denom = 0;
42     }
43     if (pwt->chroma_log2_weight_denom > 7U) {
44         av_log(logctx, AV_LOG_ERROR, "chroma_log2_weight_denom %d is out of range\n", pwt->chroma_log2_weight_denom);
45         pwt->chroma_log2_weight_denom = 0;
46     }
47
48     luma_def   = 1 << pwt->luma_log2_weight_denom;
49     chroma_def = 1 << pwt->chroma_log2_weight_denom;
50
51     for (list = 0; list < 2; list++) {
52         pwt->luma_weight_flag[list]   = 0;
53         pwt->chroma_weight_flag[list] = 0;
54         for (i = 0; i < ref_count[list]; i++) {
55             int luma_weight_flag, chroma_weight_flag;
56
57             luma_weight_flag = get_bits1(gb);
58             if (luma_weight_flag) {
59                 pwt->luma_weight[i][list][0] = get_se_golomb(gb);
60                 pwt->luma_weight[i][list][1] = get_se_golomb(gb);
61                 if (pwt->luma_weight[i][list][0] != luma_def ||
62                     pwt->luma_weight[i][list][1] != 0) {
63                     pwt->use_weight             = 1;
64                     pwt->luma_weight_flag[list] = 1;
65                 }
66             } else {
67                 pwt->luma_weight[i][list][0] = luma_def;
68                 pwt->luma_weight[i][list][1] = 0;
69             }
70
71             if (sps->chroma_format_idc) {
72                 chroma_weight_flag = get_bits1(gb);
73                 if (chroma_weight_flag) {
74                     int j;
75                     for (j = 0; j < 2; j++) {
76                         pwt->chroma_weight[i][list][j][0] = get_se_golomb(gb);
77                         pwt->chroma_weight[i][list][j][1] = get_se_golomb(gb);
78                         if (pwt->chroma_weight[i][list][j][0] != chroma_def ||
79                             pwt->chroma_weight[i][list][j][1] != 0) {
80                             pwt->use_weight_chroma        = 1;
81                             pwt->chroma_weight_flag[list] = 1;
82                         }
83                     }
84                 } else {
85                     int j;
86                     for (j = 0; j < 2; j++) {
87                         pwt->chroma_weight[i][list][j][0] = chroma_def;
88                         pwt->chroma_weight[i][list][j][1] = 0;
89                     }
90                 }
91             }
92
93             // for MBAFF
94             pwt->luma_weight[16 + 2 * i][list][0] = pwt->luma_weight[16 + 2 * i + 1][list][0] = pwt->luma_weight[i][list][0];
95             pwt->luma_weight[16 + 2 * i][list][1] = pwt->luma_weight[16 + 2 * i + 1][list][1] = pwt->luma_weight[i][list][1];
96             for (j = 0; j < 2; j++) {
97                 pwt->chroma_weight[16 + 2 * i][list][j][0] = pwt->chroma_weight[16 + 2 * i + 1][list][j][0] = pwt->chroma_weight[i][list][j][0];
98                 pwt->chroma_weight[16 + 2 * i][list][j][1] = pwt->chroma_weight[16 + 2 * i + 1][list][j][1] = pwt->chroma_weight[i][list][j][1];
99             }
100         }
101         if (slice_type_nos != AV_PICTURE_TYPE_B)
102             break;
103     }
104     pwt->use_weight = pwt->use_weight || pwt->use_weight_chroma;
105     return 0;
106 }
107
108 /**
109  * Check if the top & left blocks are available if needed and
110  * change the dc mode so it only uses the available blocks.
111  */
112 int ff_h264_check_intra4x4_pred_mode(int8_t *pred_mode_cache, void *logctx,
113                                      int top_samples_available, int left_samples_available)
114 {
115     static const int8_t top[12] = {
116         -1, 0, LEFT_DC_PRED, -1, -1, -1, -1, -1, 0
117     };
118     static const int8_t left[12] = {
119         0, -1, TOP_DC_PRED, 0, -1, -1, -1, 0, -1, DC_128_PRED
120     };
121     int i;
122
123     if (!(top_samples_available & 0x8000)) {
124         for (i = 0; i < 4; i++) {
125             int status = top[pred_mode_cache[scan8[0] + i]];
126             if (status < 0) {
127                 av_log(logctx, AV_LOG_ERROR,
128                        "top block unavailable for requested intra mode %d\n",
129                        status);
130                 return AVERROR_INVALIDDATA;
131             } else if (status) {
132                 pred_mode_cache[scan8[0] + i] = status;
133             }
134         }
135     }
136
137     if ((left_samples_available & 0x8888) != 0x8888) {
138         static const int mask[4] = { 0x8000, 0x2000, 0x80, 0x20 };
139         for (i = 0; i < 4; i++)
140             if (!(left_samples_available & mask[i])) {
141                 int status = left[pred_mode_cache[scan8[0] + 8 * i]];
142                 if (status < 0) {
143                     av_log(logctx, AV_LOG_ERROR,
144                            "left block unavailable for requested intra4x4 mode %d\n",
145                            status);
146                     return AVERROR_INVALIDDATA;
147                 } else if (status) {
148                     pred_mode_cache[scan8[0] + 8 * i] = status;
149                 }
150             }
151     }
152
153     return 0;
154 }
155
156 /**
157  * Check if the top & left blocks are available if needed and
158  * change the dc mode so it only uses the available blocks.
159  */
160 int ff_h264_check_intra_pred_mode(void *logctx, int top_samples_available,
161                                   int left_samples_available,
162                                   int mode, int is_chroma)
163 {
164     static const int8_t top[4]  = { LEFT_DC_PRED8x8, 1, -1, -1 };
165     static const int8_t left[5] = { TOP_DC_PRED8x8, -1,  2, -1, DC_128_PRED8x8 };
166
167     if (mode > 3U) {
168         av_log(logctx, AV_LOG_ERROR,
169                "out of range intra chroma pred mode\n");
170         return AVERROR_INVALIDDATA;
171     }
172
173     if (!(top_samples_available & 0x8000)) {
174         mode = top[mode];
175         if (mode < 0) {
176             av_log(logctx, AV_LOG_ERROR,
177                    "top block unavailable for requested intra mode\n");
178             return AVERROR_INVALIDDATA;
179         }
180     }
181
182     if ((left_samples_available & 0x8080) != 0x8080) {
183         mode = left[mode];
184         if (mode < 0) {
185             av_log(logctx, AV_LOG_ERROR,
186                    "left block unavailable for requested intra mode\n");
187             return AVERROR_INVALIDDATA;
188         }
189         if (is_chroma && (left_samples_available & 0x8080)) {
190             // mad cow disease mode, aka MBAFF + constrained_intra_pred
191             mode = ALZHEIMER_DC_L0T_PRED8x8 +
192                    (!(left_samples_available & 0x8000)) +
193                    2 * (mode == DC_128_PRED8x8);
194         }
195     }
196
197     return mode;
198 }
199
200 int ff_h264_parse_ref_count(int *plist_count, int ref_count[2],
201                             GetBitContext *gb, const PPS *pps,
202                             int slice_type_nos, int picture_structure, void *logctx)
203 {
204     int list_count;
205     int num_ref_idx_active_override_flag;
206
207     // set defaults, might be overridden a few lines later
208     ref_count[0] = pps->ref_count[0];
209     ref_count[1] = pps->ref_count[1];
210
211     if (slice_type_nos != AV_PICTURE_TYPE_I) {
212         unsigned max[2];
213         max[0] = max[1] = picture_structure == PICT_FRAME ? 15 : 31;
214
215         num_ref_idx_active_override_flag = get_bits1(gb);
216
217         if (num_ref_idx_active_override_flag) {
218             ref_count[0] = get_ue_golomb(gb) + 1;
219             if (slice_type_nos == AV_PICTURE_TYPE_B) {
220                 ref_count[1] = get_ue_golomb(gb) + 1;
221             } else
222                 // full range is spec-ok in this case, even for frames
223                 ref_count[1] = 1;
224         }
225
226         if (ref_count[0] - 1 > max[0] || ref_count[1] - 1 > max[1]) {
227             av_log(logctx, AV_LOG_ERROR, "reference overflow %u > %u or %u > %u\n",
228                    ref_count[0] - 1, max[0], ref_count[1] - 1, max[1]);
229             ref_count[0] = ref_count[1] = 0;
230             *plist_count = 0;
231             goto fail;
232         }
233
234         if (slice_type_nos == AV_PICTURE_TYPE_B)
235             list_count = 2;
236         else
237             list_count = 1;
238     } else {
239         list_count   = 0;
240         ref_count[0] = ref_count[1] = 0;
241     }
242
243     *plist_count = list_count;
244
245     return 0;
246 fail:
247     *plist_count = 0;
248     ref_count[0] = 0;
249     ref_count[1] = 0;
250     return AVERROR_INVALIDDATA;
251 }
252
253 int ff_h264_init_poc(int pic_field_poc[2], int *pic_poc,
254                      const SPS *sps, H264POCContext *pc,
255                      int picture_structure, int nal_ref_idc)
256 {
257     const int max_frame_num = 1 << sps->log2_max_frame_num;
258     int field_poc[2];
259
260     pc->frame_num_offset = pc->prev_frame_num_offset;
261     if (pc->frame_num < pc->prev_frame_num)
262         pc->frame_num_offset += max_frame_num;
263
264     if (sps->poc_type == 0) {
265         const int max_poc_lsb = 1 << sps->log2_max_poc_lsb;
266
267         if (pc->poc_lsb < pc->prev_poc_lsb &&
268             pc->prev_poc_lsb - pc->poc_lsb >= max_poc_lsb / 2)
269             pc->poc_msb = pc->prev_poc_msb + max_poc_lsb;
270         else if (pc->poc_lsb > pc->prev_poc_lsb &&
271                  pc->prev_poc_lsb - pc->poc_lsb < -max_poc_lsb / 2)
272             pc->poc_msb = pc->prev_poc_msb - max_poc_lsb;
273         else
274             pc->poc_msb = pc->prev_poc_msb;
275         field_poc[0] =
276         field_poc[1] = pc->poc_msb + pc->poc_lsb;
277         if (picture_structure == PICT_FRAME)
278             field_poc[1] += pc->delta_poc_bottom;
279     } else if (sps->poc_type == 1) {
280         int abs_frame_num, expected_delta_per_poc_cycle, expectedpoc;
281         int i;
282
283         if (sps->poc_cycle_length != 0)
284             abs_frame_num = pc->frame_num_offset + pc->frame_num;
285         else
286             abs_frame_num = 0;
287
288         if (nal_ref_idc == 0 && abs_frame_num > 0)
289             abs_frame_num--;
290
291         expected_delta_per_poc_cycle = 0;
292         for (i = 0; i < sps->poc_cycle_length; i++)
293             // FIXME integrate during sps parse
294             expected_delta_per_poc_cycle += sps->offset_for_ref_frame[i];
295
296         if (abs_frame_num > 0) {
297             int poc_cycle_cnt          = (abs_frame_num - 1) / sps->poc_cycle_length;
298             int frame_num_in_poc_cycle = (abs_frame_num - 1) % sps->poc_cycle_length;
299
300             expectedpoc = poc_cycle_cnt * expected_delta_per_poc_cycle;
301             for (i = 0; i <= frame_num_in_poc_cycle; i++)
302                 expectedpoc = expectedpoc + sps->offset_for_ref_frame[i];
303         } else
304             expectedpoc = 0;
305
306         if (nal_ref_idc == 0)
307             expectedpoc = expectedpoc + sps->offset_for_non_ref_pic;
308
309         field_poc[0] = expectedpoc + pc->delta_poc[0];
310         field_poc[1] = field_poc[0] + sps->offset_for_top_to_bottom_field;
311
312         if (picture_structure == PICT_FRAME)
313             field_poc[1] += pc->delta_poc[1];
314     } else {
315         int poc = 2 * (pc->frame_num_offset + pc->frame_num);
316
317         if (!nal_ref_idc)
318             poc--;
319
320         field_poc[0] = poc;
321         field_poc[1] = poc;
322     }
323
324     if (picture_structure != PICT_BOTTOM_FIELD)
325         pic_field_poc[0] = field_poc[0];
326     if (picture_structure != PICT_TOP_FIELD)
327         pic_field_poc[1] = field_poc[1];
328     *pic_poc = FFMIN(pic_field_poc[0], pic_field_poc[1]);
329
330     return 0;
331 }
332
333 static int decode_extradata_ps(const uint8_t *data, int size, H264ParamSets *ps,
334                                int is_avc, void *logctx)
335 {
336     H2645Packet pkt = { 0 };
337     int i, ret = 0;
338
339     ret = ff_h2645_packet_split(&pkt, data, size, logctx, is_avc, 2, AV_CODEC_ID_H264);
340     if (ret < 0) {
341         ret = 0;
342         goto fail;
343     }
344
345     for (i = 0; i < pkt.nb_nals; i++) {
346         H2645NAL *nal = &pkt.nals[i];
347         switch (nal->type) {
348         case NAL_SPS:
349             ret = ff_h264_decode_seq_parameter_set(&nal->gb, logctx, ps, 0);
350             if (ret < 0)
351                 goto fail;
352             break;
353         case NAL_PPS:
354             ret = ff_h264_decode_picture_parameter_set(&nal->gb, logctx, ps,
355                                                        nal->size_bits);
356             if (ret < 0)
357                 goto fail;
358             break;
359         default:
360             av_log(logctx, AV_LOG_VERBOSE, "Ignoring NAL type %d in extradata\n",
361                    nal->type);
362             break;
363         }
364     }
365
366 fail:
367     ff_h2645_packet_uninit(&pkt);
368     return ret;
369 }
370
371 /* There are (invalid) samples in the wild with mp4-style extradata, where the
372  * parameter sets are stored unescaped (i.e. as RBSP).
373  * This function catches the parameter set decoding failure and tries again
374  * after escaping it */
375 static int decode_extradata_ps_mp4(const uint8_t *buf, int buf_size, H264ParamSets *ps,
376                                    int err_recognition, void *logctx)
377 {
378     int ret;
379
380     ret = decode_extradata_ps(buf, buf_size, ps, 1, logctx);
381     if (ret < 0 && !(err_recognition & AV_EF_EXPLODE)) {
382         GetByteContext gbc;
383         PutByteContext pbc;
384         uint8_t *escaped_buf;
385         int escaped_buf_size;
386
387         av_log(logctx, AV_LOG_WARNING,
388                "SPS decoding failure, trying again after escaping the NAL\n");
389
390         if (buf_size / 2 >= (INT16_MAX - AV_INPUT_BUFFER_PADDING_SIZE) / 3)
391             return AVERROR(ERANGE);
392         escaped_buf_size = buf_size * 3 / 2 + AV_INPUT_BUFFER_PADDING_SIZE;
393         escaped_buf = av_mallocz(escaped_buf_size);
394         if (!escaped_buf)
395             return AVERROR(ENOMEM);
396
397         bytestream2_init(&gbc, buf, buf_size);
398         bytestream2_init_writer(&pbc, escaped_buf, escaped_buf_size);
399
400         while (bytestream2_get_bytes_left(&gbc)) {
401             if (bytestream2_get_bytes_left(&gbc) >= 3 &&
402                 bytestream2_peek_be24(&gbc) <= 3) {
403                 bytestream2_put_be24(&pbc, 3);
404                 bytestream2_skip(&gbc, 2);
405             } else
406                 bytestream2_put_byte(&pbc, bytestream2_get_byte(&gbc));
407         }
408
409         escaped_buf_size = bytestream2_tell_p(&pbc);
410         AV_WB16(escaped_buf, escaped_buf_size - 2);
411
412         ret = decode_extradata_ps(escaped_buf, escaped_buf_size, ps, 1, logctx);
413         av_freep(&escaped_buf);
414         if (ret < 0)
415             return ret;
416     }
417
418     return 0;
419 }
420
421 int ff_h264_decode_extradata(const uint8_t *data, int size, H264ParamSets *ps,
422                              int *is_avc, int *nal_length_size,
423                              int err_recognition, void *logctx)
424 {
425     int ret;
426
427     if (!data || size <= 0)
428         return -1;
429
430     if (data[0] == 1) {
431         int i, cnt, nalsize;
432         const uint8_t *p = data;
433
434         *is_avc = 1;
435
436         if (size < 7) {
437             av_log(logctx, AV_LOG_ERROR, "avcC %d too short\n", size);
438             return AVERROR_INVALIDDATA;
439         }
440
441         // Decode sps from avcC
442         cnt = *(p + 5) & 0x1f; // Number of sps
443         p  += 6;
444         for (i = 0; i < cnt; i++) {
445             nalsize = AV_RB16(p) + 2;
446             if (nalsize > size - (p - data))
447                 return AVERROR_INVALIDDATA;
448             ret = decode_extradata_ps_mp4(p, nalsize, ps, err_recognition, logctx);
449             if (ret < 0) {
450                 av_log(logctx, AV_LOG_ERROR,
451                        "Decoding sps %d from avcC failed\n", i);
452                 return ret;
453             }
454             p += nalsize;
455         }
456         // Decode pps from avcC
457         cnt = *(p++); // Number of pps
458         for (i = 0; i < cnt; i++) {
459             nalsize = AV_RB16(p) + 2;
460             if (nalsize > size - (p - data))
461                 return AVERROR_INVALIDDATA;
462             ret = decode_extradata_ps_mp4(p, nalsize, ps, err_recognition, logctx);
463             if (ret < 0) {
464                 av_log(logctx, AV_LOG_ERROR,
465                        "Decoding pps %d from avcC failed\n", i);
466                 return ret;
467             }
468             p += nalsize;
469         }
470         // Store right nal length size that will be used to parse all other nals
471         *nal_length_size = (data[4] & 0x03) + 1;
472     } else {
473         *is_avc = 0;
474         ret = decode_extradata_ps(data, size, ps, 0, logctx);
475         if (ret < 0)
476             return ret;
477     }
478     return size;
479 }
480
481 /**
482  * Compute profile from profile_idc and constraint_set?_flags.
483  *
484  * @param sps SPS
485  *
486  * @return profile as defined by FF_PROFILE_H264_*
487  */
488 int ff_h264_get_profile(const SPS *sps)
489 {
490     int profile = sps->profile_idc;
491
492     switch (sps->profile_idc) {
493     case FF_PROFILE_H264_BASELINE:
494         // constraint_set1_flag set to 1
495         profile |= (sps->constraint_set_flags & 1 << 1) ? FF_PROFILE_H264_CONSTRAINED : 0;
496         break;
497     case FF_PROFILE_H264_HIGH_10:
498     case FF_PROFILE_H264_HIGH_422:
499     case FF_PROFILE_H264_HIGH_444_PREDICTIVE:
500         // constraint_set3_flag set to 1
501         profile |= (sps->constraint_set_flags & 1 << 3) ? FF_PROFILE_H264_INTRA : 0;
502         break;
503     }
504
505     return profile;
506 }