avcodec/h2645: Fix NAL unit padding
[ffmpeg.git] / libavcodec / h264_parse.c
1 /*
2  * This file is part of FFmpeg.
3  *
4  * FFmpeg is free software; you can redistribute it and/or
5  * modify it under the terms of the GNU Lesser General Public
6  * License as published by the Free Software Foundation; either
7  * version 2.1 of the License, or (at your option) any later version.
8  *
9  * FFmpeg is distributed in the hope that it will be useful,
10  * but WITHOUT ANY WARRANTY; without even the implied warranty of
11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
12  * Lesser General Public License for more details.
13  *
14  * You should have received a copy of the GNU Lesser General Public
15  * License along with FFmpeg; if not, write to the Free Software
16  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
17  */
18
19 #include "bytestream.h"
20 #include "get_bits.h"
21 #include "golomb.h"
22 #include "h264.h"
23 #include "h264dec.h"
24 #include "h264_parse.h"
25 #include "h264_ps.h"
26
27 int ff_h264_pred_weight_table(GetBitContext *gb, const SPS *sps,
28                               const int *ref_count, int slice_type_nos,
29                               H264PredWeightTable *pwt, void *logctx)
30 {
31     int list, i, j;
32     int luma_def, chroma_def;
33
34     pwt->use_weight             = 0;
35     pwt->use_weight_chroma      = 0;
36     pwt->luma_log2_weight_denom = get_ue_golomb(gb);
37     if (sps->chroma_format_idc)
38         pwt->chroma_log2_weight_denom = get_ue_golomb(gb);
39
40     if (pwt->luma_log2_weight_denom > 7U) {
41         av_log(logctx, AV_LOG_ERROR, "luma_log2_weight_denom %d is out of range\n", pwt->luma_log2_weight_denom);
42         pwt->luma_log2_weight_denom = 0;
43     }
44     if (pwt->chroma_log2_weight_denom > 7U) {
45         av_log(logctx, AV_LOG_ERROR, "chroma_log2_weight_denom %d is out of range\n", pwt->chroma_log2_weight_denom);
46         pwt->chroma_log2_weight_denom = 0;
47     }
48
49     luma_def   = 1 << pwt->luma_log2_weight_denom;
50     chroma_def = 1 << pwt->chroma_log2_weight_denom;
51
52     for (list = 0; list < 2; list++) {
53         pwt->luma_weight_flag[list]   = 0;
54         pwt->chroma_weight_flag[list] = 0;
55         for (i = 0; i < ref_count[list]; i++) {
56             int luma_weight_flag, chroma_weight_flag;
57
58             luma_weight_flag = get_bits1(gb);
59             if (luma_weight_flag) {
60                 pwt->luma_weight[i][list][0] = get_se_golomb(gb);
61                 pwt->luma_weight[i][list][1] = get_se_golomb(gb);
62                 if (pwt->luma_weight[i][list][0] != luma_def ||
63                     pwt->luma_weight[i][list][1] != 0) {
64                     pwt->use_weight             = 1;
65                     pwt->luma_weight_flag[list] = 1;
66                 }
67             } else {
68                 pwt->luma_weight[i][list][0] = luma_def;
69                 pwt->luma_weight[i][list][1] = 0;
70             }
71
72             if (sps->chroma_format_idc) {
73                 chroma_weight_flag = get_bits1(gb);
74                 if (chroma_weight_flag) {
75                     int j;
76                     for (j = 0; j < 2; j++) {
77                         pwt->chroma_weight[i][list][j][0] = get_se_golomb(gb);
78                         pwt->chroma_weight[i][list][j][1] = get_se_golomb(gb);
79                         if (pwt->chroma_weight[i][list][j][0] != chroma_def ||
80                             pwt->chroma_weight[i][list][j][1] != 0) {
81                             pwt->use_weight_chroma        = 1;
82                             pwt->chroma_weight_flag[list] = 1;
83                         }
84                     }
85                 } else {
86                     int j;
87                     for (j = 0; j < 2; j++) {
88                         pwt->chroma_weight[i][list][j][0] = chroma_def;
89                         pwt->chroma_weight[i][list][j][1] = 0;
90                     }
91                 }
92             }
93
94             // for MBAFF
95             pwt->luma_weight[16 + 2 * i][list][0] = pwt->luma_weight[16 + 2 * i + 1][list][0] = pwt->luma_weight[i][list][0];
96             pwt->luma_weight[16 + 2 * i][list][1] = pwt->luma_weight[16 + 2 * i + 1][list][1] = pwt->luma_weight[i][list][1];
97             for (j = 0; j < 2; j++) {
98                 pwt->chroma_weight[16 + 2 * i][list][j][0] = pwt->chroma_weight[16 + 2 * i + 1][list][j][0] = pwt->chroma_weight[i][list][j][0];
99                 pwt->chroma_weight[16 + 2 * i][list][j][1] = pwt->chroma_weight[16 + 2 * i + 1][list][j][1] = pwt->chroma_weight[i][list][j][1];
100             }
101         }
102         if (slice_type_nos != AV_PICTURE_TYPE_B)
103             break;
104     }
105     pwt->use_weight = pwt->use_weight || pwt->use_weight_chroma;
106     return 0;
107 }
108
109 /**
110  * Check if the top & left blocks are available if needed and
111  * change the dc mode so it only uses the available blocks.
112  */
113 int ff_h264_check_intra4x4_pred_mode(int8_t *pred_mode_cache, void *logctx,
114                                      int top_samples_available, int left_samples_available)
115 {
116     static const int8_t top[12] = {
117         -1, 0, LEFT_DC_PRED, -1, -1, -1, -1, -1, 0
118     };
119     static const int8_t left[12] = {
120         0, -1, TOP_DC_PRED, 0, -1, -1, -1, 0, -1, DC_128_PRED
121     };
122     int i;
123
124     if (!(top_samples_available & 0x8000)) {
125         for (i = 0; i < 4; i++) {
126             int status = top[pred_mode_cache[scan8[0] + i]];
127             if (status < 0) {
128                 av_log(logctx, AV_LOG_ERROR,
129                        "top block unavailable for requested intra mode %d\n",
130                        status);
131                 return AVERROR_INVALIDDATA;
132             } else if (status) {
133                 pred_mode_cache[scan8[0] + i] = status;
134             }
135         }
136     }
137
138     if ((left_samples_available & 0x8888) != 0x8888) {
139         static const int mask[4] = { 0x8000, 0x2000, 0x80, 0x20 };
140         for (i = 0; i < 4; i++)
141             if (!(left_samples_available & mask[i])) {
142                 int status = left[pred_mode_cache[scan8[0] + 8 * i]];
143                 if (status < 0) {
144                     av_log(logctx, AV_LOG_ERROR,
145                            "left block unavailable for requested intra4x4 mode %d\n",
146                            status);
147                     return AVERROR_INVALIDDATA;
148                 } else if (status) {
149                     pred_mode_cache[scan8[0] + 8 * i] = status;
150                 }
151             }
152     }
153
154     return 0;
155 }
156
157 /**
158  * Check if the top & left blocks are available if needed and
159  * change the dc mode so it only uses the available blocks.
160  */
161 int ff_h264_check_intra_pred_mode(void *logctx, int top_samples_available,
162                                   int left_samples_available,
163                                   int mode, int is_chroma)
164 {
165     static const int8_t top[4]  = { LEFT_DC_PRED8x8, 1, -1, -1 };
166     static const int8_t left[5] = { TOP_DC_PRED8x8, -1,  2, -1, DC_128_PRED8x8 };
167
168     if (mode > 3U) {
169         av_log(logctx, AV_LOG_ERROR,
170                "out of range intra chroma pred mode\n");
171         return AVERROR_INVALIDDATA;
172     }
173
174     if (!(top_samples_available & 0x8000)) {
175         mode = top[mode];
176         if (mode < 0) {
177             av_log(logctx, AV_LOG_ERROR,
178                    "top block unavailable for requested intra mode\n");
179             return AVERROR_INVALIDDATA;
180         }
181     }
182
183     if ((left_samples_available & 0x8080) != 0x8080) {
184         mode = left[mode];
185         if (mode < 0) {
186             av_log(logctx, AV_LOG_ERROR,
187                    "left block unavailable for requested intra mode\n");
188             return AVERROR_INVALIDDATA;
189         }
190         if (is_chroma && (left_samples_available & 0x8080)) {
191             // mad cow disease mode, aka MBAFF + constrained_intra_pred
192             mode = ALZHEIMER_DC_L0T_PRED8x8 +
193                    (!(left_samples_available & 0x8000)) +
194                    2 * (mode == DC_128_PRED8x8);
195         }
196     }
197
198     return mode;
199 }
200
201 int ff_h264_parse_ref_count(int *plist_count, int ref_count[2],
202                             GetBitContext *gb, const PPS *pps,
203                             int slice_type_nos, int picture_structure, void *logctx)
204 {
205     int list_count;
206     int num_ref_idx_active_override_flag;
207
208     // set defaults, might be overridden a few lines later
209     ref_count[0] = pps->ref_count[0];
210     ref_count[1] = pps->ref_count[1];
211
212     if (slice_type_nos != AV_PICTURE_TYPE_I) {
213         unsigned max[2];
214         max[0] = max[1] = picture_structure == PICT_FRAME ? 15 : 31;
215
216         num_ref_idx_active_override_flag = get_bits1(gb);
217
218         if (num_ref_idx_active_override_flag) {
219             ref_count[0] = get_ue_golomb(gb) + 1;
220             if (slice_type_nos == AV_PICTURE_TYPE_B) {
221                 ref_count[1] = get_ue_golomb(gb) + 1;
222             } else
223                 // full range is spec-ok in this case, even for frames
224                 ref_count[1] = 1;
225         }
226
227         if (ref_count[0] - 1 > max[0] || ref_count[1] - 1 > max[1]) {
228             av_log(logctx, AV_LOG_ERROR, "reference overflow %u > %u or %u > %u\n",
229                    ref_count[0] - 1, max[0], ref_count[1] - 1, max[1]);
230             ref_count[0] = ref_count[1] = 0;
231             *plist_count = 0;
232             goto fail;
233         }
234
235         if (slice_type_nos == AV_PICTURE_TYPE_B)
236             list_count = 2;
237         else
238             list_count = 1;
239     } else {
240         list_count   = 0;
241         ref_count[0] = ref_count[1] = 0;
242     }
243
244     *plist_count = list_count;
245
246     return 0;
247 fail:
248     *plist_count = 0;
249     ref_count[0] = 0;
250     ref_count[1] = 0;
251     return AVERROR_INVALIDDATA;
252 }
253
254 int ff_h264_init_poc(int pic_field_poc[2], int *pic_poc,
255                      const SPS *sps, H264POCContext *pc,
256                      int picture_structure, int nal_ref_idc)
257 {
258     const int max_frame_num = 1 << sps->log2_max_frame_num;
259     int field_poc[2];
260
261     pc->frame_num_offset = pc->prev_frame_num_offset;
262     if (pc->frame_num < pc->prev_frame_num)
263         pc->frame_num_offset += max_frame_num;
264
265     if (sps->poc_type == 0) {
266         const int max_poc_lsb = 1 << sps->log2_max_poc_lsb;
267
268         if (pc->poc_lsb < pc->prev_poc_lsb &&
269             pc->prev_poc_lsb - pc->poc_lsb >= max_poc_lsb / 2)
270             pc->poc_msb = pc->prev_poc_msb + max_poc_lsb;
271         else if (pc->poc_lsb > pc->prev_poc_lsb &&
272                  pc->prev_poc_lsb - pc->poc_lsb < -max_poc_lsb / 2)
273             pc->poc_msb = pc->prev_poc_msb - max_poc_lsb;
274         else
275             pc->poc_msb = pc->prev_poc_msb;
276         field_poc[0] =
277         field_poc[1] = pc->poc_msb + pc->poc_lsb;
278         if (picture_structure == PICT_FRAME)
279             field_poc[1] += pc->delta_poc_bottom;
280     } else if (sps->poc_type == 1) {
281         int abs_frame_num, expected_delta_per_poc_cycle, expectedpoc;
282         int i;
283
284         if (sps->poc_cycle_length != 0)
285             abs_frame_num = pc->frame_num_offset + pc->frame_num;
286         else
287             abs_frame_num = 0;
288
289         if (nal_ref_idc == 0 && abs_frame_num > 0)
290             abs_frame_num--;
291
292         expected_delta_per_poc_cycle = 0;
293         for (i = 0; i < sps->poc_cycle_length; i++)
294             // FIXME integrate during sps parse
295             expected_delta_per_poc_cycle += sps->offset_for_ref_frame[i];
296
297         if (abs_frame_num > 0) {
298             int poc_cycle_cnt          = (abs_frame_num - 1) / sps->poc_cycle_length;
299             int frame_num_in_poc_cycle = (abs_frame_num - 1) % sps->poc_cycle_length;
300
301             expectedpoc = poc_cycle_cnt * expected_delta_per_poc_cycle;
302             for (i = 0; i <= frame_num_in_poc_cycle; i++)
303                 expectedpoc = expectedpoc + sps->offset_for_ref_frame[i];
304         } else
305             expectedpoc = 0;
306
307         if (nal_ref_idc == 0)
308             expectedpoc = expectedpoc + sps->offset_for_non_ref_pic;
309
310         field_poc[0] = expectedpoc + pc->delta_poc[0];
311         field_poc[1] = field_poc[0] + sps->offset_for_top_to_bottom_field;
312
313         if (picture_structure == PICT_FRAME)
314             field_poc[1] += pc->delta_poc[1];
315     } else {
316         int poc = 2 * (pc->frame_num_offset + pc->frame_num);
317
318         if (!nal_ref_idc)
319             poc--;
320
321         field_poc[0] = poc;
322         field_poc[1] = poc;
323     }
324
325     if (picture_structure != PICT_BOTTOM_FIELD)
326         pic_field_poc[0] = field_poc[0];
327     if (picture_structure != PICT_TOP_FIELD)
328         pic_field_poc[1] = field_poc[1];
329     *pic_poc = FFMIN(pic_field_poc[0], pic_field_poc[1]);
330
331     return 0;
332 }
333
334 static int decode_extradata_ps(const uint8_t *data, int size, H264ParamSets *ps,
335                                int is_avc, void *logctx)
336 {
337     H2645Packet pkt = { 0 };
338     int i, ret = 0;
339
340     ret = ff_h2645_packet_split(&pkt, data, size, logctx, is_avc, 2, AV_CODEC_ID_H264, 1);
341     if (ret < 0) {
342         ret = 0;
343         goto fail;
344     }
345
346     for (i = 0; i < pkt.nb_nals; i++) {
347         H2645NAL *nal = &pkt.nals[i];
348         switch (nal->type) {
349         case H264_NAL_SPS:
350             ret = ff_h264_decode_seq_parameter_set(&nal->gb, logctx, ps, 0);
351             if (ret < 0)
352                 goto fail;
353             break;
354         case H264_NAL_PPS:
355             ret = ff_h264_decode_picture_parameter_set(&nal->gb, logctx, ps,
356                                                        nal->size_bits);
357             if (ret < 0)
358                 goto fail;
359             break;
360         default:
361             av_log(logctx, AV_LOG_VERBOSE, "Ignoring NAL type %d in extradata\n",
362                    nal->type);
363             break;
364         }
365     }
366
367 fail:
368     ff_h2645_packet_uninit(&pkt);
369     return ret;
370 }
371
372 /* There are (invalid) samples in the wild with mp4-style extradata, where the
373  * parameter sets are stored unescaped (i.e. as RBSP).
374  * This function catches the parameter set decoding failure and tries again
375  * after escaping it */
376 static int decode_extradata_ps_mp4(const uint8_t *buf, int buf_size, H264ParamSets *ps,
377                                    int err_recognition, void *logctx)
378 {
379     int ret;
380
381     ret = decode_extradata_ps(buf, buf_size, ps, 1, logctx);
382     if (ret < 0 && !(err_recognition & AV_EF_EXPLODE)) {
383         GetByteContext gbc;
384         PutByteContext pbc;
385         uint8_t *escaped_buf;
386         int escaped_buf_size;
387
388         av_log(logctx, AV_LOG_WARNING,
389                "SPS decoding failure, trying again after escaping the NAL\n");
390
391         if (buf_size / 2 >= (INT16_MAX - AV_INPUT_BUFFER_PADDING_SIZE) / 3)
392             return AVERROR(ERANGE);
393         escaped_buf_size = buf_size * 3 / 2 + AV_INPUT_BUFFER_PADDING_SIZE;
394         escaped_buf = av_mallocz(escaped_buf_size);
395         if (!escaped_buf)
396             return AVERROR(ENOMEM);
397
398         bytestream2_init(&gbc, buf, buf_size);
399         bytestream2_init_writer(&pbc, escaped_buf, escaped_buf_size);
400
401         while (bytestream2_get_bytes_left(&gbc)) {
402             if (bytestream2_get_bytes_left(&gbc) >= 3 &&
403                 bytestream2_peek_be24(&gbc) <= 3) {
404                 bytestream2_put_be24(&pbc, 3);
405                 bytestream2_skip(&gbc, 2);
406             } else
407                 bytestream2_put_byte(&pbc, bytestream2_get_byte(&gbc));
408         }
409
410         escaped_buf_size = bytestream2_tell_p(&pbc);
411         AV_WB16(escaped_buf, escaped_buf_size - 2);
412
413         ret = decode_extradata_ps(escaped_buf, escaped_buf_size, ps, 1, logctx);
414         av_freep(&escaped_buf);
415         if (ret < 0)
416             return ret;
417     }
418
419     return 0;
420 }
421
422 int ff_h264_decode_extradata(const uint8_t *data, int size, H264ParamSets *ps,
423                              int *is_avc, int *nal_length_size,
424                              int err_recognition, void *logctx)
425 {
426     int ret;
427
428     if (!data || size <= 0)
429         return -1;
430
431     if (data[0] == 1) {
432         int i, cnt, nalsize;
433         const uint8_t *p = data;
434
435         *is_avc = 1;
436
437         if (size < 7) {
438             av_log(logctx, AV_LOG_ERROR, "avcC %d too short\n", size);
439             return AVERROR_INVALIDDATA;
440         }
441
442         // Decode sps from avcC
443         cnt = *(p + 5) & 0x1f; // Number of sps
444         p  += 6;
445         for (i = 0; i < cnt; i++) {
446             nalsize = AV_RB16(p) + 2;
447             if (nalsize > size - (p - data))
448                 return AVERROR_INVALIDDATA;
449             ret = decode_extradata_ps_mp4(p, nalsize, ps, err_recognition, logctx);
450             if (ret < 0) {
451                 av_log(logctx, AV_LOG_ERROR,
452                        "Decoding sps %d from avcC failed\n", i);
453                 return ret;
454             }
455             p += nalsize;
456         }
457         // Decode pps from avcC
458         cnt = *(p++); // Number of pps
459         for (i = 0; i < cnt; i++) {
460             nalsize = AV_RB16(p) + 2;
461             if (nalsize > size - (p - data))
462                 return AVERROR_INVALIDDATA;
463             ret = decode_extradata_ps_mp4(p, nalsize, ps, err_recognition, logctx);
464             if (ret < 0) {
465                 av_log(logctx, AV_LOG_ERROR,
466                        "Decoding pps %d from avcC failed\n", i);
467                 return ret;
468             }
469             p += nalsize;
470         }
471         // Store right nal length size that will be used to parse all other nals
472         *nal_length_size = (data[4] & 0x03) + 1;
473     } else {
474         *is_avc = 0;
475         ret = decode_extradata_ps(data, size, ps, 0, logctx);
476         if (ret < 0)
477             return ret;
478     }
479     return size;
480 }
481
482 /**
483  * Compute profile from profile_idc and constraint_set?_flags.
484  *
485  * @param sps SPS
486  *
487  * @return profile as defined by FF_PROFILE_H264_*
488  */
489 int ff_h264_get_profile(const SPS *sps)
490 {
491     int profile = sps->profile_idc;
492
493     switch (sps->profile_idc) {
494     case FF_PROFILE_H264_BASELINE:
495         // constraint_set1_flag set to 1
496         profile |= (sps->constraint_set_flags & 1 << 1) ? FF_PROFILE_H264_CONSTRAINED : 0;
497         break;
498     case FF_PROFILE_H264_HIGH_10:
499     case FF_PROFILE_H264_HIGH_422:
500     case FF_PROFILE_H264_HIGH_444_PREDICTIVE:
501         // constraint_set3_flag set to 1
502         profile |= (sps->constraint_set_flags & 1 << 3) ? FF_PROFILE_H264_INTRA : 0;
503         break;
504     }
505
506     return profile;
507 }