a42cc299ffbaf51286cbc7d5a9a7da33637fd62e
[ffmpeg.git] / libavcodec / h264_parse.c
1 /*
2  * This file is part of FFmpeg.
3  *
4  * FFmpeg is free software; you can redistribute it and/or
5  * modify it under the terms of the GNU Lesser General Public
6  * License as published by the Free Software Foundation; either
7  * version 2.1 of the License, or (at your option) any later version.
8  *
9  * FFmpeg is distributed in the hope that it will be useful,
10  * but WITHOUT ANY WARRANTY; without even the implied warranty of
11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
12  * Lesser General Public License for more details.
13  *
14  * You should have received a copy of the GNU Lesser General Public
15  * License along with FFmpeg; if not, write to the Free Software
16  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
17  */
18
19 #include "bytestream.h"
20 #include "get_bits.h"
21 #include "golomb.h"
22 #include "h264.h"
23 #include "h264dec.h"
24 #include "h264_parse.h"
25 #include "h264_ps.h"
26
27 int ff_h264_pred_weight_table(GetBitContext *gb, const SPS *sps,
28                               const int *ref_count, int slice_type_nos,
29                               H264PredWeightTable *pwt,
30                               int picture_structure, void *logctx)
31 {
32     int list, i, j;
33     int luma_def, chroma_def;
34
35     pwt->use_weight             = 0;
36     pwt->use_weight_chroma      = 0;
37
38     pwt->luma_log2_weight_denom = get_ue_golomb(gb);
39     if (pwt->luma_log2_weight_denom > 7U) {
40         av_log(logctx, AV_LOG_ERROR, "luma_log2_weight_denom %d is out of range\n", pwt->luma_log2_weight_denom);
41         pwt->luma_log2_weight_denom = 0;
42     }
43     luma_def = 1 << pwt->luma_log2_weight_denom;
44
45     if (sps->chroma_format_idc) {
46         pwt->chroma_log2_weight_denom = get_ue_golomb(gb);
47         if (pwt->chroma_log2_weight_denom > 7U) {
48             av_log(logctx, AV_LOG_ERROR, "chroma_log2_weight_denom %d is out of range\n", pwt->chroma_log2_weight_denom);
49             pwt->chroma_log2_weight_denom = 0;
50         }
51         chroma_def = 1 << pwt->chroma_log2_weight_denom;
52     }
53
54     for (list = 0; list < 2; list++) {
55         pwt->luma_weight_flag[list]   = 0;
56         pwt->chroma_weight_flag[list] = 0;
57         for (i = 0; i < ref_count[list]; i++) {
58             int luma_weight_flag, chroma_weight_flag;
59
60             luma_weight_flag = get_bits1(gb);
61             if (luma_weight_flag) {
62                 pwt->luma_weight[i][list][0] = get_se_golomb(gb);
63                 pwt->luma_weight[i][list][1] = get_se_golomb(gb);
64                 if ((int8_t)pwt->luma_weight[i][list][0] != pwt->luma_weight[i][list][0] ||
65                     (int8_t)pwt->luma_weight[i][list][1] != pwt->luma_weight[i][list][1])
66                     goto out_range_weight;
67                 if (pwt->luma_weight[i][list][0] != luma_def ||
68                     pwt->luma_weight[i][list][1] != 0) {
69                     pwt->use_weight             = 1;
70                     pwt->luma_weight_flag[list] = 1;
71                 }
72             } else {
73                 pwt->luma_weight[i][list][0] = luma_def;
74                 pwt->luma_weight[i][list][1] = 0;
75             }
76
77             if (sps->chroma_format_idc) {
78                 chroma_weight_flag = get_bits1(gb);
79                 if (chroma_weight_flag) {
80                     int j;
81                     for (j = 0; j < 2; j++) {
82                         pwt->chroma_weight[i][list][j][0] = get_se_golomb(gb);
83                         pwt->chroma_weight[i][list][j][1] = get_se_golomb(gb);
84                         if ((int8_t)pwt->chroma_weight[i][list][j][0] != pwt->chroma_weight[i][list][j][0] ||
85                             (int8_t)pwt->chroma_weight[i][list][j][1] != pwt->chroma_weight[i][list][j][1]) {
86                             pwt->chroma_weight[i][list][j][0] = chroma_def;
87                             pwt->chroma_weight[i][list][j][1] = 0;
88                             goto out_range_weight;
89                         }
90                         if (pwt->chroma_weight[i][list][j][0] != chroma_def ||
91                             pwt->chroma_weight[i][list][j][1] != 0) {
92                             pwt->use_weight_chroma        = 1;
93                             pwt->chroma_weight_flag[list] = 1;
94                         }
95                     }
96                 } else {
97                     int j;
98                     for (j = 0; j < 2; j++) {
99                         pwt->chroma_weight[i][list][j][0] = chroma_def;
100                         pwt->chroma_weight[i][list][j][1] = 0;
101                     }
102                 }
103             }
104
105             // for MBAFF
106             if (picture_structure == PICT_FRAME) {
107                 pwt->luma_weight[16 + 2 * i][list][0] = pwt->luma_weight[16 + 2 * i + 1][list][0] = pwt->luma_weight[i][list][0];
108                 pwt->luma_weight[16 + 2 * i][list][1] = pwt->luma_weight[16 + 2 * i + 1][list][1] = pwt->luma_weight[i][list][1];
109                 if (sps->chroma_format_idc) {
110                     for (j = 0; j < 2; j++) {
111                         pwt->chroma_weight[16 + 2 * i][list][j][0] = pwt->chroma_weight[16 + 2 * i + 1][list][j][0] = pwt->chroma_weight[i][list][j][0];
112                         pwt->chroma_weight[16 + 2 * i][list][j][1] = pwt->chroma_weight[16 + 2 * i + 1][list][j][1] = pwt->chroma_weight[i][list][j][1];
113                     }
114                 }
115             }
116         }
117         if (slice_type_nos != AV_PICTURE_TYPE_B)
118             break;
119     }
120     pwt->use_weight = pwt->use_weight || pwt->use_weight_chroma;
121     return 0;
122 out_range_weight:
123     avpriv_request_sample(logctx, "Out of range weight");
124     return AVERROR_INVALIDDATA;
125 }
126
127 /**
128  * Check if the top & left blocks are available if needed and
129  * change the dc mode so it only uses the available blocks.
130  */
131 int ff_h264_check_intra4x4_pred_mode(int8_t *pred_mode_cache, void *logctx,
132                                      int top_samples_available, int left_samples_available)
133 {
134     static const int8_t top[12] = {
135         -1, 0, LEFT_DC_PRED, -1, -1, -1, -1, -1, 0
136     };
137     static const int8_t left[12] = {
138         0, -1, TOP_DC_PRED, 0, -1, -1, -1, 0, -1, DC_128_PRED
139     };
140     int i;
141
142     if (!(top_samples_available & 0x8000)) {
143         for (i = 0; i < 4; i++) {
144             int status = top[pred_mode_cache[scan8[0] + i]];
145             if (status < 0) {
146                 av_log(logctx, AV_LOG_ERROR,
147                        "top block unavailable for requested intra mode %d\n",
148                        status);
149                 return AVERROR_INVALIDDATA;
150             } else if (status) {
151                 pred_mode_cache[scan8[0] + i] = status;
152             }
153         }
154     }
155
156     if ((left_samples_available & 0x8888) != 0x8888) {
157         static const int mask[4] = { 0x8000, 0x2000, 0x80, 0x20 };
158         for (i = 0; i < 4; i++)
159             if (!(left_samples_available & mask[i])) {
160                 int status = left[pred_mode_cache[scan8[0] + 8 * i]];
161                 if (status < 0) {
162                     av_log(logctx, AV_LOG_ERROR,
163                            "left block unavailable for requested intra4x4 mode %d\n",
164                            status);
165                     return AVERROR_INVALIDDATA;
166                 } else if (status) {
167                     pred_mode_cache[scan8[0] + 8 * i] = status;
168                 }
169             }
170     }
171
172     return 0;
173 }
174
175 /**
176  * Check if the top & left blocks are available if needed and
177  * change the dc mode so it only uses the available blocks.
178  */
179 int ff_h264_check_intra_pred_mode(void *logctx, int top_samples_available,
180                                   int left_samples_available,
181                                   int mode, int is_chroma)
182 {
183     static const int8_t top[4]  = { LEFT_DC_PRED8x8, 1, -1, -1 };
184     static const int8_t left[5] = { TOP_DC_PRED8x8, -1,  2, -1, DC_128_PRED8x8 };
185
186     if (mode > 3U) {
187         av_log(logctx, AV_LOG_ERROR,
188                "out of range intra chroma pred mode\n");
189         return AVERROR_INVALIDDATA;
190     }
191
192     if (!(top_samples_available & 0x8000)) {
193         mode = top[mode];
194         if (mode < 0) {
195             av_log(logctx, AV_LOG_ERROR,
196                    "top block unavailable for requested intra mode\n");
197             return AVERROR_INVALIDDATA;
198         }
199     }
200
201     if ((left_samples_available & 0x8080) != 0x8080) {
202         mode = left[mode];
203         if (mode < 0) {
204             av_log(logctx, AV_LOG_ERROR,
205                    "left block unavailable for requested intra mode\n");
206             return AVERROR_INVALIDDATA;
207         }
208         if (is_chroma && (left_samples_available & 0x8080)) {
209             // mad cow disease mode, aka MBAFF + constrained_intra_pred
210             mode = ALZHEIMER_DC_L0T_PRED8x8 +
211                    (!(left_samples_available & 0x8000)) +
212                    2 * (mode == DC_128_PRED8x8);
213         }
214     }
215
216     return mode;
217 }
218
219 int ff_h264_parse_ref_count(int *plist_count, int ref_count[2],
220                             GetBitContext *gb, const PPS *pps,
221                             int slice_type_nos, int picture_structure, void *logctx)
222 {
223     int list_count;
224     int num_ref_idx_active_override_flag;
225
226     // set defaults, might be overridden a few lines later
227     ref_count[0] = pps->ref_count[0];
228     ref_count[1] = pps->ref_count[1];
229
230     if (slice_type_nos != AV_PICTURE_TYPE_I) {
231         unsigned max[2];
232         max[0] = max[1] = picture_structure == PICT_FRAME ? 15 : 31;
233
234         num_ref_idx_active_override_flag = get_bits1(gb);
235
236         if (num_ref_idx_active_override_flag) {
237             ref_count[0] = get_ue_golomb(gb) + 1;
238             if (slice_type_nos == AV_PICTURE_TYPE_B) {
239                 ref_count[1] = get_ue_golomb(gb) + 1;
240             } else
241                 // full range is spec-ok in this case, even for frames
242                 ref_count[1] = 1;
243         }
244
245         if (slice_type_nos == AV_PICTURE_TYPE_B)
246             list_count = 2;
247         else
248             list_count = 1;
249
250         if (ref_count[0] - 1 > max[0] || (list_count == 2 && (ref_count[1] - 1 > max[1]))) {
251             av_log(logctx, AV_LOG_ERROR, "reference overflow %u > %u or %u > %u\n",
252                    ref_count[0] - 1, max[0], ref_count[1] - 1, max[1]);
253             ref_count[0] = ref_count[1] = 0;
254             *plist_count = 0;
255             goto fail;
256         }
257
258     } else {
259         list_count   = 0;
260         ref_count[0] = ref_count[1] = 0;
261     }
262
263     *plist_count = list_count;
264
265     return 0;
266 fail:
267     *plist_count = 0;
268     ref_count[0] = 0;
269     ref_count[1] = 0;
270     return AVERROR_INVALIDDATA;
271 }
272
273 int ff_h264_init_poc(int pic_field_poc[2], int *pic_poc,
274                      const SPS *sps, H264POCContext *pc,
275                      int picture_structure, int nal_ref_idc)
276 {
277     const int max_frame_num = 1 << sps->log2_max_frame_num;
278     int64_t field_poc[2];
279
280     pc->frame_num_offset = pc->prev_frame_num_offset;
281     if (pc->frame_num < pc->prev_frame_num)
282         pc->frame_num_offset += max_frame_num;
283
284     if (sps->poc_type == 0) {
285         const int max_poc_lsb = 1 << sps->log2_max_poc_lsb;
286
287         if (pc->poc_lsb < pc->prev_poc_lsb &&
288             pc->prev_poc_lsb - pc->poc_lsb >= max_poc_lsb / 2)
289             pc->poc_msb = pc->prev_poc_msb + max_poc_lsb;
290         else if (pc->poc_lsb > pc->prev_poc_lsb &&
291                  pc->prev_poc_lsb - pc->poc_lsb < -max_poc_lsb / 2)
292             pc->poc_msb = pc->prev_poc_msb - max_poc_lsb;
293         else
294             pc->poc_msb = pc->prev_poc_msb;
295         field_poc[0] =
296         field_poc[1] = pc->poc_msb + pc->poc_lsb;
297         if (picture_structure == PICT_FRAME)
298             field_poc[1] += pc->delta_poc_bottom;
299     } else if (sps->poc_type == 1) {
300         int abs_frame_num, expected_delta_per_poc_cycle, expectedpoc;
301         int i;
302
303         if (sps->poc_cycle_length != 0)
304             abs_frame_num = pc->frame_num_offset + pc->frame_num;
305         else
306             abs_frame_num = 0;
307
308         if (nal_ref_idc == 0 && abs_frame_num > 0)
309             abs_frame_num--;
310
311         expected_delta_per_poc_cycle = 0;
312         for (i = 0; i < sps->poc_cycle_length; i++)
313             // FIXME integrate during sps parse
314             expected_delta_per_poc_cycle += sps->offset_for_ref_frame[i];
315
316         if (abs_frame_num > 0) {
317             int poc_cycle_cnt          = (abs_frame_num - 1) / sps->poc_cycle_length;
318             int frame_num_in_poc_cycle = (abs_frame_num - 1) % sps->poc_cycle_length;
319
320             expectedpoc = poc_cycle_cnt * expected_delta_per_poc_cycle;
321             for (i = 0; i <= frame_num_in_poc_cycle; i++)
322                 expectedpoc = expectedpoc + sps->offset_for_ref_frame[i];
323         } else
324             expectedpoc = 0;
325
326         if (nal_ref_idc == 0)
327             expectedpoc = expectedpoc + sps->offset_for_non_ref_pic;
328
329         field_poc[0] = expectedpoc + pc->delta_poc[0];
330         field_poc[1] = field_poc[0] + sps->offset_for_top_to_bottom_field;
331
332         if (picture_structure == PICT_FRAME)
333             field_poc[1] += pc->delta_poc[1];
334     } else {
335         int poc = 2 * (pc->frame_num_offset + pc->frame_num);
336
337         if (!nal_ref_idc)
338             poc--;
339
340         field_poc[0] = poc;
341         field_poc[1] = poc;
342     }
343
344     if (   field_poc[0] != (int)field_poc[0]
345         || field_poc[1] != (int)field_poc[1])
346         return AVERROR_INVALIDDATA;
347
348     if (picture_structure != PICT_BOTTOM_FIELD)
349         pic_field_poc[0] = field_poc[0];
350     if (picture_structure != PICT_TOP_FIELD)
351         pic_field_poc[1] = field_poc[1];
352     *pic_poc = FFMIN(pic_field_poc[0], pic_field_poc[1]);
353
354     return 0;
355 }
356
357 static int decode_extradata_ps(const uint8_t *data, int size, H264ParamSets *ps,
358                                int is_avc, void *logctx)
359 {
360     H2645Packet pkt = { 0 };
361     int i, ret = 0;
362
363     ret = ff_h2645_packet_split(&pkt, data, size, logctx, is_avc, 2, AV_CODEC_ID_H264, 1, 0);
364     if (ret < 0) {
365         ret = 0;
366         goto fail;
367     }
368
369     for (i = 0; i < pkt.nb_nals; i++) {
370         H2645NAL *nal = &pkt.nals[i];
371         switch (nal->type) {
372         case H264_NAL_SPS:
373             ret = ff_h264_decode_seq_parameter_set(&nal->gb, logctx, ps, 0);
374             if (ret < 0)
375                 goto fail;
376             break;
377         case H264_NAL_PPS:
378             ret = ff_h264_decode_picture_parameter_set(&nal->gb, logctx, ps,
379                                                        nal->size_bits);
380             if (ret < 0)
381                 goto fail;
382             break;
383         default:
384             av_log(logctx, AV_LOG_VERBOSE, "Ignoring NAL type %d in extradata\n",
385                    nal->type);
386             break;
387         }
388     }
389
390 fail:
391     ff_h2645_packet_uninit(&pkt);
392     return ret;
393 }
394
395 /* There are (invalid) samples in the wild with mp4-style extradata, where the
396  * parameter sets are stored unescaped (i.e. as RBSP).
397  * This function catches the parameter set decoding failure and tries again
398  * after escaping it */
399 static int decode_extradata_ps_mp4(const uint8_t *buf, int buf_size, H264ParamSets *ps,
400                                    int err_recognition, void *logctx)
401 {
402     int ret;
403
404     ret = decode_extradata_ps(buf, buf_size, ps, 1, logctx);
405     if (ret < 0 && !(err_recognition & AV_EF_EXPLODE)) {
406         GetByteContext gbc;
407         PutByteContext pbc;
408         uint8_t *escaped_buf;
409         int escaped_buf_size;
410
411         av_log(logctx, AV_LOG_WARNING,
412                "SPS decoding failure, trying again after escaping the NAL\n");
413
414         if (buf_size / 2 >= (INT16_MAX - AV_INPUT_BUFFER_PADDING_SIZE) / 3)
415             return AVERROR(ERANGE);
416         escaped_buf_size = buf_size * 3 / 2 + AV_INPUT_BUFFER_PADDING_SIZE;
417         escaped_buf = av_mallocz(escaped_buf_size);
418         if (!escaped_buf)
419             return AVERROR(ENOMEM);
420
421         bytestream2_init(&gbc, buf, buf_size);
422         bytestream2_init_writer(&pbc, escaped_buf, escaped_buf_size);
423
424         while (bytestream2_get_bytes_left(&gbc)) {
425             if (bytestream2_get_bytes_left(&gbc) >= 3 &&
426                 bytestream2_peek_be24(&gbc) <= 3) {
427                 bytestream2_put_be24(&pbc, 3);
428                 bytestream2_skip(&gbc, 2);
429             } else
430                 bytestream2_put_byte(&pbc, bytestream2_get_byte(&gbc));
431         }
432
433         escaped_buf_size = bytestream2_tell_p(&pbc);
434         AV_WB16(escaped_buf, escaped_buf_size - 2);
435
436         (void)decode_extradata_ps(escaped_buf, escaped_buf_size, ps, 1, logctx);
437         // lorex.mp4 decodes ok even with extradata decoding failing
438         av_freep(&escaped_buf);
439     }
440
441     return 0;
442 }
443
444 int ff_h264_decode_extradata(const uint8_t *data, int size, H264ParamSets *ps,
445                              int *is_avc, int *nal_length_size,
446                              int err_recognition, void *logctx)
447 {
448     int ret;
449
450     if (!data || size <= 0)
451         return -1;
452
453     if (data[0] == 1) {
454         int i, cnt, nalsize;
455         const uint8_t *p = data;
456
457         *is_avc = 1;
458
459         if (size < 7) {
460             av_log(logctx, AV_LOG_ERROR, "avcC %d too short\n", size);
461             return AVERROR_INVALIDDATA;
462         }
463
464         // Decode sps from avcC
465         cnt = *(p + 5) & 0x1f; // Number of sps
466         p  += 6;
467         for (i = 0; i < cnt; i++) {
468             nalsize = AV_RB16(p) + 2;
469             if (nalsize > size - (p - data))
470                 return AVERROR_INVALIDDATA;
471             ret = decode_extradata_ps_mp4(p, nalsize, ps, err_recognition, logctx);
472             if (ret < 0) {
473                 av_log(logctx, AV_LOG_ERROR,
474                        "Decoding sps %d from avcC failed\n", i);
475                 return ret;
476             }
477             p += nalsize;
478         }
479         // Decode pps from avcC
480         cnt = *(p++); // Number of pps
481         for (i = 0; i < cnt; i++) {
482             nalsize = AV_RB16(p) + 2;
483             if (nalsize > size - (p - data))
484                 return AVERROR_INVALIDDATA;
485             ret = decode_extradata_ps_mp4(p, nalsize, ps, err_recognition, logctx);
486             if (ret < 0) {
487                 av_log(logctx, AV_LOG_ERROR,
488                        "Decoding pps %d from avcC failed\n", i);
489                 return ret;
490             }
491             p += nalsize;
492         }
493         // Store right nal length size that will be used to parse all other nals
494         *nal_length_size = (data[4] & 0x03) + 1;
495     } else {
496         *is_avc = 0;
497         ret = decode_extradata_ps(data, size, ps, 0, logctx);
498         if (ret < 0)
499             return ret;
500     }
501     return size;
502 }
503
504 /**
505  * Compute profile from profile_idc and constraint_set?_flags.
506  *
507  * @param sps SPS
508  *
509  * @return profile as defined by FF_PROFILE_H264_*
510  */
511 int ff_h264_get_profile(const SPS *sps)
512 {
513     int profile = sps->profile_idc;
514
515     switch (sps->profile_idc) {
516     case FF_PROFILE_H264_BASELINE:
517         // constraint_set1_flag set to 1
518         profile |= (sps->constraint_set_flags & 1 << 1) ? FF_PROFILE_H264_CONSTRAINED : 0;
519         break;
520     case FF_PROFILE_H264_HIGH_10:
521     case FF_PROFILE_H264_HIGH_422:
522     case FF_PROFILE_H264_HIGH_444_PREDICTIVE:
523         // constraint_set3_flag set to 1
524         profile |= (sps->constraint_set_flags & 1 << 3) ? FF_PROFILE_H264_INTRA : 0;
525         break;
526     }
527
528     return profile;
529 }