h264: limit allowed pred modes in ff_h264_check_intra_pred_mode() to 3
authorAnton Khirnov <anton@khirnov.net>
Thu, 28 Nov 2013 09:54:35 +0000 (10:54 +0100)
committerAnton Khirnov <anton@khirnov.net>
Sat, 18 Jan 2014 19:41:59 +0000 (20:41 +0100)
commit7f0e81db3c4ee6f8ce15058bafa72ce928a89f3f
treef2c42e28d1e29498368e9b52590a47567531f8a3
parentd1b3fabe6945e511bb20fc9ca52b47eb952526ee
h264: limit allowed pred modes in ff_h264_check_intra_pred_mode() to 3

Higher modes are not allowed for 16x16/chroma, which is what this
function is used for. Otherwise this function would return 0 (vertical
prediction) for invalid higher modes, which could result in invalid
reads.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC:libav-stable@libav.org
libavcodec/h264.c