avfilter/vf_lut3d: check size in parse_dat()