avcodec/atsc_a53: use AVERROR_INVALIDDATA