rmdec: Reject invalid deinterleaving parameters