Optimize bidir_refine a bit.