matroskaenc: check avio_open_dyn_buf return value