avformat/utils: check for malloc failure