本发明提供一种基于三摄像采集的自由立体匹配方法，包括如下步骤：由左、中间和右摄像机分别采集左视图、中间视图和右视图；通过左侧视点、中间视点、右侧视点三视点匹配计算深度信息；由左视图和右视图合成第一虚拟中间视图并寻找第一虚拟中间视图的视差错误以优化深度图像；根据优化后的深度图标记彩色图像中有噪声的像素以优化彩色图像；根据优化后的图像生成密集视点。本发明使得彩色图像的边缘得到增强，最终消除图像中的前景伪影和背景伪影。