提供一种被动三维（3D）影像系统及其方法。通过新颖3D影像系统的透镜（110）来接收由一场景中的一或多物件反射的光线，以经由一空间滤波器（130）在影像传感器（120）上形成所述一或多物件的一影像。遮罩元件的分布与影像传感器（120）的相应信号像素组相关，且空间滤波器（130）的参考元件与影像传感器（120）的相应参考像素组相关；而使得影像的多个部分易于被位于信号像素组的所述遮罩元件遮蔽，但不会被位于参考像素组的遮罩元件遮蔽。可利用基于信号像素组所感测的信号亮度以及参考像素组所感测的参考亮度的一函式来计算场景中一或多物件的物距。