本发明公开一种基于3D视觉的商品分类方法及装置，该方法包括如下步骤：工控机收到分拣商品请求后，由采集摄像头捕捉当前层数的3D影像图片；算法服务器对采集到的所述3D影像图片进行商品分类识别、商品位姿以及抓取点识别，获取当前商品位置轮廓及中心坐标信息；工控机根据算法服务器的商品位置轮廓及中心坐标信息进行分拣操作。本发明对于货架上的商品做分类是通过硬件层的边缘计算的Xavier工控机控制边缘3D深度图像采集摄像头并结合算法服务层实现对商品定位分类，相比于人工与其他模板匹配的方法，分拣效率高，准确率高；自动化控制，由后台业务系统发送订单到工控机执行，自动化控制；数据可存储，每个环节系统都有备份数据。