本发明提供了一种基于图像处理的有色颗粒选择方法，其包括以下步骤：将视频的第一帧设定为参考帧,提取颗粒，对彩色图像进行首帧差分处理获取二值图像；在提取白色像素的同时,累加其个数N,并且获得白像素的区域分布范围,当N>200时,表明该通道工位有颗粒；获得新的二值图像g(x,y)；扫描完二值图像的颗粒区域后获得g(x,y)＝255像素点的个数n,通过n与N之间的关系来判断是否有色颗粒；判断是否是破壳颗粒；在去除边缘后的输出结果图像中,判定该颗粒是否为破裂颗粒，每隔20ms自动采集一帧图像,对每帧图像上的各个工位依次进行上述处理和判断。本发明通过对像素进行处理，判断颗粒的颜色，并对相应颜色颗粒判断是否破壳，本发明在色选时的图像识别准确率高。