本发明公开了一种基于颜色识别的娱乐装置及其互动方法，包括智能设备和玩具，玩具放置在智能设备的触控显示屏上；智能设备包括用于在所述触控显示屏上产生色块的游戏应用单元；玩具包括颜色传感单元、数据处理单元、执行单元和触控单元；触控单元触碰到游戏应用单元中设定的某个事物时，事物产生预设的色块；颜色传感单元接收智能设备产生的色块并能根据所述色块的闪烁频率识别所述色块的颜色变化；数据处理单元接收颜色传感单元输出的颜色信息，根据颜色信息匹配预设的动作；执行单元接收数据处理单元输出的动作数据，并执行相应的动作。本发明通过将安装有颜色识别传感器的玩具与智能设备相结合实现了虚拟游戏与实体玩具互动。