本申请实施例提供了一种实体词识别结果评价方法、装置、设备及实体词提取系统。该方法包括：获取待识别文档集的实体词识别结果，其中，实体词识别结果是基于至少一种实体词识别方法，分别对待识别文档集进行实体词识别，确定出的任一实体词识别方法对应的实体词识别结果；确定至少一个实体词识别方法分别对应的实体词识别结果中的任一待评价实体词在待识别文档集的第一权值；基于任一待评价实体词的第一权值、至少一个实体词识别方法的准确率以及至少一个实体词识别方法的惩罚项系数，确定任一待评价实体词的第二权值，第二权值用于评价任一待评价实体词。本实施例的方案，通过第二权值判断实体词识别结果的正确性，有效提升实体词的识别效果。