本申请提供了一种说话人聚类方法、装置、设备及存储介质，方法包括：获取语音数据集；对于语音数据集中的每条语音数据，以趋于通过该语音数据中的说话人信息与信道信息分离得到的说话人特征为获取方向，从该语音数据中获取说话人特征，得到由获取的说话人特征组成的说话人特征集；根据说话人特征集对语音数据集进行聚类。其中，在根据说话人特征集对语音数据集进行聚类时，可采用不需要预先设定类别数的聚类算法对说话人特征集中的说话人特征进行粗聚类，在粗聚类基础上，进一步根据类内距离和类间距离进行细聚类，从而根据细聚类结果获得语音数据集中语音数据的聚类结果。通过本申请提供的说话人聚类方法能够获得比较准确的聚类结果。