本发明公开预训练语言模型量化方法和装置，其中，一种预训练语言模型量化方法，包括：将预训练语言模型在下游任务上进行第一次微调；使用k均值聚类，对微调后的模型除了分类层之外的其他所有嵌入层和所有线性层的权重矩阵中的数据进行聚类，将类别数设置为2n，其中，n为压缩后目标模型每个数据所占的比特数；将量化后的模型在所述下游任务上在维持量化的条件下进行第二次微调，最终得到量化后的网络。本申请实施例提供的方案表明了底层的量化方案的提升对量化效果的影响被大大的低估和忽视了；同时也表明了简单的不使用任何技巧的k均值量化就可以达到非常好的压缩效果，说明k均值压缩方法有非常大的发展空间和应用前景。