本发明公开改进针对网页结构理解的预训练语言模型的方法和装置，其中，一种改进针对网页结构理解的预训练语言模型的方法，其中，所述针对网页结构理解的预训练语言模型具有上下文编码器且不具有结构信息编码器，所述方法包括：利用所述针对网页结构理解的预训练语言模型的上下文编码器编码网页的上下文信息；构建结构信息编码器编码所述网页的文档对象模型给出的所述网页的树状结构信息；基于所述树状结构信息从所述结构信息编码器中得到所述网页的各个节点的嵌入向量；基于所述各个节点的向量利用线性层加上Softmax层计算所述各个节点是答案节点的概率。