本发明实施例提供一种带有两阶段解码器的用于语言理解和生成的预训练框架，包括：编码器，用于接收条件生成任务中的加噪文本，编码得到加噪文本序列，其中，加噪文本包括：片段遮盖和/或句子打乱的文本；解码器，用于接收编码器输出的加噪文本序列，在第一解码阶段，重构加噪文本序列，得到重构文本，生成对应加噪文本序列的意义表示；在第二解码阶段，基于重构文本和意义表示，生成后续文本。本发明实施例还提供一种二阶段解码器。本发明实施例在第一解码阶段进行重构加理解，在第二解码阶段中既保障了文本的理解，又可以生成后续文本，使得预训练质量更好。显式的理解可以应用于下游任务，方便获取上下文信息，适用任务更广。