本发明提供了一种基于卷积神经网络识别单词的方法和装置。该方法包括采用卷积神经网络模型对原始图像进行特征提取以输出第一特征图；将第一特征图在高度维度上切片以得到多个第二特征图；分别自上而下、自下而上对多个第二特征图进行卷积和相加运算以得到第三特征图；将第三特征图在宽度维度上切片以得到多个第四特征图；分别自左向右、自右向左对多个第四特征图进行卷积和相加运算以得到第五特征图；通过平均池化和全连接的方式将第五特征图映射到单词相似性概率空间以得到第一单词语义空间特征图；采用时序分类算法求解第一单词语义空间特征图对应的最优的单词序列，从而利用上下文空间序列学习卷积神经网络，充分探索图像中上下文的语义关系。