word2vec 究竟学到了什么？

研究证明，在现实可行的条件下 word2vec 的学习问题可归约为无权最小二乘矩阵分解，其梯度流动力学存在闭式解，最终学到的表示即由 PCA 给出。训练从接近原点的小初始化出发，以离散、顺序的步骤逐个学习正交线性子空间，每一步递增嵌入矩阵的秩并使损失阶梯式下降。这些学到的特征仅由可测语料统计与算法超参数构成的目标矩阵顶部特征向量决定，对应该语料中名人传记、政府行政、地理描述等可解释的主题级概念。