200314 Embedding及其与word2vec关系的个人理解

参考链接 keras：3)Embedding层详解

示例原文链接：

/qianshishangdi/article/details/88640204

以下是个人对Embedding及其与word2vec关系的通俗理解，表达尽量接地气，语言可能不准确，有不正确的地方欢迎指正。

keras原型和关键参数：

keras.layers.embeddings.Embedding(input_dim, output_dim, input_length=None)

? input_dim: int > 0。词汇表大小， 即，最大整数 index + 1。

? output_dim: int >= 0。词向量的维度。

? input_length: 输入序列的长度，必须和输入数据长度一致。当它是固定的时。 如果你需要连接 Flatten 和 Dense 层，则这个参数是必须的 （没有它，dense 层的输出尺寸就无法计算）

Embedding：建立一个可训练的两层神经网络，对输入的数据进行预处理；包括输入层、input层和output层。

input_dim即input层节点数对应词汇表， Embedding层自动实现每节点对应一个词汇

Embedding实质是训练一个与输入相关的向量表，该向量表的尺寸为[input_dim,input_length，output_dim]（隐含要求输入是one-hot码）；训练过程input层和output层权重逐渐优化，权重表可以表达训练数据之间的逻辑关系。

Embedding输出=输入*Embedding，相当于按输入one-hot码在Embedding权重矩阵中查表，得到一个与输入对应的向量。该向量在nlp中可以用作词向量，与one-hot相比，该词向量尺寸更小并且可以表达词之间的逻辑关系，词向量之间的夹角表示词向量之间语义相近程度。

word2vec与Embedding关系：word2vec本身是一个语言模型，一般认为是一个三层的神经网络，其中第一层相当于Embedding，且优化了查表速度（因为Embedding本身是两层网络，所以可以将word2vec理解为一个4层的深度神经网络）。word2vec第一层的权重即为输入的词向量表，第一层的输出即为word2vec的词向量。很多NLP将word2vec单纯作为文本向量化工具。

运行结果