tokenembedding_tokenembedding的作用

#8195#8195Token Embedding 是对词向量进行编码原始的输入是batch，seq_len经过 Token Embedding 后数据的维度为batch，seq_len，d_model#8195#8195在BERT中Token Embedding的内部计算流程是初始化一个二维数组，大小为vocab_size，d_model，然后将输入的数据进行onehot编码，维度。

ALBERT认为，token embedding是没有上下文依赖的表述，而隐藏层的输出值不仅包括了词本身的意思还包括一些上下文信息，因此应该让HE，所以ALBERT的词向量的维度是小于encoder输出值维度的在NLP任务中，通常词典都会很大，embedding matrix的大小是E×V ALBERT采用了一种因式分解Factorized embedding parameterization的方法。

token embedding对于英文采用WordPiece embeddings，也就是一个单词会被拆成词根词缀的，比如图中的playing被拆成了play和ing两个token对于中文，就是单子拆分segment embedding相邻句子采用不同的标志分隔，形如000000position embedding在transformer中，单词之间是没有先后顺序的。

如下图所示，我们定义输入的embedding为 ，BERT最终输出的 CLS 的embedding为 ，最终输出的第 个token的embedding为 我们有理由相信一个深度双向模型比lefttoright模型和lefttoright和righttoleft简单连接的模型的效果更加强大不幸的是，标准的条件语言模型只能够够lefttoright或者righttoleft地训练。

bert的词嵌入由三个嵌入token embeddingsegment embedding，和position embedding叠加而成 这个过程跟以往的RNNs没什么区别，比如给定一个句子 第一步是先将其标记化 然后是数字化，将每个标记映射到语料词汇表中的唯一整数编号 接下来就是得到序列中每个词的词嵌入，也就是将整数映射到一个 维的向量，这个向量。

模型输入 文本序列，在起始处添加 SOS 标记，结尾处添加 EOS 标记EOS一方面可以作为NLU任务中的边界标识，另一方面还能在NLG任务中让模型学到何时终止解码过程其输入表征方式与Bert的一样，包括 token embedding ， position embedding ， segment embedding ，同时segment embedding还可以作为。

引入Position Embedding主要是为了弥补Transformer模型对位置信息的不足，将Position Embedding与token Embedding相加后，即可保留各个token的位置信息论文作者提出了两种添加位置信息的的方法 一种方法是直接用不同频率的正余弦函数直接计算各个token的位置id，公式如下另一种方法是直接学习出一个Position。

Embedding layerEL的作用是将句子树转换成嵌入表达和BERT一样，KBERT的嵌入表示包括三部分token embedding， position embedding 和 segment embedding 关键是如何将句子树转换成一个序列，同时保留它的结构信息这种简单的处理使得句子失去了其结构信息，作者通过softposition和visible matrix解决该。

2接下来把所有的词汇输入BERT，然后每个输入的token都会得到一个embedding 3接下来将设置为ltMASK的embedding输入到Linear Multiclass Classifier中中，要求它预测被ltMASK的词汇是哪个词汇？ 但是这个Linear Multiclass Classifier它仅仅是一个线性分类器，所以它的能力十分弱，这也就需要在之前的BERT模型中需要将它。

HAF是专为层次文本分类任务打造的模型，它的核心在于Label Embedding和Attention机制的巧妙运用这个框架由一系列单元组成，每层对应于标签层次结构中的一级，信息从上层逐层传递，通过Attention机制，将当前层的Label Embedding与token特征紧密融合，进行精准预测HAF的设计旨在解决标签嵌入生成注意力机制设计。