包含tokenizer.encode转为onehot的词条

格拉菲特模型可以用于机器翻译，将一种语言的文本翻译成另一种语言的文本以下是一个使用格拉菲特模型进行中英文翻译的例子```python prompt=quot我爱你quotinput_ids=tokenizerencodeprompt，return_tensors=#39pt#39output=model。

输入层上下文单词的onehot 假设单词向量空间dim为V，上下文单词个数为C 所有onehot分别乘以共享的输入权重矩阵W V*N矩阵，N为自己设定的数，初始化权重矩阵W 所得的向量 因为是onehot所以为向量 相加求平均；OneHotEncoder方法，从名字上看，与pdget_dummies方法是一样的离散型数据转化为数值型数据有4种方法pandasmap， pandasget_dummies， LabelEncoder， OneHotEncoder，在平时的数据处理中，我们选择其中的；其他的处理，包括把label转成onehotlabel，数据进行normalize等，可以用sklearnpreprocessing 里的LabelEncoder， OneHotEncoder， MinMaxScaler整个数据流被分为两个部分，前70%训练，剩下的验证训练集中的数据以移动窗口的。

注意有一个方法 setDropLast，是否丢弃最后一个数，默认为true，观察上面的结果发现categoryIndex最大的20，经过OneHot得到的categoryVec为2，最大的categoryIndex被丢弃了不过；由于任何两个不同词的onehot向量的余弦相似度都为0，多个不同词之间的相似度难以通过onehot向量准确地体现出来 word2vec#x2F2F具的提出正是为了解决上#x2FAF这个问题它将每个词表#x2F70成#x2F00个定#x2ED3的向量，并使得这些向量能较好地表达；alist小雅替换token如下1首先，我们使用tokenizer的encode方法将句子转换为一个token序列，其中add_special_tokens=False表示不添加特殊的起始和结束标记2然后，我们使用tokenizer的convert_tokens_to_ids方法将新的token转；selftokenizer=GPT2Tokenizerfrom_pretrainedmodel_pathselfdevice=device devicedefgenerateself，prompt，length=50，temperature=10input_ids=promptinput_。

请注意保存，以防失效，如果帮到你，请采纳。