tokenizationnlp的简单介绍

BytePairEncoding是用于解决未登录词的一种方法首先简单提一句什么是未登录词，未登录词可以理解为训练语料库中没有出现的，但是在测试语料库中出现的词我们在处理NLP任务时，通常会根据语料生成一个词典，把语料中词频。

into a welldefined sequence of linguistically meaningful units 文本预处理是NLP中的基本步骤，在这一步骤中，主要完成字符单词句子的识别任务文本。

tokenization errors的负面影响，而且更具有表达性和嵌入输入句子的灵活性 NMT特点 传统的统计机器翻译模拟管道pipeline中源语言和目标语言之间的潜在结构和对应关系， NMT则是训练了一个统一的编码解码神经网络，其中编码器将输入的句。