tokenize的中文,tokenisempty中文

non unique的中文翻译是非唯一 重点词汇unique 词语分析音标英 ju#712ni#720k 美 ju#712ni#720kadj 唯一的，独一无二的独特的，稀罕的 n 独一无二的人或物 短语unique skill。

对两个生成句和参考句word piece进行tokenize分别用bert提取特征，然后对2个句子的每一个词分别计算内积，可以得到一个相似性矩阵基于这个矩阵，我们可以分别对参考句和生成句做一个最大相似性得分的累加然后归一化。

然后使用MOSES分别对两个平行语料进行tokenize不好意思，这个不知道中文是什么，分别对两个tokenized后的语料进行建立语言模型，再建立翻译模型调用的时候再指向到你建立的翻译模型的路径就可这样你就创建了属于自己。