中文tokenizer,中文token切词 ner标记

Analyzer 的组成 Analyzer 由三部分组成Character FiltersTokenizerToken Filters Character Filters Character Filters字符过滤器接收原始文本text的字符流，可以对原始文本增加删除字段或者对字符做转换 一个Analyzer 分析器可以有 0n 个按顺序执行的字符过滤器Tokenizer Tokenizer 分词器接收。

上面配置信息注册了一个分析器myAnalyzer，在次注册了之后可以在索引或者查询的时候直接使用该分析器的功能和标准分析器差不多，tokenizer standard，使用了标准分词器 filter standard， lowercase， stop，使用了标准过滤器转小写过滤器和停用词过滤器ElasticSearch默认使用的标准分词器在处理中文。

1一种解释 token令牌tokenize令牌化tokenizer令牌解析器 2另一种翻译是token可以翻译为“标记”，tokenize可以翻译为“标记解析”或“解析标记”，tokenizer可以翻译为“标记解析器”在编写词法分析器Lexer或语法分析器Parser的时候，除了Lexer和Parser这两个词会经常使用外，tokenize和toke。

Token是词汇单元，Tokenize是将文本转换为Token序列的过程，Tokenizer是执行Tokenize操作的工具或函数在自然语言处理和文本分析中，Token通常指的是一个最小的有意义的语言单位例如，在英文中，一个Token可以是一个单词，如quotapplequotquotbookquot等在中文中，一个Token可以是一个字，如ldquo我rdquo。

英语缩写词quotSTKZquot在技术领域中被广泛理解为quotStreamTokenizerquot的缩写，中文翻译为quot流化器quot这个术语主要用于软件开发中，特别是与文本处理相关的任务quotStreamTokenizerquot是一种用于解析和处理输入流中令牌的Java类，常用于数据解析和文件读取操作STKZ代表的英文单词quotStreamTokenizerquot，其中文拼音为quotliú。

class input=u#39content#39， encoding=u#39utf8#39， decode_error=u#39strict#39，strip_accents=None， lowercase=True， preprocessor=None， tokenizer=None， stop_words=None，token_pattern=u#39？u\b\w\w+\b#39， ngram_range=1， 1， analyzer=u#39word#39。