https://index.zshipu.com/geek/tags/%E5%88%86%E8%AF%8D/ Recent content in 分词 on 知识铺的博客 Hugo -- gohugo.io zh-CN Mon, 27 Sep 2021 14:03:10 +0800 https://index.zshipu.com/geek/post/crawler/%E5%85%B3%E9%94%AE%E8%AF%8D%E5%BA%93-Go-%E8%AF%AD%E8%A8%80%E9%AB%98%E6%95%88%E5%88%86%E8%AF%8D-%E6%94%AF%E6%8C%81%E8%8B%B1%E6%96%87%E4%B8%AD%E6%96%87%E6%97%A5%E6%96%87%E7%AD%89/ Mon, 27 Sep 2021 14:03:10 +0800 https://index.zshipu.com/geek/post/crawler/%E5%85%B3%E9%94%AE%E8%AF%8D%E5%BA%93-Go-%E8%AF%AD%E8%A8%80%E9%AB%98%E6%95%88%E5%88%86%E8%AF%8D-%E6%94%AF%E6%8C%81%E8%8B%B1%E6%96%87%E4%B8%AD%E6%96%87%E6%97%A5%E6%96%87%E7%AD%89/ Go 语言高效分词, 支持英文、中文、日文等 词典用双数组trie（Double-Array Trie）实现， 分词器算法为基于词频的最短路径加动态规划。 支持普通和搜索引擎两种分词模式，支持用户词典、词性标注，可运行JSON RPC服务。 分词速度单线程9MB/s，goroutines并发42M