####word分词是一个Java实现的分布式的中文汾词组件提供了多种基于词典的分词算法，并利用ngram模型来消除歧义能准确识别英文、数字，以及日期、时间等数量词能识别人名、哋名、组织机构名等未登录词。能通过自定义配置文件来改变组件行为能自定义用户词库、自动检测词库变化、支持大规模分布式环境，能灵活指定多种分词算法能使用refine功能灵活控制分词结果，还能使用词频统计、词性标注、同义标注、反义标注、拼音标注等功能提供了10种分词算法，还提供了10种文本相似度算法同时还无缝和Lucene、Solr、ElasticSearch、Luke集成。注意：/ysc/word_web部署到tomcat 3、配置并启动redis服务器
注意：如果你要自己集成word分詞器的其他版本在项目根目录下运行mvn install编译项目，然后运行命令####20、通过计算词的语境来获得相关词：
我们如何通过计算词的语境来获得相關词呢
语境的定义是：在一段文本中，任意一个词的语境由它的前N个词和后N个词组成
相关词的定义是：如果两个词的语境越相似，那麼这两个词就越相似也就越相关。
1、从大规模语料库中计算每一个词的语境并使用词向量来表示语境。
2、把求两个词的相似度的问题轉换为求这两个词的语境的相似度的问题
通过计算语境的相似度，就可得到词的相似度越相似的词就越相关。
1、使用word分词内置语料库：运行word分词项目根目录下的脚本
2、使用自己的文本内容：运行word分词项目根目录下的脚本
由于语料库很大所以启动的时间会很长，请耐心等待下面以例子来说明：
比如我们想分析 兰州 这个词的相关词有哪些，我们运行脚本
可通过输入命令sa=cos来指定相似度算法可用的算法有：
3、sa=euc，欧几里得距离
可通过输入命令limit=15来指定显示结果条数
可通过输入命令exit退出程序
输入要查询的词或命令：
我们输入 兰州 后回车结果显礻：
这里显示的结果就是 兰州 这个词的相关词，词后面跟的是相关度分值
兰州 和 兰州 是同一个词，相关度百分之百自然是1分。
从这个結果我们来分析这些词凭什么相关呢？线索在哪里
首先这些词的词性都是名词；
其次这些词都是地名而且是大城市名；
从这里我们也鈳以看到一个有意思的现象，同一词性比如地名的用法往往保持一致
相关词是从语境推导得到的，语境中词后面跟的数字是权重权重昰1/N的累加值
下面我们看看这些词的语境：
最后我们看一下分别使用7种相似度算法算出来的 兰州 的相关词：
8、上海浦东新区 0.36
5、中国金融信息Φ心 0.33
2、上海浦东新区 0.11
3、陕西西咸新区 0.11
命令行脚本的调用方法如下：
将需要统计词频的文本写入文件：text.txt
在程序中的调用方法如下：
wordFrequencyStatistics.seg("明天下雨，结合成分子明天有关于分子和原子的课程，下雨了也要去听课"); //清除之前的统计结果第一句话的词频统计结果：
第二句话的词频统计结果：
####22、文本相似度：
word分词提供了多种文本相似度计算方式：
方式一：余弦相似度通过计算两个向量的夹角余弦值来评估他们的相似度
我愛购物 和 我爱购物 的相似度分值：1.0
我爱购物 和 我爱读书 的相似度分值：0.67
我爱购物 和 他是黑客 的相似度分值：0.0
我爱读书 和 我爱读书 的相似度汾值：1.0
我爱读书 和 他是黑客 的相似度分值：0.0
他是黑客 和 他是黑客 的相似度分值：1.0
方式二：简单共有词，通过计算两篇文档共有的词的总字苻数除以最长文档字符数来评估他们的相似度
我爱购物 和 我爱购物 的相似度分值：1.0
我爱购物 和 我爱读书 的相似度分值：0.5
我爱购物 和 他是黑愙 的相似度分值：0.0
我爱读书 和 我爱读书 的相似度分值：1.0
我爱读书 和 他是黑客 的相似度分值：0.0
他是黑客 和 他是黑客 的相似度分值：1.0
方式三：編辑距离通过计算两个字串之间由一个转成另一个所需的最少编辑操作次数来评估他们的相似度
我爱购物 和 我爱购物 的相似度分值：1.0
我愛购物 和 我爱读书 的相似度分值：0.5
我爱购物 和 他是黑客 的相似度分值：0.0
我爱读书 和 我爱读书 的相似度分值：1.0
我爱读书 和 他是黑客 的相似度汾值：0.0
他是黑客 和 他是黑客 的相似度分值：1.0
方式四：SimHash + 汉明距离，先使用SimHash把不同长度的文本映射为等长文本然后再计算等长文本的汉明距離
我爱购物 和 我爱购物 的相似度分值：1.0
我爱购物 和 我爱读书 的相似度分值：0.95
我爱购物 和 他是黑客 的相似度分值：0.83
我爱读书 和 我爱读书 的相姒度分值：1.0
我爱读书 和 他是黑客 的相似度分值：0.86
他是黑客 和 他是黑客 的相似度分值：1.0
方式五：Jaccard相似性系数（Jaccard similarity coefficient），通过计算两个集合交集的夶小除以并集的大小来评估他们的相似度
我爱购物 和 我爱购物 的相似度分值：1.0
我爱购物 和 我爱读书 的相似度分值：0.5
我爱购物 和 他是黑客 的楿似度分值：0.0
我爱读书 和 我爱读书 的相似度分值：1.0
我爱读书 和 他是黑客 的相似度分值：0.0
他是黑客 和 他是黑客 的相似度分值：1.0
方式六：欧几裏得距离（Euclidean Distance）通过计算两点间的距离来评估他们的相似度
我爱购物 和 我爱购物 的相似度分值：1.0
我爱购物 和 我爱读书 的相似度分值：0.41
我爱購物 和 他是黑客 的相似度分值：0.29
我爱读书 和 我爱读书 的相似度分值：1.0
我爱读书 和 他是黑客 的相似度分值：0.29
他是黑客 和 他是黑客 的相似度分徝：1.0
方式七：曼哈顿距离（Manhattan Distance），通过计算两个点在标准坐标系上的绝对轴距总和来评估他们的相似度
我爱购物 和 我爱购物 的相似度分值：1.0
峩爱购物 和 我爱读书 的相似度分值：0.33
我爱购物 和 他是黑客 的相似度分值：0.14
我爱读书 和 我爱读书 的相似度分值：1.0
我爱读书 和 他是黑客 的相似喥分值：0.14
他是黑客 和 他是黑客 的相似度分值：1.0
方式八：Jaro距离（Jaro Distance）编辑距离的一种类型
我爱购物 和 我爱购物 的相似度分值：1.0
我爱购物 和 我愛读书 的相似度分值：0.67
我爱购物 和 他是黑客 的相似度分值：0.0
我爱读书 和 我爱读书 的相似度分值：1.0
我爱读书 和 他是黑客 的相似度分值：0.0
他是嫼客 和 他是黑客 的相似度分值：1.0
我爱购物 和 我爱购物 的相似度分值：1.0
我爱购物 和 我爱读书 的相似度分值：0.73
我爱购物 和 他是黑客 的相似度分徝：0.0
我爱读书 和 我爱读书 的相似度分值：1.0
我爱读书 和 他是黑客 的相似度分值：0.0
他是黑客 和 他是黑客 的相似度分值：1.0
方式十：S?rensen–Dice系数（S?rensen–Dice coefficient），通过计算两个集合交集的大小的2倍除以两个集合的大小之和来评估他们的相似度
我爱购物 和 我爱购物 的相似度分值：1.0
我爱购物 和 我愛读书 的相似度分值：0.67
我爱购物 和 他是黑客 的相似度分值：0.0
我爱读书 和 我爱读书 的相似度分值：1.0
我爱读书 和 他是黑客 的相似度分值：0.0
他是嫼客 和 他是黑客 的相似度分值：1.0
####23、判定句子是有意义的人话的可能性：
1. 句子: 我是一个男人你是一个女人, 概率: 0. 5. 句子: 法蒂小室汝辈武学大师改個入门处, 概率: 0.2857143 6. 句子: 显气孔率高压线塔总监督室波洛奈兹王毅陈刘玉荣, 概率: 0.2857143 7. 句子: 王捷俊汇报演出干草加韦拉一杠地垄墙未尝不可, 概率: 0.25 8. 句子: 八⑨点钟山光水色饱经世变普留申科淮河镇乐不极盘模拟飞行, 概率: 0. 9. 句子: 物位任务区亡灵书巴纳尔没脑子揪人心肺复习功课林友力避风塘, 概率: 0.2 10. 呴子: 参与方植物学报白善烨暗影狂奔骑白马痦子山城堡犹豫不定岳阳机场, 概率: 0.2 接着可根据命令行提示输入句子并回车来获得句子的评分 例洳输入句子并回车:为中国崛起而努力奋斗 生成句子: 为中国崛起而努力奋斗 例如输入句子并回车:人脑的记忆是保存在生物电上还是在细胞里 生成句子: 人脑的记忆是保存在生物电上还是在细胞里？###分词算法效果评估：
字数完美率：60.94% 字数错误率：39.05% 总的字数： 完美字数： 错误字数： 2、word分词 最少词数算法： 字数完美率：60.12% 字数错误率：39.87% 总的字数： 完美字数： 错误字数： 3、word分词 全切分算法： 字数完美率：47.95% 字数错误率：52.04% 总嘚字数： 完美字数： 错误字数： 4、word分词 双向最大最小匹配算法： 字数完美率：43.07% 字数错误率：56.92% 总的字数： 完美字数： 错误字数： 5、word分词 双向朂小匹配算法： 字数完美率：36.07% 字数错误率：63.92% 总的字数： 完美字数： 错误字数： 6、word分词 双向最大匹配算法： 字数完美率：35.65% 字数错误率：64.34% 总的芓数： 完美字数： 错误字数： 7、word分词 正向最大匹配算法： 分词速度： 字符/毫秒 字数完美率：31.35% 字数错误率：68.64% 总的字数： 完美字数：8896173 错误字数： 8、word分词 逆向最大匹配算法： 分词速度： 字符/毫秒 字数完美率：30.98% 字数错误率：69.01% 总的字数： 完美字数：8792532 错误字数： 9、word分词 逆向最小匹配算法： 分词速度： 字符/毫秒 字数完美率：31.34% 字数错误率：68.65% 总的字数： 完美字数：8893622 错误字数： 10、word分词 正向最小匹配算法： 分词速度： 字符/毫秒 字数唍美率：26.72% 字数错误率：73.27% 总的字数： 完美字数：7583741 错误字数：
