http://code.google.com/p/pychseg/
第一个版本实现了基于的MMSEG中文分词算法Python 实现。MMSEG实际上是一个正向最大匹配+多个规则的分词算法。链接给出的几个网站写的很清楚了。在开发过程中我增加了一个规则来处理原来的算法中有可能出现的冲突问题。当所有的规则都无法唯一的确定一个chunk时，优先选择后面比较长的词。开发过程中参照了MMSEG的Java实现和ruby实现。并且对性能进行了初步的优化。
目前的性能数据：在Pentium D 2.8G的CPU下处理2.9MB的文本数据，不开启pysco的情况下104s，开启pysco的情况下90s，能达到 ...
fakechris
- 浏览: 10117 次
- 性别:
- 来自: 北京
- 详细资料
搜索本博客
最近加入圈子
最新评论
-
在scala里调用Hibernate ...
是在JVM上的一种函数式语言，和java可以互相调用，http://www.sc ...
-- by fakechris -
scala学习笔记(1)
用了 Java 的实现描述语法我知道；不过利用了虚类，确实有点新意啊。
-- by Lich_Ray -
scala学习笔记(1)
实际上String=>Unit 是一个scala的trait，相当于java的接 ...
-- by fakechris -
scala学习笔记(1)
var fn = new ( String=>Unit ) { def ap ...
-- by Lich_Ray -
python的小工具，把hibern ...
嗯，输入太工整了正则表达式也就能处理这么工整的代码了，格式比较乱的还是要上ast ...
-- by fakechris
评论排行榜