中文分词组件免费版
[ 2005-07-06 02:29:33 | 作者: yuhen ]
=============================================
Rainsoft Word Segment for Microsoft .NET 1.1
Copyright (c) RainTrail Studio. China
All Rights Reserved! 2000 - 2005
http://www.rainsts.net
Support: qyuhen@hotmail.com
=============================================
中英文分词组件。完全C#托管代码编写,独立开发。
技术特点
=========
1. 识别率接近90%。
虽然和专业分词系统相比有一定的差距,但对于搜索引擎等小型分词需求而言足够了。
2. 多元歧义自动识别。
对于前后歧义有较好的识别效果。
如:
长春市长春节致词 -- 长春/市长/春节/致词/
长春市长春药店 -- 长春市/长春/药店
3. 常用及敏感词过滤功能。
通过一个简单的属性设置就可以完成针对常用词、标点和敏感词汇的过滤。系统内置了常用无意字词和标点的过滤。当然针对文章等分词时可以屏蔽过滤功能。
4. 控制符过滤功能。
可以设置属性值,在分词结果中保留回车换行等控制字符,从而保留原来的显示结构。
5. 内置10万多条基本词库。
系统内置包含10万多条优选词汇的基本词库,并提供编程接口任意扩充。
6. 全角字符识别能力。
如:IBM和HP都是世界级的PC制造商。-- IBM/和/HP/都/是/世界级/的/PC/制造商/。
7. 轻量级的分词组件,仅1个DLL文件,无需安装注册,发布简便。
代码演示
=========
using Rainsoft.WordSeg;
WordSegV1 seg = new WordSegV1();
string s = seg.Segment("长春市长春节致词" , '/');
Console.WriteLine(s);
相关问题
=========
1. 为什么我创建分词对象会出错?
须安装 Microsoft .NET Framework 1.1 Service Pack 1,否则将出错。
http://www.microsoft.com/downloads/details.aspx?FamilyID=a8f5654f-088e-40b2-bbdb-a83353618b38&DisplayLang=zh-cn
2. 为什么第一次分词时比较慢?
在第一次创建分词对象时,需要花7~15秒左右将数据载入内存。
3. 为什么我创建的自定义分词会丢失?
您必须调用 seg.Words.Save() 方法保存。如果一次添加多个分词,只需在最后调用一次保存方法。
4. 这个组件适合什么样的应用?
这只是个轻量级的组件,和专业分词系统相比,功能和准确性都不是很完善,建议用于搜索引擎等
需要简单分词应用的环境。
5. 免费版有什么限制?
免费版具备所有基本功能,但分词算法和分词库无法定制,而且不提供升级和技术支持服务。另外,
仅供个人免费试用,不要应用于商业环境。
下载分词演示程序
下载免费分词组件
附:V2 版已完成。
下载 V2 演示程序 (RAR, 1.04MB, Microsoft .NET Framework 2.0)
---------------
V3 免费版已经发布。下载
评论Feed: http://www.rainsts.net/feed.asp?q=comment&id=48
Rainsoft Word Segment for Microsoft .NET 1.1
Copyright (c) RainTrail Studio. China
All Rights Reserved! 2000 - 2005
http://www.rainsts.net
Support: qyuhen@hotmail.com
=============================================
中英文分词组件。完全C#托管代码编写,独立开发。
技术特点
=========
1. 识别率接近90%。
虽然和专业分词系统相比有一定的差距,但对于搜索引擎等小型分词需求而言足够了。
2. 多元歧义自动识别。
对于前后歧义有较好的识别效果。
如:
长春市长春节致词 -- 长春/市长/春节/致词/
长春市长春药店 -- 长春市/长春/药店
3. 常用及敏感词过滤功能。
通过一个简单的属性设置就可以完成针对常用词、标点和敏感词汇的过滤。系统内置了常用无意字词和标点的过滤。当然针对文章等分词时可以屏蔽过滤功能。
4. 控制符过滤功能。
可以设置属性值,在分词结果中保留回车换行等控制字符,从而保留原来的显示结构。
5. 内置10万多条基本词库。
系统内置包含10万多条优选词汇的基本词库,并提供编程接口任意扩充。
6. 全角字符识别能力。
如:IBM和HP都是世界级的PC制造商。-- IBM/和/HP/都/是/世界级/的/PC/制造商/。
7. 轻量级的分词组件,仅1个DLL文件,无需安装注册,发布简便。
代码演示
=========
using Rainsoft.WordSeg;
WordSegV1 seg = new WordSegV1();
string s = seg.Segment("长春市长春节致词" , '/');
Console.WriteLine(s);
相关问题
=========
1. 为什么我创建分词对象会出错?
须安装 Microsoft .NET Framework 1.1 Service Pack 1,否则将出错。
http://www.microsoft.com/downloads/details.aspx?FamilyID=a8f5654f-088e-40b2-bbdb-a83353618b38&DisplayLang=zh-cn
2. 为什么第一次分词时比较慢?
在第一次创建分词对象时,需要花7~15秒左右将数据载入内存。
3. 为什么我创建的自定义分词会丢失?
您必须调用 seg.Words.Save() 方法保存。如果一次添加多个分词,只需在最后调用一次保存方法。
4. 这个组件适合什么样的应用?
这只是个轻量级的组件,和专业分词系统相比,功能和准确性都不是很完善,建议用于搜索引擎等
需要简单分词应用的环境。
5. 免费版有什么限制?
免费版具备所有基本功能,但分词算法和分词库无法定制,而且不提供升级和技术支持服务。另外,
仅供个人免费试用,不要应用于商业环境。
附:V2 版已完成。
下载 V2 演示程序 (RAR, 1.04MB, Microsoft .NET Framework 2.0)
---------------
V3 免费版已经发布。下载
[最后修改由 yuhen, 于 2007-08-23 15:16:13]
评论Feed: http://www.rainsts.net/feed.asp?q=comment&id=48







另外再增加更多和分词应用相关的功能,比如拼音输出、词性标记和拼写检查等。
你可以在分词前,用 "@"、"."、"_"、"%" 这些连词符号Replace "*" "?",分完以后替换回来。
我会在下一个版本中改进对于英文特殊书写习惯的处理。
我也写了个中文分词小程序,准确率还可以,效率不是很高--由于不是采用的匹配法。
地址: http://toptea.org/cs/blogs/dcding/archive/2005/07/25/44.aspx
主要特性:
1.采用了非匹配方式进行分词,所以天生具有很高的准确率和召回率;
2.采用了多种方式的消歧方式;
3.支持输出结果词性标注;
4.对中文姓名支持自动识别(仅限双字和三字词);
5.支持中英数字混合分词(包括中文数字,比如 三十三;
6.当然支持全角和半角了。
有兴趣的朋友看看。
我也写了个中文分词小程序,准确率还可以,效率不是很高--由于不是采用的匹配法。
地址:
http://toptea.org/cs/blogs/dcding/archive/2005/07/25/44.aspx
主要特性:
1.采用了非匹配方式进行分词,所以天生具有很高的准确率和召回率;
2.采用了多种方式的消歧方式;
3.支持输出结果词性标注;
4.对中文姓名支持自动识别(仅限双字和三字词);
5.支持中英数字混合分词(包括中文数字,比如 三十三;
6.当然支持全角和半角了。
有兴趣的朋友看看。
我也写了个中文分词小程序,准确率还可以,效率不是很高--由于不是采用的匹配法。
地址:
http://toptea.org/cs/blogs/dcding/archive/2005/07/25/44.aspx
主要特性:
1.采用了非匹配方式进行分词,所以天生具有很高的准确率和召回率;
2.采用了多种方式的消歧方式;
3.支持输出结果词性标注;
4.对中文姓名支持自动识别(仅限双字和三字词);
5.支持中英数字混合分词(包括中文数字,比如 三十三;
6.当然支持全角和半角了。
有兴趣的朋友看看。
wuwei8896@163.com
lbsfans@msn.com
不胜感激~!
System.Xml.XmlException: 根级别上的数据无效
环境:window2003+.net frames 1.1.4322
System.Xml.XmlException: 根级别上的数据无效
环境:window2003+.net frames 1.1.4322
“把手”,“这个门的把手坏了好几天了”
“请把手抬高一点儿”
用本组件分词的结果:
这个/ 门/ 的/ 把手/ 坏/ 了/ 好几/ 天/ 了/ ,/
请/ 把手/ 抬高/ 一点儿/ 。
说明: 执行当前 Web 请求期间,出现未处理的异常。请检查堆栈跟踪信息,以了解有关该错误以及代码中导致错误的出处的详细信息。
异常详细信息: System.IO.FileLoadException: 访问被拒绝:“Rainsoft.WordSeg”。
为什么会出现这种情况
说明: 执行当前 Web 请求期间,出现未处理的异常。请检查堆栈跟踪信息,以了解有关该错误以及代码中导致错误的出处的详细信息。
异常详细信息: System.IO.FileLoadException: 访问被拒绝:“Rainsoft.WordSeg”。
为什么会出现这种情况
WordSegV1 seg = new WordSegV1();
string s = seg.Segment("长春市长春节致词" , '/');
Response.Write(s);
就这样调用的.我用在WEB项目中.
WordSegV1 seg = new WordSegV1();
string s = seg.Segment("长春市长春节致词" , '/');
Response.Write(s);
就这样调用的.我用在WEB项目中.
谢了!