这种两种方法都是机械分词方法,它是按照一定的策略将待分析的汉字串与一个”充分大的”机器词典中的词条进行配,若在词典中找到某个字符串,则匹配成功(识别出一个词)。
按照扫描方向的不同,串匹配分词方法可以分为正向匹配和逆向匹配;按照不同长度优先匹配的情况,可以分为最大(最长)匹配和最小(最短)匹配;按照是否与词性标注过程相结合,又可以分为单纯分词方法和分词与标注相结合的一体化方法。常用的几种机械分词方法如下:
1)正向最大匹配法(由左到右的方向);
2)逆向最大匹配法(由右到左的方向);
3)最少切分(使每一句中切出的词数最小)。
还可以将上述各种方法相互组合,例如,可以将正向最大匹配方法和逆向最大匹配方法结合起来构成双向匹配法。由于汉语单字成词的特点,正向最小匹配和逆向最小匹配一般很少使用。一般说来,逆向匹配的切分精度略高于正向匹配,遇到的歧义现象也较少。统计结果表明,单纯使用正向最大匹配的错误率为1/169,单纯使用逆向最大匹配的错误率为1/245。但这种精度还远远不能满足实际的需要。实际使用的分词系统,都是把机械分词作为一种初分手段,还需通过利用各种其它的语言信息来进一步提高切分的准确率。
一种方法是改进扫描方式,称为特征扫描或标志切分,优先在待分析字符串中识别和切分出一些带有明显特征的词,以这些词作为断点,可将原字符串分为较小的串再来进机械分词,从而减少匹配的错误率。另一种方法是将分词和词类标注结合起来,利用丰富的词
类信息对分词决策提供帮助,并且在标注过程中又反过来对分词结果进行检验、调整,从而极大地提高切分的准确率
定义比较抽象,举个例子来说明正向最大匹配和反向最大匹配。
例子:’今天来了许多新同事’
1.正向最大匹配方式,最大长度为5
今天来了许
今天来了
今天来
今天 ====》 得到一个词–今天
来了许多新
来了许多
来了许
来了
来 ====》 得到一个词–来
了许多新同
了许多新
了许多
了许
了 ====》 得到一个词–了
许多新同事
许多新同
许多新
许多 ====》得到一个词– 许多
新同事
新同
新 ====》得到一个词– 新
同事 ====》得到一个词– 同事
最后正向最大匹配的结果是:
/今天/来/了/许多/新/同事/
2.反向最大匹配方式,最大长度为5
许多新同事
多新同事
新同事
同事 ====》得到一个词– 同事
来了许多新
了许多新
许多新
多新
新 ====》得到一个词– 新
天来了许多
来了许多
了许多
许多 ====》得到一个词– 许多
今天来了
天来了
来了
了 ====》得到一个词– 了
今天来
天来
来 ====》得到一个词– 来
今天 ====》得到一个词– 今天
最后反向最大匹配的结果是:
/今天/来/了/许多/新/同事/
正向最大匹配和反向最大匹配的结果并不一定相同
例子:’我一个人吃饭’
1.正向最大匹配方式,最大长度为5
我一个人吃
我一个人
我一个
我一
我 ====》得到一个词– 我
一个人吃饭
一个人吃
一个人
一个 ====》得到一个词– 一个
人吃饭
人吃
人 ====》得到一个词– 人
吃饭 ====》得到一个词– 吃饭
最后正向最大匹配的结果是:
/我/一个/人/吃饭/
2.反向最大匹配方式,最大长度为5
一个人吃饭
个人吃饭
人吃饭
吃饭 ====》得到一个词– 吃饭
我一个人
一个人
个人 ====》得到一个词– 个人
我一
一 ====》得到一个词– 一
我 ====》得到一个词– 我
最后反向最大匹配的结果是:
/我/一/个人/吃饭/
这次两种方式的结果就不一致了。更多SEO知识请百度搜牛到家SEO
穿7号衣服的是少女时代林允儿穿11号衣服的是少女时代徐贤(徐珠贤)本名:林允儿艺名:允儿韩文名:임윤아(Lim Yoon A)日文名:イムユンア台湾译名:润娥外号:允允 允宝 允少 林小鹿 林初丁 林得瑟 林腹黑 鳄鱼允 林演员 林秒杀 林小葵 门面性格:活泼开朗,谦虚写真集(20张)礼貌,抽风可爱,有些小腹黑特点:笑时眼睛下面会有可爱的撒娇肉和鳄鱼嘴兴趣:听音乐,看电影,恶作剧(捉弄成员们)体质:肠胃消化不好,属于吃不胖的那一类特技:模仿搞笑艺人安英美、模仿比目鱼家人:爸爸,妈妈,姐姐室友:Yuri(09年7月至今),泰妍、秀英(出道至09年7月)语言:韩语、日语(少许)、英语、中文(港普)队内职务:主领舞、副主唱、组合形象担当声音类型:平时是有点像小男生那样的声音,撒娇会用像小孩子那样的声音,很可爱幸运数字:9,3,7本名:徐珠贤艺名:徐贤 (台湾翻译及SM官方翻译为"徐玄")韩文:서주현(Seo Ju Hyun)日文:ソヒョン队内职务:主唱、领舞生日:1991年6月28日星座:巨蟹座身高:169cm体重:48kg 血型:A型家庭成员:妈妈 爸爸幸运数字:6喜欢的数字:1(在100222 SBS FM甜蜜与苦涩的ten 俱乐部里提到) 专长:钢琴演奏学历:大永高中(高一高二), 全州艺术高中(高三),东国大学戏剧电影系(2010级)喜欢的颜色:粉红色(《我们结婚了》中提及)喜欢的动画:Keroro(现在没有看,但会听一下音乐回忆一下——《至亲笔记》里提到)喜欢的动漫人物:TAMAMA喜欢的食物:地瓜喜欢的水果:西瓜、柿子徐珠贤自拍&生活照(39张)喜欢的电视剧:交响情人梦喜欢的电影:加勒比海盗擅长的语言:韩语英语汉语日语喜欢的男艺人:张根锡偶像:潘基文(现任联合国秘书长)(在《我们结婚了》提及)喜欢的书:自我开发类的(在《我们结婚了》中提及)理想:30年后希望能成为一名外交官(乘风破浪EP11提及)理想型:刘在石、约翰·德普加入SM ENT:S.M 地铁 Casting System(2003)(03年乘坐地铁时被SM发掘 071101电台节目《李言和金申英的深深打破》有提及)练习生时间:四年零六个月室友:Tiffany(出道至09年7月)、孝渊(09年7月至今)圈内好友:少女时代成员 、SHINee成员、KARA(郑妮可、姜智英)、2AM(珍云)CNblue成员昵称:老小、忙内(韩语中“老幺的发音”)、小贤贤、SeoRoro、受气包、徐小贤、小9、SeoBaby.欢迎分享,转载请注明来源:夏雨云
评论列表(0条)