这种两种方法都是机械分词方法，它是按照一定的策略将待分析的汉字串与一个”充分大的”机器词典中的词条进行配，若在词典中找到某个字符串，则匹配成功（识别出一个词）。
按照扫描方向的不同，串匹配分词方法可以分为正向匹配和逆向匹配；按照不同长度优先匹配的情况，可以分为最大（最长）匹配和最小（最短）匹配；按照是否与词性标注过程相结合，又可以分为单纯分词方法和分词与标注相结合的一体化方法。常用的几种机械分词方法如下：
1）正向最大匹配法（由左到右的方向）；
2）逆向最大匹配法（由右到左的方向）；
3）最少切分（使每一句中切出的词数最小）。
还可以将上述各种方法相互组合，例如，可以将正向最大匹配方法和逆向最大匹配方法结合起来构成双向匹配法。由于汉语单字成词的特点，正向最小匹配和逆向最小匹配一般很少使用。一般说来，逆向匹配的切分精度略高于正向匹配，遇到的歧义现象也较少。统计结果表明，单纯使用正向最大匹配的错误率为1/169，单纯使用逆向最大匹配的错误率为1/245。但这种精度还远远不能满足实际的需要。实际使用的分词系统，都是把机械分词作为一种初分手段，还需通过利用各种其它的语言信息来进一步提高切分的准确率。
一种方法是改进扫描方式，称为特征扫描或标志切分，优先在待分析字符串中识别和切分出一些带有明显特征的词，以这些词作为断点，可将原字符串分为较小的串再来进机械分词，从而减少匹配的错误率。另一种方法是将分词和词类标注结合起来，利用丰富的词
类信息对分词决策提供帮助，并且在标注过程中又反过来对分词结果进行检验、调整，从而极大地提高切分的准确率
定义比较抽象，举个例子来说明正向最大匹配和反向最大匹配。
例子:’今天来了许多新同事’
1.正向最大匹配方式，最大长度为5
今天来了许
今天来了
今天来
今天 ====》 得到一个词–今天
来了许多新
来了许多
来了许
来了
来 ====》 得到一个词–来
了许多新同
了许多新
了许多
了许
了 ====》 得到一个词–了
许多新同事
许多新同
许多新
许多 ====》得到一个词– 许多
新同事
新同
新 ====》得到一个词– 新
同事 ====》得到一个词– 同事
最后正向最大匹配的结果是：
/今天/来/了/许多/新/同事/
2.反向最大匹配方式，最大长度为5
许多新同事
多新同事
新同事
同事 ====》得到一个词– 同事
来了许多新
了许多新
许多新
多新
新 ====》得到一个词– 新
天来了许多
来了许多
了许多
许多 ====》得到一个词– 许多
今天来了
天来了
来了
了 ====》得到一个词– 了
今天来
天来
来 ====》得到一个词– 来
今天 ====》得到一个词– 今天
最后反向最大匹配的结果是：
/今天/来/了/许多/新/同事/
正向最大匹配和反向最大匹配的结果并不一定相同
例子:’我一个人吃饭’
1.正向最大匹配方式，最大长度为5
我一个人吃
我一个人
我一个
我一
我 ====》得到一个词– 我
一个人吃饭
一个人吃
一个人
一个 ====》得到一个词– 一个
人吃饭
人吃
人 ====》得到一个词– 人
吃饭 ====》得到一个词– 吃饭
最后正向最大匹配的结果是：
/我/一个/人/吃饭/
2.反向最大匹配方式，最大长度为5
一个人吃饭
个人吃饭
人吃饭
吃饭 ====》得到一个词– 吃饭
我一个人
一个人
个人 ====》得到一个词– 个人
我一
一 ====》得到一个词– 一
我 ====》得到一个词– 我
最后反向最大匹配的结果是：
/我/一/个人/吃饭/
这次两种方式的结果就不一致了。更多SEO知识请百度搜牛到家SEO
紧接着上一讲，搜索引擎索引网页库建立之后，我们需要对索引网页库预处理，其中又分为两大类：网页分析和建立倒排文件索引。而搜索引擎的自动分词系统就是进行网页分析的前提。首先，中文和英文不同的是，英文单词之间有空格，而中文都是连贯在一起来操作的，在形式上，无法做出区分。所以中文文本在进行网页分析之前，需要将文本切分为多个词或者字。在目前检索中，主要可以分为按字检索和按词检索，其中按词检索，拥有更快的速度和较高的准确性。
自动分词系统算法介绍
分词系统基本方法：基于字符串匹配的分词方法和基于统计的分词方法。
1）基于字符串匹配：也称为机械分词，按照几个既定的策略，将等待分析的字符串和一个容量足够大的词典中的词条进行匹配，若在词典中找到同样的一个字符串，那么匹配成功。
字符串匹配分词，按照扫描方向，可以分为：正向匹配和逆向匹配；按照不同长度有限匹配，可以分为：最大匹配和最小匹配；按照是否与词性标注相结合，可以分为：单纯分词方法和分词与标注相结合的一体化方法；
常用的机械分词方法：正向最大匹配，逆向最大匹配，最小切分（就是在每一句中切除的词量最少，而不是单个词字节最少） （盐城SEO联想：使用正向最大匹配，逆向最大匹配，和我们SEO中经常用到的关键词靠前，则排名越有利，是否存在关联）
同时，在机械分词法中，存在这样一个模型：ASM（d,a,m）；
d：匹配方向，+表示正向，-表示逆向；
a：每次匹配失败后增加或减少字串长度（字符串），“+”就是增加一个，“-”就是减少一个；
m：最大或最小匹配标志，+为最大匹配，-为最小匹配。
对于，中文汉字来说，ASM（+，=，+）是最为实用的方法。
2）基于统计的分词方法介绍：
在表现形式上，词是多个字的稳定组合，所以说，在文章中，相邻的字同时出现的次数越多，那么越有可能是一个词，因此，字和字相邻出现的的频率可以大概的反应出词的可信率。
通过公式：M（x,y）=log（ P(x,y) / p(x)p(y) ）来计算他们的互现信息，该互现信息体现了汉字之间结合的紧密程度，当M（x,y）的值大于某一阈值时，便可以确定这是一个词。
因为，只需要对字组频率进行计算，不需要使用词典，所以叫做无词典分词方法，或者说统计分词方法。
缺点：经常会抽出一些高频，但不是词的常用词组，如：“我们”“共同”“有的”等。
所以在正常使用中，统计分词法，都会使用一部基本的分词词典（常用词词典），通过字符串分词系统，识别出常用词组，同时通过统计分词系统，识别出新词，生词，两者结合，即发挥出字符串匹配分词系统的速度快，效率高，又可以利用统计分词系统识别生词，自动消除歧义的优点。
欢迎分享，转载请注明来源：夏雨云
微信扫一扫
支付宝扫一扫
评论列表（0条）