必读！信息抽取(Information Extraction)【关系抽取】

     信息抽取（information extraction），简称IE，即从自然语言文本中，抽取出特定的事件或事实信息，帮助我们将海量内容自动分类、提取和重构。这些信息通常包括实体（entity）、关系（relation）、事件（event）。 例如从新闻中抽取时间、地点、关键人物，或者从技术文档中抽取产品名称、开发时间、性能指标等。能从自然语言中抽取用户感兴趣的事实信息，无论是在知识图谱、信息检索、问答系统还是在情感分析、文本挖掘中，信息抽取都有广泛应用。

     信息抽取主要包括三个子任务 ：

     关系抽取 ：通常我们说的三元组(triple)抽取，主要用于抽取实体间的关系。

     实体抽取与链指 ：也就是命名实体识别。

     事件抽取 ：相当于一种多元关系的抽取。

     关系抽取（RE）是为了抽取文本中包含的关系，是信息抽取（IE）的重要组成部分 。主要负责从无结构文本中识别出实体，并抽取实体之间的语义关系，被广泛用在信息检索、问答系统中。本文从关系抽取的 基本概念 出发，依据不同的视角对 关系抽取方法进行了类别划分 ；最后分享了基于深度学习的关系抽取方法常用的数据集，并总结出基于深度学习的关系抽取框架。

    完整的关系抽取包括实体抽取和关系分类两个子过程。实体抽取子过程也就是命名实体识别，对句子中的实体进行检测和分类； 关系分类子过程对给定句子中两个实体之间的语义关系进行判断，属于多类别分类问题 。

    例如，对于句子“青岛坐落于山东省的东部”，实体抽取子过程检测出这句话具有“青岛”和“山东”两个实体。关系分类子过程检测出这句话中“青岛”和“山东”两个实体具有“坐落于”关系而不是“出生于”关系。在关系抽取过程中，多数方法默认实体信息是给定的，那么关系抽取就可以看作是分类问题。

    目前， 常用的关系抽取方法有5类，分别是基于模式匹配、基于词典驱动、基于机器学习、基于本体和混合的方法 。基于模式匹配和词典驱动的方法依靠人工制定规则，耗时耗力，而且可移植性较差，基于本体的方法构造比较复杂，理论尚不成熟。 基于机器学习的方法以自然语言处理技术为基础，结合统计语言模型进行关系抽取，方法相对简单，并具有不错的性能，成为当下关系抽取的主流方法，下文提到的关系抽取方法均为机器学习的方法 。

    关于信息关系抽取，可以 从训练数据的标记程度 、 使用的机器学习方法 、 是否同时进行实体抽取 和 关系分类子过程以及是否限定关系抽取领域和关系专制 四个角度对机器学习的关系抽取方法进行分类。

    根据训练数据的标记程度可以将关系抽取方法分为 有监督、半监督和无监督三类 。

     有监督学习 ，处理的基本单位是包含特定实体对的句子，每一个句子都有类别标注。 优点 ：取能够有效利用样本的标记信息，准确率和召回率都比较高。 缺点 ：需要大量的人工标记训练语料，代价较高。

     半监督学习 ，句子作为训练数据的基本单位，只有部分是有类别标注的。此类方法让学习器不依赖外界交互，自动地利用未标记样本来提升学习性能。

     无监督学习 ，完全不需要对训练数据进行标注，此类方法包含实体对标记、关系聚类和关系词选择三个过程。

    根据使用机器学习方法不同，可以将关系抽取划分为三类： 基于特征向量的方法 、 基于核函数的方法 以及 基于神经网络的方法 。

     基于特征向量的方法 ，通过从包含特定实体对的句子中提取出语义特征，构造特征向量，然后通过使用支持向量机、最大熵、条件随机场等模型进行关系抽取。

     基于核函数的方法 ，其重点是巧妙地设计核函数来计算不同关系实例特定表示之间的相似度。 缺点 ：而如何设计核函数需要大量的人类工作，不适用于大规模语料上的关系抽取任务。

     基于神经网络的方法 ，通过构造不同的神经网络模型来自动学习句子的特征，减少了复杂的特征工程以及领域专家知识，具有很强的泛化能力。

    根据是否在同一个模型里开展实体抽取和关系分类，可以将关系抽取方法分为 流水线（pipeline）学习 和 联合（joint）学习两种 。

     流水线学习 是指先对输入的句子进行实体抽取，将识别出的实体分别组合，然后再进行关系分类，这两个子过程是前后串联的，完全分离。

     联合学习 是指在一个模型中实现实体抽取和关系分类子过程。该方法通过使两个子过程共享网络底层参数以及设计特定的标记策略来解决上述问题，其中使用特定的标记策略可以看作是一种序列标注问题。

    根据是否限定抽取领域和关系类别，关系抽取方法可以划分为 预定义抽取 和 开放域抽取 两类。

     预定义关系抽取 是指在一个或者多个固定领域内对实体间关系进行抽取，语料结构单一，这些领域内的目标关系类型也是预先定义的。

     开放域关系抽取 不限定领域的范围和关系的类别。现阶段，基于深度学习的关系抽取研究集中于预定义关系抽取。

    基于深度学习的关系抽取方法常用的数据集有 ACE关系抽取任务数据集 、 SemEval2010 Task 8数据集 、 NYT2010数据集 等.

     ACE关系抽取任务数据集 ：ACE2005关系抽取数据集包含599篇与新闻和邮件相关的文档，其数据集内包含7大类25小类关系。

     SemEval2010 Task 8数据集 ：该数据集包含9种关系类型，分别是Compoent-Whole、Instrument-Agency、Member-Collection、Cause-Effect、Entity-Destination、Content-Container、Message-Topic、Product-Producer和Entity-Origin。 考虑到实体之间关系的方向以及不属于前面9种关系的“Other”关系，共生成19类实体关系。其中训练数据 8000个，测试数据2717个。

     NYT2010数据集 是Riedel等人在2010年将Freebase知识库中的知识“三元组”对齐到“纽约时报”新闻中得到的训练数据。该数据集中，数据的单位是句包，一个句包由包含该实体对的若干句子构成。其中，训练数据集从《纽约时报》2005—2006年语料库中获取，测试集从2007年语料库中获取。

    基于深度学习的关系抽取方法模型构建的重点在于利用不同神经网络的特点来抽取样本的特征，以学习样本的向量表示。在学习过程中，根据所用的神经网络基本结构的不同，可将基于深度学习的关系抽取方法分为 基于递归神经网络（recursive neural network,Rec-NN）的方法 、 基于卷积神经网络的方法 、 基于循环神经网络（recurrent net neural net-work,RNN）的方法 和 基于混合网络模型的方法 四类。

     基于递归神经网络的关系抽取方法 首先利用自然语言处理工具对句子进行处理，构建特定的二叉树，然后解析树上所有的相邻子节点，以特定的语义顺序将其组合成一个父节点，如下图3所示。这个过程递归进行，最终计算出整个句子的向量表示。向量计算过程可以看作是将句子进行一个特征抽取过程，该方法对所有的邻接点采用相同的操作。

    由于句子含义跟单词出现的顺序是相关的，因此关系抽取可以看作是一个时序学习任务，可以使用循环神经网络来建模。

     基于循环神经网络的方法 在模型设计上使用不同的循环神经网络来获取句子信息，然后对每个时刻的隐状态输出进行组合，在句子层级学习有效特征。在关系抽取问题中，对每一个输入，关系的标记一般只在序列的最后得到。Zhang等首次使用双向循环神经网络来进行关系抽取，提出了BRNN模型。如下图7 所示，在双向循环神经网络中某一时刻的输出不仅依赖序列中之前的输入，也依赖于后续的输入。

    为了更好地抽取句子中的特征，研究人员 使用递归神经网络、卷积神经网络与循环神经网络3种网络及其他机器学习方法进行组合建模来进行关系抽取 。

    Vu等提 出 了 基 于 文 本 扩 展 表 示 的ECNN和基于链接的UniBRNN模型 ，将每个神经网络得到的多个结果根据投票机制得到关系的最终抽取结果。

    Xiao等将 注意力机制引入一个多级的循环神经网络 ，该方法使用文本序列作为输入，根据标记实体的位置将句子分为5部分，使用同一个双 向LSTM网络在3个子序列上独立学习，然后引入词层级的注意力机制关注重要的单词表示，分别得到子序列的向量表示；随后，使用双向RNN网络进一步抽取子序列和实体的特征，并再次使用注意力机制将其转换成句子的最终向量表示，并送入到分类器中。

    Nguyen等将 传统基于特征的方法（log-linear模型）、卷积神经网络方法和循环神经网络方法使用集成、投票等机制进行组合 。

    zhang等提出 在双向LSTM 的基础上叠加注意力机制 ，以及使用卷积神经网络层获取句子的表示，再送入到一个全连接层和softmax层进行分类。

    在联合学习问题上，Zheng等 使用递归神经网络和卷积神经网络组合来进行联合学习 ，也是一种共享底层网络参数的方法。

[1]庄传志,靳小龙，基于深度学习的关系抽取研究综述[J].中文信息学报,2019,33(12):1-18.

更多自然语言处理相关知识，还请关注 AINLPer公众号 ，极品干货即刻送达。

前期知识准备 ：RNN, CNN, BERT, SemEval-2010 Task 8数据集, F1值

关系分类是一个重要的NLP任务，其主要目标是提取出实体之间的关系。最先进的关系分类方法主要是基于CNN或RNN。最近，预训练BERT模型在许多NLP的分类和序列标注任务中都获得了非常好的结果。关系分类不同于其他NLP任务的主要原因是它既依赖于句子的信息，又依赖于两个目标实体的信息。在本文中，我们提出了一个用来解决关系分类任务的模型，它既利用了预训练的BERT语言模型，又结合来自目标实体的信息。我们定位目标实体并通过预训练结构传递信息，同时还结合了两个实体的相关编码。在SemEval-2010 Task 8任务上，相比目前的最优模型我们的方法获得了有效的提升。

R-BERT的预训练完全采用BERT模型，输入句子为单句，因此不需要添加[SEP]。其输出分为三部分，分别是[CLS]隐含状态向量和两个实体的隐含状态向量。作者认为第一部分可以保存句子的语义内容，后两个部分可以保存两个实体的信息。

其中，i ,j分别为第一个实体的首、尾字符位置；k,m分别为第二个实体的首、尾字符位置。神经网络中，权重系数和偏置系数均共享，即 W0 = W1 = W2，b0 = b1 = b2。

该数据集包含9类语义关系和一个Other类别，规定某关系如果不属于9类语义关系中的一种，则其属于Other类别。9类关系分别是：Cause-Effect、Component-Whole、Content-Container、Entity-Destination、Entity-Origin、Instrument-Angency、Member-Collection、Message-Topic和Product-Producer。数据集中共有10717个句子，8000个句子为训练集，2717个句子为测试集，每个句子包含e1和e2两个名词以及与该句子相关的关系类型。需要注意的是，关系是有向的，即关系（e1, e2）和关系（e2, e1）不同。

作者还在相同的数据集上比较了其他多种模型，其中包括：SVM、RNN、MVRNN、CNN+Softmax、FCM、CR-CNN、Attention CNN、Att-Pooling-CNN和Entity Attention Bi-LSTM，以F1值作为评测标准，其结果如下：

可见，R-BERT的F1值达到了89.25，相比于其他方法有着明显的优势。

为了探究BERT模型之外的部分对最后识别结果的影响，作者分别进行了如下额外实验，并得到结论：

（1）去除了实体前后的标识符，这种做法会使模型的F1值从89.25%降到87.98%，说明了标识符可以帮助提供实体信息。

（2）在BERT输出层仅使用[CLS]句子向量而不利用实体向量，这样会使得模型F1值从89.25%降到87.99%，说明主动明确实体信息对模型是有帮助的。

想办法给模型明确实体的位置对于关系抽取问题精度的提升是有帮助的。

https://zhuanlan.zhihu.com/p/78445887

https://blog.csdn.net/qq_36426650/article/details/96629835

我玩仙三的时候也这样，是游戏本身就有的BUG，可以去官网下补丁，我是没有去，玩着玩着就没事了，你要记住要存档啊~~~~

我玩仙四时也这样，重装了就没事了，要不都去试试

下面是网上一些内存出错的回答：

该内存不能read 或written数值 叙述

0 0x0000 作业完成。

1 0x0001 不正确的函数。

2 0x0002 系统找不到指定的档案。

3 0x0003 系统找不到指定的路径。

4 0x0004 系统无法开启档案。

5 0x0005 拒绝存取。

6 0x0006 无效的代码。

7 0x0007 储存体控制区块已毁。

8 0x0008 储存体空间不足，无法处理这个指令。

9 0x0009 储存体控制区块位址无效。

10 0x000a 环境不正确。

11 0x000b 尝试载入一个格式错误的程式。

12 0x000c 存取码错误。

13 0x000d 资料错误。

14 0x000e 储存体空间不够，无法完成这项作业。

15 0x000f 系统找不到指定的磁碟机。

16 0x0010 无法移除目录。

17 0x0011 系统无法将档案移到 其他的磁碟机。

18 0x0012 没有任何档案。

19 0x0013 储存媒体为防写状态。

20 0x0014 系统找不到指定的装置。

21 0x0015 装置尚未就绪。

22 0x0016 装置无法识别指令。

23 0x0017 资料错误 (cyclic redundancy check)

24 0x0018 程式发出一个长 度错误的指令。

25 0x0019 磁碟机在磁碟找不到 持定的磁区或磁轨。

26 0x001a 指定的磁碟或磁片无法存取。

27 0x001b 磁碟机找不到要求的磁区。

28 0x001c 印表机没有纸。

29 0x001d 系统无法将资料写入指定的磁碟机。

30 0x001e 系统无法读取指定的装置。

31 0x001f 连接到系统的某个装置没有作用。

32 0x0020 the process cannot access the file because it is being used by another process.

33 0x0021 档案的一部份被锁定， 现在无法存取。

34 0x0022 磁碟机的磁片不正确。 请将 %2 (volume serial number: %3) 插入磁碟机 %1。

36 0x0024 开启的分享档案数量太多。

38 0x0026 到达档案结尾。

39 0x0027 磁碟已满。

50 0x0032 不支援这种网路要求。

51 0x0033 远端电脑无法使用。

52 0x0034 网路名称重复。

53 0x0035 网路路径找不到。

54 0x0036 网路忙碌中。

55 0x0037 the specified network resource or device is no longer available.

56 0x0038 the network bios command limit has been reached.

57 0x0039 网路配接卡发生问题。

58 0x003a 指定的伺服器无法执行要求的作业。

59 0x003b 网路发生意外错误。

60 0x003c 远端配接卡不相容。

61 0x003d 印表机伫列已满。

62 0x003e 伺服器的空间无法储存等候列印的档案。

63 0x003f 等候列印的档案已经删除。

64 0x0040 指定的网路名称无法使用。

65 0x0041 拒绝存取网路。

66 0x0042 网路资源类型错误。

67 0x0043 网路名称找不到。

68 0x0044 超过区域电脑网路配接卡的名称限制。

69 0x0045 超过网路 bios 作业阶段的限制。

70 0x0046 远端伺服器已经暂停或者正在起始中。

71 0x0047 由于连线数目已达上限，此时无法再连线到这台远端电脑。

72 0x0048 指定的印表机或磁碟装置已经暂停作用。

80 0x0050 档案已经存在。

82 0x0052 无法建立目录或档案。

83 0x0053 int 24 失败

84 0x0054 处理这项要求的储存体无法使用。

85 0x0055 近端装置名称已经在使用中。

86 0x0056 指定的网路密码错误。

87 0x0057 参数错误。

88 0x0058 网路发生资料写入错误。

89 0x0059 此时系统无法执行其他行程。

100 0x0064 无法建立其他的系统 semaphore。

101 0x0065 属于其他行程专用的 semaphore 。

102 0x0066 semaphore 已经设定，而且无法关闭。

103 0x0067 无法指定 semaphore 。

104 0x0068 在岔断时间无法要求专用的 semaphore 。

105 0x0069 此 semaphore 先前的拥有权已经结束。

106 0x006a 请将磁片插入 %1。

107 0x006b 因为代用的磁片尚未插入，所以程式已经停止。

108 0x006c 磁碟正在使用中或被锁定。

109 0x006d pipe 已经中止。

110 0x006e 系统无法开启指定的 装置或档案。

111 0x006f 档名太长。

112 0x0070 磁碟空间不足。

113 0x0071 没有可用的内部档案识别字。

114 0x0072 目标内部档案识别字不正确。

117 0x0075 由应用程式所执行的 ioctl 呼叫 不正确。

118 0x0076 写入验证参数值不正确。

119 0x0077 系统不支援所要求的指令。

120 0x0078 此项功能仅在 win32 模式有效。

121 0x0079 semaphore 超过逾时期间。

122 0x007a 传到系统呼叫的资料区域 太小。

123 0x007b 档名、目录名称或储存体标签语法错误。

124 0x007c 系统呼叫层次不正确。

125 0x007d 磁碟没有设定标签。

126 0x007e 找不到指定的模组。

127 0x007f 找不到指定的程序。

128 0x0080 没有子行程可供等待。

129 0x0081 %1 这个应用程式无法在 win32 模式下执行。

130 0x0082 attempt to use a file handle to an open disk partition for an

operation other than raw disk i/o.

131 0x0083 尝试将档案指标移至档案开头之前。

132 0x0084 无法在指定的装置或档案，设定档案指标。

133 0x0085 join 或 subst 指令 无法用于 内含事先结合过的磁碟机。

134 0x0086 尝试在已经结合的磁碟机，使用 join 或 subst 指令。

135 0x0087 尝试在已经替换的磁碟机，使 用 join 或 subst 指令。

136 0x0088 系统尝试删除 未连结过的磁碟机的连结关系。

137 0x0089 系统尝试删除 未替换过的磁碟机的替换关系。

138 0x008a 系统尝试将磁碟机结合到已经结合过之磁碟机的目录。

139 0x008b 系统尝试将磁碟机替换成已经替换过之磁碟机的目录。

140 0x008c 系统尝试将磁碟机替换成已经替换过之磁碟机的目录。

141 0x008d 系统尝试将磁碟机 subst 成已结合的磁碟机 目录。

142 0x008e 系统此刻无法执行 join 或 subst。

143 0x008f 系统无法将磁碟机结合或替换同一磁碟机下目录。

144 0x0090 这个目录不是根目录的子目录。

145 0x0091 目录仍有资料。

146 0x0092 指定的路径已经被替换过。

147 0x0093 资源不足，无法处理这项 指令。

148 0x0094 指定的路径这时候无法使用。

149 0x0095 尝试要结合或替换的磁碟机目录，是已经替换过的的目标。

150 0x0096 config.sys 档未指定系统追踪资讯，或是追踪功能被取消。

151 0x0097 指定的 semaphore事件 dosmuxsemwait 数目不正确。

152 0x0098 dosmuxsemwait 没有执行；设定太多的 semaphore。

153 0x0099 dosmuxsemwait 清单不正确。

154 0x009a 您所输入的储存媒体标 元长度限制。

155 0x009b 无法建立其他的执行绪。

156 0x009c 接收行程拒绝接受信号。

157 0x009d 区段已经被舍弃，无法被锁定。

158 0x009e 区段已经解除锁定。

159 0x009f 执行绪识别码的位址不正确。

160 0x00a0 传到 dosexecpgm 的引数字串不正确。

161 0x00a1 指定的路径不正确。

162 0x00a2 信号等候处理。

164 0x00a4 系统无法建立执行绪。

167 0x00a7 无法锁定档案的部份范围。

170 0x00aa 所要求的资源正在使用中。

173 0x00ad 取消范围的锁定要求不明显。

174 0x00ae 档案系统不支援自动变更锁定类型。

180 0x00b4 系统发现不正确的区段号码。

182 0x00b6 作业系统无法执行 %1。

183 0x00b7 档案已存在，无法建立同一档案。

186 0x00ba 传送的旗号错误。

187 0x00bb 指定的系统旗号找不到。

188 0x00bc 作业系统无法执行 %1。

189 0x00bd 作业系统无法执行 %1。

190 0x00be 作业系统无法执行 %1。

191 0x00bf 无法在 win32 模式下执行 %1。

192 0x00c0 作业系统无法执行 %1。

193 0x00c1 %1 不是正确的 win32 应用程式。

194 0x00c2 作业系统无法执行 %1。

195 0x00c3 作业系统无法执行 %1。

196 0x00c4 作业系统无法执行 这个应用程式。

197 0x00c5 作业系统目前无法执行 这个应用程式。

198 0x00c6 作业系统无法执行 %1。

199 0x00c7 作业系统无法执行 这个应用程式。

200 0x00c8 程式码的区段不可以大于或等于 64kb。

201 0x00c9 作业系统无法执行 %1。

202 0x00ca 作业系统无法执行 %1。

203 0x00cb 系统找不到输入的环境选项。 \r

205 0x00cd 在指令子目录下，没有任何行程有信号副处理程式。

206 0x00ce 档案名称或副档名太长。

207 0x00cf ring 2 堆叠使用中。

使用Windows操作系统的人有时会遇到这样的错误信息：“0X????????指令引用的 0x00000000内存，该内存不能written”，然后应用程序被关闭。如果去请教一些“高手”，得到的回答往往是“Windows就是这样不稳定”之类的义愤和不屑。其实，这个错误并不一定是Windows不稳定造成的。本文就来简单分析这种错误的常见原因。

内存不能为read的问题是一个非常复杂的问题，造成的原因是多方面的，有硬件的原因，也有软件的原因，一时半会儿很难搞的清楚。就是对那些整天玩电脑的老手来说也是一个非常辣手的问题。就我个人的理解，大多与使用非原版的系统而产生的不稳定性有关，轻易很难修复。所以我一般的主张是，只要不是频繁出现，可以不必管它，点一下“确定”或者“取消”就可以了。如果真有兴趣想研究一下的话，你可以试着从一下方面寻找原因：

1. 内存条坏了或与主板不兼容 更换内存条

2. 双内存不兼容 使用同品牌的内存或只要一条内存

3. 内存质量问题 更换内存条

4. 散热问题 加强机箱内部的散热

5. 内存和主板没插好或其他硬件不兼容 重插内存或换个插槽

6. 硬盘有问题 更换硬盘

7. 驱动问题 重装驱动,如果是新系统,应先安装主板驱动

8. 软件损坏 重装软件

9. 软件有BUG 打补丁或更新到最新版本

10 软件和系统不兼容 给软件打上补丁或是试试系统的兼容模式

11 软件和软件之间有冲突 如果最近安装了什么新软件,卸载了试试

12 软件要使用其他相关的软件有问题 重装相关软件,比如播放某一格式的文件时出错,可能是这个文件的解码器有问题

13 病毒问题 杀毒

14 杀毒软件与系统或软件相冲突 由于杀毒软件是进入底层监控系统的,可能与一些软件相冲突,卸载试试

15 系统本身有问题 有时候操作系统本身也会有BUG,要注意安装官方发行的更新程序,象SP的补丁,最好打上

——最后我再强调一下，不是所有的电脑问题我们普通人都能搞得清摸得透的，以上的方法即使都已试过，谁也不能保证一定能够解决你的问题，因为电脑的问题的确很复杂，“不能为read”这仅仅是一个症状，单凭这一个小小的症状是很难一下子找到问题所在的。我们都希望当说明了问题之后能够马上得到满意的回答，有时候是不可能的，必须慢慢的摸索才能知道问题所在。如果想省心的话，也许只有最后这两点建议最有用：一是不管它（反正也没有大碍），二是重装一个稳定的系统。说到系统，这也是我要说的重点，实际上我们的电脑之所以出现“内存不能为read的问题”，大多都与安装了Ghost系统有关，“内存不能为read”现象可以说是Ghost系统的一个不可修复的通病。所以我建议你用原版系统盘重装系统。关于什么是Ghost系统，我在这里也解释一下（好多现在正在使用Ghost系统的人都不知道自己的系统是Ghost系统），所谓Ghost系统，就是指像那些番茄花园、电脑公司版、雨林木风、萝卜家园等改版本的XP系统，即非原版的系统。你可以通过点“我的电脑”右键-属性来查看你的系统属性。

下面有两种处理方法可以试试：【如果不行只有恢复或重装系统了】

（1）试用命令排除

开始－运行－ 输入cmd-- 回车，在命令提示符下输入下面命令

for %1 in (%windir%\system32\*.dll) do regsvr32.exe /s %1

怕输入错误，可以复制这条指令，然后在命令提示符后击鼠标右键，打“粘贴”，回车，耐心等待，直到屏幕滚动停止为止。

（2）运行regedit进入注册表, 在HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Explorer\ShellExecuteHooks 下，应该只有一个正常的键值{AEB6717E-7E19-11d0-97EE-00C04FD91972}, 将其他的删除。

---