必读！信息抽取(Information Extraction)【关系抽取】

     信息抽取（information extraction），简称IE，即从自然语言文本中，抽取出特定的事件或事实信息，帮助我们将海量内容自动分类、提取和重构。这些信息通常包括实体（entity）、关系（relation）、事件（event）。 例如从新闻中抽取时间、地点、关键人物，或者从技术文档中抽取产品名称、开发时间、性能指标等。能从自然语言中抽取用户感兴趣的事实信息，无论是在知识图谱、信息检索、问答系统还是在情感分析、文本挖掘中，信息抽取都有广泛应用。

     信息抽取主要包括三个子任务 ：

     关系抽取 ：通常我们说的三元组(triple)抽取，主要用于抽取实体间的关系。

     实体抽取与链指 ：也就是命名实体识别。

     事件抽取 ：相当于一种多元关系的抽取。

     关系抽取（RE）是为了抽取文本中包含的关系，是信息抽取（IE）的重要组成部分 。主要负责从无结构文本中识别出实体，并抽取实体之间的语义关系，被广泛用在信息检索、问答系统中。本文从关系抽取的 基本概念 出发，依据不同的视角对 关系抽取方法进行了类别划分 ；最后分享了基于深度学习的关系抽取方法常用的数据集，并总结出基于深度学习的关系抽取框架。

    完整的关系抽取包括实体抽取和关系分类两个子过程。实体抽取子过程也就是命名实体识别，对句子中的实体进行检测和分类； 关系分类子过程对给定句子中两个实体之间的语义关系进行判断，属于多类别分类问题 。

    例如，对于句子“青岛坐落于山东省的东部”，实体抽取子过程检测出这句话具有“青岛”和“山东”两个实体。关系分类子过程检测出这句话中“青岛”和“山东”两个实体具有“坐落于”关系而不是“出生于”关系。在关系抽取过程中，多数方法默认实体信息是给定的，那么关系抽取就可以看作是分类问题。

    目前， 常用的关系抽取方法有5类，分别是基于模式匹配、基于词典驱动、基于机器学习、基于本体和混合的方法 。基于模式匹配和词典驱动的方法依靠人工制定规则，耗时耗力，而且可移植性较差，基于本体的方法构造比较复杂，理论尚不成熟。 基于机器学习的方法以自然语言处理技术为基础，结合统计语言模型进行关系抽取，方法相对简单，并具有不错的性能，成为当下关系抽取的主流方法，下文提到的关系抽取方法均为机器学习的方法 。

    关于信息关系抽取，可以 从训练数据的标记程度 、 使用的机器学习方法 、 是否同时进行实体抽取 和 关系分类子过程以及是否限定关系抽取领域和关系专制 四个角度对机器学习的关系抽取方法进行分类。

    根据训练数据的标记程度可以将关系抽取方法分为 有监督、半监督和无监督三类 。

     有监督学习 ，处理的基本单位是包含特定实体对的句子，每一个句子都有类别标注。 优点 ：取能够有效利用样本的标记信息，准确率和召回率都比较高。 缺点 ：需要大量的人工标记训练语料，代价较高。

     半监督学习 ，句子作为训练数据的基本单位，只有部分是有类别标注的。此类方法让学习器不依赖外界交互，自动地利用未标记样本来提升学习性能。

     无监督学习 ，完全不需要对训练数据进行标注，此类方法包含实体对标记、关系聚类和关系词选择三个过程。

    根据使用机器学习方法不同，可以将关系抽取划分为三类： 基于特征向量的方法 、 基于核函数的方法 以及 基于神经网络的方法 。

     基于特征向量的方法 ，通过从包含特定实体对的句子中提取出语义特征，构造特征向量，然后通过使用支持向量机、最大熵、条件随机场等模型进行关系抽取。

     基于核函数的方法 ，其重点是巧妙地设计核函数来计算不同关系实例特定表示之间的相似度。 缺点 ：而如何设计核函数需要大量的人类工作，不适用于大规模语料上的关系抽取任务。

     基于神经网络的方法 ，通过构造不同的神经网络模型来自动学习句子的特征，减少了复杂的特征工程以及领域专家知识，具有很强的泛化能力。

    根据是否在同一个模型里开展实体抽取和关系分类，可以将关系抽取方法分为 流水线（pipeline）学习 和 联合（joint）学习两种 。

     流水线学习 是指先对输入的句子进行实体抽取，将识别出的实体分别组合，然后再进行关系分类，这两个子过程是前后串联的，完全分离。

     联合学习 是指在一个模型中实现实体抽取和关系分类子过程。该方法通过使两个子过程共享网络底层参数以及设计特定的标记策略来解决上述问题，其中使用特定的标记策略可以看作是一种序列标注问题。

    根据是否限定抽取领域和关系类别，关系抽取方法可以划分为 预定义抽取 和 开放域抽取 两类。

     预定义关系抽取 是指在一个或者多个固定领域内对实体间关系进行抽取，语料结构单一，这些领域内的目标关系类型也是预先定义的。

     开放域关系抽取 不限定领域的范围和关系的类别。现阶段，基于深度学习的关系抽取研究集中于预定义关系抽取。

    基于深度学习的关系抽取方法常用的数据集有 ACE关系抽取任务数据集 、 SemEval2010 Task 8数据集 、 NYT2010数据集 等.

     ACE关系抽取任务数据集 ：ACE2005关系抽取数据集包含599篇与新闻和邮件相关的文档，其数据集内包含7大类25小类关系。

     SemEval2010 Task 8数据集 ：该数据集包含9种关系类型，分别是Compoent-Whole、Instrument-Agency、Member-Collection、Cause-Effect、Entity-Destination、Content-Container、Message-Topic、Product-Producer和Entity-Origin。 考虑到实体之间关系的方向以及不属于前面9种关系的“Other”关系，共生成19类实体关系。其中训练数据 8000个，测试数据2717个。

     NYT2010数据集 是Riedel等人在2010年将Freebase知识库中的知识“三元组”对齐到“纽约时报”新闻中得到的训练数据。该数据集中，数据的单位是句包，一个句包由包含该实体对的若干句子构成。其中，训练数据集从《纽约时报》2005—2006年语料库中获取，测试集从2007年语料库中获取。

    基于深度学习的关系抽取方法模型构建的重点在于利用不同神经网络的特点来抽取样本的特征，以学习样本的向量表示。在学习过程中，根据所用的神经网络基本结构的不同，可将基于深度学习的关系抽取方法分为 基于递归神经网络（recursive neural network,Rec-NN）的方法 、 基于卷积神经网络的方法 、 基于循环神经网络（recurrent net neural net-work,RNN）的方法 和 基于混合网络模型的方法 四类。

     基于递归神经网络的关系抽取方法 首先利用自然语言处理工具对句子进行处理，构建特定的二叉树，然后解析树上所有的相邻子节点，以特定的语义顺序将其组合成一个父节点，如下图3所示。这个过程递归进行，最终计算出整个句子的向量表示。向量计算过程可以看作是将句子进行一个特征抽取过程，该方法对所有的邻接点采用相同的操作。

    由于句子含义跟单词出现的顺序是相关的，因此关系抽取可以看作是一个时序学习任务，可以使用循环神经网络来建模。

     基于循环神经网络的方法 在模型设计上使用不同的循环神经网络来获取句子信息，然后对每个时刻的隐状态输出进行组合，在句子层级学习有效特征。在关系抽取问题中，对每一个输入，关系的标记一般只在序列的最后得到。Zhang等首次使用双向循环神经网络来进行关系抽取，提出了BRNN模型。如下图7 所示，在双向循环神经网络中某一时刻的输出不仅依赖序列中之前的输入，也依赖于后续的输入。

    为了更好地抽取句子中的特征，研究人员 使用递归神经网络、卷积神经网络与循环神经网络3种网络及其他机器学习方法进行组合建模来进行关系抽取 。

    Vu等提 出 了 基 于 文 本 扩 展 表 示 的ECNN和基于链接的UniBRNN模型 ，将每个神经网络得到的多个结果根据投票机制得到关系的最终抽取结果。

    Xiao等将 注意力机制引入一个多级的循环神经网络 ，该方法使用文本序列作为输入，根据标记实体的位置将句子分为5部分，使用同一个双 向LSTM网络在3个子序列上独立学习，然后引入词层级的注意力机制关注重要的单词表示，分别得到子序列的向量表示；随后，使用双向RNN网络进一步抽取子序列和实体的特征，并再次使用注意力机制将其转换成句子的最终向量表示，并送入到分类器中。

    Nguyen等将 传统基于特征的方法（log-linear模型）、卷积神经网络方法和循环神经网络方法使用集成、投票等机制进行组合 。

    zhang等提出 在双向LSTM 的基础上叠加注意力机制 ，以及使用卷积神经网络层获取句子的表示，再送入到一个全连接层和softmax层进行分类。

    在联合学习问题上，Zheng等 使用递归神经网络和卷积神经网络组合来进行联合学习 ，也是一种共享底层网络参数的方法。

[1]庄传志,靳小龙，基于深度学习的关系抽取研究综述[J].中文信息学报,2019,33(12):1-18.

更多自然语言处理相关知识，还请关注 AINLPer公众号 ，极品干货即刻送达。

sabatier原理：控制水的界面吸附。

1、负载型纳米催化剂的稳定性是应对环境和能源挑战的关键，需要基础理论来缓解试错实验和加速实验室到工厂的转换。

2、该文中，研究人员报告了金属-载体相互作用的Sabatier原理，该原理基于323个金属-载体对的动力学模拟，使用1252个能量学数据的标度关系，用于稳定金属纳米催化剂以止烧结。相互作用太强会触发Ostwald粗化，而相互作用太弱会刺激粒子迁移和聚结。载体的高通量筛选使纳米催化剂的烧结阻力在均匀载体上达到Tammann温度，在异质载体上远远超过Tammann温度。

3、该理论得通过第一性原理神经网络分子动力学模拟和实验得到了验证，为设计超稳定纳米催化剂奠定了基础。

4、这项研究报告了表面改性淀粉颗粒（SPs）的结构表征和理化性质。通过在固溶界面处控制十六烷基溴化十六烷基吡啶溴化物（CPB）的沉积来图案化SP的表面，并增加CPB的负荷，表示为SP-CPB X，其中X= 0.5、2.5或5.0 mM CPB。通过多种互补方法对表面图案化的SP进行了表征：光谱法（NMR，FT-IR，Raman和SEM），热分析法（DSC和TGA），粉末X射线衍射（PXRD），重量法溶剂溶胀，Zeta-电势（ζ）和粒度分布（PSD）。NMR光谱结果显示CPB通过吡啶基头基团结合在淀粉-溶剂界面上，而SP的三级结构在CPB掺杂范围内得以保持，如SEM和PXRD结果所揭示。SP-CPB X系统的ζ值结果显示淀粉表面的负ζ值，其中CPB表面图案的可变水平出现可调的表面性质，这与水的可变吸附亲和力证明了这一点。SP-CPB在水中的溶剂溶胀X系统揭示了水合性质对CPB表面构图水平的依赖性，这是根据SP-CPB0.5系统独特的理化性质，根据活性表面位点的相对可及性而突出的。SP-CPB X的DSC / TGA和拉曼/ NMR光谱结果系统进一步支持CPB的可变表面覆盖率可根据Sabatier原理控制水的界面吸附。此外，在多种常见细菌菌株中比较了SP-CPB0.5系统的抗菌活性，该菌株的抗菌活性达到或超过了常规抗生素吸收的SP的活性。这项研究强调，表面活性剂改性淀粉是一种可持续的材料，具有独特的吸附性能，可在表面活性剂图案化后进行切换。涂有CPB的SP具有改善的抗菌稳定性和多功能性，具有潜在的实用性，可作为涉及基于吸附工艺的各种应用的可持续载体系统。

问题一：想考大数据分析师应该学什么？ 数据分析师是为了适应大数据时代要求，加强正规化、专业化、职业化的数据分析师人才队伍建设，进一步提升我国数据分析员师的职业素质和能力水平，经国家相关部委统一颁布实施，旨在通过掌握大量行业数据以及科学的计算工具，将经济学原理用数学模型表示，科学合理的分析投资和运营项目未来的收益及风险情况，为做出科学合理的决策提供依据。

数据分析师由工业和信息化部教育与考试中心和中国商业联合会数据分析专业委员会统一安排考核，考试共有三门《数据分析基础》《量化经营》《量化投资》，每门100分，60分及格制

问题二：数据分析师需要掌握哪些能力，需要做哪些准备 不管是什么行业的数据分析师，必须要掌握的技能是：

该行业的行业知识和经验，不能低于行业专家的平均水平

必须具有的数学知识，例如统计分析、数理统计、模糊数学、线性代数、建模方法等等

IT技术：数据库技术、大数据技术、离散数学算法。甚至是编程技术，例如C、Fortran、Java、falsh等

我曾经作为销售，在类似行当工作多年，一点点体会仅供参考。

-:(来自淘宝网的【京东藏宝斋】

问题三：想找数据分析的实习 应该学些什么 我做过一段时间 不过是和推广混着做的，个人觉得电商的数据分析没什么大的前途，如果真的想在数据分析行业发展的话，建议你找个有机会学建模的行业，那样出去以后到哪都吃香，或者找个需要用到统计学软件的行业，那样也好，如果你只是准备阶段建议你参加一下全国数学建模大赛，像多元统计分析，计量经济学，数理统计，这些都挺重要的

问题四：想要做数据分析师应选择什么专业？ 统计（有统计理论）、计算机专业（会编程序实现）。其实专业关系不大，只要想做，都可以慢慢的做到

问题五：如何自学成为数据分析师 中文专业的前期要多花点功夫了啊，我是数学专业的，大学做过建模，所有统计学的东西还有一些软件多少接触过一点。建议你自学的话，excel软件和spss先熟悉一下，找两本书看看，《谁说菜鸟不会数据分析》是入门的，可以看一看，先了解一下吧，数据分析的东西还是要多实践的。如果你现在工作跟数据分析没有什么关系的话，转业工作可能有点困难，这种情况建议去考个证书吧，虽然现在国内数据分析刚起步，还没有太有含金量的证书，不过你这种情况有肯定比没有好，我就去考了一个，考CPDA吧，还有一个CDA，我选考的CPDA，说是CDA国外有机构什么的，但是我找不到任何网站可以查到这个证书，问他们他们也不说，我怕找工作人家要查查不到，但是CPDA工信部网站能查询证书信息的，所以对就业帮助可能会大一些，工作还是有参考作用的，不过指望靠班学到很多还是不可能，只是让你了解入门，手上多个敲门砖。数据分析属于技术类工种，要多实践，数据采集和挖掘是基础，这些工作门槛比数据分析岗相对低一些，好找，希望对你有帮助。

问题六：如果想成为一名数据分析师，需要具备哪些基本知识 一、 办公软件

1） 熟练使用excel， Access，Visio等MS Office办公软件，可以制作相关的原型； （MS即microsoft微软，MS Office 是微软提供的系列软件，Word， Excel， PowerPoint， Access， OutLook，Publisher，InfoPath这7个办公软件中，常用的是前4个。） 2） 重点掌握EXCEL表，会使用高级功能，能快速制作报表，熟练使用EXCEL VBA；

二、 数据分析软件及方法

1）熟练使用各种数理统计、数据分析、数据挖掘工具软件，熟悉各种网站分析软件的应用，如Google Analytics 、百度统计、Omniture等；

2）具备相关数据分析软件的使用经验SPSS\SAS\EVIEW\STATA\R\Weka……

3）至少精通使用IBM Intelligent Miner、SAS Enterprise Miner、SPSS Clementine、LEVEL5Quest、SGI、WinRosa、ExcelVBA、S-plus、Matlab、SSIS等等常见数据挖掘软件中的一个进行数据挖掘的 开发工作；

4）熟练使用至少一种网站流量分析工具（Google Analytics、Webtrends、百度统计等），并掌握分析工具的部署、配置优化和权限管理；

5）精通一种或多种数据挖掘算法（如聚类、回归、决策树等）； 6）熟悉维基编辑者优先； 7）使用软件的要求；

（7.1）掌握数据分析、挖掘方法，具备使用Excel、SQL、SPSS/SAS、Powerpoint等工具处理和分析较大量级数据的能力；

（7.2）能够综合使用各种数理统计、数据分析、制表绘图等软件进行图表、图像以及文字处理；

（7.3）掌握常用的数据统计、分析方法，有敏锐的洞察力和数据感觉，优秀的数据分析能力；

（7.4）能够综合使用各种数理统计、数据分析、数据挖掘、制表绘图等软件进行具有基本数据美感的图表、图像以及文字处理 。

三、 数据库语言

1）熟悉Linux操作系统及至少一种脚本语言(Shell/Perl/Python)；

2）熟练掌握C/C++/Java中的一种，有分布式平台（如Hadoop）开发经验者优先； 3）熟悉数据库原理及SQL基本操作；

（3.1）了解Mysql，postgresql，sql server等数据库原理，熟悉SQL，具备很强的学习能力，写过程序，会perl，python等脚本语言者优先； （3.2）熟练应用mysql的select，update等sql语句； 4）熟悉sql server或其他主流数据库，熟悉olap原理； 5）熟悉Oracle或其他大型数据库。

四、 思维能力等方面

1）具备良好的行业分析、判断能力、及文字表达能力；

2）沟通、协调能力强，有较高的数据敏感性及分析报告写作能力； 3）理解网站运营的常识，能从问题中引申出解决方案，提供设计改进建议；

4）具有良好经济学、统计学及相关领域的理论基础，熟悉数理统计、数据分析或市场研究的工作方法，具有较强的数据分析能力；

5）熟悉数据分析与数理统计理论，具有相关课程研修经历。

五、 其他要求

1）较强的英文听说读写能力，英语6级以上；

2）文笔良好；

3）了解seo,sem优先；

4）知识要求：同时具备统计学、数据库、经济学三个领域的基础知识；英语四级或以上、熟悉指标英文......>>

问题七：学数据分析师有专业要求吗？ 你好，是没有专业要求的，只要你数据基础不是太差，通过下面几步就可以成为一名数据分析师。

第一步：统计概率理论基础

这是重中之重，千里之台，起于垒土，最重要的就是最下面的那几层。统计思维，统计方法，这里首先是市场调研数据的获取与整理，然后是最简单的描述性分析，其次是常用的推断性分析，方差分析，到高级的相关，回归等多元统计分析，掌握了这些原理，才能进行下一步。

第二步：软件操作结合分析模型进行实际运用

关于数据分析主流软件有（从上手度从易到难）：Excel，SPSS，Stata，R，SAS等。首先是学会怎样操作这些软件，然后是利用软件从数据的清洗开始一步步进行处理，分析，最后输出结果，检验及解读数据。

第三步：数据挖掘或者数据分析方向性选择

其实数据分析也包含数据挖掘，但在工作中做到后面会细分到分析方向和挖掘方向，两者已有区别，关于数据挖掘也涉及到许多模型算法，如：关联法则、神经网络、决策树、遗传算法、可视技术等。

第四步：数据分析业务应用

这一步也是最难学习的一步，行业有别，业务不同，业务的不同所运用的分析方法亦有区分，实际工作是解决业务问题，因此对业务的洞察能力非常重要，而这个能力是需要在工作之中一点一滴的积累，也许目前是做零售，会用到一些相关回归方法，但转行做电商，又会用到其他的挖掘等方法。业务虽千变万化，但是分析方法却万变不离其宗，所以掌握好技术用到任何一个环境靠的只有是业务经验的积累。

当然，考个CDA的数据分析师证书就更好了。

问题八：数据分析师学习方式是什么，数据分析师课程内容包括什么，数据分析师在哪里培训？ 一.数据分析师的学习方式是面授和远程。

面授

项目数据分析师培训课程涉及到经济学、市场营销学、财务管理学、计量经济学、预测学、金融学等多方面知识，需要学员具备全面性理论基础知识贮备。我们对各个学科中项目分析所要用到的知识点进行了深入分析，在讲义中详细说明，使学员可在相对准确的领域内迅速掌握知识并加以运用。做到能够让学员将课本上所学的东西真正变为可以利用的有效工具。

远程学习

时间为一年整，采取先进的同步教学方式，保证学习质量，具体特点如下：

a、面授期间（8天面授），更新课程五次，通过每周的更新课程，让学员不仅可以在面授前提前预习基础知识，而且可以通过远程学习中心提交作业、知识点自我测试、考试复习、习题解答、在线答疑、案例参与等综合项目更好的掌握知识。

b、面授结束后，学员还有11个月的远程学习时间，每月一次的课件更新，使学员不仅能顺利适应项目数据分析师的认证考试，而且可以掌握各种数据分析的拓展知识和技能，为分析师在未来能够胜任专业分析工作奠定深厚基础。

c、远程学习不仅有丰富的文字学习内容，而且大比例增加了音频、视频课件，使学员可以通过生动的课件完成阶段性学习。

d、远程学习中心为学员提供学习计划制定、班级交流、继续教育等功能，帮助学员自觉学习、实现更好的学习效果。

二.数据分析的课程有四本书：数据分析基础、量化经营、量化投资、战略管理

三、数据分析师在全国各地都有授权管理中心上课，北京、上海、广东等都有，具体的要看您在哪里。

问题九：数据分析师培训，什么人适合学数据分析 数据分析师需要学习以下几个方面的课程：

（1）数据管理。

a、数据获取。

企业需求:数据库访问、外部数据文件读入

案例分析:使用产品信息文件演示spss的数据读入共能。

b、数据管理。

企业需求:对大型数据进行编码、清理、转换。

案例分析:使用银行信用违约信息文件spss相应过程。

1）数据的选择、合并与拆分、检查异常值。

2）新变量生成，SPSS函数。

3）使用SPSS变换数据结构――转置和重组。

4）常用的描述性统计分析功能。频率过程、描述过程、探索过程。

c、数据探索和报表呈现。

企业需求:对企业级数据进行探索，主要涉及图形的使用。spss报表输出。

案例分析:企业绩效文件，如何生成美观清晰的报告。

1）制作报表前对变量的检查

2）制作报表的中对不同类型的数据处理

3） 报表生成功能与其他选项的区别

（2）数据处理

a、相关与差异分析。

案例分析:产品合格率的相关与差异分析。

b、线性预测。

企业需求: 探索影响企业效率的因素，并进一步预测企业效率。

案例分析:产品合格率的影响因素及其预测分析。

c、因子分析。

企业需求: 需要抽取影响企业效率的主要因素，进行重点投资

案例分析:客户购买力信息研究。

d、聚类分析。

企业需求: 需要了解购买产品的客户信息

案例分析:客户购买力信息研究

e、bootstrap。

案例分析: bootstrap抽样。

（3）SPSS代码

SPSS代码应用

问题十：大数据分析师 应该要学什么知识？ 1、需要有应用数学、统计学、数量经济学专业本科或者工学硕士层次水平的数学知识背景。

2、至少熟练SPSS、STATISTIC、Eviews、SAS等数据分析软件中的一门。

3、至少能够用Acess等进行数据库开发；

4、至少掌握一门数学软件：matalab，mathmatics进行新模型的构建。

5、至少掌握一门编程语言；

6，当然还要其他应用领域方面的知识，比如市场营销、经济统计学等，因为这是数据分析的主要应用领域。

---