联系：都是模仿人类行为的数学模型以及算法。神经网络的研究能促进或者加快人工智能的发展。
区别如下：
一、指代不同
1、人工智能：是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。
2、神经网络：是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。
二、方法不同
1、人工智能：企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。
2、神经网络：依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。
三、目的不同
1、人工智能：主要目标是使机器能够胜任一些通常需要人类智能才能完成的复杂工作。
2、神经网络：具有初步的自适应与自组织能力。在学习或训练过程中改变突触权重值，以适应周围环境的要求。同一网络因学习方式及内容不同可具有不同的功能。
参考资料来源：百度百科-人工智能
参考资料来源：百度百科-神经网络
姓名：陈心语 学号：21009102266 书院：海棠1号书院
转自： 人工智能在搜索中的应用_u014033218的专栏-CSDN博客
人工智能在搜索的应用和实践_qq_40954115的博客-CSDN博客
【嵌牛导读】日常生活中的搜索和推荐算法也与人工智能有所关联，让我们一起来看看吧！
【嵌牛鼻子】人工智能运用于搜索和推荐算法。
【嵌牛提问】人工智能在搜索和推荐算法中有什么运用呢？
【嵌牛正文】
智能交互
智能交互有三个方面的这部分组成，第一个就是Query推荐，这是比较古老的课题；第二个做智能导购，这是现在正在做的一个原形，后面我会讲为什么做智能导购；第三个内容的展示和个性化的创意。就是说你把商品怎么展示给用户，也是我们认为是交互的一部分。
第一个是Query推荐，这个问题怎么来抽象呢？Query推荐是一个用户当前Query下面我们怎么推荐其它Query，这是我们相关搜索一样的。我们推荐这样的一个Query以后，如果用户一旦点了其中的一个Query，用户的状态就会发生变化，从当前的Query跳到另外一个Query，这是用户状态的变化。第二个就是说我们怎么评价我们推荐的Query的好坏，它由几部分组成，一个Query有没有被点，第二个就是说推荐Query里面，它的SRP页会不会点，因为Query推荐本质上不是Query推荐做的最好就是最好的，它是说最终要在搜索SRP用户有没有买，有没有点击，这才是做的好的，这是第二个收益。还有一个更加间接的，通过Query推，这个状态转到下一个状态以后，这个里面还会推其它Query，还会有其它点击，这个时候也是个间接推荐。如果我不推Query就不能到这个状态，不到状态不会有这个Query，不会有这个收益。我们了解，这就是典型的一个马尔科夫决策过程，我们是用强化学习来做的，Actions就是我们的Query list，根据用户和当前Query推荐其他Query，状态就是User + Query，收益就是包括推荐Query击，还有一个间接收益，间接收益通过bellman 公式可以算出来，这就是一个DQN的强化学习项目。
智能导购
现在的搜索呈现的问题就是说，如果去看搜索的Query都是一些品类词、品牌词、型号词或者属性词。假定用户他知道买什么再来搜索搜，但是有各很大的东西用户不知道买什么吗？智能导购就是做做一个类似智能导购机器人的产品，引导用户怎么搜，用户也可以主动问，获取知识或购物经验。这是后台的算法的一个原形，不久后会上线。
智能内容
因为淘宝的商品，卖家为了适应我们的引擎，做了大量的SEO，里面都是罗列热门的关健词，导致问题淘宝的标题没什么差异，都写的差不多，看标题也不知道什么东西，或者知道但里面没有很多特色的内容。我们做智能内容很重要的出发点是怎么从商品的评价、详情页、属性里面挖出一些比较有卖点，或者商品比较有特色的东西展示给用户，让用户更好的了解商品，这是第一个。第二个淘宝上面还有类似商品聚合的，比如清单，生成一个清单，怎么给清单生成一个比较好的导入的描述，让用户描述这个清单干什么。这里面主要做了这两个事情。具体怎么做的？一个会生成一些Topic，比如行业运营加上我们挖的一些点，比如像手机一般大家关注点会是手机的性价比，拍照是不是清晰，还有速度是不是快，是不是发热什么的，这是用户关注的兴趣点。然后它会根据这个商品会选择一个兴趣点，通过Seq2seq生成短文本。
语义搜索
我们的商品属性基本上是比较标准化的，因为这里淘宝有一个这样的商品库，非标准化的内容是没法上传的。导致的问题是我们的商品内容相对来说是比较规范化的，但是用户的输入的Query不是这样的，比如我这里举一些例子，比如一个新品有各种表达，2017新品，2017冬季新品，是吧？新品，有很多的表达。所以就是从从用户的需求跟商品的内容，就存在了一个语义的Gap。还有我们经常举例，比如三口之家用的电饭锅，很多这种语义的问题，这个语义从语义角度解决语义Match的事情。
大概会有这么几个方面。比如一个就是意图的理解，还有意图的Mapping，比如大容量冰箱，首先知道大的是跟冰箱的容量相关的，冰箱是个类目，最后要Mapping到人的冰箱，把‘大’改写成一个容量大于多少升，类目是冰箱这样才能够比较好的解决我们这个搜索的这个召回的问题。 第二个语义理解，这里面包括Query和商品都要做语义理解，比如通过image tagging计算从图片里面抽取很多文本的语义标签补充到商品文本索引中。 第三个就是现在有这个端到端的深度学习技术来直接学Query和商品的Similarity，通过端到端的深度学习技术来做语义的召回和语义的相关性。
智能匹配
主要就是讲个性化，做个性化的首要就是个性化数据。个性化本质上就是说以用户为中心构建用户的标签，用户的行为，还有用户的偏好，再通过这些数据找到，去Match到商品，比如说你看过相似商品，典型的协同过滤，还有你偏好的品牌的其它商品。那就是基于这些经历了一个以用户为中心的电商图谱，这里面还加了一些辅助的数据，比如商品的相似度，店铺之间的相似度，这样构建了我们这样的叫电商图谱。
个性化召回与向量化召回
召回是这样的，首先从咱们的电商图谱里取出用户的信息，包括比如说年龄性别，还有当地温度是多少，还有行为足迹等等之类的，社交现在没用了，因为这是几年前社交特别火，什么都要掺和一下，其实社交，信息的社交到电商其实风马牛不相及的领域，没有任何价值。所以现在好友这东西几乎没有用。因为不同Query中，用户信息重要性是不一样的，我们根据上下文会做用户信息的筛选或者排序，会找出比较重要的信息做个性化召回。以上是淘宝商品索引结构，传统的搜索关键字是通过搜索关键字召回，而个性化商品索引，除了Query还会有商品簇，簇与簇之间的关系，品牌店铺等等之类的，会加很多个性化的特征做召回，通过这种带的好处是召回的结果跟用户是直接相关的，就召回这一步带来个性化。
但是这种基于行为召回还是存在一个问题的。最重要的问题它的泛化能力会比较差。最典型的比如说你通过协同过滤来做，如果两个商品，没有用户同时看过的话，这两个商品你认为他们相似度是零，这个结论是错的，但是如果通过协同过滤就有这个问题。我们今年实现了向量化召回，包括两步：一个是Similarity learning，通过这个深度学习做端到端的Similarity learning，就会把这个我们的User 和Item会变成一个向量；第二步就是做向量化召回，比如层次聚类，随机游走，learning to hash等,这样的话就是说会极大的提升召回的深度。
个性化工作
在个性化领域其实最重要的一个核心的问题就是怎么去理解用户，怎么感知用户和预测用户行为及偏好。
首先是数据，用户在淘宝有两个中类型重要的基本信息：一个是用户标签，比如年龄、性别、职业等；第二是用户足迹，比如 点过，买过的商品，店铺等；
其次是用户感知要和搜索上下文相关，即这个用户的表征和要用户搜索意图相关；
第三是搜索有很多差异化的任务，比如用户消费能力的预估， User到Item的CTR预估和用户购物状态预估等，是为每个任务做个端到端的深度学习模型还是用统一的用户表征来完成不同的Task？如果每一个任务都做端到端深度学习会有很多问题，比如离线和在线的性能开销会大很多，或部分任务样本太少。
如图是用户感知深度模型，输入X是用户的点击行为序列，下一步是embedding，embedding完以后，通过LSTM把用户行为序列做embedding，因为在搜索用户感知和Query相关，所以加入query 的 attention层，选择和当前query有关系的行为，表征完是Multi-task learning 网络。整个这个网络的参数大概有一百亿个参数，我在双11我们还实现了在线学习。
算法包括智能交互、语义搜索、智能匹配和搜索策略四个方向。
智能交互
商品搜索就是带交互的商品推荐，用户通过关键字输入搜索意图，引擎返回和搜索意图匹配的个性化推荐结果，好的交互技术能够帮助到用户更好的使用搜索引擎，目前搜索的交互主要是主动关键字输入和关键字推荐，比如搜索框中的默认查询词和搜索结果中的文字链等，推荐引擎根据用户搜索历史、上下文、行为和状态推荐关键字。和商品推荐的区别是，关键字推荐是搜索链路的中间环节，关键字推荐的收益除了关键字的点击行为外，还需要考虑对整个购物链路的影响，包括在推荐关键字的后续行为中是否有商品点击、加购和成交或跳转到另外一个关键字的后继行为，这是一个典型的强化学习问题，action 是推荐的关键字候选集合，状态是用户当前搜索关键词、上下文等，收益是搜索引导的成交。除了被动的关键字推荐，我们也在思考搜索中更加主动的交互方式，能够做到像导购员一样的双向互动，主动询问用户需求，挑选个性化的商品和给出个性化的推荐理由，目前我们已经在做智能导购和智能内容方向的技术原型及论证，智能导购在技术上主要是借鉴对话系统，通过引导用户和引擎对话与关键字推荐方式互为补充，包括自然语言理解，对话策略，对话生成，知识推理、知识问答和商品搜索等模块，功能主要包括：a. 根据用户搜索上下文生成引导用户主动交互的文本，比如搜索“奶粉”时，会生成“您宝宝多大？0~6个月，6个月到1岁….”引导文案，提示用户细化搜索意图，如果用户输入“3个月”后，会召回相应段位的奶粉，并在后续的搜索中会记住对话状态“3个月”宝宝和提示用户“以下是适合3个月宝宝的奶粉”，b. 知识导购，包含提高售前知识问答或知识提示，比如“3个月宝宝吃什么奶粉” 回答“1段”，目前对话技术还不太成熟，尤其是在多轮对话状态跟踪、知识问答和自动评价几个方面，但随着深度学习、强化学习和生成对抗学习等技术在NLP、对话策略、阅读理解等领域的应用，越来越多的训练数据和应用场景，domain specific 的对话技术未来几年应该会突飞猛进；智能内容生成，包括生成或辅助人工生成商品和清单的“卖点”，短标题和文本摘要等，让淘宝商品表达更加个性化和多元化。
语义搜索
语义搜索主要是解决关键字和商品内容之间的语义鸿沟，比如搜索“2~3周岁宝宝外套”，如果按照关键字匹配召回结果会远小于实际语义匹配的商品。语义搜索的范围主要包括：a. query tagging和改写，比如新品，年龄，尺码，店铺名，属性，类目等搜索意图识别和归一化，query tagging模型是用的经典的序列标注模型 bi-lstm + CRF，而标签分类（归一化） 作为模型另外一个任务，将序列标注和分类融合在一起学习；b. query 改写，主要是计算query之间相似度，把一个query改写成多个语义相似的query，通常做法是先用不同改写策略生成改写候选query集合，比如词替换、向量化后top k、点击商品相似度等，然后在用ltr对后续集合排序找出合适的改写集合，模型设计和训练相对简单，比较难的是如何构建高质量的训练样本集合，线上我们用bandit 的方法探测部分query 改写结果的优劣，离线则用规则和生成对抗网络生成一批质量较高的样本； c. 商品内容理解和语义标签，通过商品图片，详情页，评价和同义词，上下位词等给商品打标签或扩充商品索引内容，比如用 image tagging技术生成图片的文本标签丰富商品内容，或者更进一步用直接用图片向量和文本向量融合，实现富媒体的检索和查询；d. 语义匹配，经典的DSSM 模型技术把query 和商品变成向量，用向量内积表达语义相似度，在问答或阅读理解中大量用到多层LSTM + attention 做语义匹配，同样高质量样本，特别是高质量负样本很大程度上决定了模型的质量，我们没有采样效率很低的随机负采样，而是基于电商知识图谱，通过生成字面相似但不相关的query及相关文档的方法生成负样本。从上面可以看到query tagging、query相似度、语义匹配和语义相关性是多个目标不同但关联程度非常高的任务，下一步我们计划用统一的语义计算框架支持不同的语义计算任务，具体包括1. 开发基于商品内容的商品表征学习框架，为商品内容理解，内容生成，商品召回和相关性提供统一的商品表征学习框架，重点包括商品标题，属性，详情页和评价等文本信息抽取，图像特征抽取和多模信号融合；2. query 表征学习框架，为query 类目预测，query改写，query 推荐等提供统一的表征学习框架，重点通过多个query 相似任务训练统一的query表征学习模型；3. 语义召回，语义相关性等业务应用模型框架。语义搜索除了增加搜索结果相关性，提升用户体验外，也可以一定程度上遏制淘宝商品标题堆砌热门关键词的问题。
智能匹配
这里主要是指个性化和排序。内容包括：a. ibrain (深度用户感知网络)，搜索或推荐中个性化的重点是用户的理解与表达，基于淘宝的用户画像静态特征和用户行为动态特征，我们基于multi-modals learning、multi-task representation learning以及LSTM的相关技术，从海量用户行为日志中直接学习用户的通用表达，该学习方法善于“总结经验”、“触类旁通”，使得到的用户表达更基础且更全面，能够直接用于用户行为识别、偏好预估、个性化召回、个性化排序等任务，在搜索、推荐和广告等个性化业务中有广泛的应用场景，感知网络超过10B个参数，已经学习了几千亿次的用户行为，并且会保持不间断的增量学习越来越聪明； b. 多模学习，淘宝商品有文本、图像、标签、id 、品牌、类目、店铺及统计特征，这些特征彼此有一定程度的冗余和互补，我们利用多模学习通过多模联合学习方法把多维度特征融合在一起形成统一的商品标准，并多模联合学习中引入self-attention实现特征维度在不同场景下的差异，比如女装下图片特征比较重要，3C下文本比较重要等；c. deepfm，相对wide &deep 模型，deepfm 增加了特征组合能力，基于先验知识的组合特征能够应用到深度学习模型中，提升模型预测精度；d. 在线深度排序模型，由于行为类型和商品重要性差异，每个样本学习权重不同，通过样本池对大权重样本重复copy分批学习，有效的提升了模型学习稳定性，同时通过融合用户状态深度ltr模型实现了千人千面的排序模型学习；e. 全局排序，ltr 只对单个文档打分然后按照ltr分数和打散规则排序，容易导致搜索结果同质化，影响总页效率，全局排序通过已知排序结果做为上下文预测下一个位置的商品点击概率，有效提升了总页排序效率；f. 另外工程还实现了基于用户和商品向量的向量召回引擎，相对倒排索引，向量化召回泛化能力更强，对语义搜索和提高个性化匹配深度是非常有价值的。以上实现了搜索从召回、排序特征、排序模型、个性化和重排的深度学习升级，在双11无线商品搜索中带来超过10% (AB-Test)的搜索指标提升。
智能决策
搜索中个性化产品都是成交最大化，导致的问题是搜索结果趋同，浪费曝光，今年做的一个重要工作是利用多智能体协同学习技术，实现了搜索多个异构场景间的环境感知、场景通信、单独决策和联合学习，实现联合收益最大化，而不是此消彼长，在今年双11中联合优化版本带来的店铺内和无线搜索综合指标提升12% (AB-Test)，比非联合优化版本高3% (AB-Test)。
性能优化
在深度学习刚起步的时候，我们意识到深度模型inference 性能会是一个瓶颈，所以在这方面做了大量的调研和实验，包括模型压缩(剪枝)，低秩分解，量化和二值网络，由于缺少相应的指令集和硬件支持，最终只在个别场景下上线，期待支持低精度矩阵计算和稀疏矩阵计算的硬件早日出现。
未来计划
通用用户表征学习。前面介绍的DUPN 是一个非常不错的用户表征学习模型，但基于query 的attention 只适合搜索，同时缺少基于日志来源的attention，难以推广到其他业务，在思考做一个能够适合多个业务场景的用户表征模型，非搜索业务做些简单fine tuning 就能取得比较好的效果；同时用户购物偏好受季节和周期等影响，时间跨度非常大，最近K个行为序列假设太简单，我们在思考能够做life-long learning 的模型，能够学习用户过去几年的行为序列；搜索链路联合优化。从用户进入搜索到离开搜索链路中的整体优化，比如 搜索前的query 引导（底纹），搜索中的商品和内容排序，搜索后的 query推荐（锦囊）等场景；跨场景联合优化。今年搜索内部主搜索和店铺内搜索联合优化取得了很好的结果，未来希望能够拓展在更多大流量场景，提高手淘的整体购物体验；多目标联合优化。搜索除了成交外，还需要承担卖家多样性，流量公平性，流量商业化等居多平台和卖家的诉求，搜索产品中除了商品搜索外还有“穹顶”，“主题搜索”，“锦囊”，“内容搜索”等非商品搜索内容，不同搜索目标和不同内容（物种）之间的联合优化未来很值得深挖。
欢迎分享，转载请注明来源：夏雨云
微信扫一扫
支付宝扫一扫
评论列表（0条）