主要作用就是最大限度地减小系统中服务进程可访问的资源,推荐设置为宽容模式。
服务器配置参数如下:
1、CPU。CPU对于服务器来说,就像人类的大脑。
2、内存。
2、服务器采用专用的ECC校验内存,并且应当与不同的CPU搭配使用。
3、芯片组与主板。即使采用相同的芯片组,不同的主板设计也会对服务器性能产生重要影响。
4、网卡。既然服务器要为网络中其他计算机提供服务,自然就要实现与其他计算机之间的通讯。
5、硬盘和RAID卡。所有数据都需要从硬盘读取,并将运算结果存储在硬盘上。
这个参数一般是指服务器的配置硬件和网络配置参数,比如:名称:1999/年快云VPS经济型服务器
CPU: E5-2600系列 四核
内存:3GB DDR3 ECC 1333MHz
硬盘:140G SAS硬盘( 40G系统盘+ 100G数据盘)
网卡:千兆网卡
地址:独享IP地址一个
线路:类型BGP多线(电信、联通、移动、铁通)
带宽:配额5M独享
赠送:云数据库DB-1型 3G+3G备份 MySQL5.5或MS SQL Server2012
系统:Windows2003/windows2008/centos 6.6
参数详情中详细列出了硬件各配置的具体数值,以及网络配置和系统的详情选择。这就是服务器参数。
神经网络搜索是生成和优化网络结构的有效工具 Neural Architecture Search 。在不确定网络的长度和结构的情况下,使用一个循环神经网络(recurrent network)作为控制器来生成网络结构的字段,用来构建子神经网络。将训练子网络之后的准确率作为控制器回馈信号(reward signal),通过计算策略梯度(policy gradient)更新控制器,这样不断的迭代循环。在下一次迭代中,控制器将有更高的概率提出一个高准确率的网络结构。总之,伴随着时间的推移,控制器将通过不断的学习来提高搜索结果。如下图所示就是网络结构搜索。
神经结构搜索中,我们使用控制器产生神经网络的超参数。控制器使用的是一个循环神经网络。假设我们希望预测只有卷积层的前馈神经网络,就可以使用控制器来生成这些超参数的序列。
控制器可以看到代理(agent),生成的超参数序列(网络结构的描述字符串)可以被看做代理一系列的动作(actions) 。子网络在收敛后将达到准确率 。随后,将 作为回馈信号并使用增强学习训练控制器。具体的说,为了优化的结构,需要让控制器最大化期望回馈,期望回馈可以表示为 :
由于 不可微分,因此不能使用传统的BP算法。我们需要使用回馈更新代理的策略参数 ,进而实现回馈的最优化。这里我们使用 Williams 提出的REINFORCE,这个公式关联了回馈 和策略参数 :
上述数值的可以近似表示为:
是控制器一个批样本网络模型的数量, 是控制器生成的网络结构的超参数数量。 是第 个神经网络模型的准确率。
上述更新的梯度是梯度的无偏估计,但是方差很大。为了减小方差,我们使用了一个基线函数: 。
只要 不依赖与当前的动作,这个梯度导数将始终是无偏估计。这里,我们的 是准确率的指数移动平均值 EMA 。
在神经网络搜索中,训练一个子网络可能需要几个小时的时间。使用分布式训练和并行参数更新可以加速控制器的学习过程。我们使用参数服务器保存所有参数,服务器将参数分发给控制器,控制器被分成 个,每一个控制器使用得到的参数进行模型的构建,由于得到的参数可能不同,构建模型的策略也是随机的,导致每次构建的网络结构也会不同。每个控制器会构建一个batch, 个子网络,然后并行训练子网络得到准确率。计算出参数的梯度。然后计算完梯度的控制器将梯度传递到参数服务器,分别对自己负责的参数进行更新。接下来控制器得到更新的参数开始构建新的神经网络模型。这里,每一个控制器独立的发送自己的梯度更新服务器参数,不需要控制器之间同步,这及时异步更新。这里子网络的训练次数固定(epochs)。这种并行架构如下图所示
为了让控制器产生跳跃连接。在第 层中,添加一个锚点(anchor point)表示是否和前面的网络层连接:
表示控制器第 层网络锚点的隐藏状态, 介于0到 之间。根据这些sigmoids的结果来决定哪些网络层被用作当前层的输入。 , 和 是可训练参数。[图片上传失败...(image-feb8fe-1558488967580)]
为了产生循环元胞。控制器需要找到一个公式,以 和 作为输入, 作为结果。最简单的方式 ,这是一个基本的循环细胞的公式。一个更复杂的公式是广泛应用的LSTM循环元胞。
基础RNN和LSTM都可以描述为一个树形结构,输入 和 ,产生 ,这些变量作为叶子。控制器RNN需要标明树上的每个节点的结合方法(相加,按元素相乘等)和激活函数,用于融合两个输入并产生一个输出。然后两个节点输出又被作为树上下一个节点的输入。为了控制器可以选择这些方法和函数,我们将树上的节点以一定的顺序编号,这样控制器可以顺序的预测。
欢迎分享,转载请注明来源:夏雨云
评论列表(0条)