你的网站关键词和关键词描述没有设置吧 呵呵 看下你的网站后台有没有这个功能 如果有在后台设置一下就可以了 没有的话就得在程序里面添加了,SEO查询就是查询SEO收录、外链、排名、友情链接的方法。当然,也有相关工具。
一般都是查询网站权重、收录、排名、流量、外链等 你用第三方工具5118网站查询下出来的数据就是一般SEO综合查询的数据,大同小异,主要是从数据上了解自己网站的情况。
SEO汉译为搜索引擎优化。利用搜索引擎的规则提高网站在有关搜索引擎内的自然排名。目的是让其在行业内占据领先地位,获得品牌收益。很大程度上是网站经营者的一种商业行为,将自己或自己公司的排名前移。
搜索引擎优化(search engine optimization)是一种透过了解搜索引擎的运作规则来调整网站,以及提高目的网站在有关搜索引擎内排名的方式。
搜索引擎优化是任何一个网站想要在网站推广中获取成功至为关键的一步,其最终目的是做好用户体验。
robots.txt文件搜索引擎使用sphider程序自动访问互联网上的网页并获取网页信息。sphider在访问一个网站时,会首先检查该网站的根目录下是否有一
个叫做robots.txt的纯文本文件,这个文件用于指定sphider在您的网站上的抓取范围。您可以在您的网站上创建一个robots.txt,在
文件中声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分
robots.txt文件格式
“robots.txt”文件包含一条或更多的记录,这些记录通过空行分开(以CR,CR/NL,or NL作为结束符),每一条记录的格式如下所示:
“<field>:<optional space><value><optional space>”
在该文件中可以使用#进行注解,具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始,后面加上若干Disallow和Allow行。
User-agent
该项的值用于描述搜索引擎robot的名字。在“robots.txt”文件中,如果有多条User-agent记录说明有多个robot会受到
“robots.txt”的限制,对该文件来说,至少要有一条User-agent记录。如果该值的值为*,则对任何robot均有效
Disallow
该项的值用于描述不希望被访问的一组URL,这个值可以是一条完整的路径,也可以是路径的非空前缀,以Disallow项的值开头的URL不会被robot访问
Allow
该项的值用于描述希望被访问的一组URL,与Disallow项相似,这个值可以是一条完整的路径,也可以是路径的前缀,以Allow项的值开头的URL是允许被robot访问的
通配符
sphider支持使用“*”和“$”来模糊匹配URL
shell脚本禁止搜索引擎抓取
禁止搜索引擎抓取网站的网址可以在每个网站的根目录下放置如下的robots.txt文件:
User-agent: *
Disallow: /
一键部署的shell脚本:
#!/bin/bash
#网站根目录定义
root_dir=("/var/www/")
#构建爬虫规则
for dir in ${root_dir[*]}
do
#删除过期的robots.txt文件
if [ -f $dir/robots.txt ]then
rm -r $dir/robots.txt
fi
#增加新的爬虫规则
echo "User-agent: *" >$dir/robots.txt
echo "Disallow: /" >>$dir/robots.txt
#修改权限
chown www-data.www-data $dir/robots.txt
done
欢迎分享,转载请注明来源:夏雨云
评论列表(0条)