………………………………………………………………………………
<a href="你需要屏蔽的网站链接" rel="nofollow">关于我们</a>
………………………………………………………………………………
除了文字链接,图片链接也可以加nofollow标签。
一般在网站上的“关于我们”,“联系我们”,“留言”之类没有意义,但必须存在的栏目是一定得加的。
加上了这个nofollow标签的效果就是这条链接将不会被搜索引擎蜘蛛跟踪与索引。
User-agent: *Disallow: /admin/
Allow: /require/
ls的意思是说
以根目录为默认的路径,就是开始那点
禁止所有SE访问admin这个文件夹下的内容,将蜘蛛引导向require这个文件夹。
一般的,将你要屏蔽蜘蛛对那个文件夹下在Disallow: 后面就行了,形式如ls所诉
要根据你的网站源代码来确定,屏蔽哪些文件。以dz为例。我的网站是用dz建的。这个是我的robots.txt设置。更具体的,你直接点击,网址,看。谢谢。
User-agent:
*
Disallow:
/api/
Disallow:
/data/
Disallow:
/source/
Disallow:
/install/
Disallow:
/template/
Disallow:
/config/
Disallow:
/uc_client/
Disallow:
/uc_server/
Disallow:
/static/
Disallow:
/admin.php
Disallow:
/search.php
Disallow:
/member.php
Disallow:
/api.php
Disallow:
/misc.php
Disallow:
/connect.php
Disallow:
/forum.php?mod=redirect*
Disallow:
/forum.php?mod=post*
Disallow:
/home.php?mod=spacecp*
Disallow:
/userapp.php?mod=app&*
Disallow:
/*?mod=misc*
Disallow:
/*?mod=attachment*
Disallow:
/*mobile=yes*
Disallow:
/*home.php*
网页链接
欢迎分享,转载请注明来源:夏雨云
评论列表(0条)