当前位置:首页 > 小程序百科 > robots.txt标准写法及实例

robots.txt标准写法及实例

发布日期:2009/12/11 浏览次数: 文章类别:小程序百科

    Disallow - User-agent,允许所有蜘蛛采集,disallow告诉蜘蛛不要抓取某些文件或目录。如下面代码将阻止蜘蛛抓取所有的网站文件(/代表跟目录):
User-agent: *
Disallow: /
    Allow - 告诉蜘蛛应该抓取某些文件。Allow和Disallow配合使用,可以告诉蜘蛛某个目录下,大部分都不抓取,只抓取一部分。如下面代码将使蜘蛛不抓取wp-admin目录下其他文件,而只抓取其中ab下的文件:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/ab
$通配符 -
User-agent: *
Allow: .htm$
    *通配符 - 告诉蜘蛛匹配任意一段字符。如下面一段代码将禁止蜘蛛抓取所有htm文件:
User-agent: *
Disallow: /*.htm
    根据协议,北京seo:robots.txt协议为:
# Robots.txt file from http://www.lzamai.cn
# All robots will spider the domain
User-agent: *
Disallow:/wp-admin/
sitemap: http://www.lzamai.cn/sitemap.xml