网页可以单独进行robots设置

   robots.txt的设置对于网站的收录检索规则很重要，然而对于搜索引擎来说，还有另外一种配置方法，也可以起到检索权限规定的作用，现在发菜工作室就这个问题来说明一下：
  
   Robots 的具体网页设置源码表现形式为，在head之间加入：<meta name="robots" content=" ">。

   Robots 的 content 部分文字可以填写的内容为：all、none、index、noindex、follow 和nofollow。对于 Robots 的 content 部分填充内容有如下意义说明：

   设定为 all：文件将被检索，且页面上的链接可以被查询；

   设定为 none：文件将不被检索，且页面上的链接不可以被查询；

   设定为 index：文件将被检索；

   设定为 follow：页面上的链接可以被查询；

   设定为 noindex：文件将不被检索，但页面上的链接可以被查询；

   设定为 nofollow：文件将不被检索，页面上的链接可以被查询。

    一般来说，大部分网站并没有太多的内容禁止搜索引擎机器人索引，Robots 的通用写法都是：<meta name="robots" content="all">。如果想对 Robots 做一些个性化的设置，可以参照上面的相关说明来完善 Robots 的 content 部分内容，如：希望当前页被检索，但不追搜本页的内链接可以这样写：<meta name="robots" content="index,nofollow">，这些可以配合起来使用，达到自己的要求目的。