阻止所有搜索机器人索引页面
<meta name="robots" content="noindex">仅阻止 Google
<meta name="googlebot" content="noindex">如果您有控制权，您可能还想为指向该页面的链接添加 nofollow
<a href="privatepage.html" rel="nofollow">Link to private page</a>理论上，对于 Google 来说，这并非必需，因为 Google 声称会将其目录中的所有带有 noindex 的页面都删除。但还有其他搜索引擎，这样做也不会有坏处。
另外，您可能还想添加 robots.txt 来阻止机器人索引您的目录，它可能如下所示
这将阻止所有机器人进行索引；当然，您也可以仅通过用户代理阻止某些机器人；在 Google 上搜索一下 :-)
嗨
很棒的页面！！！
有没有办法可以为页面中“不索引”的某个部分添加 CSS 代码，但索引其他部分，例如，如果要对某个电话号码进行不索引？
嗨.. 如果使用 nofollow，该链接会被索引吗？
我不确定，但是
User-agent: *
Disallow: /
可以完成这项工作！
非常有用，尤其适用于管理页面。
您好，
User-agent: *
Disallow: /
如果您使用了这个 robot txt，那么任何搜索引擎都不会索引您的整个网站。
以及
User-agent: *
Disallow
Disallow: /your-folder/
Disallow: /page.html
这个 robot txt 有助于搜索引擎索引您的整个网站，但不会索引 your-folder 和 page.html 。
这可能会有帮助..
User-agent: Mediapartners-Google
Disallow
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://www.malikshahbaz.com/feeds/posts/default?orderby=UPDATED