深度阅读

百度搜索怎么连noindex都不支持呢

作者
作者
2023年08月22日
更新时间
2.46 分钟
阅读时间
0
阅读量

好失望百度竟然不支持

html <meta name="robots" content="noindex" />
明明已经标记了,还收录,真正让收录的全都没有收录。

来看看Google,一点问题都没有,该收录的收录,基本全部都遵循了。
难道还真的要用robots.txt来控制。

看来只能在robots.txt加入disallow开屏蔽爬虫了。

Disallow: /u/
Disallow: /user/
Disallow: /comment/
Disallow: /tags/

相关标签

博客作者

热爱技术,乐于分享,持续学习。专注于Web开发、系统架构设计和人工智能领域。