适用于WordPress的Robots协议规则
WordPress | 2022年03月27日20:23:15
Robots协议简介
Robots协议也称为爬虫协议、爬虫规则、机器人协议等，也就是robots.txt，网站通过Robots协议告诉搜索引擎可以抓取哪些页面和不能抓取哪些页面，优化网站的收录和权重。
Robots协议规则
User-agent: * Disallow: /wp-admin/ Disallow: /wp-include/ Disallow: /*?* sitemap: https://域名/wp-sitemap-posts-post-1.xml
在网站根目录创建名为robots.txt的文件，把以上内容粘贴到txt文件内，再把内容的最后一条的“域名”修改成自己网站的域名并保存文件。
本文标题：适用于WordPress的Robots协议规则
本文链接：https://bufanz.com/post/212.html
版权声明：本文章是 不凡博客(Bufanz.com) 的原创文章，未经允许请勿转载本文章！
相关文章
强力驱动
提供云计算服务
蜀ICP备2020033783号-1