如何为WordPress网站创建Robot

有一点SEO知识的站长朋友应该知道机器人协议,也称为爬虫协议、爬虫规则、机器人协议等;也就是说,robots.txt文件通常添加到网站的根目录中。它的功能是告诉搜索引擎哪些页面可以爬网,哪些页面不能爬网,从而优化网站的收集结果和权重。
如果您的网站中没有robot,请添加以下代码或转到网站管理员工具在线编辑robot

User-agent: *
Disallow: /feed/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-
Allow: /wp-content/uploads/
Sitemap: https://www.zhanceo.com

下面主要介绍WordPress自动创建virtual robots.txt的功能。如果您网站的根目录中不存在真正的robots.txt,您可以让WordPress自动创建一个虚拟robots.txt(该文件将不存在,但您可以访问它)https://www.zhanceo.com/robots.txt (可正常显示)

   add_filter( 'robots_txt', 'robots_mod', 10, 2 );function robots_mod( $output, $public ) { $output .= "Disallow: /user/";  

注:如果你想添加更多的规则,请复制上面代码的第 7 行,然后修改一下即可。

访问 http://域名/robots.txt 我们可以看到如下内容:

User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /user/

也就是说,WordPress 默认已经添加了前 3 行规则了。

robots.txt 涉及到网站的收录,所以请确保你明白它的书写方法,保证每条规则都是正确无误的!

 

 

此文由“快兔兔AI采集器”自动生成,目的为演示采集器效果,若侵权请及时联系删除。

原文链接:https://www.zhanceo.com/14928.html

更多内容