热点推荐

查看: 178|回复: 0

wordpress网站的robots文件怎么写可以让蜘蛛友好的爬取?

[复制链接]
  • TA的每日心情
    郁闷
    2022-5-11 17:24
  • 等级头衔

    等級:管理员

    Rank: 9Rank: 9Rank: 9

    积分成就
    UID
    1
    威望
    582
    贡献
    2277
    主题
    1216
    精华
    3
    积分
    2963
    注册时间
    2020-1-22
    最后登录
    2022-5-25

    快捷版块
    版块
    官方交流Q群
    版块
    在线申请友链

    建功伟业

    最佳新人活跃会员热心会员推广达人宣传达人灌水之王突出贡献荣誉管理论坛元老

    发表于 2022-4-30 15:08:12 来自手机 | 显示全部楼层 |阅读模式
    一般情况下,在我们为网站安装好WordPress程序后,wordpress会网站根目录自动为我们的网站创建一个robots.txt文件
    unnamed-file-192.png
    我们可以看到,wordpress程序只是为网站的robots.txt文件添加了3句简单的代码:
    1. user-agent: *
    2. Disallow: /wp-admin/
    3. Allow: /wp-admin/admin-ajax.php
    复制代码


    从上面的代码中,wordpress不允许搜索引擎蜘蛛爬取/wp-admin/目录,但允许蜘蛛爬取/wp-admin/admin-ajax.php文件。

    总结WordPress全部robots.txt配置
    1. User-agent: *
    2. Disallow: /wp-admin/
    3. Disallow: /wp-includes/
    4. Disallow: /wp-content/plugins
    5. Disallow: /wp-content/themes
    6. Disallow: /feed
    7. Disallow: /articles/*/feed
    复制代码


    注意事项:
    避免收录WordPress系统文件
    避免收录重复的内容
    正确引导搜索引擎找到网址地图

    帖子地址: 

    温馨提示:
    1、在资源网里发表的文章仅代表作者本人的观点,与本网站立场无关。
    2、资源网的所有内容都不保证其准确性,有效性,时间性。阅读本站内容因误导等因素而造成的损失本站不承担连带责任。
    3、当政府机关依照法定程序要求披露信息时,本资源网均得免责。
    4、若因线路及非本站所能控制范围的故障导致暂停服务期间造成的一切不便与损失,资源网不负任何责任。
    5、注册会员通过任何手段和方法针对资源网进行破坏,我们有权对其行为作出处理。并保留进一步追究其责任的权利。
    6、 如遇到加密压缩包,默认解压密码为"www.52qians.com",如遇到无法解压的请联系管理员!
    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

  • 返回顶部