1. David Wu首页
  2. WordPress
  3. WordPress建站教程

如何编写网站robots.txt文件

Robots协议全称是网络爬虫排除标准”(Robots Exclusion Protocol),叫爬虫协议或机器人协议,也可戏称萝卜丝协议,用户告诉搜索引擎爬虫网站哪些页面可以被抓取,哪些页面禁止抓取。

Robots协议全称是网络爬虫排除标准”(Robots Exclusion Protocol),叫爬虫协议或机器人协议,也可戏称萝卜丝协议,用户告诉搜索引擎爬虫网站哪些页面可以被抓取,哪些页面禁止抓取。


Robots.txt文件:

 Robots文件是以robots.txt文件形式存在于网站主机服务器上,编辑robots.txt文件可以使用windows系统的txt文本编辑器进行创建和编辑。若网站有制作和上传robots.txt文件,搜索引擎爬虫会第一时间访问这个文件并根据文件内的指令进行工作。请注意,robots.txt是一个协议,而不是一个命令。

Robots写法:

 User-agent:*      *是一个通配符,表示所有的意思,这里指允许所有搜索引擎爬取

Disallow:/123/     禁止爬寻123目录下面的目录

Disallow:/123/*.htm 禁止访问/123/目录下的所有以\”.htm\”为后缀的URL(包含子目录)

Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片

Disallow:/123/123.html禁止爬取123文件夹下面的123.html文件。

(adsbygoogle = window.adsbygoogle || []).push({});

Allow:/123/ 这里定义是允许爬寻123目录下面的目录

Allow:/123 这里定义是允许爬寻123的整个目录

Allow:.htm$ 仅允许访问以\”.htm\”为后缀的URL。

Allow:.gif$ 允许抓取网页和gif格式图片

Sitemap:网站地图 告诉爬虫这个页面是网站地图

等等,总体分为allow和disallow两种形式

查看网站robots.txt:

      以我的博客站为例,域名是https://www.yunglobe.com,手动在域名后面输入robots.txt,如:https://www.yunglobe.com/robots.txt,  之后回车即可访问该网站的robots.txt文件


本文标题:如何编写网站robots.txt文件
作者:为主的祥助    转载请保留页面地址: https://www.yunglobe.com/robots.html ‎
更多跨境平台运营技术干货,请关注公众号:跨境E站(GlobalSEO)    
一个有灵魂的公众号,专注更新外贸领域跨境电商平台的运营操盘和数据优化,独立站搭建,Google SEO和SEM Marketing等优质内容

版权申明:跨境E站,版权所有丨如未注明,均为原创丨本网站采用BY-NC-SA协议进行授权

          

原创文章,作者:跨境e站,如若转载,请注明出处:https://www.davidwu.net/archives/3537

服务项目 服务内容 收费标准(元)
开发定制 WordPress主题/插件开发定制 (以最终需求为准)
主题/插件汉化 汉化团队WordPress主题/插件,翻译率95% (以标的主题/插件的句子数量为准)
服务器环境配置 基于您现有服务器,搭建配置网站运行环境,结合我们多年来实战经验,可完美支持WordPress等PHP程序运行,并配置伪静态规则、优化目录权限等问题。服务器我们强烈推荐使用Linux系统。 100元/次
网站托管 若贵站目前尚无技术人员,无法完成服务器环境配置,可选择我们的网站托管服务,直接交付正常运行的WordPress站点,并且无需担心服务器的后续维护工作,一切都由我们来帮您完成。 标配套餐:1000元/年/站点 高配套餐:联系客服获取
网站加速优化 从服务器后端配置优化到WordPress数据库缓存、前端页面缓存、JS和CSS压缩合并,全方位优化网站加载速度,实现秒开。(此服务仅针对(云)服务器/VPS) 500元/次(仅站内优化200元/次)
主题配置 本站所有主题均支持,可快速实现,若有任何问题可以咨询客服解决,若您希望我们提供配置服务,可选购此服务。 英文主题安装 60元/次 汉化主题安装 30元/次
HTTPS配置 HTTPS已经不断普及,并且有着更高的安全性以及SEO上的优待。该服务收取的为服务费,SSL证书产生的费用请自行承担。 100元/次
网站搬家 迁移网站所有文件和数据库信息、网站相关配置的调整、以及迁移中的疑难问题故障排除。 标准收费:500元/次 若网站数据量大,需协商
网站运维 提供整站的运维服务,保证网站正常运行。包含:网站故障定位及排除、网站数据备份和恢复、网站攻击及木马等问题的处理等 标准收费:2000元/年 IP 5000以上需协商

发表评论

邮箱地址不会被公开。 必填项已用*标注