robots文件

  • 如何编写网站robots.txt文件

    Robots协议全称是网络爬虫排除标准”(Robots Exclusion Protocol),叫爬虫协议或机器人协议,也可戏称萝卜丝协议,用户告诉搜索引擎爬虫网站哪些页面可以被抓取,哪些页面禁止抓取。

    WP建站 2020年4月13日
51建站客服微信二维码
点击这里购买