纯代码实现WordPress记录搜索引擎蜘蛛爬行记录

在新站或网站收录有问题时,可能需要持续关注搜索引擎蜘蛛的抓取情况。对于网站的内容是否能够及时的收录,都是我们站长每天都在关注的东西,毕竟每天产出的东西有限,所更加的关注自己写的内容是否能够讨的百度蜘蛛的欢心,好及时收录自己的网页,毕竟早一天收录,这样获得流量的可能性就会更多一点,那样的话,以后变现的成本也会变得更低。

有时候当我们不知道蜘蛛什么时候来过我们的网站的时候,只能够通过一遍又一遍的向百度提交自己网站最近产生的新鲜内容。但是又害怕这样会让百度的蜘蛛讨厌我们的网站,总之那种感觉啊,不是太好。

每次打开服务器端访问日志查看非常麻烦,特别是当日志文件比较大时更是不便。最好的办法就是在线直接打开看蜘蛛爬行记录。为此,我们可以免插件使用纯 PHP 代码来实现这个功能,以下是具体实现代码。

  1. // 记录蜘蛛访问记录    
  2.     function get_naps_bot(){
  3.     $useragent = strtolower($_SERVER['HTTP_USER_AGENT']);
  4.     if (strpos($useragent, 'googlebot') !== false){
  5.     return 'Googlebot';
  6.     }
  7.     if (strpos($useragent, 'bingbot') !== false){
  8.     return 'Bingbot';
  9.     }
  10.     if (strpos($useragent, 'slurp') !== false){
  11.     return 'Yahoobot';
  12.     }
  13.     if (strpos($useragent, 'baiduspider') !== false){
  14.     return 'Baiduspider';
  15.     }
  16.     if (strpos($useragent, 'sogou web spider') !== false){
  17.     return 'Sogouspider';
  18.     }
  19.     if (strpos($useragent, 'haosouspider') !== false){
  20.     return 'HaosouSpider';
  21.     }
  22.     if (strpos($useragent, 'yodaobot') !== false){
  23.     return 'YodaoBot';
  24.     }
  25.     return false;
  26.     }
  27.     function nowtime(){
  28.     date_default_timezone_set('Asia/Shanghai');
  29.     $date=date("Y-m-d G:i:s");
  30.     return $date;
  31.     }
  32.     $searchbot = get_naps_bot();
  33.     if ($searchbot) {
  34.     $tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']);
  35.     $url=$_SERVER['HTTP_REFERER'];
  36.     $addr=$_SERVER['REMOTE_ADDR'];
  37.     $file="robotslogs.txt";  //根目录下记录蜘蛛访问的文件
  38.     $time=nowtime();
  39.     $data=fopen($file,"a");
  40.     $PR="$_SERVER[REQUEST_URI]";
  41.     fwrite($data,"[$time] - $addr - $PR - $searchbot $tlc_thispage \r\n");
  42.     fclose($data);
  43.     }

将以上代码插入 funtion.php 文件,并在网站根目录下创建一个名为 robotslogs.txt 的文件即可,文件名可自定义。注意需为 robotslogs.txt 设置可写权限,最好是 777 权限,755 权限某些主机配置下可能存在无法写入的情况。以上代码能记录搜索蜘蛛的基本抓取信息,完成以后,一般 24 小时候,就可以看到你“robotslogs.txt”当中已经满是数据的了。

原创文章,作者:DavidWu,如若转载,请注明出处:https://www.davidwu.net/archives/87885

WordPress安全防护插件
服务项目 服务内容 收费标准(元)
开发定制 WordPress主题/插件开发定制 (以最终需求为准)
主题/插件汉化 汉化团队WordPress主题/插件,翻译率95% (以标的主题/插件的句子数量为准)
服务器环境配置 基于您现有服务器,搭建配置网站运行环境,结合我们多年来实战经验,可完美支持WordPress等PHP程序运行,并配置伪静态规则、优化目录权限等问题。服务器我们强烈推荐使用Linux系统。 100元/次
网站托管 若贵站目前尚无技术人员,无法完成服务器环境配置,可选择我们的网站托管服务,直接交付正常运行的WordPress站点,并且无需担心服务器的后续维护工作,一切都由我们来帮您完成。 标配套餐:1000元/年/站点 高配套餐:联系客服获取
网站加速优化 从服务器后端配置优化到WordPress数据库缓存、前端页面缓存、JS和CSS压缩合并,全方位优化网站加载速度,实现秒开。(此服务仅针对(云)服务器/VPS) 500元/次(仅站内优化200元/次)
主题配置 本站所有主题均支持,可快速实现,若有任何问题可以咨询客服解决,若您希望我们提供配置服务,可选购此服务。 英文主题安装 60元/次 汉化主题安装 30元/次
HTTPS配置 HTTPS已经不断普及,并且有着更高的安全性以及SEO上的优待。该服务收取的为服务费,SSL证书产生的费用请自行承担。 100元/次
网站搬家 迁移网站所有文件和数据库信息、网站相关配置的调整、以及迁移中的疑难问题故障排除。 标准收费:500元/次 若网站数据量大,需协商
网站运维 提供整站的运维服务,保证网站正常运行。包含:网站故障定位及排除、网站数据备份和恢复、网站攻击及木马等问题的处理等 标准收费:2000元/年 IP 5000以上需协商

发表评论

电子邮件地址不会被公开。 必填项已用*标注

51建站客服微信二维码
点击这里购买