欢迎访问太原seo博客,本站主要提供太原SEO,太原SEO优化等SEO技术交流,欢迎从事SEOer交流.

robots协议最容易忽略却很致命的小细节

小杨seo 2019年04月11日 SEO教程 63 views 0

扫一扫用手机浏览

在我看来,《机器人协议》是站长行使网站支配权的执行文件,这是我们作为站长的基本权利,是搜索引擎蜘蛛在爬行网站之前所面对的第一个门户,可以想象机器人协议的重要性,据说细节决定成败因此,更重要的细节是…

在我看来,《机器人协议》是站长行使网站支配权的执行文件,这是我们作为站长的基本权利,是搜索引擎蜘蛛在爬行网站之前所面对的第一个门户,可以想象机器人协议的重要性,据说细节决定成败.细节越重要,就越重要。一个你不小心忽略的细节最终可能会成为你致命的打击。我这么说的原因是我几乎成了这个问题的反面教材。幸运的是,及时的发现可以被视为一种补救办法,我想立即与您分享的原因是,我希望您以后在做自己的工作时避免犯类似的错误。

这就是今天发生的事情:小杨的SEO博客刚刚完成。几天前,网站上线后,发现有很多小问题需要解决。为了避免网站在调整过程中被搜索引擎抓获,我在《机器人协议》中写下了禁止所有搜索引擎对网站任何部分进行爬行的指示,调整持续了几天(因为我是一个不能容忍缺陷的人,不知道这是不是一种强迫症)。痉挛性障碍)。直到昨天2月3日才完成,但在这段时间里,我每天都在继续添加原创文章。昨天,在检查了网站并解决了所有问题之后,我替换了机器人协议,并发了一个帖子,引导蜘蛛希望爬虫能快点爬上我的网站。这样,今天早上,我就可以发现这个站点没有收录,所以我去百度站长工具平台看看我的站点到底是什么样的,进去看看吓唬我,因为我看到了以下信息(如下所示):

我的网站完全禁止百度。测试时间是今天(2月4日)早上5点。这让我觉得自己像张二的和尚。这太不科学了,因为我昨天2月3日上午更改了网站的机器人协议。真的很奇怪,当我困惑的时候,我终于通过网络管理员平台工具的机器人检测找到了答案。请看下图:

原来百度蜘蛛在蜘蛛上线后的第三天就抓到了我网站的机器人协议,所以目前有效的协议就是我拦截所有蜘蛛时抓到的协议,而我们网站最新的机器人协议还没有生效,现在我终于明白了。现在我知道了原因,很容易做到,所以我立即更新了协议提交,如下:

协议将在更新后的一分钟内更新,如下所示:

如你所见,这个站点上最新的机器人已经开始生效,所以下午,当我再次进入百度站长平台时,我收到了新的消息,如下图所示:

到目前为止,该网站已经解除了机器人协议对百度的全面禁令,检测时间显示在下午2:00。在晚上,大约三个小时前,当我再次检查该网站时,该网站的主页已经包括在内。下图:

网站终于被收录了,但最让我高兴的是,我发现了问题,并通过自己的努力解决了问题,这是我今天最大的成就。当然,如果我找不到这个问题,也许再过10天半个月网站就不会有改进了,所以我想提醒你,机器人协议必须重新修改。ER在蜘蛛被封锁后及时更新机器人协议,这是一个不可忽视的小细节,也许根据我的常识,我只需要输入http:域名机器人。TXT看看网站的协议是否已经改变了,但通过实践它并不完全可靠,所以我必须记住这一经验教训。一旦机器人被调整,他们必须记住及时提交更新,否则他们不应该被蜘蛛抓到。否则就太晚了,不能让蜘蛛离开门,耽误你的时间。

温馨提示:刚看了时间,就把时钟转到了第二天,写这篇文章是在2月4日,但现在发布时间已经改为2月5日,所以今天提到的文章是2月4日,希望你不要看起来困惑。

赞(0

最后编辑于:2019/04/11作者: 小杨seo

发表评论