孙悟空虽然最后成了斗战胜佛，但他一生中最快活的日子应该还是在水帘洞的时光。
花果山福地，水帘洞洞天！ | September 12. 2008

花果山福地，水帘洞洞天！

风妖的官方博客

Filter by APML

September

12.th

百度是如何知道淘宝的内部数据的？

作者: 风妖 | IT之恶 Comments: 0 | Post RSSRSS comment feed |
另外，说说主动屏蔽百度蜘蛛这件事吧。在淘宝之前，51就已经这么干过了。我觉得51和淘宝屏蔽百度蜘蛛一方面是出于竞争方面考虑，另一方面也有可能是害怕百度蜘蛛大量频繁抓取时造成的服务器与带宽压力吧。就我个人的经验，百度的蜘蛛在正常情况下是要比Google Bot勤劳N倍的，如果Google Bot一天来两次，百度蜘蛛至少要来六次。频繁的抓取是保持百度在中文搜索领域领先的重要保证。 [More]

Currently rated 5.0 by 1 people

  • Currently 5/5 Stars.
  • 1
  • 2
  • 3
  • 4
  • 5
Tags: , , , , , ,


<<  September 2008  >>
MonTueWedThuFriSatSun
25262728293031
1234567
891011121314
15161718192021
22232425262728
293012345

博客作者

风妖

Recent comments

Pages

版权所有，转载请注明出处。

Powered by BlogYi.NET ver:1.6.5.0. Original Powered by BlogEngine.NET.