什么是baiduspider?

　　baiduspider是百度搜索引擎的一个自动程序。它的作用是访问互联网上的html网页,建立索引数据库,使用户能在百度搜索引擎中搜索到您网站的网页。

　　baiduspider对一个网站服务器造成的访问压力如何?

　　baiduspider会自动根据服务器的负载能力调节访问密度。在连续访问一段时间后,baiduspider会暂停一会,以防止增大服务器的访问压力。所以在一般情况下,baiduspider对您网站的服务器不会造成过大压力。

　　为什么baiduspider不停的抓取我的网站?

　　对于您网站上新产生的或者持续更新的页面,baiduspider会持续抓取。此外,您也可以检查网站访问日志中baiduspider的访问是否正常,以防止有人恶意冒充baiduspider来频繁抓取您的网站。如果您发现baiduspider非正常抓取您的网站,请反馈至webmaster@baidu.com,并请尽量给出baiduspider对贵站的访问日志,以便于我们跟踪处理。

　　我不想我的网站被baiduspider访问,我该怎么做?

　　baiduspider遵守互联网robots协议。您可以利用robots.txt文件完全禁止baiduspider访问您的网站,或者禁止baiduspider访问您网站上的部分文件。注意:禁止baiduspider访问您的网站,将使您的网站上的网页,在百度搜索引擎以及所有百度提供搜索引擎服务的搜索引擎中无法被搜索到。关于robots.txt的写作方法,请参看:

　　为什么我的网站已经加了robots.txt,还能在百度搜索出来?

　　因为搜索引擎索引数据库的更新需要时间。虽然baiduspider已经停止访问您网站上的网页,但百度搜索引擎数据库中已经建立的网页索引信息,可能需要二至四周才会清除。另外也请检查您的robots配置是否正确。

　　百度蜘蛛在robots.txt中的名字是什么?

　　“baiduspider”全部为小写字母。

　　baiduspider多长时间之后会重新抓取我的网页?

　　百度搜索引擎每周更新,网页视重要性有不同的更新率,频率在几天至一月之间,baiduspider会重新访问和更新一个网页。

　　知道了什么是百度蜘蛛,那么怎么才能知道蜘蛛是否来过你的站?

　　这个可以从你服务器或者虚拟主机的日志中看出来,比如我用的虚拟主机的完整使用日志中有这样的记录:

　　220.181.38.198 - - [11/Nov/2007:04:28:29 +0800] "GET / HTTP/1.1" 200 61083 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"这就说明百度蜘蛛来过我的站了,如果你还想知道有没有其它搜索引擎的蜘蛛来过你的站,你可以在日志文件中搜索“spider”这个词,或者搜索蜘蛛的IP,我的就查到sogou也来过我的站,IIS日志与Apache的日志是一样的,都可以查到。

　　各类蜘蛛IP收集,不一定完全准确。

　　序号 IP 注释

　　1 202.106.186.* 163蜘蛛

　　2 202.108.36.* 163蜘蛛

　　3 202.108.44.* 163蜘蛛

　　4 202.108.45.* 163蜘蛛

　　5 202.108.5.* 163蜘蛛

　　6 202.108.9.* 163蜘蛛

　　7 220.181.12.* 163蜘蛛

　　8 220.181.13.* 163蜘蛛

　　9 220.181.14.* 163蜘蛛

　　10 220.181.15.* 163蜘蛛

　　11 220.181.28.* 163蜘蛛

　　12 220.181.31.* 163蜘蛛

　　13 222.185.245.* 163蜘蛛

　　14 202.165.100.* 3721蜘蛛

　　15 220.181.19.* 百度蜘蛛

　　16 159.226.50.* 百度蜘蛛

　　17 202.108.11.* 百度蜘蛛

　　18 202.108.22.* 百度蜘蛛

　　19 202.108.23.* 百度蜘蛛

　　20 202.108.249.* 百度蜘蛛

　　21 202.108.250.* 百度蜘蛛

　　22 61.135.145.* 百度蜘蛛

　　23 61.135.146.* 百度蜘蛛

　　24 64.124.85.* become.com

　　25 61.151.243.* china蜘蛛

　　26 202.165.96.* gais.cs.ccu.edu.tw

　　27 216.239.33.* google蜘蛛

　　28 216.239.35.* google蜘蛛

　　29 216.239.37.* google蜘蛛

　　30 216.239.39.* google蜘蛛

　　31 216.239.51.* google蜘蛛

　　32 216.239.53.* google蜘蛛

　　33 216.239.55.* google蜘蛛

　　34 216.239.57.* google蜘蛛

　　35 216.239.59.* google蜘蛛

　　36 64.233.161.* google蜘蛛

　　37 64.233.189.* google蜘蛛

　　38 66.102.11.* google蜘蛛

　　39 66.102.7.* google蜘蛛

　　40 66.102.9.* google蜘蛛

　　41 66.249.64.* google蜘蛛

　　42 66.249.65.* google蜘蛛

　　43 66.249.66.* google蜘蛛

　　44 66.249.71.* google蜘蛛

　　45 66.249.72.* google蜘蛛

　　46 72.14.207.* google蜘蛛

　　47 61.135.152.* iask蜘蛛

　　48 65.54.188.* msn蜘蛛

　　49 65.54.225.* msn蜘蛛

　　50 65.54.226.* msn蜘蛛

　　51 65.54.228.* msn蜘蛛

　　52 65.54.229.* msn蜘蛛

　　53 207.46.98.* msn蜘蛛

　　54 207.68.157.* msn蜘蛛

　　55 194.224.199.* noxtrumbot

　　56 220.181.8.* Outfox

　　57 221.239.209.* Outfox

　　58 217.212.224.* psbot

　　59 219.133.40.* QQ蜘蛛

　　60 202.96.170.* QQ蜘蛛

　　61 202.104.129.* QQ蜘蛛

　　62 61.135.157.* QQ蜘蛛

　　63 219.142.118.* sina蜘蛛

　　64 219.142.78.* sina蜘蛛

　　65 61.135.132.* sohu蜘蛛

　　66 220.181.26.* sohu蜘蛛

　　220.181.19.*

　　67 61.135.158.* tom蜘蛛

　　68 66.196.90.* yahoo蜘蛛

　　69 66.196.91.* yahoo蜘蛛

　　70 68.142.249.* yahoo蜘蛛

　　71 68.142.250.* yahoo蜘蛛

　　72 68.142.251.* yahoo蜘蛛

　　73 202.165.102.* yahoo中国蜘蛛

　　74 202.160.178.* yahoo中国蜘蛛

　　75 202.160.179.* yahoo中国蜘蛛

　　76 202.160.180.* yahoo中国蜘蛛

　　77 202.160.181.* yahoo中国蜘蛛

　　78 202.160.183.* yahoo中国蜘蛛

　　79 72.30.101.* yahoo蜘蛛

　　80 72.30.102.* yahoo蜘蛛

　　81 72.30.103.* yahoo蜘蛛

　　82 72.30.104.* yahoo蜘蛛

　　83 72.30.107.* yahoo蜘蛛

　　84 72.30.110.* yahoo蜘蛛

　　85 72.30.111.* yahoo蜘蛛

　　86 72.30.128.* yahoo蜘蛛

　　87 72.30.129.* yahoo蜘蛛

　　88 72.30.131.* yahoo蜘蛛

　　89 72.30.133.* yahoo蜘蛛

　　90 72.30.134.* yahoo蜘蛛

　　91 72.30.135.* yahoo蜘蛛

　　92 72.30.216.* yahoo蜘蛛

　　93 72.30.226.* yahoo蜘蛛

　　94 72.30.252.* yahoo蜘蛛

　　95 72.30.97.* yahoo蜘蛛

　　96 72.30.98.* yahoo蜘蛛

　　97 72.30.99.* yahoo蜘蛛

　　98 74.6.74.* yahoo蜘蛛

　　99 202.108.4.* 中搜蜘蛛

　　100 202.108.4.* 中搜蜘蛛

　　101 202.108.33.* 中搜蜘蛛

　　102 202.96.51.* 中搜蜘蛛

　　103 219.142.53.* 中搜蜘蛛

　　序号 IP 注释

　　1 202.106.186 163

　　2 202.108.36 163

　　3 202.108.44 163

　　4 202.108.45 163

　　5 202.108.5 163

　　6 202.108.9 163

　　7 220.181.12 163

　　8 220.181.13 163

　　9 220.181.14 163

　　10 220.181.15 163

　　11 220.181.28 163

　　12 220.181.31 163

　　13 222.185.245 163

　　14 202.165.100 3721

　　15 220.181.19 baidu

　　16 159.226.50 baidu

　　17 202.108.11 baidu

　　18 202.108.22 baidu

　　19 202.108.23 baidu

　　20 202.108.249 baidu

　　21 202.108.250 baidu

　　22 61.135.145 baidu

　　23 61.135.146 baidu

　　24 64.124.85 become.com

　　25 61.151.243 china

　　26 202.165.96 gais.cs.ccu.edu.tw

　　27 216.239.33 google

　　28 216.239.35 google

　　29 216.239.37 google

　　30 216.239.39 google

　　31 216.239.51 google

　　32 216.239.53 google

　　33 216.239.55 google

　　34 216.239.57 google

　　35 216.239.59 google

　　36 64.233.161 google

　　37 64.233.189 google

　　38 66.102.11 google

　　39 66.102.7 google

　　40 66.102.9 google

　　41 66.249.64 google

　　42 66.249.65 google

　　43 66.249.66 google

　　44 66.249.71 google

　　45 66.249.72 google

　　46 72.14.207 google

　　47 61.135.152 iask

　　48 65.54.188 msn

　　49 65.54.225 msn

　　50 65.54.226 msn

　　51 65.54.228 msn

　　52 65.54.229 msn

　　53 207.46.98 msn

　　54 207.68.157 msn

　　55 194.224.199 noxtrumbot

　　56 220.181.8 Outfox

　　57 221.239.209 Outfox

　　58 217.212.224 psbot

　　59 219.133.40 QQ

　　60 202.96.170 QQ

　　61 202.104.129 QQ

　　62 61.135.157 QQ

　　63 219.142.118 sina

　　64 219.142.78 sina

　　65 61.135.132 sohu

　　66 220.181.26 sohu

　　67 61.135.158 tom

　　68 66.196.90 yahoo

　　69 66.196.91 yahoo

　　70 68.142.249 yahoo

　　71 68.142.250 yahoo

　　72 68.142.251 yahoo

　　73 202.165.102 yahoo

　　74 202.160.178 yahoo

　　75 202.160.179 yahoo

　　76 202.160.180 yahoo

　　77 202.160.181 yahoo

　　78 202.160.183 yahoo

　　79 72.30.101 yahoo

　　80 72.30.102 yahoo

　　81 72.30.103 yahoo

　　82 72.30.104 yahoo

　　83 72.30.107 yahoo

　　84 72.30.110 yahoo

　　85 72.30.111 yahoo

　　86 72.30.128 yahoo

　　87 72.30.129 yahoo

　　88 72.30.131 yahoo

　　89 72.30.133 yahoo

　　90 72.30.134 yahoo

　　91 72.30.135 Yahoo

　　92 72.30.216 yahoo

　　93 72.30.226 yahoo

　　94 72.30.252 yahoo

　　95 72.30.97 yahoo

　　96 72.30.98 yahoo

　　97 72.30.99 yahoo

　　98 74.6.74 yahoo

　　99 202.108.4 zhongsou

　　100 202.108.33 zhongsou

　　101 202.96.51 zhongsou

　　102 219.142.53 zhongsou

　　-------------百度-------------

　　31.135.145.*

　　61.135.145.*

　　61.135.146.*

　　159.226.50.*

　　202.108.11.*

　　202.108.22.*

　　202.108.23.*

　　202.108.249.*

　　202.108.250.*

　　220.181.19.*

　　-------------雅虎中国-------------

　　66.196.90.*

　　66.196.91.*

　　68.142.249.*

　　68.142.250.*

　　68.142.251.*

　　72.30.101.*

　　72.30.102.*

　　72.30.103.*

　　72.30.104.*

　　72.30.107.*

　　72.30.110.*

　　72.30.111.*

　　72.30.128.*

　　72.30.129.*

　　72.30.131.*

　　72.30.133.*

　　72.30.134.*

　　72.30.135.*

　　72.30.216.*

　　72.30.226.*

　　72.30.252.*

　　72.30.97.*

　　72.30.98.*

　　72.30.99.*

　　74.6.74.*

　　202.165.102.*

　　202.160.178.*

　　202.160.179.*

　　202.160.180.*

　　202.160.181.*

　　202.160.183.*

　　-------------Google-------------

　　64.233.161.*

　　64.233.189.*

　　66.102.11.*

　　66.102.7.*

　　66.102.9.*

　　66.249.64.*

　　66.249.65.*

　　66.249.66.*

　　66.249.71.*

　　66.249.72.*

　　72.14.207.*

　　216.239.33.*

　　216.239.35.*

　　216.239.37.*

　　216.239.39.*

　　216.239.51.*

　　216.239.53.*

　　216.239.55.*

　　216.239.57.*

　　216.239.59.*

　　------------- MSN -------------

　　65.54.188.*

　　65.54.225.*

　　65.54.226.*

　　65.54.228.*

　　65.54.229.*

　　207.46.98.*

　　207.68.157.*

　　------------- 中搜 -------------

　　202.108.1.*

　　202.108.2.*

　　202.108.3.*

　　202.108.4.*

　　202.108.33.*

　　202.96.51.*

　　219.142.53.*

　　------------- QQ -------------

　　219.133.40.*

　　202.96.170.*

　　202.104.129.*

　　61.135.157.*

　　------------- 163 -------------

　　202.106.186.*

　　202.108.36.*

　　202.108.44.*

　　202.108.45.*

　　202.108.5.*

　　202.108.9.*

　　220.181.12.*

　　220.181.13.*

　　220.181.14.*

　　220.181.15.*

　　220.181.28.*

　　220.181.31.*

　　222.185.245.*

　　------------- 其他 -------------

　　64.124.85.* become.com

　　61.151.243.* china

　　202.165.96.* gais.cs.ccu.edu.tw

　　61.135.152.* iask

　　194.224.199.* noxtrumbot

　　220.181.8.* Outfox

　　221.239.209.* Outfox

　　217.212.224.* psbot

　　219.142.118.* sina

　　219.142.78.* sina

　　61.135.132.* sohu

　　220.181.26.* sohu

　　61.135.158.* tom