百度蜘蛛只抓取网站首页，为什么？_搜外问答
其他的蜘蛛都很正常，就baiduspider之抓取首页，内容页提交了抓取一下不提交就不抓，分析了一个星期的日志都是这样，以前的建站也没见过这样的情况，新站不是特别吸引百度蜘蛛的吗？这有日志分析图片，还有我的网址 www点czxbx点com/
求各位大神指点！谢谢了。
3,803 次浏览
分享到微信
这种情况多出现在新站，不能说有问题，但是可以提醒我们，做好网站内容质量、更新。
1、站内做好内容，特别是新站，内容做得好坏，决定着网站大规模放出内容后的表现。
2、做好等SEO操作，让这些优秀的内容更好的被抓取，如这个问题中的讨论：
网站内页不被收录
另外，工具分析日志，还是要核实：
记事本打开日志，查看baiduspider
而且你这里显示蜘蛛就抓取几次，这么小的数据，其实没有太大的参考价值。
专心做好内容，应该没问题。
建议用百度，里面有个抓取诊断工具尝试一下。另外就是每天有。慢，不断更新，慢慢就会好了。
你这个是从哪看的？ 求网址
30天内高手都在交流什么
(1 个回答)
(1 个回答)
(1 个回答)
(4 个回答)
(7 个回答)
(45 分钟前)
(1 小时前)
(1 小时前)
(1 小时前)
(2 小时前)
给问题设置一定金额，将更容易获得关注与回答。
选择支付方式请教下各位大神为什么网站首页蜘蛛爬取不了_搜外问答
你好，本人的一个博客站@@www.seohyq.com@@，这几天出现了问题，百度搜索福建seo关键词，进入网站首页没内容，但可以进入目录，首页就是有时候可以打开有时候又不能打开，用工具查看诊断蜘蛛爬取为空白，百度站长的抓取诊断没内容，站长工具没办法访问，搜外的蜘蛛模拟爬取也没内容，想问下这是怎么了，谢谢
2,694 次浏览
分享到微信
工具也只是一个参考，最好的办法还是去看下日志里面到底有没有首页的抓取记录。
30天内高手都在交流什么
(1 个回答)
(2 个回答)
(2 个回答)
(4 个回答)
(11 个回答)
(45 分钟前)
(1 小时前)
(1 小时前)
(1 小时前)
(2 小时前)
给问题设置一定金额，将更容易获得关注与回答。
选择支付方式网站最近蜘蛛不来抓取了，一直更新原创也不行_搜外问答
之前都是复制粘贴的内容，也有收录，两个月之前改成了伪原创就被降权了。权重恢复了之后就不收录新文章了，从百度站长工具看的抓取次数是0。
请老师帮忙看看。
@@www.ganxi110.com@@
分享到微信
等 1 人赞同该回答
这个啊，大家都一样的。是百度问题。我已经一个星期没有收录了。
参考这里：http://ask.seowhy.com/question/33935
除了百度问题，网站有没有问题www.weishengtaizhiji.com/
30天内高手都在交流什么
(1 个回答)
(1 个回答)
(1 个回答)
(7 个回答)
(8 个回答)
(45 分钟前)
(1 小时前)
(1 小时前)
(1 小时前)
(2 小时前)
给问题设置一定金额，将更容易获得关注与回答。
选择支付方式解析百度蜘蛛如何抓取网站和提高抓取频率 - A5创业网
扫一扫，联系编辑获得审核机会
符合以下要求，获得报道机会
1. 新公司求报道
2. 好项目求报道
3. 服务商求报道
4. 投资融资爆料
客服热线：400-995-7855
当前位置：&&&
解析百度蜘蛛如何抓取网站和提高抓取频率
& 20:02&&来源：A5首发&
　　做seo的小伙伴对百度搜索引擎和蜘蛛是情有独钟啊，因为目前百度是国内PC端和移动端搜索引擎的老大，seo的小伙伴当然是希望百度蜘蛛能够更多的抓取网站，只有抓取的页面多了，才有可能获得更好的收录、排名和流量。百度蜘蛛：Baiduspider、1818平台
　　下面就先和各位分享一下百度蜘蛛是如何从最原始的策略制定到抓取的。
　　一、百度蜘蛛抓取规则
　　1、对网站抓取的友好性
　　百度蜘蛛在抓取互联网上的信息时为了更多、更准确的获取信息，会制定一个规则最大限度的利用带宽和一切资源获取信息，同时也会仅最大限度降低对所抓取网站的压力。
　　2、识别url重定向
　　互联网信息数据量很庞大，涉及众多的链接，但是在这个过程中可能会因为各种原因页面链接进行重定向，在这个过程中就要求百度蜘蛛对url重定向进行识别。
　　3、百度蜘蛛抓取优先级合理使用
　　由于互联网信息量十分庞大，在这种情况下是无法使用一种策略规定哪些内容是要优先抓取的，这时候就要建立多种优先抓取策略，目前的策略主要有：深度优先、宽度优先、PR优先、反链优先，在我接触这么长时间里，PR优先是经常遇到的。
　　4、无法抓取数据的获取
　　在互联网中可能会出现各种问题导致百度蜘蛛无法抓取信息，在这种情况下百度开通了手动提交数据。
　　5、对作弊信息的抓取
　　在抓取页面的时候经常会遇到低质量页面、买卖链接等问题，百度出台了绿萝、石榴等算法进行过滤，据说内部还有一些其他方法进行判断，这些方法没有对外透露。
　　上面介绍的是百度设计的一些抓取策略，内部有更多的策略咱们是不得而知的。
　　二、百度蜘蛛抓取过程中涉及的协议
　　1、http协议：超文本传输协议
　　2、https协议:目前百度已经全网实现https，这种协议更加安全。
　　3、robots协议：这个文件是百度蜘蛛访问的第一个文件，它会告诉百度蜘蛛，哪个页面可以抓取，哪个不可以抓取。
　　三、如何提高百度蜘蛛抓取频次
　　百度蜘蛛会根据一定的规则对网站进行抓取，但是也没法做到一视同仁，以下内容会对百度蜘蛛抓取频次起重要影响。
　　1、网站权重：权重越高的网站百度蜘蛛会更频繁和深度抓取
　　2、网站更新频率：更新的频率越高，百度蜘蛛来的就会越多
　　3、网站内容质量：网站内容原创多、质量高、能解决用户问题的，百度会提高抓取频次。
　　4、导入链接：链接是页面的入口，高质量的链接可以更好的引导百度蜘蛛进入和爬取。
　　5、页面深度：页面在首页是否有入口，在首页有入口能更好的被抓取和收录。
　　6、抓取频次决定着网站有多少页面会被建库收录，这么重要的内容站长该去哪里进行了解和修改，可以到百度站长平台抓取频次功能进行了解，如下图：
　　四、什么情况下会造成百度蜘蛛抓取失败等异常情况
　　有一些网站的网页内容优质、用户访问正常，但是百度蜘蛛无法抓取，不但会损失流量和用户还会被百度认为网站不友好，造成网站降权、评分下降、导入网站流量减少等问题。
　　霍龙在这里简单介绍一下造成百度蜘蛛抓取一场的原因：
　　1、服务器连接异常:出现异常有两种情况，一是网站不稳定，造成百度蜘蛛无法抓取，二是百度蜘蛛一直无法连接到服务器，这时候您就要仔细检查了。
　　2、网络运营商异常:目前国内网络运营商分电信和联通，如果百度蜘蛛通过其中一种无法访问您的网站，还是赶快联系网络运营商解决问题吧。
　　3、无法解析IP造成dns异常:当百度蜘蛛无法解析您网站IP时就会出现dns异常，可以使用WHOIS查询自己网站IP是否能被解析，如果不能需要联系域名注册商解决。
　　4、IP封禁:IP封禁就是限制该IP，只有在特定情况下才会进行此操作，所以如果希望网站百度蜘蛛正常访问您的网站最好不要进行此操作。
　　5、死链：表示页面无效，无法提供有效的信息，这个时候可以通过百度站长平台提交死链。
　　通过以上信息可以大概了解百度蜘蛛爬去原理，收录是网站流量的保证，而百度蜘蛛抓取则是收录的保证，所以网站只有符合百度蜘蛛的爬去规则才能获得更好的排名、流量。
　　作者：霍龙文章来源：www.18link.com
扫一扫关注A5创业网公众号
责任编辑：A5chenlong&&&/&&&作者：霍龙
经常听到站长们问，百度蜘蛛是什么?最近百度蜘蛛来的太频繁服务器抓爆了，最近百度蜘蛛都不来了怎么办，还有很多站点想得到百度蜘蛛的IP段，想把IP加入白名单，但IP不固定，我们无法对外公布。
网站内链的优化技巧，对于每个seo在建站中都是很重要的，一些站长刚开始做网站的时候，根本就不去想内链布局，只是埋头发外链，辛苦忙碌了一段时间，网站的排名迟迟上不去，等到分析原因时，才发现原来是自己的网站内链布局没有做好。
作为一个优秀的推广员，一定要从多方位去打造行业的市场，不能死定着主站SEO，也不能盯着帖子这块，不管是站群优化，还是外推，或者是新站的收录，都离不开百度蜘蛛池，只要养好了几个蜘蛛池，推广就成功了一大半。
现在的电商和B2B,P2P级中小企业进行网络营销，SEO是一个最为实用的手段，大家也都想做好SEO，那么网站优化就十分关键。既然要决定做网站优化，那就做完整的，全套的!怎么做才能吸引蜘蛛收录更多的页面呢?下面跟yjbys小编一起来看看网站的页面优化技巧呢?
现在的电商和B2B,P2P级中小企业进行网络营销，SEO是一个最为实用的手段，大家也都想做好SEO，那么网站优化就十分关键。既然要决定做网站优化，那就做完整的，全套的怎么做才能吸引蜘蛛收录更多的页面呢?下面跟小编一起来看看网站的页面优化技巧呢?
自年，百度搜索生态大变革，流量不断向优质内容倾斜，强化原创保护，净化网络环境，毫无疑问，这是搜索生态良性发展的基石，这其中包括：①熊掌号：基于文字内容的原创识别。②百度图腾：基于区块链技术对图片版权的保护。
关键词优化难道就是为了快速增加百度收录，然后以巨大的收录量来带动首页的核心关键词吗?难道不做长尾关键词优化的吗?今天，小小课堂网认为关键词优化的正确姿势应该是由文章到栏目再到首页。希望对大家有所帮助。
引言：长尾关键词挖掘，已成为网络营销推广的重中之中。挖掘好的长尾词，花费少，转化率高!下面将介绍长尾关键词挖掘的几种方法和一个超级秘诀，不容错过!
打动用户的心，更侧重和用户进行互动，尤其在搜索引擎式微的今天，SEO优化固然可以带来流量，而通过社交化，以用户体验为中心的优化，虽然没有搜索引擎带来的流量巨大，但是质量要高很多
外链为王，内容为皇的时代已经过去，现在你把这两块做到极致，用户体验做不到位，跳出率依旧高的吓人，网站的排名也不会上升，真正有需求的用户也不能转化。
在互联的今天，随着搜索引擎算法的不断更新，seo优化技术的不断改变，作为优化站长想要立足于这个行业之中，需要花费很多的时间交换SEO策略和想法，以互惠互利，这听起来是一件非常美妙的事情。
对于中文网站来说，在百度获得好的排名就是SEO工作成功的关键。百度的排序算法异常复杂，但是依据公开的文档，大致可以归类影响网页排序的几个重要因素。
关键词可以粗略等同于网页的定位，通过关键词的设计，对网页进行定位，再传达定位信息给搜索引擎，吸引相关的搜索客户到达页面。关键词的设置在网站当中是不可缺少的。
很多刚开始接触SEO的朋友们，总是不知道要如何去给一个网站做好SEO优化，甚至给你一个网站叫你做SEO的时候，都会手足无措。那么，在这福建厦门SEO就给广大SEO新手朋友们写了这篇文章，主要目的：就是为了告诉大家，网站SEO优化具体是怎么做的？网站SEO优化都有哪些操作流程？
SEO即搜索引擎优化，针对搜索引擎(主要的中文搜索引擎包括百度、谷歌、雅虎、搜狗等)，通过分析它们对网站网页的抓取、收录规律，运用技术，提升自己网站在搜索引擎的收录速度；
创业好项目
写了4年多博客 我选择了从头再来
扫描二维码关注A5创业网了解最新创业资讯服务
&徐州八方网络科技有限公司&版权所有&
举报投诉邮箱：
扫一扫关注最新创业资讯抓取网站的搜索引擎蜘蛛是不是越多越好-马海祥博客
新型SEO思维就是从一个全新的层次上提升seo优化的水平，达到网络信息最佳化的展示效果！
> 抓取网站的搜索引擎蜘蛛是不是越多越好
抓取网站的搜索引擎蜘蛛是不是越多越好
时间：&&&文章来源：马海祥博客&&&访问次数：
做过SEO或站长的都应该知道，网站要想做排名就必须使网站文章先收录，而网站内容收录由跟搜索引擎蜘蛛的来访抓取有很大的关系。
搜索引擎蜘蛛，又被称为网页爬虫，网络机器人，在FOAF社区中间，也经常被称为网页追逐者，是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。另外它还有一些不常使用的名字，如：蚂蚁，自动索引，模拟程序或者蠕虫。那么，对于一个网站来说，是不是来网站爬行的搜索引擎蜘蛛越多越好呢？
一、搜索引擎蜘蛛抓取网页的原理
关于搜索引擎获得网页的工具，是一款爬行程序(俗称蜘蛛)，蜘蛛程序每天都会爬行大量的网页，并将一些新的网页信息带到服务器以便进行网页索引的建立。
可以说，互联网就是由一个个链接构成的，蜘蛛程序顺着这些链接爬行并发现网页信息，蜘蛛程序爬行每一个页面，当这个页面不再有新的链接信息的时候，它就返回，下次再到这个页面的时候，再去爬行（具体可查看马海祥博客的《》相关介绍）。
当给它足够的时间，他就会找到互联网所有的网页信息(至少是被链接的)，在爬行的时候，它还会不断的向服务器提供信息，所以我们在进行网站日志分析的时候，如果发现某一个网页被某个搜索引擎的蜘蛛程序程序爬行并成功抓取数据，那么，这个网页就很有可能被索引。
所以，从SEO的角度来说，提高网页的索引数据(收录量)对于一个网站的搜索引擎优化(SEO)是非常有利的。
当蜘蛛程序在爬行链接的过程中，它还会对爬行过的链接进行处理，因为链接需要载体(文字、图片或其他信息)，发现链接载体并存储链接数据。
所以这里我们要做的，就是努力增加蜘蛛爬行页面的频率(在以往的网站分析中经常提到)，以保证我们网页在搜索引擎数据库中的索引是最新的。
比如蜘蛛程序今天访问了网站的两个网页并成功抓取，隔了两个星期，它再来访问这两个页面的时候，这两个网页其中一个更新了，另一个确没有，那么，蜘蛛程序可能会在一个星期内再次回访更新过的那个网页，而在一个月后才去访问没有更新的那个网页，随着时间的推移，蜘蛛程序会更加频繁是爬行经常更新的网页，以达到更新服务器中的索引数据，向用户提供最新的网页信息。
二、搜索引擎蜘蛛是不是越多越好？
不论哪个搜索引擎的爬虫，来抓取你网站的页面的时候，肯定在消耗你的网站资源，例如网站的连接数、网络带宽资源(空间流量)、服务器的负载、甚至还有盗链等，那是不是所有的搜索引擎蜘蛛都是有用呢？
另外，搜索引擎的爬虫来抓取你的页面数据后，它也不一定收用数据，只代表它&到此一游&留下痕迹而已，据马海祥了解有些搜索引擎只是过来找下它想要的资源，甚至还有很多是开发人员的蜘蛛测试。
对于一个原创内容丰富，URL结构合理易于爬取的网站来说，简直就是各种爬虫的盘中大餐，很多网站的访问流量构成当中，爬虫带来的流量要远远超过真实用户访问流量，甚至爬虫流量要高出真实流量一个数量级。
对于那些想提高网站有效利用率的网站，虽然设置了相当严格的反爬虫策略，但是网站处理的动态请求数量仍然是真实用户访问流量的2倍。
可以肯定的说，当今互联网的网络流量有很大一部分的流量是爬虫带来的，因此反搜索引擎爬虫是一个值得SEO长期探索和解决的问题。
所以，从SEO的角度来说，搜索引擎蜘蛛来网站访问并非越多越好，并且还要合理的屏蔽无效的搜索引擎蜘蛛的抓取。
三、过多的搜索引擎爬虫对网站的影响
既然对于网站来说，搜索引擎蜘蛛并非是越多越好，那么，这具体是因为什么原因导致的呢？
1、浪费带宽资源
如果你的网站带宽资源有限，而爬虫的量过多，导致正常用户访问缓慢，原本虚拟主机主机的连接数受限，带宽资源也是有限，这种情况搜索引擎爬虫受影响呈现更明显。
2、过于频繁的抓取会导致服务器报错
如果搜索引擎爬虫过于频繁，会抓取扫描很多无效页面，甚至抓页面抓到服务器报502、500 、504等服务器内部错误了（具体可查看马海祥博客的《》相关介绍），蜘蛛爬虫还在不停使劲抓取。
3、与网站主题不相关的搜索引擎爬虫消耗资源
比如一淘网的抓取工具是一淘网蜘蛛(EtaoSpider)，目前是被各大购物网站屏蔽的，拒绝一淘网抓取其商品信息及用户产生的点评内容。
被禁止的原因首先应该是它们之间没有合作互利的关系，还有就是EtaoSpider爬虫是一个抓取最疯狂的蜘蛛，据马海祥对一些电商网站的测试发现：一淘网蜘蛛(EtaoSpider)的一天爬行量比&百度蜘蛛（Baiduspider）&&360蜘蛛（360Spider）&&SOSO蜘蛛（Sosospider）&等主流蜘蛛爬虫多几倍，并且是远远的多。
重点是EtaoSpider被抓取只会消耗你的网站资源，它不会给你带来访问量，或者其它对你有利用的。
4、无效的测试抓取
一些搜索引擎开发程序员，它们写的爬虫程序在测试爬行。
5、robots.txt文件也并非是万能
肯定有很多人认为，在robots.txt设置屏蔽搜索引擎爬虫即可，或者允许某些特定的搜索引擎爬虫，能达到你预想效果。
正规搜索引擎会遵守规则，不过不会及时生效，但是据我对马海祥博客的测试发现：实际上某些蜘蛛往往不是这样的，先扫描抓取你的页面，无视你的robots.txt，也可能它抓取后不一定留用，或者它只是统计信息，收集互联网行业趋势分析统计。
6、不是搜索引擎蜘蛛，但具有蜘蛛的特性
例如采集软件，采集程序，网络扫描e-mail地址的工具，各式各样的SEO分析统计工具，千奇百怪的网站漏洞扫描工具等等，这些抓取对网站没有任何好处！
四、如何解决无效搜索引擎蜘蛛取的问题
各种搜索引擎的蜘蛛爬虫会不断地访问抓取我们站点的内容，也会消耗站点的一定流量，有时候就需要屏蔽某些蜘蛛访问我们的站点。那么接下来，马海祥就根据自己的经验跟大家分享4种解决无效搜索引擎蜘蛛抓取的方法：
1、只运行常用的搜索引擎蜘蛛抓取
依据空间流量实际情况，就保留几个常用的，屏蔽掉其它蜘蛛以节省流量。
2、通过服务器防火墙来屏蔽ip
从服务器防火墙iptable直接屏蔽蜘蛛IP段、详细的IP，这是最直接、有效的屏蔽方法。
3、WWW服务器层面做限制
例如Nginx，Squid，Lighttpd，直接通过&http_user_agent&屏蔽搜索引擎爬虫。
4、最后robots.txt文件做限制
搜索引擎国际规则还是要遵循规则的。
五、各大搜索引擎蜘蛛的名称
为了使大家找到适合自己网站的搜索引擎蜘蛛，马海祥也特意整理了一份最新的各大搜索引擎蜘蛛名称(大家要注意下写法的不同点，特别是大小写)：
1、百度蜘蛛：Baiduspider
网上的资料百度蜘蛛名称有BaiduSpider、baiduspider等，那是旧黄历了。百度蜘蛛最新名称为Baiduspider，我通过对马海祥博客日志的检查还发现了Baiduspider-image这个百度旗下蜘蛛，是抓取图片的蜘蛛。
常见百度旗下同类型蜘蛛还有下面这些：Baiduspider-mobile(抓取wap)、Baiduspider-image(抓取图片)、Baiduspider-video(抓取视频)、Baiduspider-news(抓取新闻)。
2、谷歌蜘蛛：Googlebot
这个争议较少，但也有说是GoogleBot的，谷歌蜘蛛最新名称为& Googlebot/2.1;&，不过，我还在马海祥博客的日志中发现了Googlebot-Mobile，看名字是抓取wap内容的。
3、360蜘蛛：360Spider
它是一个很&勤奋抓爬&的蜘蛛。
4、SOSO蜘蛛：Sosospider
5、雅虎蜘蛛：&Yahoo! Slurp China&或者Yahoo!
6、有道蜘蛛：YoudaoBot，YodaoBot
7、搜狗蜘蛛：Sogou News Spider
另外，马海祥还发现搜狗蜘蛛还包括以下这些：Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou News Spider、Sogou Orion spider。
8、MSN蜘蛛：msnbot，msnbot-media
9、必应蜘蛛：bingbot，线上( bingbot/2.0;)
10、一搜蜘蛛：YisouSpider
11、Alexa蜘蛛：ia_archiver
12、宜搜蜘蛛：EasouSpider
13、即刻蜘蛛：JikeSpider
14、一淘网蜘蛛：EtaoSpider
根据上述蜘蛛中选择几个常用的允许抓取，其余的都可以通过robots屏蔽抓取，如果你的空间流量还足够使用的话，那就不用做屏蔽了，等流量紧张了就保留几个常用的屏蔽掉其它蜘蛛以节省流量。
至于那些蜘蛛抓取对网站能带来有利用的价值，网站的管理者应该是最清楚的。
另外，马海祥还发现了YandexBot、AhrefsBot和ezooms.bot这些蜘蛛，据说这些蜘蛛国外的，对中文网站用处很小。
其实对于我们站长来说，有效并且常用的搜索引擎就那么几个，只要在robots.txt文件里把常用的几个搜索引擎蜘蛛允许放行就好了，其它的爬虫统统通过通配符(*)禁止掉，或单独屏蔽某些蜘蛛（具体方式我也在马海祥博客的《》一文中跟大家做过详细的介绍，有兴趣的朋友可以看下）。
马海祥博客点评：
对于搜索引擎来说，使用搜索引擎蜘蛛不断的收集最新数据，主要用于提供它访问过页面的一个副本，然后，搜索引擎就可以对得到的页面进行索引，以提供快速的访问。蜘蛛也可以在web上用来自动执行一些任务，例如检查链接，确认html代码；也可以用来抓取网页上某种特定类型信息，例如抓取电子邮件地址（通常用于垃圾邮件）。
本文为原创文章，如想转载，请注明原文网址摘自于http://www.mahaixiang.cn/seoyjy/727.html，注明出处；否则，禁止转载；谢谢配合！
您可能还会对以下这些文章感兴趣！
昨天跟一个朋友出去游玩，在公交站台等车的时候，突然发现公交路线牌的广告上换成了有问题，百度一下的广告……
今天早上我一如既往的打开电脑查找我所需要的资料，在使用360搜索时却发现个奇怪的现象，在通过360综合搜索……
域名由各国文字的特定字符集、英文字母、数字及“-”(即连字符或减号)任意组合而成，但开头及结尾均不能含……
最近又有人开始向百度抛砖了，为什么有些根本就没管理过的网站都……
二级域名是指顶级域名之下的域名，在国际顶级域名下，它是指域名……
链接也称超级链接，是指从一个网页指向一个目标的连接关系，而在……
301永久重定向是在搜索引擎优化中很常用的一个域名地址跳转的操……
PR级别是从1到10级，10级为满分，PR值越高说明该网页越受欢迎（……
搜索引擎 是指根据一定的策略、运用特定的计算机程序从互联网上……
本月热点文章