对于搜索引擎来讲，要抓取网络上所有些网页几乎是不可能的。那样蜘蛛是如何抓取的呢?今天博久网络就继续来讨论专业网站优化技术：蜘蛛spider的抓取方法广度优先和深度优先。广度优先是指搜索引擎蜘蛛会先抓取起始网页中链接的所有网页，然后再选择其中一个链接网页，继续花去在此网页中链接的所有网页。这是最常见的方法，由于这个办法可以让搜索引擎并行处置，提升其抓取速度。深度优先是指搜索引擎蜘蛛会从起始页开始，一个链接一个链接跟踪下去，处置完这条线路之后再转入下一个起始页，继续跟踪链接。这个办法有个优点是搜索引擎蜘蛛在设计的时候很容易。
因为不可能抓取所有些网页，有的搜索引擎蜘蛛对一些不太要紧的网站，设置了访问的层数如下图，A为起始网页，是0层，B、C、D、E、F是第1层，G、H是第2层，I是第3层。假如搜索引擎蜘蛛设置的访问层数为2的话，网页I是不会被访问到的。这也让有的网站上的一部分网页可以在搜索引擎上搜索到，另外一部分不可以被搜索到。对于网站建设者来讲，扁平化的网站架构设计能够帮助搜索引擎抓取其更多的网页。
搜索引擎蜘蛛在访问网站网页的时候，常常会遇见加密数据和为网页权限的问题，有的网页是需要有会员权限才能访问的。当然，网站的所有者可以通过协议让搜索引擎只注意不去抓取，但对于一些供应报告的网站，他们期望搜索引擎能搜索到他们的报告，但又不可以完全免费地让搜索者查询，如此就需要给搜索引擎蜘蛛提供相应的用户名和密码。搜索引擎蜘蛛可以通过所给的权限对这类网页进行网页抓取，从而提供搜索。而当搜索者点击查询该网页的时候，同样需要搜索者提供相应的权限验证。
目前题目专业网站优化技术：蜘蛛spider的抓取方法蜘蛛spider的抓取方法目前链接：
