搜索引擎為了抓取盡可能多的頁(yè)面,它會(huì)自動(dòng)跟蹤頁(yè)面的鏈接,通常采用廣度優(yōu)先、深度優(yōu)先這兩種遍歷方法。理論上說(shuō),無(wú)論是采用深度還是廣度策略,只要給蜘蛛足夠的時(shí)間,都能抓取到網(wǎng)站頁(yè)面內(nèi)容,但是實(shí)際情況是,搜索引擎蜘蛛的寬帶資源、服務(wù)器資源等等,都是有限的,因此從實(shí)際情況來(lái)看,蜘蛛也只能是抓取到互聯(lián)網(wǎng)頁(yè)面內(nèi)容的一小部分,還有很大部分的頁(yè)面,蜘蛛抓取不到。 哪么在這種網(wǎng)站之間激烈競(jìng)爭(zhēng)的態(tài)勢(shì)下,如何通過吸引蜘蛛來(lái)提高網(wǎng)站的 ... ...