搜索引擎為了抓取盡可能多的頁面,它會自動跟蹤頁面的鏈接,通常采用廣度優(yōu)先、深度優(yōu)先這兩種遍歷方法。理論上說,無論是采用深度還是廣度策略,只要給蜘蛛足夠的時間,都能抓取到網(wǎng)站頁面內(nèi)容,但是實際情況是,搜索引擎蜘蛛的寬帶資源、服務(wù)器資源等等,都是有限的,因此從實際情況來看,蜘蛛也只能是抓取到互聯(lián)網(wǎng)頁面內(nèi)容的一小部分,還有很大部分的頁面,蜘蛛抓取不到?! ∧拿丛谶@種網(wǎng)站之間激烈競爭的態(tài)勢下,如何通過吸引蜘蛛來提高網(wǎng)站的 ... ...