在很多朋友的眼里，自己的網(wǎng)站被搜索引擎爬取，就意味者收錄與排名馬上就會出現(xiàn)。確實是這樣，特別是一些新站，在自己的網(wǎng)站制作完成后，提交給搜索引擎之后，如果網(wǎng)站的核心資源被搜索引擎爬取的話，往往說明自己的網(wǎng)站起碼是搜索引擎感興趣的。那么我們就要提高自己被搜索引擎爬取的幾率了。

     引導爬蟲抓取網(wǎng)站核心資源

     為什么網(wǎng)站的核心資源要讓搜索引擎爬取呢？因為核心資源往往意味這是自己網(wǎng)站的重點，而搜索引擎也只有了解到你的這個站主要是做什么的，才能接下來的排名。我們之前說到，網(wǎng)站如果采取站點扁平結構，往往有利于搜索引擎對整個網(wǎng)站的爬取。不過對于大型網(wǎng)站來說，這一點實施起來會比較難，不過我們可以重點來優(yōu)化面包屑導航。還有就是自己的 sitemap每天要全量更新，補充到搜索引擎蜘蛛的spider URL庫。還有就是頁面部分推薦模塊異步改同步加載，核心資源URL部署到權重高的頁面。為了能讓蜘蛛爬蟲抓取核心的網(wǎng)站資源，在網(wǎng)站建設的時候，我們要減少那些無效URL的抓取我們可以使用robotst.txt禁止無效URL被抓取及被索引，通過noindex meta標簽禁止URL被索引 (百度暫不支持noindex)等等，這樣的目的是為了突出網(wǎng)站的重點，不要讓這些非有效的資源沖淡了自己網(wǎng)站的主體而造成相關頁面的權重下降。

     提升網(wǎng)站抓取量

     接下來，我就要著手提高自己網(wǎng)站抓取的頁面的數(shù)量了，我們要注意檢查自己的網(wǎng)站的程序，避免搜索引擎官方爬蟲被安全軟件或者程序的攔截，造成爬蟲沒有辦法爬取訪問；我們還可以逐步上調(diào)站長平臺抓取壓力；及時更新死鏈sitemap；我們進行網(wǎng)站制作的時候，就要有讓這個新的頁面被搜索引擎爬取收錄的目的。

     網(wǎng)站建設的時候，我們就要制定這些利于搜索引擎爬取收錄的方案與目標。這樣后續(xù)的推廣才更有成效。

     本文由上海藝覺網(wǎng)絡科技有限公司（http://www.zhongxin999.cn）原創(chuàng)編輯轉載請注明。