2015-08-25 閱讀數(shù):3135
seo中影響各大搜索排名的robots如何把控？
眾所周知，各個(gè)搜索引擎，特別是百度那些，的機(jī)器蜘蛛爬蟲是比較喜歡網(wǎng)站自身在自己的網(wǎng)站上提供robots文件，這樣有利于節(jié)省蜘蛛爬蟲的精力是有限的，這樣相當(dāng)于給予爬蟲一個(gè)導(dǎo)航，讓他更好的能夠做好爬蟲的工作。那什么是robots文件呢？首頁網(wǎng)址后面加入“/robots.txt”，即可打開該網(wǎng)站的robots文件，可以將網(wǎng)站中有一些無關(guān)緊要的網(wǎng)頁，如“給我留言”或“聯(lián)系方式”等網(wǎng)頁，他們并不參與SEO排名，只是為了給用戶看，此時(shí)可以利用robots文件把他們屏蔽，即告訴搜索引擎不要抓取該頁面。從而高效抓取我們需要的頁面。對(duì)于中大型網(wǎng)站來說，robots文件尤為重要。
那么robots文件的用法該如何呢？
robots文件用法：
1.“user-agent：*disallow：/”
意思表示“禁止所有搜索引擎訪問網(wǎng)站的任何部分”，也就是說該網(wǎng)站在搜索引擎里沒有記錄，也就談不上排名。
2.“user-agent：*disallow：”
意思為“允許所有的robots訪問”，即允許蜘蛛任意抓取并收錄該網(wǎng)站。這里需要注意，前兩條語法之間只相差一個(gè)“/”。
3.“user-agent：badbot disallow：/”
意思為“禁止某個(gè)搜索引擎的訪問”。
4.“user-agent：baiduspider disallow：user-agent：*disallow：/”
意思為“允許某個(gè)搜索引擎的訪問”。這里面的“baiduspider”是百度蜘蛛的名稱，這條語法即是允許百度抓取該網(wǎng)站，而不允許其他搜索引擎抓取。
robots文件用法案例：
比如網(wǎng)站改版，就會(huì)出現(xiàn)大量404頁面、很多死鏈接，而這些鏈接以前已經(jīng)被百度收錄，但網(wǎng)站更換后蜘蛛再過來發(fā)現(xiàn)這些頁面都不存在了，這就會(huì)留下很不好的印象。此時(shí)可以利用robots文件把死鏈接全部屏蔽，不讓百度訪問這些已不存在的頁面即可。
robots文件運(yùn)用注意事項(xiàng)：
robots文件名必須是robots.txt，其后綴是txt并且是小寫的，不可以隨便更改，否則搜索引擎識(shí)別不了。然后打開該文件，可以直接復(fù)制粘貼別人的格式，Robots文件格式是一條命令一行，下一條命令必須換行。還有，“disallow： ”后面必須有一個(gè)空格，這是規(guī)范寫法。
雖然這幾年據(jù)說，在360推出搜索業(yè)務(wù)一年之后，3B大戰(zhàn)再次爆發(fā)，百度創(chuàng)造性的使用Robots協(xié)議白名單禁止360抓取百度百科、百度貼吧和百度知道的內(nèi)容，并起訴360不遵守Robots協(xié)議，但在協(xié)議中谷歌、Bing、搜狗和搜搜等搜索引擎還可以自由抓取相關(guān)內(nèi)容。
百度通過白名單、黑名單的機(jī)制，限制360搜索引擎索引其內(nèi)容，而允許其他搜索引擎索引其內(nèi)容，既不公平，也違背了Robots協(xié)議的初衷，更違背了互聯(lián)網(wǎng)開放、分享的精神。任其濫用，必將造成行業(yè)競(jìng)爭(zhēng)壁壘，導(dǎo)致搜索引擎信息呈現(xiàn)達(dá)不到盡可能完整的目的，阻礙搜索市場(chǎng)的信息自由，損害網(wǎng)民利益。但是百度的robots還是很喜歡的。所以這項(xiàng)工作我們作為seo優(yōu)化人員應(yīng)該把它做好。
