Robots.txt文件的作用及寫(xiě)法搜索引擎優(yōu)化的工作者對(duì)于Robots.txt文件,應(yīng)該說(shuō)并不陌生。因?yàn)樵谟行┣闆r下,我們并不想讓網(wǎng)站的全部文件都讓搜索引擎收錄。比如說(shuō)一些網(wǎng)站后臺(tái)管理目錄、會(huì)員隱私信息、沒(méi)有價(jià)值的網(wǎng)頁(yè)等,我們都不打算讓搜索引擎的蜘蛛爬取。在這種情況下,我們就有必要會(huì)用到Robots.txt文件,來(lái)與搜索引擎溝通。渭城網(wǎng)站建設(shè)公司。
具體的方式是通過(guò)在網(wǎng)站根目錄創(chuàng)建名為:Robots.txt的文件,你就可以阻止蜘蛛來(lái)索引網(wǎng)站的某些內(nèi)容,如動(dòng)態(tài)的搜索結(jié)構(gòu)頁(yè)面(比如說(shuō),思億歐禁止搜索引擎收錄我們的搜索結(jié)構(gòu)頁(yè)面、404頁(yè)面、圖片目錄、登陸頁(yè)面等。渭城網(wǎng)站建設(shè)公司。
所有的搜索引擎蜘蛛自動(dòng)在網(wǎng)站根目錄中尋找這個(gè)文件,因此,你需要做的只是創(chuàng)建它并上傳,然后等待蜘蛛來(lái)閱讀。Robots.txt文件沒(méi)有以任何方式來(lái)保護(hù)你的內(nèi)容,只是阻止搜索引擎索引。渭城網(wǎng)站建設(shè)公司。
下面,思億歐主要說(shuō)明下Robots.txt文件的寫(xiě)法。渭城網(wǎng)站建設(shè)公司。
1.如果你站點(diǎn)中的所有文件,都可以讓蜘蛛爬取、收錄的話(huà),那么語(yǔ)法這樣寫(xiě):渭城網(wǎng)站建設(shè)公司。
User-agent: *
Disallow:渭城網(wǎng)站建設(shè)公司。
當(dāng)時(shí),如果你網(wǎng)站中全部的文件都可以讓搜索引擎索引的話(huà),你也可以不管這個(gè)文件。渭城網(wǎng)站建設(shè)公司。
2.完全禁止搜索引擎來(lái)訪的Robots.txt文件寫(xiě)法:渭城網(wǎng)站建設(shè)公司。
User-agent: *
Disallow: /渭城網(wǎng)站建設(shè)公司。
2.1.要禁止掉某個(gè)搜索引擎來(lái)訪的Robots.txt文件寫(xiě)法:渭城網(wǎng)站建設(shè)公司。
User-agent: Googlebot
Disallow: /渭城網(wǎng)站建設(shè)公司。
3.網(wǎng)站中某個(gè)文件夾不希望讓搜索引擎收錄的Robots.txt文件寫(xiě)法:渭城網(wǎng)站建設(shè)公司。
User-agent: * 轉(zhuǎn)自:奈薇建站網(wǎng)(www.nev.cn)
Disallow: /admin/
Disallow: /images/渭城網(wǎng)站建設(shè)公司。
4.禁止Google抓取網(wǎng)站中的圖片文件:渭城網(wǎng)站建設(shè)公司。
User-agent: Googlebot 轉(zhuǎn)自:奈薇建站網(wǎng)(www.nev.cn)
Disallow: /*.gif$渭城網(wǎng)站建設(shè)公司。
Robots.txt文件,是網(wǎng)站與搜索引擎溝通的比較重要的一個(gè)方式。如果你對(duì)此還有疑問(wèn)的話(huà),歡迎通過(guò)郵件的方式,與我們溝通交流。渭城網(wǎng)站建設(shè)公司。
渭城網(wǎng)站建設(shè)哪家好?咸陽(yáng)渭城網(wǎng)站建設(shè)公司找“奈薇建站網(wǎng)”
奈薇建站網(wǎng):透析咸陽(yáng)渭城地區(qū)客戶(hù)需求,讓您體驗(yàn)渭城網(wǎng)站建設(shè)公司哪家好! 8年的品牌積淀、良好的用戶(hù)口碑、強(qiáng)悍的產(chǎn)品功能,恭迎咸陽(yáng)渭城區(qū)貴賓品鑒。