搜索引擎不能完全地索引動(dòng)態(tài)網(wǎng)站（也就是基于數(shù)據(jù)庫(kù)提供內(nèi)容的網(wǎng)站）。
搜索引擎處理那些太過(guò)復(fù)雜的URL結(jié)構(gòu)會(huì)產(chǎn)生很大的麻煩，包括有很多參數(shù)的URL（被很多“&”符號(hào)，“=”還有一些Session ID，用戶ID和來(lái)源跟蹤代碼標(biāo)記）。Google的高級(jí)工程師Matt Cutts在一次Search Engine Strategies會(huì)議時(shí)說(shuō)，如果URL中的變量控制在一到兩個(gè)就很安全，除非其中一個(gè)變量是以ID命名（或是類似于Session ID的變量），這樣的情況就不行了。
過(guò)于復(fù)雜的URL不僅對(duì)那些想要將URL發(fā)送給朋友的人很不方便，對(duì)于那些想在自己網(wǎng)站上加入一個(gè)鏈接指向那個(gè)層級(jí)很深頁(yè)面的人來(lái)說(shuō)也不方便。同時(shí)這樣的URL更會(huì)給搜索引擎爬蟲帶來(lái)困難，這些對(duì)搜索引擎不友好的動(dòng)態(tài)URL可能會(huì)將搜索引擎帶入“爬蟲陷阱”。
“爬蟲陷阱”的情況是指當(dāng)搜索引擎爬蟲根據(jù)鏈接爬行一個(gè)看起來(lái)與以前爬行的不同URL，盡管他們的內(nèi)容是一致的。
設(shè)想如下的例子，一個(gè)搜索引擎爬蟲來(lái)到一個(gè)網(wǎng)站，被指定了一個(gè)Session ID，然后這個(gè)ID被嵌入到以后所有在該網(wǎng)站中被爬行的頁(yè)面。下一次，一個(gè)搜索引擎爬蟲來(lái)到這個(gè)頁(yè)面，得到另一個(gè)全新的session ID，因?yàn)槟木W(wǎng)站服務(wù)器不能探測(cè)到這是同一個(gè)搜索引擎爬蟲，而且它在幾分鐘以前來(lái)過(guò)。這就導(dǎo)致了同一個(gè)頁(yè)面被索引了很多次，無(wú)論對(duì)于搜索引擎自身，或是對(duì)于搜索引擎的用戶都是很壞的結(jié)果，因?yàn)檫@些都是重復(fù)的。
最壞的“爬蟲陷阱”會(huì)使搜索引擎陷入一個(gè)無(wú)止境的多樣URL，但卻是同樣的一些頁(yè)面。每個(gè)搜索引擎對(duì)于URL中的參數(shù)都有自己的容忍度。解決方法是消除那些動(dòng)態(tài)URL的元素，換句話說(shuō)，移除所有URL中的問(wèn)號(hào)，&，等號(hào)，cgi-bin，用戶ID和Session ID，將所有頁(yè)面變得讓這些爬蟲滿意。
一個(gè)簡(jiǎn)介明快的URL不僅可以消除頁(yè)面索引的潛在問(wèn)題，而且作為獎(jiǎng)勵(lì)，您更可能獲得一些外鏈指向深層級(jí)頁(yè)面，因?yàn)閁RL看起來(lái)對(duì)用戶友好，穩(wěn)定，容易復(fù)制粘貼等。
最好的做法是將那些動(dòng)態(tài)頁(yè)面用搜索引擎友好的的URL替代。不要禁不住誘惑而走捷徑，創(chuàng)建一個(gè)網(wǎng)站地圖頁(yè)面，包含所有指向這些對(duì)搜索引擎友好URL的鏈接。將剩余的鏈接完整無(wú)缺的留在那里。因?yàn)檫€沒有修改好的URL不能提升那些有搜索引擎友好URL頁(yè)面的鏈接獲益。通過(guò)降低每個(gè)URL的多樣性，您想將鏈接獲益最大化。URL的多樣性會(huì)削弱鏈接獲益，因?yàn)椴皇撬械逆溄訉?duì)為同一個(gè)頁(yè)面“投票”。他們中的一些會(huì)分散到其它的版本的擁有不同URL的同一頁(yè)面。
假設(shè)您有一個(gè)動(dòng)態(tài)網(wǎng)站，現(xiàn)在由于URL的問(wèn)題沒有達(dá)到搜索引擎友好，但是您想要將其優(yōu)化，那么這里有三種選擇。
第一個(gè)選擇是用URL重寫服務(wù)器module來(lái)進(jìn)行URL重寫，比如mod_rewrite（運(yùn)用于Apache）或ISAPI_Rewrite（運(yùn)用于IIS服務(wù)器）。
第二種選擇時(shí)重新編寫您的電子商務(wù)平臺(tái)，使其不同“query strings”傳遞信息，而是用“path info”。換句話說(shuō)，您要重新編寫腳本來(lái)尋找嵌入在目錄名字或文件名字的變量，這種方法看起來(lái)要更加復(fù)雜一點(diǎn)。
第三種選擇是運(yùn)用第三方提供的代理服務(wù)器。
通常來(lái)說(shuō)第一種方法是最受歡迎的，假設(shè)您擁有IT資源來(lái)執(zhí)行，您的服務(wù)器也支持這樣的URL重寫技術(shù)。第二種方法適用于如下的情況－您不能做URL重寫但是有編程資源同時(shí)可以進(jìn)入電子商務(wù)平臺(tái)的源代碼。
如果由于某些原因上述兩種方法都無(wú)法實(shí)現(xiàn)的話，您可以借助第三方的處理方式，由此來(lái)自動(dòng)的將URL改寫。這種方法尤其適用在“code freeze”（不允許任何改動(dòng)在一部分或全部的變成代碼）期間，例如假期。
您可能想知道Google新的網(wǎng)站地圖項(xiàng)目會(huì)如何介入到這個(gè)問(wèn)題中呢?，F(xiàn)在這仍然是個(gè)不完全的解決方法，直到Google網(wǎng)站地圖支持傳遞哪些URL變體指向同一個(gè)內(nèi)容的能力。因?yàn)樗荒軐⒎稚⒃诓煌姹镜腜ageRank聚集。您可能有五種不同版本的產(chǎn)品頁(yè)面被Google索引，而網(wǎng)站地圖只會(huì)使問(wèn)題惡化，因?yàn)樗鼤?huì)產(chǎn)生第六個(gè)版本，而不是將這五個(gè)版本融為一個(gè)版本而獲得更多的鏈接獲益。
不論您使用哪種方法，將URL改寫成搜索引擎友好的形式是值得的。