May 17

國內幾個搜索引擎不支持robots.txt協議 雨

lilujun , May 17, 2007 21:54 (GMT+08:00) , 技術隨筆 , 評論(0) , 引用(0) , 閱讀(1447) , Via 本站原創 大 | 中 | 小
     這幾個搜索引擎是搜狐的sogou、新浪的iask和奇虎的qihoo，這幾個搜索引擎來收錄網頁時不會先去訪問網站根目錄下的robots.txt，這意味著有時你不想有些網頁被收錄并且已經在robots.txt聲明，但還是很有可能被這些搜索引擎收錄，造成隱私外泄等等情況。
發表評論
表情
emotemotemotemotemot
emotemotemotemotemot
emotemotemotemotemot
emotemotemotemotemot
emotemotemotemotemot
開啟HTML
開啟UBB
開啟表情
隱藏
記住我
暱稱   密碼   訪客無需密碼
網址   電郵   [註冊]