小李blog

      使用自己域名和空間運行blog的好處很多，先前我亦經常在其他日中提及。而我現在要講的是我剛看到一則新聞所引發的感想。
    那則新聞指「一些人喜歡寫博客，但在應聘工作時，負責招聘的HR人士在網上看到應聘者先前寫的BLOG，亦通過這個博客了解求職者」。
    我看這則新聞的感想是，這些事情只會發生在blog托管，如果是使用自己的空間運行BLOG程式，你想怎么改代碼，要求搜索引擎怎么做都行。
    下面我開始講網站與搜索引擎聯系的樞紐—— robots.txt  （前年亦增加了 sitemap 協議，待以后日志再寫）
    robots.txt 放置在站點根目錄下，比如 http://blog.lilujun.com/robots.txt
      robots.txt 可以用最簡單的記事本建立，然后上傳到網站根目錄。
    倘若 robots.txt 的內容為空即什么都不寫，則代表允許任意搜索引擎收錄此網站下任意目錄和網頁。
    如果 robots.txt  寫為：

     這也是代表允許任意搜索引擎收錄此網站下任意目錄和網頁。
    而如果 robots.txt 寫：

則表示告訴所有搜索引擎收錄本站下的所有網頁和目錄（請小心寫這段代碼，一般情況下不要這樣，這意味著在搜索引擎是找不到你的網站）。
    想要求搜索引擎不收入某網頁如 123.php，則robots.txt這樣寫：

    robots.txt 的更多介紹請參閱 www.robotstxt.org
      說到這里，我大概已經說了怎么讓 robots.txt 控制搜索引擎的收錄了。
    如果哪一天你不想再搜索引擎的索引即搜索結果中有你那一片文章，你可以使用 robots.txt 來要求搜索引擎從搜索結果中刪除。
    搜索引擎收錄和刪除索引需要一定的時間。一般而言，google的收錄的刪除是最快的，并且google提供站長工具，可以快速要求google在你發出刪除執行命令后立刻刪除，而不用等待搜索引擎的spider在下次訪問你網站后才開始執行你的命令。