上周我們預告了Google將會增加一個新的Meta標簽“unavailable_after”,它答應我們手動指定某個網頁的失效日期,以提醒Google的爬蟲在該日期后不再抓取含該標簽的網頁。不過上周我們并不清楚這個標簽到底是怎樣使用的。SEL今天從Google的產品經理Dan Crow那里了解到這個標簽的詳情用法,下面和大家分享一下。
要使用“unavailable_after”標簽,只需要在網頁的頭部加入以下的Meta語句即可:
< META NAME="GOOGLEBOT" CONTENT="unavailable_after: 日期 時間 時區" >
其中的日期、時間、時區(縮寫)分別用23-Jul-2007、19:18:17、EST這種格式。當Google的爬蟲看到網頁里包含這個標簽時,它不僅會不再抓取這個網頁,還會在一天左右的時間內將網頁從Google的搜索結果里除去。值得注重的是,Google Cache里的相關的網頁快照依然會存在。要想移除Google Cache里的記錄,得給網頁加上noarchive標簽。
文章標籤
全站熱搜
留言列表