這些元標記控制搜索引擎如何抓取和索引頁。
一、name值
name值指示搜索引擎機器人列表，值為"robots"時指定的規則適用于所有搜索引擎，值為"googlebot"時指定的規則只適用于Google。
搜索引擎機器人（Specific Search Robots）列表
  搜索引擎           Robots（機器人）  
  Google            --  googlebot
  MSN Search     --  msnbot
  Yahoo             --  yahoo-slurp
  Baidu              --  baiduspider 
  Ask/Teoma      --  teoma
  Cuil                 --  twiceler
  GigaBlast        --  gigabot
  Scrub The Web  --  scrubby
  DMOZ Checker   --  robozilla
  Nutch                 --  nutch
  Alexa/Wayback  --  ia_archiver
  Naver                 --  naverbot, yeti
  AltaVista             --  scooter
  AllTheWeb          --  FAST-WebCrawler
  Inktomi               --  Slurp
特殊用途搜索引擎機器人（Specific Special Bots）列表
  搜索引擎           Robots（機器人）  
  Google Image   --  googlebot-image
  Google Mobile   --  googlebot-mobile
  Yahoo MM         --  yahoo-mmcrawler
  MSN PicSearch  --  psbot
  SingingFish       --  asterias
  Yahoo Blogs     --  yahoo-blogs/v3.9

二、content值
指定引擎機器人搜索規則，有以下幾種值：
1、none 搜索引擎將忽略此網頁，等價于noindex，nofollow。
2、noindex 搜索引擎不索引此網頁,防止網頁被索引。
3、nofollow 搜索引擎不繼續通過此網頁的鏈接索引搜索其它的網頁。
4、nosnippet: 在搜索結果中顯示當前頁時，不要顯示頁面摘要（google用）
5、all 搜索引擎將索引此網頁與繼續通過此網頁的鏈接索引，等價于index，follow。
6、index 搜索引擎索引此網頁。
7、follow 搜索引擎繼續通過此網頁的鏈接索引搜索其它的網頁。
8、noodp/noydir 不使用DOMZ、Yahoo!目錄中描述作為網頁摘要

三、使用noodp和noydir說明
在做SEO時經常要和meta標簽打交道，比如寫description、keywords之類，但卻很少用到noodp和noydir這樣的標簽，因為這兩個標是國內一般不太實用，因為在不少做英文SEO的地方還得使用到。
noodp（No Open Directory Project）：在搜索結果中不使用Open Directory Project中的描述信息作為其摘要信息。
noydir（No Yahoo Directory）：在搜索結果中不使用Yahoo Directory中的描述信息作為其摘要信息。