本站（www.sgseo.net）为例，在搜索引擎未收录本站内容之前，为测试robots.txt对搜索蜘蛛的爬行影响，将robots.txt内容设置为：User-agent: *Disallow:/。robots.txt文件内容是5.31日更新的，6.1 googlebot下载robots.txt文件，根据内容googlebot将本站列为不爬行网站。6.2日，再次将robots.txt内容更新为：User-agent:* Disallow:/admin Disallow:/data，经过三天的6.4日，googlebot将robots.txt文件下载，显示robots.txt文件内容已经更新。今天（6.8），googlebot仍未爬行我的网站，site:www.sgseo.net依旧为空。