网界文机器人Robot： 一种软件设计
自动下载::网超文件结构 
与文件全文收集成检索参考的文件。 
由于网界文机器人是读取网超文件;
因此，所有网界文机器人皆可以
被认认出其主机, 服务器, 与 IP....


注意:不全然所有的漫游器会以
相同方式解释 robots.txt 档案

言外之音:
当然亦有可能设计出简易的robot只捉取特别的标
robot的功能是由建立者自订,并不受他人约束的.

所以你要特别小心别太依赖robots.txt 的 
disallow, nofollow, noindex, 特别是
绝对别拿它们来保护你的(最高机密档案)

Ezer 认为网络世界若过份依赖robots.txt可能
将自然形成一个网络安全的大漏洞