例子:
http://www.seowhy.com/robots.txt 有效
http://www.seowhy.com/bbs/robots.txt 无效
如果你不能控制根目录的 robots.txt,则你可以通过在子目录网页中使用标签阻止网页被收录。