在网站建设未完成之际，可以采用robots.txt来进行屏蔽蜘蛛，当然，网站测试的差不多了，可以再将蜘蛛放进来，不过一定要再三确定，要是今天放进来，明天又被屏蔽，那么蜘蛛会有一种被愚弄的感觉。