建站教程 搜索引擎不收录网站怎么办 霍常亮 2012年12月9日 0 在网站建设未完成之际,可以采用robots.txt来进行屏蔽蜘蛛,当然,网站测试的差不多了,可以再将蜘蛛放进来,不过一定要再三确定,要是今天放进来,明天又被屏蔽,那么蜘蛛会有一种被愚弄的感觉。