1、MJ12bot蜘蛛：对于新站，因为太少人关注到蜘蛛的利弊性。网上对这个蜘蛛的方法都是采取了屏蔽的行为。MJ12bot蜘蛛是英国的一家老牌的搜索引擎营销网站(zh.majestic)Majestic1.在网站的根目录下创建robots.txt,添加内容：User-agent:* Disallow:/ 禁止某一搜索引擎，如百度：User-agent:baiduspider Disallow:/ 各大搜索引擎代号：googl
在谷歌浏览器只要装上这个插件，搜索的时候会有加入黑名单这个选项，点击一下，想屏蔽的网站就没有了。如果被搜索引擎屏蔽了，那就无法搜索到。可以直接网址进入
MeszW是一款可以汇集国内外网页搜索结果的搜索引擎，用户只需登陆账号即可定制屏蔽掉不想显示在搜索结果中的网站，这样的好处是可以屏蔽掉讨厌的广告展示，还可以上面例子中，虽然网页上提供了很丰富的信息，但由于信息都在falsh中，搜索引擎无法提取，对搜索引擎来讲，这个网页没有任何内容。8 9 百度互联网创业俱乐部搜索引擎优化指南
搜索引擎蜘蛛不断爬行互联网，如果我们网站没有做出禁止搜索引擎收录的操作，很容易就会被搜索引擎收录。那么下面介绍一下怎么样禁止搜索引擎收录网站内容。第一种、robots.txt方法因为百度出了有啊，和阿里巴巴公司的淘&*（宝有些利益冲突，所以阿里巴巴公司主动屏蔽到百度的搜索，以
＞ω＜ 所以企业可以在站群管理中购买相关域名。2.用高质量的内容填充。群管理离不开内容，优质的内容才能吸引搜索引擎的抓取，赢得用户的关注。所以在站群管理上，内容可以围绕网站主题，从若有些页面访问消耗性能比较高，不希望被搜索引擎抓取，可以在根目录下存放robots.txt文件，屏蔽搜索引擎或者设置搜索引擎可以抓取文件范围以及规则。详细信息
