SEO（搜索引擎搜索优化）很多程序员转行做这个，但是在 们严重还是不屑做这个啊！
技术人坚信技术会说话的，只要用户体验好，真正的能给用户带来用户所想得到的资源这就是最好的优化，
robots对网站的危害漏洞预警
。闲话不多说，遇到一个站啊啊啊，排名不错一个二级热门关键词第一。
网站程序是国外的asp（傻眼了吧，叫你鸟语不好）
有无效注入点
没有旁站
也木什么插件（有个FL整了半天还没用）
好吧，扫目录吧，金库的嗅探狗的生活开始了。（最讨厌翻目录，眼睛不好啊啊啊啊）
咦 ？这个是什么？
话说在站点根目录下有一个似曾相识的东西，
robots是一个TXT文档必须在站点的根目录下，告诉搜索引擎那些蜘蛛可以索引那些不可以索引，一般例如附件，模板文件，CSS文件，数据库（该项的值用于描述不希望被访问的一组URL，这个值可以是一条完整的路径，也可以是路径的非空前缀，以Disallow项的值开头的URL不会被robot访问）
不但不会增加网站的收录，还会浪费服务器资源，
电脑资料
《robots对网站的危害漏洞预警》(http://meiwen.anslib.com)。看样子站长对SEO有研究啊~robots表明了一切。
Disallow:/data/数据库文件 蜘蛛不可以索引数据库相关文件，在数据库下面还有几个小的分组。
哇咔咔~直接可以下载数据库啊！ 我的人品爆发？
收费的的MD5啊啊啊，和谐群里大大帮助啊！感谢。
换了字典啊啊啊啊美国佬的？后台扫出，以管理员身份登录之。
后台和某新闻管理系统差不多，谷歌翻译开着~一个个翻译。竟然有数据库备份。
剩下的不解释。
利用robots优化是一件好事，但是同时他也暴露出了站长不愿意让别人看的一些东西（根据隐藏的内容在进行相对的权限设置），我们可以想方设法的看看~下面你懂得，不解释。