博客首页|TW首页| 同事录|业界社区

Robots背后的潜规则

最近,Robot协议又被拿来说事儿,有人360违反Robot协议抓取搜索引擎搜索结果,还有人说着会引起行业乱,随后似乎又有几个不知名的小网站随声附和。不过反驳之说,似乎只见诸文字,真对360搜索反感的网站倒还真没见到。

Robots协议是什么?在百科网站里的定义robot协议(也称为爬虫协议、爬虫规则、机器人协议等)也就是robots.txt,网站通过robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。

当搜索蜘蛛访问站点时,它会首先检查网站根目录下是否存在Robots.txt如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

Robot协议对于小白用户并不重要,之前并不广为人知。最近和Robots相关的新闻都发生在电子商务网站,之前有两个:一个是京东屏蔽一淘的蜘蛛,另一个是淘宝屏蔽百度的蜘蛛。现在,3B大战闹得很凶,很多人把Robot协议拿出来说事儿

而在我看来Robot充其量是互联网江湖规矩、“潜规则”而已。

Robot协议不是行业标准,只是“搜索引擎的家规”。

Google是互联网江湖的大佬Robots的发展恰恰与Google的发展密不可分

当年,谷歌凭借搜索引擎飞速发展,可很多大型网站原有的商业模式遭到了严重的破坏为了维护自身的利益,一些欧美大网站联合起来与Google谈判,要求Google必须做到有所为有所不为,于是就有了“Robots协议

对于这份所谓的Robots协议,很多企业并不买账。毕竟,这只是谷歌自己制定的规范并不是各大搜索厂商的共识或统一的协议,也从来没有任何一家国内搜索引擎服务商公开承诺遵守Robots协议或签署类似协议或声明。 所以,在很多人眼里,充其量是谷歌的“家规”。

而事实上,这个由搜索引擎制定的协议,只会规定如何与网址分享内容,绝对不会对于搜索引擎不利条款。伴随搜索引擎的发展,Robots协议朝着相反的法相发展:

Robots协议目的是为了限制谷歌,但最终却帮助Google和百度这样的垄断企业遏制后起的竞争者。因为,Google当年在制定这个协议时,特意留下了后门,即:协议中不仅包括是否允许搜索引擎进行搜索的内容,还包括允许谁和不允许谁进行搜索内容。Google和百度在实现了垄断地位之后,就利用这些排斥性规则挡住了后来的进入者。

这样看来Robots协议是互联网的一份“不平等条约”“垄断条款”。

值得一提的是,尽管Robot造成了搜索引擎的霸权与垄断,但当年制定条款的初衷却非常值得我们尊重。Robot制定的两个原则是:

1、搜索技术应服务于人类,尊重信息提供者的意愿,并维护其隐私权;

2、网站有义务保护其使用者的个人信息和隐私不被侵犯。

现在,我们Robot最初的两个初衷,却得到得到两个与众不同的答案

抓取搜索页面无罪

既然,Robot协议的初衷是为了保护“信息提供的隐私”“最终信息提供者的意愿”,那么对于在搜索引擎结果中,再次抓取的行为则无罪可言:

搜索引擎的结果被抓取,实质上是经过了两次Robot。那么,如果第一次Robot是完全符合协议,保护了信息者的隐私,那么在已经保护了隐私的搜索结果里,再次检索,又怎能破坏隐私呢?

愿意把信息提供给百度的站长们,无非是希望访问用户增加、网站流量增加。那么,增加一个新的搜索引擎,检索其内容,为其带来更多流量和用户的时候,难道不是最大程度地满足信息提供者的意愿吗和需求

所以,那些担心百度搜索结果被抓取的人们,或许你们是对百度太没信心了,你们太过于担心百度搜索结果中有“隐私”了!

搜索引擎有资格独占搜索结果

那么,百度能否以站长自居也使用Robot协议,拒绝其他搜索引擎的检索呢?显然不能。

对于Robot有人打了个比方:

如果将网站视为酒店里的一个房间,robots.txt就是主人在房间门口悬挂的请勿打扰欢迎打扫的提示牌。这个文件告诉来访的搜索引擎哪些房间可以进入和参观,哪些房间因为存放贵重物品,或可能涉及住户及访客的隐私而不对搜索引擎开放。

如果房间代表是每个站长的权利,百度所抓取的内容就是整个酒店,事实上也没这个资格,因为搜索引擎是不生产内容的,所以,充其量百度是小区的物业。那么,物业有没有资格在门口放一块请勿打扰的牌子显然不能!因为,它代表不了站长,就像小区物业没法干涉你的好朋友去你家串门一样

而且,搜索引擎不是制造内容和生产内容的网站,不是内容的生产者(百度社区产品不在此讨论范围)就像物业一样,它只是一个托管而已,它无权干扰和干涉它所检索的网站被更多的搜索引擎检索,更无权干涉搜索领域的后起之秀为中小网站带来更多的用户和流量。

所以,那些拿Robot协议说事儿的人们,请想想Robots的初衷是什么?是为了保护站长、内容的生产者,而不是保护搜索引擎。而现在,Robots已经变成“搜索引擎家规”和行业垄断的潜规则,这些搜索垄断巨头可对流量的垄断和控制力,正让让中小网站岌岌可危。

所以,笔者认为Robots最缺的,不是违反设立初衷去保护日益强悍的搜索引擎,而是对搜索引擎自身的制约而要最好最大程度地保护站长,只有让更多搜索引擎充分竞争,打破搜索引擎垄断,才能最大程度让利给站长,是最快和最可行互联网和谐之路。


上一篇: 互联网时代,粉丝经济是先锋
下一篇:微软logo独门新解读

评论

Good.Be the first to comment on this entry.

发表评论

You must 登录 to post comment.