Google 开源 robots.txt 解析器,推动 REP 标准化
雷锋网消息,7 月 1 日,推动ac信用盘番摊Google 在其博客上发布了一个重要消息,准化它宣布,开源Google 开源了存储 robots.text 解析器的析器 C++ 库,以便推动 REP(Robots Exclusion Protocol,推动也称爬虫协议、准化机器人协议)成为互联网标准。开源
1994 年,析器荷兰软件工程师 Martijin Koster 提出了 REP 的推动ac信用盘番摊概念,通过 robots.txt 文件来隐藏一些信息不被搜索引擎抓取,准化比如,开源只抓取应该被抓取的析器页面;屏蔽一些网站中较大的文件;屏蔽一些无效链接;保密敏感信息等。
雷锋网注:搜索引擎的爬取方式(图片来自百度百科)
我们可以这么来理解,网站就好比一个房间,robots.txt 文件就是主人在房门上悬挂的“请勿打扰”的提示牌,可以让人止步于一些存放贵重物品的房间,但它终究不是守门人,无法阻挡怀有恶意的窃贼。
联合多方力量上交提案
25 年过去了,业内对 REP 表示了充分的认可,但现在它更像是一个道德规范,而不是非官方的互联网标准。
不过,Google 正致力于改变这一现状。Google 在博客中说道,
我们希望帮助网站所有者和开发者在互联网上创造令人惊叹的体验,而不是担心如何控制抓取工具。Google 和协议的发起人,以及其他网络管理员和搜索引擎共同起草了一份关于如何在现代网络上适用 REP的提案,目前已经上交给了 IETF(雷锋网按:Internet Engineering Task Force,非盈利互联网开放标准组织,负责开发和推广自愿互联网标准)。
Google 的提案反映了 20 多年来 Googlebot 和一些主要网络爬虫,以及大约 5 亿依赖 REP 的网站应用 robots.txt 的实际经验,并且在现代网络层面做了扩展,定义了 robots.txt 解析和匹配的所有之前未定义场景:
任何基于 URI 的传输协议都可以使用 robots.txt;它不再局限于 HTTP,也可用于 FTP 或 CoAP。
开发人员必须至少解析 robots.txt 的前 500 KB 内容。定义文件的最大值,以确保打开连接不需要花太长时间,从而减轻服务器上不必要的压力。
新的最长缓存时间为 24 小时或可用的缓存指令值,赋予网站所有者灵活性随时更新 robots.txt,而爬虫程序不会因此使网站过载。
当前可以访问的 robots.txt 文件由于服务器故障而变得不可访问时,这些无法访问的页面将在很长一段时间内不被检索。
开源 robots.txt 解析器
除了联合多方力量向 IETF 上交提案,Google 还作出了其它努力,开源了自己 robots.txt 文件库旨在创建标准化语法来创建和解析文件,消除所有混淆。
Google 在博客中这样说道:
REP 是网络中最基本,最关键的组成部分之一,但它只是约定俗成的标准,这难免让人感到沮丧;这给网络管理员和爬虫工具开发者带了困扰......推动 REP 成为行业标准这件事十分重要,因为它符合每个人的利益。不过,对于解析 robots.txt 文件的开发人员来说,这种标准化需要付出更大的努力,所以,我们开源了含有 robots.txt 解析器的 C++ 库。
据称,这个 C++ 库已经存在了 20 年之久,里面包含了自 90 年代起就编写的代码片段。在这 20 年里,该库经历了不断的发展,也覆盖了许多在编写 robots.txt 文件方面非常实用的案例,这对想要构建自己的解析器的开发人员来说很有助益。
除此之外,Google 还在开源软件包中添加了一个测试工具,可以帮助编写人员测试 robots.txt 的效果。
外界的态度
在 Google 开源 robots.txt 后,这个话题引起了广泛的关注,甚至登顶 Hacker News。
Constellation 研究公司(雷锋网按: 专门从事数字化转型和颠覆性技术方面的技术研究与咨询)的分析师 Holger Mueller 告诉 SiliconANGLE,标准化对于互联网正常工作至关重要,很高兴看到 Google 在 REP 这样基本的东西上取得领先。
Holger Mueller 还补充道,
与任何开源倡议和标准化尝试一样,我们还需要静待,看看此举到底会不会成功,我们又能在此之中学到什么。这是一个值得密切关注的领域。
在国内,网友们也纷纷高呼“谷人希”(雷锋网按:“谷歌,人类的希望”)来表示对该事件的赞赏。
-
文章
87896
-
浏览
17
-
获赞
25598
热门推荐
-
意媒:纽卡准备报价瓦伦中场哈维格拉,尤文也对他感兴趣
4月2日讯 据全尤文报道,纽卡准备报价哈维-格拉,尤文也对他感兴趣。报道称,20岁的西班牙中场哈维-格拉可能在今夏离开瓦伦西亚,他的未来可能在意甲,也可能在英超。格拉被视为瓦伦西亚短期和长期重建计划的《女神异闻录5:皇家版》斯拉欧加怎么合成
《女神异闻录5:皇家版》斯拉欧加怎么合成36qq9个月前 (08-19)游戏知识75中粮集团中英人寿免费为灾区客户提供心理咨询
为帮助灾区人民尽快从地震创伤中恢复,并及时给予他们更多的事务支持,中英人寿日前再次在四川《华西都市报》刊发半版广告,向所有四川民众公示“中英关爱基金”的消息,强调公司的24小时中粮集团中英人寿免费为灾区客户提供心理咨询
为帮助灾区人民尽快从地震创伤中恢复,并及时给予他们更多的事务支持,中英人寿日前再次在四川《华西都市报》刊发半版广告,向所有四川民众公示“中英关爱基金”的消息,强调公司的24小时中科曙光:产教融合赋能水利服务精细化、智能化、实时化发展
近日,华北水利水电大学党委副书记、校长刘俊国一行到访中科曙光,双方就强化校企合作、深化产教融合交换意见。刘俊国肯定了中科曙光长期以来为水利行业提供的技术支持服务,并期待双方能够开展水利行业应用场景的深《我的世界》虚无世界3虚影打法介绍
《我的世界》虚无世界3虚影打法介绍36qq9个月前 (08-19)游戏知识68穆帅看上英超降级队前锋 罗马今夏求购米特罗维奇
穆帅看上英超降级队前锋 罗马今夏求购米特罗维奇_富勒姆www.ty42.com 日期:2021-05-19 11:01:00| 评论(已有277637条评论)市政厅预热曼市德比 支持率亮相应红蓝灯
本赛季第二次曼彻斯特德比将在4月8日停战,虽然本赛季英超冠军归属曾经基本上失掉了悬念,但是曼彻斯特德比永远不会失掉它的意义。据《每日邮报》披露,双方球迷们在场外的竞争曾经悄然开端,曼彻斯特市政大厅也将专访荣耀CEO赵明:端侧AI先于苹果三年,荣耀乐见友商跟进
在上海举行的2024年MWC展会上,荣耀发布两大突破性端侧AI创新:AI离焦护眼技术和AI换脸检测技术,以及对智能终端厂商如何用AI赋能个人给出最新思路。在AI新技术发布之后,煤价虽暂时崩不了但也很难再有像样的上涨了?
煤价开始下跌,黄雀们很兴奋,懂得自然懂,但暂时还不能满足他们的想法,让子弹再飞一会,鬼谷先生觉得能实现的概率很大。目前的行情算是大稳小跌但和上一波行情天差地别,虽然煤价一时半会崩不了但也很难再出现像样“鹏飞观察”等5个违规网络账号被依法关闭
河南省委网信办持续加大对群众举报线索核查处置力度,常态化开展“清朗”系列专项治理,净化网络生态环境。现就部分违规账号处置情况通报如下。1.“鹏飞观察”网纽约街牌Vandal
潮牌汇 / 潮流资讯 / 纽约街牌Vandal-A x Nike 联名 Vandal High 鞋款2018年03月10日浏览:5620 军绿配色的Vandal Hig尤文意杯对拉齐奥大名单:弗拉霍维奇、基耶萨在列,科斯蒂奇回归
4月2日讯 北京时间明天凌晨3点,尤文将在意大利杯半决赛首回合比赛中主场对阵拉齐奥,尤文公布了此役的球员名单,弗拉霍维奇、基耶萨在列,科斯蒂奇、桑德罗、阿尔卡拉斯回归,米利克继续缺席。尤文意大利杯对拉森林之子红色面具有什么用
森林之子红色面具有什么用36qq9个月前 (08-19)游戏知识87广西消防辟谣组织中小学生观看直播
谣言:广西消防组织开展中小学生消防安全直播?真相:近日,广西北海40多所中小学接到自称“当地消防队参谋”的电话,要求校方组织全校学生在互联网上观看所谓的“中小学生消