Reddit首席执行官Steve Huffman近期接受The Verge网站访谈时,呼吁微软、Anthropic或 Perplexity.ai 在内利用爬虫机器人挖掘各网站资料的业者,应该为其行为支付费用。
因此在现行作法中,Reddit已经针对任意使用爬虫机器人抓取其网站资料的行为进行限制,因此用户透过微软Bing Search或其他使用Bing API为基础打早的搜索引擎服务,都将无法找到Reddit网站内容,而目前达成合作协议的Google搜索引擎则可顺利找到。
不过,Anthropic方面则回应表示其自5月中旬之后就已经未再以爬虫机器人抓取Reddit网站内容,而 Perplexity.ai 则宣布将在今年9月推出与内容业者共享广告收益的合作模式,藉此达成互益目的。
在与谷歌、OpenAI达成协议,藉由支付相关费用进行内容授权合作后,Steve Huffman表示在人工智能技术发展盛行情况下,必须透过特定方式限制任意以爬虫机器人挖取其网站资料行为,更指称包含微软、Anthropic或 Perplexity.ai 在内业者并未计划进行协商。
Steve Huffman指出,微软一直使用Reddit网站内容训练其人工智能模型,并且任意在其Bing Search搜索结果展示相关摘要内容,甚至被爬虫机器人取用数据更藉由Bing API资源转给其他第三方搜索引擎使用。