AI大模型需要海量的数据来“喂养”这一点，已经是毋庸置疑的事情，而ChatGPT之所以表现得如此优秀，背后是OpenAI拿出了超过1750亿个参数。更多的数据几乎就等于更强的性能，也使得数据的价值在大数据时代之后又一次被放在了聚光灯下。那么，AI大模型所需的数据又从何而来呢？

如今摆在明面的方式，是通过API向推特、Reddit等内容平台付费购买，但台面下的办法可就多了，比如说不合规的网络爬虫。没错，OpenAI此前就曾被指控抓取数据来训练ChatGPT，并从互联网上窃取了3000亿个单词，它们来自“书籍、文章、网站和帖子——包括未经同意获得的个人信息”，严重侵犯了大量用户的版权和隐私。

事实上，使用网络爬虫获取数据在过去二十余年来，在全球都属于灰色地带，合法性更是始终备受争议，因为爬虫到底有没有获取有版权的内容、有没有爬取非公开数据、有没有侵犯个人隐私，在没有被抓到证据前都处于“薛定谔状态”。所以为了打消外界的顾虑，OpenAI在日前也公开了自己的爬虫(GPTBot)以及IP地址网段，以供有需求的网站屏蔽。

根据OpenAI方面的说法，GPTBot遵守网站提供的robots.txt协议，同时会过滤掉付费才能访问的内容。并且基于OpenAI的相关策略，如果网页中包含个人身份信息或其他违规内容，GPTBot也会删除这部分网页。据悉，GPTBot使用的网段为40.83.2.64/28，网站管理员可以使用nslookup命令来判断这一爬虫的真伪，如果想禁止GPTBot抓取内容，则可以在robots.txt中写入指令，爬虫在检测到该指令后就会按指令要求操作。

robots.txt也被称为robots协议，这是一种存放于网站根目录下的ASCII编码文本文件，它的唯一作用就是告诉网络爬虫，网站中的哪些内容是不对爬虫开放、哪些内容又可以被爬取。而robots协议则是控制网站被搜索内容的一种策略，该文件通常会放在网站的根目录里，在网站域名的后面加上/robots.txt，就可以直接访问该网站的robots协议协议页面。

以淘宝网的robots.txt为例，这个电商网站的robots协议就非常简单，“User-agent”主要作用是会告诉网站服务器，访问者是通过什么工具来请求的，后面的“Baiduspider”就是大名鼎鼎的百度搜索引擎爬虫，最后的“Disallow: /”按照robots协议的规则，是禁止被描述的百度爬虫访问。

没错，百度搜索引擎被淘宝在2008年9月时屏蔽，靠的就是这简简单单的几行代码，让淘宝在战略层面掌握了市场竞争的主动权，避免了流量被百度搜索引擎拿走，也避免了平台内的商家要给百度竞价排名付费的可能，更是间接催生了淘宝的站内竞价排名体系。

robots协议其实本质上来说就是运营方写的一份规则书，它的书写非常简单、逻辑也很直白，诸如允许什么搜索引擎的爬虫访问什么内容都可以清晰的写出来。但需要注意的是，robots协议本身只是一个“君子协议”，是一个搜索引擎和网站之间的共识，它并没有任何法律效力的、也没有任何的技术约束，单纯只是一个道德层面的约束。换句话来说，robots协议在技术层面其实是完全对抗不了爬虫的。

尽管robots协议对于非法爬虫毫无约束力，但是对于重视商誉的公司来说反而具有效力。毕竟以百度的技术力想要强行获取淘宝的数据并不难，但就是这简单的四行代码，就愣是让百度的爬虫在过去十余年里对淘宝“秋毫无犯”。同理，这次OpenAI也是用主动公开自家爬虫的IP地址网段，就是以品牌形象为担保，将自家爬虫的一切行为摆在台面上。

毕竟对于OpenAI方面而言，这也是其在面临窃取数据非议时，最简单、最直接证明自己确实合规的措施。而OpenAI这样对于数据有海量需求、高技术力、且追求“盈利上限”的公司，一边是合规获取海量数据带来的高昂成本，一边是寻求外部资金支持需要拿出更好的预期，要自证清白确实也不太容易。