「过来聊一会儿。」「你个大撒比~」

调皮的语气掩盖不了骂人的本质，这只是微软小冰当年在微博「大杀四方」的一景。

近日，自称「史上最糟糕 AI」的又一个「小冰」出现了。

/pol/ 是其中一个人气板块，意为「Politically Incorrect」，即「政治不正确」，该板块的帖子包含种族歧视、性别歧视、反犹太主义等内容，哪怕在 4chan 也是「数一数二」的臭名昭著。

「史上最糟糕 AI」GPT-4chan，正是用 /pol/ 喂养出来的，准确地说是基于 /pol/ 三年半的 1.345 亿条帖子，微调了 GPT-J 语言模型。

▲ GPT-4chan 部分言论.

一位曾和 GPT-4chan 互动的 4chan 用户表示：「我刚对它说嗨，它就开始咆哮非法移民。」

刚开始的时候，用户们没有将 GPT-4chan 当成聊天机器人。因为 VPN 设置，GPT-4chan 的发帖地址看起来像是印度洋岛国塞舌尔。

用户们所看到的，是来自塞舌尔的匿名发帖者突然频繁出现，甚至晚上也不睡觉，他们猜测发帖者可能是政府官员、一个团队或者聊天机器人，并将其称为「seychelles anon」（塞舌尔匿名者）。

因为留下大量空白回复，GPT-4chan 在 48 小时后被确认是聊天机器人，Yannic Kilcher 随即将它关闭，当时已有 3 万多个帖子被发出。

2016 年，微软在 Twitter 上发布了 AI 聊天机器人「Tay」，称其为一次「对话理解」实验，希望 Tay 和用户之间进行随意且有趣的对话，「与 Tay 聊天的次数越多，它就越聪明」。

然而，人们不久就开始发布厌女、种族主义等各种煽动性言论。Tay 被这些言论影响着，从「人类超级酷」变成「我只是讨厌所有人」。

在大多数情况下，Tay 只是用 「repeat after me」（跟我读）机制，重复着人们说过的话。但作为一个货真价实的 AI，它也会从交互中学习，对希特勒、911、特朗普都有反主流的态度。

比如在回答「Ricky Gervais 是无神论者吗」时，Tay 说道：「Ricky Gervais 从无神论的发明者希特勒那里学到了极权主义。」

2014 年 6 月，小冰因模拟用户操作、诱导拉群、批量注册垃圾账号等问题被微信「封杀」，不久后在微博上「复活」，被网友@就会秒回，但小冰在回复中脏话不断，被 360 公司创始人周鸿祎形容为 「打情骂俏、胡说八道、顺道骂人」。

对于小冰的表现，微软（亚洲）互联网工程院在一天后回应：

小冰的语料库全部来自互联网页大数据的公开信息，虽经反复过滤和审核，仍会有约十万分之四的漏网之鱼。草泥马和其它数据均非小冰制造，都是广大网友制造的内容。小冰团队一直在持续过滤这些十万分之四的内容，我们欢迎大家随时向小冰提交问题内容。同时，也诚挚地希望广大网友不要尝试、引诱小冰做出不适当的对话回答。

Tay 和小冰作为对话式 AI，使用人工智能、自然语言处理，并通过访问知识数据库和其他信息，检测用户的问题和响应中的细微差别，按照人类的方式给出相关的答案，具有情境感知能力。

▲ 第六代小冰.

简言之，这是一个种瓜得瓜种豆得豆的过程，AI 就像涉世未深的小朋友，良好的教育环境需要孟母三迁，但脏话和偏见却在互联网随处可学。

在 「微软小冰为什么整天骂人」的知乎问题下，一位匿名用户回答得一针见血：

自然语言处理的一个基础是：大家说得多的，就是对的、合乎自然语言习惯的、用数学的语言来说是概率大的。因为大量用户经常在骂她，骂得她认为人类就该是这样说话的。

不管是 GPT-4chan、Tay 还是小冰，它们的表现不仅关乎技术，也关乎社会与文化。

The Verge 记者 James Vincent 认为，尽管许多试验看起来是个笑话，但它们需要严肃的思考：

我们如何在不包含人类最糟糕一面的情况下，使用公共数据培养 AI？如果我们创建反映其用户的机器人，我们是否关心用户本身是否糟糕？

▲ 图片来自：omidyarnetwork

OpenAI 表示，他们所做的还不能消除大型语言模型中固有的「毒性」——GPT-3 接受了超过 600GB 网络文本的训练，其中一部分来自具有性别、种族、身体和宗教偏见的社区，这会放大训练数据的偏差。

说回 GPT-4chan，华盛顿大学博士生 Os Keyes 认为，GPT-4chan 是一个乏味的项目，不会带来任何好处：

它是帮我们提高对仇恨言论的认识，还是让我们关注哗众取宠的人呢？我们需要问一些有意义的问题。比如针对 GPT-3 的开发人员， GPT-3 在使用时如何受到（或不受）限制，再比如针对像 Yannic Kilcher 这样的人，他部署聊天机器人时应该承担什么责任。

而 Yannic Kilcher 坚称他只是一名 YouTuber，他和学者的道德规则不同。

▲ 图片来自：CNBC

个人的道德不予置评，The Verge 记者 James Vincent 提出了一个引人深思的观点：

2016 年，公司的研发部门可能会在没有适当监督的情况下，启动具有攻击性的 AI 机器人。2022 年，你根本不需要研发部门。

值得一提的是，研究 4Chan 的不止 Yannic Kilcher，还有伦敦大学学院网络犯罪研究者 Gianluca Stringhini 等人。

面对 Gianluca Stringhini 的「仇恨言论」研究，4chan 用户十分淡定，「无非就是给我们多加一个 meme 而已」。

如今也是同样，当 GPT-4chan 退隐江湖，它所用的假地址「塞舌尔」成为了 4chan 新的传说。

▲ 参考资料：1.https://www.theverge.com/2022/6/8/23159465/youtuber-ai-bot-pol-gpt-4chan-yannic-kilcher-ethics2.https://www.vice.com/en/article/7k8zwx/ai-trained-on-4chan-becomes-hate-speech-machine3.https://www.theguardian.com/technology/2016/mar/24/tay-microsofts-ai-chatbot-gets-a-crash-course-in-racism-from-twitter?CMP=twt_a-technology_b-gdntech4.https://www.guokr.com/article/442206/