一家为在线社区提供点对点聊天支持网络的免费心理健康服务正面临审查，此前该服务的联合创始人透露，该公司曾短暂地尝试使用人工智能聊天机器人来生成回复，但没有通知接收者。尽管他们试图淡化这一项目，并强调该项目的缺陷，但批评人士和用户都对医疗伦理、隐私以及充满争议的人工智能聊天机器人软件世界表达了深切的担忧。
正如周二所强调的那样，科科大约在七年前由麻省理工学院的毕业生罗布·莫里斯共同创立，他的官方网站将该服务称为一种新颖的方法，使在线心理健康支持“人人都能获得”。它的主要服务之一是允许社交网络平台等客户安装关键字标记软件，然后将用户连接到心理学资源，包括人类聊天门户。科科被吹捧为对社交媒体的年轻用户特别有用。
然而，上周五，莫里斯在推特上表示，大约4000名用户“使用GPT-3提供了心理健康支持”，GPT-3是OpenAI开发的流行人工智能聊天机器人程序。虽然用户没有直接与GPT-3聊天，但设计了一个“副驾驶”系统，以便人工支持工作人员审查人工智能建议的回答，并在他们认为相关的时候使用它们。此外，科科用户似乎没有收到任何形式的预先警报，让他们知道他们的心理健康支持可能是由聊天机器人产生的，至少部分是由聊天机器人产生的。
在他的推特帖子中，莫里斯解释说，虽然观众对人工智能共同发表的回答的评价“明显高于”纯人类的回答，但他们决定迅速撤下这个程序，并表示一旦人们意识到信息的人为来源，“它就不管用了”。
莫里斯写道:“模拟同理心让人感觉怪异、空虚。”不过，他对人工智能在精神医疗领域的潜在作用表示乐观，他引用了Woebot等之前的项目，该项目从一开始就提醒用户，他们将与聊天机器人交谈。
莫里斯对科科努力的描述所带来的后果几乎立即在网上引起了强烈反响，导致莫里斯对围绕实验的“误解”进行了多次澄清。“我们不会在人们不知情的情况下让他们与GPT-3聊天。(回想起来，我本可以用我的第一条推文来更好地反映这一点)，”他上周六写道，并补充说，这项功能是“可选择的”。
数字权利倡导组织Fight for the Future的活动主管凯特琳·瑟雷(Caitlin Seeley)在一封电子邮件中写道:“很明显，人工智能内容创作不会消失，但现在它发展得太快了，人们没有批判性地思考使用它的最佳方式。”“透明度必须是人工智能使用的一部分——人们应该知道他们正在阅读或观看的内容是由人类还是计算机创建的，我们应该更多地了解人工智能程序是如何训练的。”
瑟雷补充说，像科科这样的服务机构需要“深思熟虑”他们声称要提供的服务，同时也要对人工智能在这些服务中的作用保持批判性。“关于如何以道德的方式使用人工智能，仍有很多问题，但任何考虑使用人工智能的公司都必须在开始使用人工智能之前提出这些问题。”
莫里斯似乎听到了批评的声音，尽管目前还不清楚该公司接下来会发生什么，以及未来在聊天人工智能方面的任何计划。莫里斯周末在科科的博客上写道:“我们都有兴趣确保人工智能的任何用途都得到妥善处理，并深切关注隐私、透明度和风险缓解。”他补充说，该公司的临床顾问委员会正在开会讨论未来实验的指导方针，“特别是关于IRB的批准。”
