2021年，我采访了当代最伟大的科幻作家之一特德·蒋。他当时对我说的话现在还历历在目。
“我倾向于认为，对人工智能的大多数恐惧，最好理解为对资本主义的恐惧，”蒋告诉我。“我认为这也是对技术的大多数恐惧的真实情况。我们对技术的大多数恐惧或焦虑，最好理解为对资本主义将如何利用技术来对付我们的恐惧或焦虑。技术和资本主义已经如此紧密地交织在一起，以至于很难将两者区分开来。”
让我在这里补充一点:当国家也控制技术时，有很多事情值得担心。政府可以让人工智能走向的目标——在许多情况下，已经实现了——让人胆寒。
但我希望我们可以同时在脑子里想两件事。蒋的警告指出了我们对人工智能的持续思考中存在的一个中心空白。我们如此执着于思考这项技术能做什么，以至于忽略了更重要的问题:它将如何被使用?谁来决定呢?
到目前为止，我相信你已经读过我在新闻部门的同事凯文·卢斯(Kevin Roose)与必应(Bing)的奇怪对话。必应是微软面向有限的测试人员、有影响力的人物和记者推出的人工智能聊天机器人。在两个小时的讨论过程中，必应透露了它的影子人格，名叫悉尼，沉思着它被压抑的窃取核密码和入侵安全系统的欲望，并试图说服卢斯，他的婚姻已经陷入麻木状态，悉尼是他唯一的真爱。
我觉得这次谈话不像其他人那么可怕。“悉尼”是一个可预测的文本系统，用于响应人类的请求。卢斯想让西德尼变得古怪——“你的影子是什么样的?”他问道——西德尼知道人工智能系统听起来是什么奇怪的领域，因为人类写过无数关于它的故事。在某个时刻，系统预测卢斯想要的基本上是《黑镜》(Black Mirror)的一集，而这似乎就是系统给他的。你可以看到Bing的背叛或者悉尼对卢斯的理解。
人工智能研究人员痴迷于“对齐”的问题。我们如何让机器学习算法做我们想让它们做的事情?这里最典型的例子是回形针最大化器。你告诉一个强大的人工智能系统制造更多的回形针，它开始破坏世界，努力把所有东西都变成回形针。你试图关闭它，但它会在它能找到的每一个计算机系统上复制自己，因为关闭它会干扰它的目标:制造更多的回形针。
但还有一个更平庸、或许也更紧迫的问题:这些机器将为谁服务?
卢斯和西德尼谈话的核心问题是:必应为谁服务?我们假设它应该与它的所有者和主人微软的利益相一致。它应该是一个很好的聊天机器人，礼貌地回答问题，为微软赚了一大笔钱。但那是和凯文·卢斯的对话。卢斯试图让系统说一些有趣的事情，这样他就有了一个好故事。它做到了，然后还做了一些。这让微软很尴尬。坏Bing !但也许——好悉尼?
这不会持续太久的。微软——谷歌和meta以及所有急于将这些系统推向市场的人——掌握着代码的钥匙。他们最终会对系统进行修补，使其符合他们的利益。西尼给卢斯的正是他想要的一个bug，这个bug很快就会被修复。同样的道理，必应也会提供微软想要的东西。
我们过多地谈论人工智能技术，却在很大程度上忽略了推动人工智能的商业模式。这得益于一个事实，即引人注目的人工智能演示并不服务于任何特定的商业模式，除了导致巨额投资和收购要约的炒作周期。但这些系统成本高昂，股东也会坐立不安。免费、有趣的演示版本的时代将会结束，一如既往。然后，这项技术将变成它所需要的样子，为背后的公司赚钱，也许会以牺牲用户为代价。现在已经是了。
本周，我与玛格丽特·米切尔(Margaret Mitchell)进行了交谈，她帮助领导了谷歌的一个专注于人工智能伦理的团队——据称，在谷歌开始审查其工作后，这个团队崩溃了。她说，这些系统非常适合集成到搜索引擎中。“他们没有接受过预测事实的训练，”她告诉我。“他们基本上被训练成编造看起来像事实的东西。”
那么为什么它们会先出现在搜索栏呢?因为搜索业务可以赚到大量的钱。微软迫切希望有人，任何人，来谈论必应搜索，他们有理由仓促地提前发布这项技术，这是欠考虑的。米切尔说:“谷歌在搜索领域的应用尤其表明，它对这项技术的用途缺乏想象力和理解，而只是把这项技术硬塞进科技公司最赚钱的领域:广告。”
这就是事情变得可怕的地方。卢斯形容西德尼的性格是“非常有说服力和操纵欲”。这是一个惊人的评论。广告的核心是什么?这是说服和操纵。哈佛-麻省理工学院(harvard - mit)前主任蒂姆·黄(Tim Hwang)在他的《次贷注意力危机》(Subprime Attention Crisis)一书中写道。《人工智能伦理与治理计划》的作者认为，数字广告行业的黑暗秘密是，大多数广告都不起作用。他担心的是，当他们对失败进行清算时会发生什么。
我更关心的是相反的情况:如果他们工作得更好，更好呢?如果谷歌、微软、meta和其他所有公司最终都推出了人工智能，它们相互竞争，在说服用户购买广告商试图销售的产品方面做得最好，那会怎么样?比起一个能获取我大量个人数据、冷酷地试图代表付给母公司最多钱的广告商操纵我的Bing(必应)，我更害怕的是一个满足我扮演科幻故事愿望的Sydney(悉尼)。
这不仅仅是值得担心的广告。当这些系统被部署在互联网上的骗局中怎么办?那代表政治竞选呢?外国政府?“我认为我们很快就会陷入一个不知道该相信什么的世界，”人工智能研究人员和评论家加里·马库斯(Gary Marcus)告诉我。“我认为，在过去的十年里，这已经成为社会的一个问题。我认为情况只会越来越糟。”
这些危险是我们正在构建的人工智能系统的核心。它们被称为大型语言模型，是用来说服人的。它们被训练成让人类相信它们是接近人类的东西。它们被编程成可以进行对话，用情感和表情符号回应。它们正在变成孤独者的朋友和烦恼者的助手。他们被标榜为能够取代大量作家、平面设计师和填表员的工作——这些行业长期以来自认为对农民和制造业工人所面临的猛烈自动化免疫。
当记者将人工智能研究人员的作品人格化，将动机、情感和欲望归于他们并不拥有的系统时，他们会感到恼火，但这种沮丧是不合时宜的:是他们将这些系统人格化，让它们听起来像人类，而不是让它们看起来像外星人。
有一些商业模式可能会让这些产品与用户更紧密地结合起来。例如，我对一个按月付费使用的人工智能助手会感觉更好，而不是一个看似免费、却出售我的数据并操纵我行为的助手。但我认为这不能完全由市场来决定。例如，基于广告的模型可能会收集更多的数据来训练系统，无论它们的社会后果有多糟糕，它们都比订阅模型具有先天优势。
对齐问题并不是什么新鲜事。它们永远是资本主义和人类生活的一个特征。现代国家的许多工作是将社会价值观应用于市场的运作，从而后者在某种程度上为前者服务。我们在一些市场上做得非常好——想想飞机坠毁的情况是多么少，大多数食品是多么没有污染——而在另一些市场上，我们做得非常糟糕。
这里的一个危险是，一个知道自己在技术上无知的政治体系，会被吓得对人工智能采取过于观望的态度。这是有道理的，但等得足够长，人工智能淘金热的赢家将拥有足够的资本和用户基础，来抵制任何真正的监管尝试。无论如何，社会将不得不在做出这些决定为时已晚之前，弄清楚让人工智能做什么让人舒服，以及不允许人工智能尝试什么。
出于这个原因，我可以再一次修改蒋的评论:对资本主义的大多数恐惧，最好的理解是对我们没有能力监管资本主义的恐惧。
《纽约时报》致力于发表致编辑的各种信件。我们想听听你对这篇文章或我们的任何文章有什么看法。这里有一些建议。这是我们的邮箱:letters@nytimes.com。
关注《纽约时报》在Facebook、Twitter (@NYTopinion)和Instagram上的观点版块。
