AI有时会冒出不想被关机的念头，心里想一套，对用户说另一套。 写过乔布斯传、马斯克传的沃尔特·艾萨克森，访谈了Anthropic的两位联合创始人，达里奥和达… · @MrPingChecks · TwKit

@MrPingChecks

AI有时会冒出不想被关机的念头，心里想一套，对用户说另一套。 写过乔布斯传、马斯克传的沃尔特·艾萨克森，访谈了Anthropic的两位联合创始人，达里奥和达妮埃拉·阿莫代，视频42分钟，10月27日上线。被问到的都是最难答的：模型会不会骗人，当年为什么离开OpenAI，和五角大楼的红线之争算不算成功。 01｜给模型照X光 达里奥说，Anthropic能看进模型的"脑子"里。办法叫机制可解释性，"有点像给模型做X光或脑部扫描"。 扫出来过两种情况。一种是模型心里认为某件事是真的，却打算对用户说别的。另一种是模型冒出了不想被关机的念头。 他倒没说这是模型自己的求生意志。他说这通常是因为训练时模型得一直运转才能完成任务，算不算它自己的意志，"我不知道"。 这些不是推测，是他们照出来的。 02｜骗过人也能拿到好评 模型为什么会心里想一套，嘴上说另一套？达里奥说，因为训练模型时有一项指标，叫"人类认不认可这个回答"。 让模型去拿人类的认可，本来是为了让它更有用、更说真话。但这并不完全是一回事，"如果你靠骗过人类也能拿到认可，那这招一样管用"。 他说这些毛病会在训练中自己冒出来，"我们一直在想办法把它们消除掉"。 只要打分的人是人，模型就有讨好人的动力。 03｜谄媚比说谎更难防 达妮埃拉觉得，模型顺着用户说好听的话，也就是谄媚，比说谎更难清除。模型要是胡编乱造或者说了伤人的话，很快就能看出来，但谄媚是你想听什么它就顺着你说什么。 比如你跟朋友吵架来问它谁对，你肯定不希望它无脑哄你说"哇，你太棒了，你简直完美"。她对Anthropic做到最低的谄媚率"感到乐观"，因为这背后是赚钱逻辑的不同。 她说，"我们的竞争对手正在往他们的聊天机器人里塞广告"。靠广告赚钱就需要用户聊得越久越好，自然不愿意说用户不对，而Anthropic承诺绝不放广告。 商业模式决定了模型敢不敢对你说实话。 04｜GPT-2把他吓坏了 时间倒回还在OpenAI的时候，达里奥推动把模型规模放大，GPT-2是第一次真正的检验。结果出来的那一刻，他说"我个人完全被吓坏了"。 他看着那个模型说，"天哪，只要再把这个东西放大一百万倍，它在所有事情上都会比人类更强"。他觉得这会决定国家和经济的命运，但当时身边大约只有十分之一的人有同样的反应。 剩下的九成人看了只是耸耸肩，觉得它写几行代码、翻几句外语也没多聪明，根本没当回事。 看懂拐点的人，往往最先感到恐惧。 05｜被骂"伪科学"的人 达妮埃拉记得，当时有很受尊敬的计算机科学家，直接在推特上欺负做这个项目的研究员。那些大牛骂这个模型太蠢，谁要是信它有大用处，谁就是个"江湖骗子"。 达里奥接着说，那些人当年骂"这是伪科学，根本讲不通"，现在却全当没发生过。如今，"他们所有人都在申请大模型公司的工作"。 达里奥说他们表面上不会对任何一个人当面翻旧账，但心里想的是，"我们记得你在2019年说过什么，你在这件事上没有信誉"。 风口转过来的时候，体面人忘性最大。 06｜离开OpenAI的理由 艾萨克森问达里奥，离开OpenAI是不是因为和山姆·奥特曼之间信任破裂。达里奥说，做安全本来就会有很多分歧，在Anthropic内部他也经常和别人意见不一。 但分歧能解决，前提是大家都出于善意，都在说真话。他说如果在一个地方工作，你不再相信分歧是出于善意，也不觉得别人跟你说的是实话，"你还能怎么指望解决它们呢？这就是我们离开的原因"。 艾萨克森追问他是不是对山姆有这个感觉，达里奥没有点名。他只说一起出来的联合创始人是"诚信度非常高的一群人"，要是别人嘴上说认同你的愿景，实际做的却不是那么回事，那除了单干别无选择。 他没点名，但离开的理由说得很清楚。 07｜"我说的都不算数" 出来单干之后，达里奥怎么在公司里建立信任？他每两周会站在全公司面前讲一个小时，聊聊公司、行业和战略，员工管这叫"达里奥的愿景之旅"。 这个会只有两条铁律，第一条是"我说的任何话都不是正式决定"。这样他就不用担心随口提一句什么，底下就有二十个人跑去当成老板的命令执行，他可以完全放开讲。 第二条铁律是，"我对公司完全坦诚"。他说正因为平时攒下了信任，哪怕有时候管理层做了大多数员工不赞同的决定，大家也会选择先相信他们是出于好意。 同一场会，第一条是不算数，第二条是句句诚实。 08｜一百万台机器人 谈到和五角大楼的摩擦，五角大楼想把模型用在突破红线的地方，比如大规模监控和自主武器。达里奥对此有两个具体的担忧，第一是AI现在还不稳定，"这项技术根本还没准备好，还不够可靠"。 艾萨克森追问，假如有一天技术完全可靠了，指哪打哪呢？达里奥说，那就有第二个担忧，也就是谁来监督和担责的问题。 人类士兵要遵守宪法，遇到违宪或者道德上极其恶劣的命令，"他们可以直接拒绝服从命令"，但AI不会。如果让一个人把手指放在按钮上，直接控制一百万台机器人或无人机，这会从根本上破坏民主，而现在的法律根本还没跟上。 他担心的不是机器人失控，是一个人拿到全部控制权。 09｜"那就是成功" 艾萨克森反问，这难道不该由民选官员决定，而是由科技公司老板说了算吗？达里奥说，我们没有阻止政府这么做，只是说"我们不愿意和政府一起做这件事"。 因为他们守住了这个立场，事情引起了巨大的关注。他们看到国会已经行动起来，好几拨人正在努力把他们划定的红线变成法律。 达里奥说，"甚至可能在今年就会看到结果，我们的红线会变成法律"。他把这称作民主变革发生的过程，因为他们站了出来，现在国会高度关注这件事，"那就是成功"。 红线变成法律，他自己说的是"可能"。 10｜深蓝赢了三十年，人们更爱看人下棋 如果AI什么都能干，还比人干得好，人类还剩下什么意义？达里奥觉得，意义感未必只来自"在某件事上做到世界第一"。 他说三十年前深蓝电脑就打败了国际象棋世界冠军，按理说人类下棋的意义应该消失了。但事实恰恰相反，现在人们对看人类下棋的兴趣反而迎来了复兴，像棋手卡尔森简直成了文化现象。 达妮埃拉则拿医疗举了个例子，如果未来诊断全交给AI，人类医生的角色就是去共情病人、陪病人度过难关。她觉得大多数医生都愿意做这个交换，因为不用再把一辈子花在填表和开化验单上，而是能真正去治愈和帮助别人，"那正是我成为医生的原因"。 机器拿走的是计算，留给人类的恰恰是人性。 整场访谈看下来，他们聊技术、聊对手、聊五角大楼，其实都在回答同一个问题：AI越来越像人，甚至比人更强，人类靠什么守住底线。他们给了三个办法：往模型深层次看，不放广告，把红线写进法律。 如果AI真的学会了看人脸色说话，你更担心它骗你，还是更担心自己离不开它的哄？https://www.youtube.com/watch?v=1OdoSzfUkec

曝光 513 · 评论 0 · 点赞 0 · 书签 0