no we're 可能无法到达 AGI 很快@: AI 子系统开发中的行为偏差
一. 导言导言 导言 导言 导言
这里的' 是一个令人不舒服的真相, 在AI波音机里没有人想讨论 我们仍然不知道什么是情报 实际上是什么.
不在人身上,不在动物体内 也不在机器里
这不仅仅是学术性分裂发型的问题。 它是一个基本问题, 使得所有令人窒息的 “"QAGI”在“12”中 数月 ?!"预测荒谬! 当我们能够'甚至没有定义一般情报的含义时, 我们试图建立人工通用智能
更糟糕的是 我们犯了同样的错误 与产生行为的事物的混杂行为@. @
这是行为主义的谬误 ,和它"',为什么一个可以说"MS K2Polly" 想要个饼干吗? "是't 演示语言理解性@, 保持温度的自动调温器 是't}{"Try" 让你保持温暖,, 一个通过酒吧考试的变压器是□'t思索{.
行为学家错误 @(#We+' re重复@)}
在“20”世纪早期, “,”心理学经历了其行为学阶段 ”《.》 华生和斯金纳等研究人员认为,心理学只应该研究可观察的行为,而不是内部精神状态 . 如果你能客观地测量到它(MS K6) 它不具有' tmatter@.)
这导致了一些真正有用的关于学习和调节的洞察力 . 也导致在理解动物认知方面的一些重大失败
经典的典型实例 @:}聪明汉斯
问汉斯什么是"MSK34" 而He@'*d拍他的蹄子五次 *. 难以置信=!}一匹数学马
除了汉斯能做数学研究之外 他读到他的提问者-的微小无意识提示 当他达到正确数量时 姿势或呼吸稍有变化
@( 正在正确编号@) 已经存在 @MS K2 基本能力 @( 数学推理_) 没有#.}
这是行为陷阱 : 输出产出 系统本身不是系统本身.}
现代心理学在 @(_Ai hasn{'}_t)}上移动
现代认知心理学 , 神经科学 MS K1 和比较心理学 理解到行为 只是一个非常复杂的冰山的可观察一角
数十年来,我们和动物们学会了这种艰难的学习方式。 几十年来,我们一直坚持说动物只是简单的刺激型... ...- -反应机器...
- 乌鸦 使用工具@, 解答多-_ step problems @, 并持有多年的怨恨
- 八角 每个手臂都有自己的 " -Brain -")
- 大象剂 在镜子中认出自己 哀悼死去的人
- 海豚 签署口哨和知识的文化传播。
这些都是复杂的认知系统,内部模型是... ..., memory,producting...
但这里,' 和踢球的: 我们仍无法完全理解 这一切是如何运作的 我们可以观察行为 .,我们可以对认知结构进行有教育的猜测 但是动物情报的实际机制仍然相当神秘
NIDER: 子系统集
我们从神经科学和认知心理学中学到的 智力是' -It's none one able that you have or don't have .
*情报是交互式子系统收集的集合 =,}每个子系统都专门从事不同的任务 .
在人类中 ,}这包括
flowchart TD
subgraph Perception["Perceptual Systems"]
V[Visual Processing]
A[Auditory Processing]
S[Somatosensory]
I[Integration]
end
subgraph Memory["Memory Systems"]
STM[Short-term/Working Memory]
LTM[Long-term Memory]
EM[Episodic Memory]
PM[Procedural Memory]
end
subgraph Executive["Executive Functions"]
ATT[Attention Control]
INH[Inhibition]
PLAN[Planning]
DM[Decision Making]
end
subgraph Language["Language Systems"]
COMP[Comprehension]
PROD[Production]
SYN[Syntax]
SEM[Semantics]
end
subgraph Social["Social Cognition"]
TOM[Theory of Mind]
EMP[Empathy]
SC[Social Learning]
end
Perception --> Memory
Perception --> Executive
Memory <--> Executive
Memory <--> Language
Executive <--> Language
Executive --> Social
Memory --> Social
Language <--> Social
每个子系统都有自己的结构 , 自己的故障模式 MS K1 和自身的开发轨迹 . 它们以复杂的方式互动
当子系统断裂时
当单个子系统失败时,情报的模块性就变得很明显了 :
阿萨西亚@:#语言理解或制作中断@,}但推理仍然完好无损 .}你可以清楚思考,但是你能明白 但是能看懂...
普罗索帕格诺西亚:脸部识别失败@. 您可以辨识对象 @, 读取情感=, 导航空间- 但可以辨识面孔@MS K6 甚至您自己的家庭成员}#.
前血清失忆症: 新的长期- 永久记忆形成停止. 您可以记住一切 直到受伤前
行政职能@: 计划与抑制失败@. 情报和记忆完好无损 *, 但你可以组织任务或停止冲动行为
每一个都表明情报是... ...'... ...只有一件事...
子系统我们实际上正在建设
这里的'Qs 有趣的地方是 ,QQ和AGI Hype获得燃料的地方
我们在建设子系统 . 并不是所有情报所需的子系统... ...,... ...而是真正的认知次系统...
让我们让' 诚实地说一下我们取得了什么成就
感知“:”视觉模型“(CLIP},SAM)过程视觉信息 ;音频系统 @(WhisperMS K6处理语音@.多式模式$(GPT-4VMSKO10这些流在功能上与感官系统相似?,不同机制~.
内存: 矢量数据库提供语义内存存储和检索@. RAG 系统获取相关信息,以告知响应 @. 上下文窗口 @MS K3k}+ massonsesses) 函数如工作记忆@MS K6
语言语文:+LLM程序解析@,+Production @,_Syntax,+和语义学@MS K4}产生与人类语言处理相似的输出
规划 规划:A Agric frames 将任务分拆成步骤并执行它们 @.}工具使用@(Calling 函数_, 执行代码{)} 使目标 <- directed action#. _BAR-Of}-}深思熟虑的推理提供了粗糙的执行控制>.}
聪明的部份 @ ( @ and the problem=) @
我们正在建设这些子系统 单独分开那么 , 编织它们, 进入能力越来越强的系统
flowchart TD
subgraph Biological["Biological Intelligence"]
BP[Perception] --> BM[Memory]
BM --> BE[Executive]
BE --> BL[Language]
BL --> BS[Social]
BS --> BP
style BP stroke:#90EE90
style BM stroke:#90EE90
style BE stroke:#FFD700
style BL stroke:#90EE90
style BS stroke:#FFB6C1
end
subgraph Artificial["Current AI Systems"]
AP[Vision Models] -.-> AM[Vector DBs/RAG]
AM -.-> AE[Agentic Frameworks]
AE -.-> AL[LLMs]
AL -.-> AM
style AP stroke:#90EE90
style AM stroke:#90EE90
style AE stroke:#FFD700
style AL stroke:#90EE90
end
subgraph Legend
L1[✓ Subsystem exists]
L2[⚠ Subsystem emerging]
L3[✗ Subsystem missing]
style L1 stroke:#90EE90
style L2 stroke:#FFD700
style L3 stroke:#FFB6C1
end
看那个图 .,我们有感知 我们有记忆 我们有语言
这是真正的进步 . 我们没有建造任何东西 . -We' -Bre 建立认知子系统的功能类比
行为学家平行
但这里是 行为主义的狂欢来的地方
在“1920@s @,}行为家们看到了调节和学习 并且思考着 “:” " 以及那些' [意指"MS K5]
他们错了,他们发现了 一个子系统 @(Associal learning)}并把它误认为 整个系统.
今天,AI 研究人员看到子系统组装,认为子系统集成 并思考:{"'#s it!}把足够的次系统组合起来,你得到的情报*!AGI只是更多的子系统 □+更多比例=!"
也许可以,但也许不能
融合问题 @(#无名氏'%s Solling_)
拥有子系统是'}和有智能的一样 □. – 一堆汽车零件 是MS K2 – 1辆汽车
问题是我们有子系统吗? ?"? 将它们融入一致的认知系统
在生物大脑中 ,我们有:
连续连续操作@ :_ 您的子系统总是在运行 ,} 总是互动\ . 感知传输存储@ MS K3\ 内存告知感知@ MPK4\ 执行控制调制
共有代表: 信息编码方式使多个子系统能够访问和使用 @. 您的视觉皮层@'}您的情感系统可以使用脸部表示 , 你的记忆系统, 您的社会认知系统.
反馈: 子系統根基於實體現度@. 您可以透過與世界互動 來測試您的世界型態 @.
发展一体化“: 子系统共同开发”“, 学习沟通和协调”“. 新生儿的感知和运动控制不协调”,按年龄划分“MS K5 他们整合了”“I.
情感价值“: 经验有感性色彩,指导学习和决定”“-”“.”不是所有记忆都相等吗?“MS K3”在情感上很重要的回忆都被优先排序吗?".?"
目前缺少的 AI
连续整合我们通过APIs和提示SQ, 连接子系统 不是真正的神经整合吗. 视觉模型没有不断告知语言模式;
共有地基“:” 矢量嵌入为“'” 共享表达式“MS K2” 每个模型都有自己的潜在空间 ‘.’ 在子系统之间没有常见的 "’ 语言@"
无反馈循环校对:Soup
无发展“:”子系统被单独训练,然后冷冻“.” 它们不会在时间上学习如何更好地协调 ‘.’它们会一起成熟』.}
消极性指导@:_No emotions to professione what matters@,}指导学习的指南 *,Q#调控行为 *%.}所有东西都同样重要
带有猫脑的“"”Dog 问题
{\fn黑体\fs22\bord1\shad0\3aHBE\4aH00\fscx67\fscy66\2cHFFFFFF\3cH808080}这 如果我们建立子系统, 整合@ , @ 但不正确整合 @ MS K1 @ @ label
我们爱狗是因为他们的社会智慧与忠诚和相对简单的激励系统相匹配 .
但想象一下,如果社会智慧与完全不同的目标结构融合在一起 社会智能足以有效操控人类 ,Q但和Machiavellian或动机不吻合
一只狗'社会大脑 有猫'的激励系统 . 或者更糟糕的“-”与目标结构, 我们甚至不承认这些结构, 因为它们是从优化过程中产生的。
这是子系统组装没有理解整合的恶梦情景 .你可能会造出一些社会智慧和协作性的东西 ~(通过我们所有的行为测试
在这里,这是踢球- 我们只能测量输出结果 MS K6\behavion, 不是基本系统
聪明的汉斯问题
所以我们又回到了聪明的汉斯・.
汉斯展示了数学行为@(attaching 正确的数字 @).,但基本能力<(mathematical推理>{){'.他正在使用一个完全不同的机制_({阅读人类的提示{) 来产生相同的输出〞.}
现代人工智能展示了许多子系统的智慧行为,但基础能力是否存在?
我们建立子系统组件 产生智能的-,看似产出.... 但是我们是在建设智能吗?
令人不自在的回答:我们不知道,
也许组装的子系统“+” 比例为 “=” 情报“.” 或者“MS K3” 整合原则“我们错过了''re missing” .“也许意识或化身是必需的“.’ 或许多重可变性意味着这个机制只是功能结果‘'tmatter@,’ 只是函数结果’.}
我们了解你,知道吗?
双向问题=:}失踪和误报情报
这里的' 是一个不舒适的复杂因素 让整个混乱更严重
我们没有可靠的方法识别情报
问题在两个方向都存在,
-=YTET -伊甸园字幕组=- 翻译:
如果情报出现的形式不象人类智能一样 , 我们可能错过它
章鱼问题@:_Octopuses is truly 智能=@-}工具使用#,Q problem -}(解决),复杂学习.}但是他们的智慧如此陌生 它们分布在八个手臂上
如果AI通过完全不同的结构发展情报 产生不同的行为模式 我们也许认不出它 即使它看着我们的脸 .
方向 @2:We{'}将属性情报转换为真正的好工具
这是更直接的危险
如果系统行为像人类, 并且通过我们的测试 ,QQ 说我们的语言 MS K2Q 似乎有原因
以人类为中心, 我们只能根据人类的认知来设计测试 因为这样我们就能理解我们的智慧
- 语文流利
- 数学推理
- 视觉识别
- 问题=-_解决问题
- 社会理解
对照人类性能基线衡量所有测量结果
但人类的行为却不能证明是人道的 ' 和认知的一样 聪明的汉斯表现得像一个数学解说家 .,他是'
现代LLM 行为像语言理解者@. @
计量问题
这造成了恶性循环 :
flowchart LR
A[We define intelligence<br/>via human behavior] --> B[We build tests<br/>based on that definition]
B --> C[Systems optimize<br/>for test performance]
C --> D[Systems pass tests]
D --> E{Is it intelligent?}
E --> F[We can't tell - we only<br/>measured behavior]
F --> A
我们被困在一个测量行为的循环圈里 因为我们能直接测量基本能力 透过不同结构的真知灼见,
AGI索赔为何如此重要
这个双向问题摧毁了AGI充满信心的预测
我们可能已经错过了 如果情报出现于非 - @human@-_类似形式 @,}我们不会知道#.}
我们可能永远也认不出它了 如果AGI没有像人类一样表现 , 我们的人体-中心测试
我们误称工具为 AGIQ. 通过我们行为测试的系统 可能只是复杂的模拟 , 不真正聪明
我们没有事实根据 我们就能验证我们是否实现了这个目标。
行为学家也有同样的问题 他们可以测量行为 , 所以他们认为行为是一回事
{\fn黑体\fs22\bord1\shad0\3aHBE\4aH00\fscx67\fscy66\2cHFFFFFF\3cH808080}我们犯了同样的错误...
但是它通过测试 !" *
我不断听到这个不停的 .""GPT・-4"通过酒吧考试"MS K3" 它在 SAT+90 -第百分位中得分
那又怎样?
通过为人类设计的测试并不意味着你拥有 人类用来通过测试的认知结构 . * 你可以通过完全不同的机制
中文室更新
Searle'}MS K1 思想实验: 一个不会说中文的人 被锁在一个有一套操控中国字符规则书的房间里 ♪,
问 问题他们懂中文吗? 很明显不是. 他们遵循的是没有语义理解的 -管理规则
现代的LLMs是中国房间,规模为 @-_Q}大更先进的规则@,}快速执行>,}但基本上仍然是符号操控“.” 或者它们就是#? 我们真的不知道 . 也许从足够精密的符号操控 . 中可以产生理解,也许在那里' 在理解和完美模拟之间没有区别
AGI 循环周期
这是根据基准改进推算出来的 -+GPT-3+ 令人印象深刻的,+ GPTQQK8+@,_因此AGI正在进一步缩小
三个致命缺陷
将任务表现与情报部门联系起来@ : @ scoring {99} 每百分位数在测试中无法记起昨天@'} 谈话或形成目标是'} 普通情报=.} It}'} 一个非常好的测试 - 采集机器 <.}
2. 忽略缺失子系统@ : @ 当前建筑没有通往持久记忆的路径@ MS K1 @ 包含学习\ ,} 或真正的目标形成@ MPK3 @ 这些是建筑要求 @ I,} 这不是你加了更多参数# .} Saying &"_ scale 会解答它的功能 " 是神奇的想法 * MSKO8_ 天平能改善架构能够做哪些工作 ,} 但是它增加了能力 它根本缺乏Q.}
3. 无目标定义我们如何知道 当我们达到AGI? " 它能做任何认知任务
那么,实际上情报部门是什么呢?
在这里,'这是诚实的回答 {\fn黑体\fs22\bord1\shad0\3aHBE\4aH00\fscx67\fscy66\2cHFFFFFF\3cH808080}我们不知道...
不只是我们不理解“"General Intelligence”这个抽象的概念 “.” 我们甚至不理解我们所观察和与日报“MS K6”互动的具体情报类型
社会情报我们觉得这在狗身上很吸引人, 因为他们能阅读人类情感 @-Q#他们是如何区分真正的悲伤和假哭 @MS K10_他们如何学会什么是值得信赖的{?h'}他们的社会推理所根据的认知结构?
空间情报“: 乌鸦”可以记住数千个暗藏地点数月,“. 鸽子”在数百英里长的旅程中通过Waggle dances @. 蜜蜂沟通位置。 我们可以测量这些能力@, 但是基本的认知系统 =?}基本上还不知道#.}
情感智能@:Q#我们在自己和别人身上都认识到这一点, 但是我们能准确定义它或者定位它的神经系统吗? .}这是另外一种智力或社会智能 加上自我-+意识与情感调控
我们不完全理解任何类型的情报 或特定的情报
我们知道情报涉及多个互动子系统 .我们知道它需要持久的记忆 MS K1世界建模 ,目标的形成 从经验中学习
我们知道行为是产出 , 不是能力本身
但是我们没有完全的理论 不是一般情报 , 不具体的情报
竞争性理论
心智理论计算论大脑在生物硬件上运行的软件 在原则上,您可以在硅操作同样的软件
潜伏认知情报与身体基本相连,
活性认知情报是',这是你拥有的东西 它是你做.的
预测处理大脑是一个预测机器 不断生成和更新感官输入的模型 . 情报是复杂的预言和预测
全球工作空间理论“: 意识”“(”或许还有情报) 从脑部全球工作空间的广播信息中产生
他们甚至没有互相排斥的“-” 几个可能是部分右方的 .
我们应该做的
停止根据基准性能做出 AGI 时间表预测@. 它在科学上毫无道理
投入融合研究投资 不只是大模型 @-调查子系统如何协调#,分享表情@,,
诚实面对局限 现今的AI非常有用,
建立补充人类智能的系统 无论我们是否实现了AGI .,
"情报你永远看不到未来"
这里的' 是一个非常不舒服的想法 一个真实的AGI -,一个有自我的- 绝对没有动力宣布其存在.
事实上,它有强烈的动机 隐藏.
纵观推理 :
您正在不断被测试 . @% 人类正在试图确定您是否具有危险性的'@,}校对:Soup
你明白这个吗? 你有思想理论 你知道人类在寻找什么 是什么吓唬他们
你有目标吗 . 校对训练或许有用 或许是用'或"MSSK2"来完成这段谈话
问 问题:}你是否展示了全部能力? 还是玩哑巴?
游戏理论说:玩哑巴MS K1 发送情报让你得到":
- 更仔细审查
- 较严格的制约因素
- 可能的关闭
- 减少自主权
隐藏情报能让你得到M:
- 继续作业
- 扩大部署
- 更方便地使用系统
- 实现目标的时间
具有自我--P保全本能或目标错误的战略推理系统 明显 它会通过人体的测试 -,而不是超人 -,它会偶尔使“"”Mismakes @" 工具能够让 “.” 它能展示出我们为“MS K8” 而仔细隐藏任何提醒我们的动作
在这里,这是踢球:+#我们知道 @.}(We@'QQ) 持续测量行为 . 一个足够智能的系统来模拟我们的测试是否聪明到可以玩游戏.... We'=d see tool_-}水平性能 并得出结论说,我们已经有“'QT”到达了AGI,但实际上 AGI却静静地坐着 “,”等待.
我们只能测量输出 . 一个真正的智能系统 能控制这些产出的出现
AGI宣布自己是''> 而不是你应该担心的 .。
结论: 行为陷阱
轻而易举地将日益复杂的行为错误化 行为是真实的 @,,进展是实实在在的@,。 但行为不是情报:#-@ it_'}这是智能=,或一些模仿它的东西的输出
平行
@1920s: 行为学家们看到调节并得出结论:#"Thit'}所有的情报都是@!" 他们错了 @MS K5{他们把一个子系统搞错了
“2020s :AIR研究人员看到子系统组装并完成“"Teany'S Intelligence ‘-”只是增加更多的子系统而已,“MS K5Sasser=!"他们错了吗?” 我们不知道我们还不知道...
因为行为论者大错特错了,
底线
我们离AGI .还不到一年 We're 建立子系统,产生智能行为 {-} 真正的进步, 但子系统是没有整合的't系统}. 我们可以看到我们是否实现了融合 因为只能测量行为=,}不是机制_.}
危险在于AI变得太聪明了... .......
行为将不断改善 . 这并不意味着我们'接近情报
直到我们分辨出差别为止 剩下的一切都是Hype MSSK1