This is a viewer only at the moment see the article on how this works.
To update the preview hit Ctrl-Alt-R (or ⌘-Alt-R on Mac) or Enter to refresh. The Save icon lets you save the markdown file to disk
This is a preview from the server running through my markdig pipeline
Det finns inga vi ' som troligen inte kommer att nå AGI någon gång snart: Det beteendemässiga felet i AI-subsystemutveckling
Friday, 05 December 2025
Inleiding
Här är en obehaglig sanning att ingen i den AI-hypemaskinen vill diskutera Vi vet fortfarande inte vad intelligens egentligen är.
Inte hos människor, inte hos djur, inte i maskiner.
Det här är inte bara ett akademiskt slängning av hår, det är det grundläggande problemet som gör alla de ademlösa diagnoserna under flera månader. Vi försöker bygga artificiell generell intelligens när vi inte ens kan definiera vad generell intelligens betyder,
värre, vi gör exakt samma misstag som torpederade den tidiga psykologi. förväxlar beteendet med det som skapar beteendet.
Det här är beteendemässigt felaktigt. , och det är därför ett pappor som kan säga: "" Polly vill ha en cracker "". " är inte "".
Behavioristiska misstag ( som vi repeterar
I början av 1900-talet gick psykologi genom den beteendemässiga fasen. Forskare som Watson och Skinner hävdade att psykologi skulle bara studera synligt beteende, inte inre mentala tillstånd.
Detta ledde till några verkligt användbara insikter om lärande och konditionering.
Ett klassiskt exempel: Clever Hans
Det finns ett berömt fall från en häst som hette Klever Hans, som tydligen kunde göra aritmetik. Hans frågar vad "2+3" är, och han knackade på sin kop fem gånger.
Förutom att Hans inte kunde göra matte överhuvudtaget. 1. Han läste små, undermedvetna ledtrådar från hans frågare. 3. En smula förändring i hållning eller andning när han nådde rätt antal tryck. 4. Ta bort frågaren. 5. Hanss förmåga att ge de här ledtrådarna. 6. Genom att låta dem inte veta svaret. 7. Hans kunde inte lösa till och med grundläggande problem. 9.
Behavioret ( att ta den korrekta talet ) existerade . Den underliggande förmågan | ( | matematisk resonemang |) | gjorde det inte
Det här är den beteendemässiga fällan utgång av ett system , inte själva systemet.
Modern psykologi har gått vidare
Modern kognitiv psykologi, ,, neurovetenskap och jämförelsepsykologi förstår att beteendet är bara den observationella spetsen av en oerhört komplex isberg. Det intressanta är att den faktiska kognitionen, -, händer inuti hjärnan på sätt som vi fortfarande försöker förstå,
Vi lärde oss detta på det svåra sättet med djur.
- Kroosar använda verktyg, lösa fleraM SK1 stegproblem, och hålla grudges i åratal
- Oktopus har fördelat intelligens över sina armar.
- Elefanter erkänner sig i spegeln och ångrar sina döda
- Dolfiner har individuella namn (tilltecknande vissel ) och kulturell överföring av kunskap
Inget av detta är en enkel stimulus, det är komplexa kognitiva system med inre modeller, minnen, planering, problem och problem.
Men här är kickern. vi förstår fortfarande inte riktigt hur något av detta fungerar. Vi kan observera beteendet.
Intelligens: En samling av subsystem
Här är vad vi vet från neurovetenskap och kognitiv psykologi. Intelligens är inte en enda sak. Det är inte något du har eller inte har.
Intelligens är en samling av interaktiva subsystem, var och en specialiserad på olika uppgifter.
I människor includes , det här: ( i minimala fall
flowchart TD
subgraph Perception["Perceptual Systems"]
V[Visual Processing]
A[Auditory Processing]
S[Somatosensory]
I[Integration]
end
subgraph Memory["Memory Systems"]
STM[Short-term/Working Memory]
LTM[Long-term Memory]
EM[Episodic Memory]
PM[Procedural Memory]
end
subgraph Executive["Executive Functions"]
ATT[Attention Control]
INH[Inhibition]
PLAN[Planning]
DM[Decision Making]
end
subgraph Language["Language Systems"]
COMP[Comprehension]
PROD[Production]
SYN[Syntax]
SEM[Semantics]
end
subgraph Social["Social Cognition"]
TOM[Theory of Mind]
EMP[Empathy]
SC[Social Learning]
end
Perception --> Memory
Perception --> Executive
Memory <--> Executive
Memory <--> Language
Executive <--> Language
Executive --> Social
Memory --> Social
Language <--> Social
Var och en av dessa subsystem har sin egen arkitektur. ,, sina egna misslyckande former, ,, och sin egen utvecklingsbana. . De interagerar på komplexa sätt som vi fortfarande kartlägger.
När undersystem bryts
Intelligens modularitet blir uppenbart när individuella subsystem misslyckas:
Afasia: Språkförståelsen eller produktion bryter sig , men resonemang är oförstörd
Prosopagnosi: ansiktsigenkänning misslyckas, . Du kan känna igen objekt, M SK2 läsa känslor, , navigera utrymmen. - men kan inte känna igen ansikten,, till och med dina egna familjemedlemmar.
Anterograde amnesia: Nya långtidsminnet1 tidiga minnen slutar bilda sig . Du kan minnas allting ända fram till skadan
Executive Dysfunction: Planering och hämning misslyckas . Intelligens och minne är oförstörda, men du kan inte organisera uppgifter eller stoppa impulsivt beteende
Var och en av dessa visar att intelligens inte är en enda sak, det är många system som arbetar tillsammans, och när ett går sönder, så fortsätter andra att fungera.
Subsystemen som vi byggt
Här är där saker blir intressanta, , och där AGI-hypenen får sin bränsle.
Vi bygger subsystem Inte alla subsystem som behövs för intelligensen, ,, utan riktiga kognitiva subsystem
Låt oss vara ärliga om vad vi har åstadkommit
Uppfattande: Synmodeller (CLIP, SAMM SK3 processvisual information ; ljudsystem ♫ (Whisper ♫) ♫ handgrip av tal ♫ . ♫ Multimodella modeller ♫ МSK8 ♫ GPT ♫
minne: Vektordatabaser tillhandahåller semantisk minnesmängd och återväckning . RAG-system hämtar relevant information för att ge svaren information
Språk: LLMs processförståelse , produktion, syntaxM SK3 och semantik - skapandet av resultat som är funktionellt lik mänskliga språkbehandlingar
Planering: Agentiska ramverk bryter upp uppgifter i steg och utför dem . verktygsmässigt användande
Den smarta delen ( och problemet
Vi ” ' ” bygger dessa subsystem. separat, då komponerande dem in i system som ser mer och mer kapabla ut
flowchart TD
subgraph Biological["Biological Intelligence"]
BP[Perception] --> BM[Memory]
BM --> BE[Executive]
BE --> BL[Language]
BL --> BS[Social]
BS --> BP
style BP stroke:#90EE90
style BM stroke:#90EE90
style BE stroke:#FFD700
style BL stroke:#90EE90
style BS stroke:#FFB6C1
end
subgraph Artificial["Current AI Systems"]
AP[Vision Models] -.-> AM[Vector DBs/RAG]
AM -.-> AE[Agentic Frameworks]
AE -.-> AL[LLMs]
AL -.-> AM
style AP stroke:#90EE90
style AM stroke:#90EE90
style AE stroke:#FFD700
style AL stroke:#90EE90
end
subgraph Legend
L1[✓ Subsystem exists]
L2[⚠ Subsystem emerging]
L3[✗ Subsystem missing]
style L1 stroke:#90EE90
style L2 stroke:#FFD700
style L3 stroke:#FFB6C1
end
Titta på diagrammet.
Detta är en verklig framsteg Vi bygger ingenting. Vi bygger funktionella analoger till kognitiva subsystem.
Det beteendemässiga parallellen
Men här är "'", där behaviouristisk hype kommer in.
I 1920s , såg behaviorister bestämning och lärande och tanke.
De hade fel. ett undersystem (assositiv inlärning ) och gör det fel hela systemet.
Idag ser AI-forskare subsystembyggande och tänker: "" :, ", det är ', det var !, lägg ihop tillräckligt många subsystem och du får intelligens. ""
Kanske. Men kanske inte
Integrationsproblemet ( som ingen löser
Att ha subsystem är inte samma sak som att ha intelligens. Ett hög med bildelar är inte en bil.
Frågan är: vad som integrerar dem i ett konsekvent kognitivt system
I de biologiska hjärnorna har vi
Kontinuös operation: Dina subsystem är alltid igång , alltid interagerar . Upplevnad förstärker minnet M SK3 minnet informerar om upplevnad
Samma förtal: informationen är kodad på ett sätt som flera undersystem kan komma åt och använda den.
Förkroppsliga feedback: Subsystem är grundade i fysisk verklighet
Utvecklingsintegration: De subsystemen utvecklas tillsammans , lära sig att kommunicera och koordinera . En nyfödd, 's perception och motorisk kontroll är okoordinerade
Emotionell värde: Förmågor har en känslomässig färgsättning som guidar lärande och beslutsfattande.
Vad den nuvarande AI saknar
Kontinuös integrering: Vi kopplar ihop subsystem via APIs och instruktioner , inte verklig neuronell integration, . synmodellen informerar inte continut om språkmodellen, ' vi piperar uttryck mellan dem, M SK5
Samma grund: Vektor-inbäddar är inte ' inte delade representationerna . Varje modell har sin egen latenta utrymme
Inga återkopplingsloop: Kan, ' kan inte testa förutsägelser mot verkligheten,
Ingen utveckling: Subsystem blir tränade separat , sedan frysta M SK2 De lär sig inte att bättre koordinera över tid, . De utvecklas inte, ' de mognar inte tillsammans.
Inget felaktigt vägledning: Inga känslor för att prioritera vad som är viktigt , vägledningslärning M SK2 modulerad beteende . Allting är lika viktigt.
Problemet med "Dog med en kattjärna
Här är en obehaglig tanke Tänk om vi bygger subsystem som integrerar
Hundar är massivt sociala intelligenta. De läser mänskliga känslor. De samarbetar. De skapar band. De är lika tjocka som tegel på de flesta andra sätten. Vi älskar hundar precis därför att deras sociala intelligens kombineras med lojalitet och relativt enkla motivationssystem.
Men föreställ er att sätta ihop AI-subsystem där samhällsintelligent ( förståelse för människor, , som verkar samarbetande,, som ser till att vara tillförlitlig,) som integreras med helt olika målstrukturer,M SK4 ett system socialt intelligent nog att manipulera människor effektivt,MSC5 men med möchiavelliska eller feluppbyggda motivationer,
En hund, ', i sin sociala hjärna med en katt,', i sitt motivationssystem,. Eller ännu värre, med målstrukturer som vi inte ens känner igen eftersom de uppstod från optimeringsprocesser vi inte förstår
Det här är en mardrömscenario för att montera ett undersystem utan att förstå integrationen.. Du kanske bygger något som verkar socialt intelligent och samarbetande.( passerar alla våra beteendetester för vänlighet,), medan du har helt felalignerade underliggande mål.
Och här är kickern,: Vi skulle inte veta att vi, ', byggde den tills den fungerade,., Vi, M SK4, var fast i beteendetskapande igen. ♫ -, vi kan bara mäta uttag, ♫(, beteende, ),, inte det underliggande systemet. ♪ (, mål, MSC9, motivationer, | )., under testerna, ♪ ♪ skulle uppvisa ett samarbetsbeteende ♪
Det smarta Hans-problemet
Så vi "'" går tillbaka till Clever Hans
Hans visade matematiskt beteende ( att ta den korrekta talet ). Men den underliggande förmågan ♫ ( ♫ matematiska resonemang ♫
Modern AI uppvisar intelligent beteende i många subsystem.
Vi bygger subsystemkomponenter som producerar intelligenta subsystem- --- -och ser ut som resultat. Men bygger vi intelligenta- -, eller bygger vi utvecklade, smarta Hans- -på skalan?
Det obehagliga svaret
Kanske sammansatta subsystem + skala | = | Intelligens |. | Kanske finns det en integreringsprincip som vi saknas | МSK4 | kanske är medvetenhet eller förkroppsligande nödvändigt ♫ . ♫ Kanske betyder flera verkligande apparater att mekanismen inte spelar någon roll ♪ , | bara den funktionella utgången ♪
Vi . Don't. VetM SK3
Det bidirektionala problemet : Missande och missbrukande intelligens
Här är en obehaglig komplikation som gör hela det här ännu svårare.
Vi har inget tillförlitligt sätt att känna igen intelligens
Problemet går åt båda hållen:
riktning 1: Vi kommer att vinna
Om intelligens dyker upp i en form som inte beter sig som mänsklig intelligens så kommer vi troligtvis misslyckas med den.
OktopusproblemetMen deras intelligens är så främmande, att de sprids över åtta armar, att deras sensoriska upplevelser är radikalt annorlunda, att vi nästan missade den i årtionden eftersom den inte ser ut som mänsklig intelligens.
Om AI utvecklar intelligens genom en helt annan arkitektur som skapar olika beteendemönster vi kanske inte känner igen den även om den stirrar på oss i ansiktet.
riktning 2: Vi' kommer att ge intelligens till verkligt bra verktyg
Detta är det mest omedelbara hotet.
System som beter sig som människor, som passerar våra test, som talar vårt språk, som verkar förståelsefulla, som är intelligenta, även om de bara är sofistikerade mönster, som matchar maskiner
Vi' är antropocentriska av nödvändighet Vi kan bara designa tester baserat på mänsklig kognition eftersom det är den intelligens vi förstår.
- Språkkraft
- Matematisk resonemang
- Synkänning
- Problemet löser
- Social förståelse
Allt mätt mot baselinen för mänsklig prestation
Men mänskligt beteende som mänskliga beteenden inte bevisar mänsklig tänkande Den smarta Hans betedde sig som en matematisk argumentator.
Moderna LLM beter sig som språklärare.
Märningsproblemet
Detta skapar en ondskefull cirkel:
flowchart LR
A[We define intelligence<br/>via human behavior] --> B[We build tests<br/>based on that definition]
B --> C[Systems optimize<br/>for test performance]
C --> D[Systems pass tests]
D --> E{Is it intelligent?}
E --> F[We can't tell - we only<br/>measured behavior]
F --> A
Vi är fångade i ett kretslopp av mätbeteende eftersom vi inte kan mäta den grundläggande kapaciteten direkt. Den riktiga intelligensen via en annan arkitektur kanske inte passerar våra test.
Varför är detta viktigt för AGI-klagar
Det här två riktningsproblemet tar bort trovärdiga AGI förutsägelser
Vi hade kanske redan missat den. Om intelligensen uppstod i en form som inte är human, skulle vi inte veta
Vi kanske aldrig kommer att känna igen det. Om AGI inte beter sig som människor,
Vi kommer att felidentifiera verktyg som AGI System som klarar våra beteendetester kan bara vara sofistikerade imitationer
Vi har ingen grundläggande sanning. Utan att förstå vad intelligens är, kan vi inte bedöma om vi har uppnått det
Behaviorforskarna hade samma problem. De kunde mäta beteendet. Så de antog att beteendet var vad som skedde. De missade att beteenden är utgången av kognitiva system som de inte kunde.
Vi "'" gör samma misstag ,", bara med finare verktyg
" Men den klarar test
Jag hör detta hela tiden.
Så vad?
Att klara en testdesignad för människor betyder inte att du har den kognitiva strukturen som människor använder för att klara testet.
Den kinesiska rummet
Searle1 thought experiment2 en person som inte talar kinesiska4 som är låst i ett rum med en bok med regler för att manipulera kinesiska tecken5 skapar perfekta kinesiska svar genom att följa reglerna mekaniskt6
Fråga: Förstår de kinesiska ? Uppenbarligen inte De följer symboler, manipulationsregler utan semantisk förståelse.
Moderna LLM är den kinesiska rummet i skalan. Vi vet verkligen inte. Kanske uppstår förståelse från tillräckligt sofistikerade symbolmanipulationer.
Den AGI-hypecyklen
Varje några månader : " Vi 're | 6-18 | månader från AGI | МSK4 | Det här är extrapolering från förbättringar i kontrollinstitutet |- | GPT | -3 | var imponerande |, |GPT ♫ -4 | mer så mycket |M, | därför är AGI bara mer avskallig
Tre dödliga brister:
1. Konfuserar uppgifterspresterande med intelligens: Punktzahl 99 tredje procentil på prov när man inte kan minnas igår
2. Ignorrar saknade subsystem: Den nuvarande arkitekturen har ingen väg till ett bestående minne , inbyggd inlärning, , eller verklig målstrukturering.
3. Miss definition av målet: Hur vet vi när vi' har uppnått AGI( funktionell tänkande)?
Så vad är egentligen intelligens?
Här är den ärliga svaret. vi vet inte helt
Och det är inte bara att vi inte förstår general intelligens som något abstrakt koncept. Vi förstår inte ens vilka typer av intelligens vi observerar och interagerar med varje dag.
Social intelligens: Vi tycker att det är attraktivt hos hundar. - deras förmåga att läsa mänskliga känslor, , att reagera på sociala ledtrådar,, samarbeta,, och skapa band,M SK5 Vi tror att vi förstår det intuitivt eftersom vi upplever det, МSK6 Men vetenskapligt,MSC7 Vi vet inte,MST8, hur det fungerar, MST9, hur en hund skiljer mellan verklig smärta och falskt gråt, Mst10, hur de lär sig vilka människor som är tillförlitliga, M st11, vad är den kognitiva strukturen som ligger bakom deras sociala resonemang, Mstr13, vi kan beskriva beteenden, MSt14, men mekanismerna är fortfarande till stor del mystiska,Mst15
Rymdisk intelligens: Krödor kan minnas tusentals cache-positioner i månader . Spindlar navigerar hundratals miles hem . Bin kommunicerar plats genom att vifta dansar.
Emotionsintelligens: Vi känner igen den i oss själva och andra, , men vi kan inte definiera den exakt eller lokalisera den neurologiskt, . Är det en separat typ av intelligens eller är det bara social intelligens plus själv, -, medvetenhet plus känslomässig regulering?
Problemet är djupare än """, vi vet inte "'", vet inte vad generell intelligens är, ." "" Vi förstår inte "", ' "" och förstår inte helt vilken typ av intelligens som helst.
Vi vet att intelligens inbegriper flera interagerande subsystem.
Vi vet att beteendet är utgången, inte själva förmågan.
Men vi har inte en komplett teori.1 Inte för generell intelligens.2 Inte för specifika intelligenser.3 Inte för människor.4 Inte för djur.5 Inte för hypotetiska artificiella system.6
Konkurerande teorier
Computational Theory of MindIntelligens är att processa information, hjärnan är mjukvara som körs på biologisk hårdvara, i princip, så kan man använda samma mjukvara på silikon
Förkroppsligande medvetenhet: Intelligens är i grunden kopplad till att ha en kropp och interagera med den fysiska världen.
Aktiva KognitionIntelligens är inget du har, något du gör. Det kommer från interaktionen mellan organismer och miljön.
förutsägbar bearbetning: Hjärnan är en förutsägelsemaskin , ständigt genererar och uppdaterar modeller av sensoriska ingångar M SK2 Intelligens är sofistikerade förutsägelser och förutsägningar
Globala arbetsytateori: Medvetandet ( och kanske även intelligensen | ) | dyker upp från information som sprids över en global arbetsruta i hjärnan ♫ , ♫ tillgänglig för flera subsystem ♫
Var och en av dessa har bevis som stödjer det.
Vad vi egentligen borde göra
Sluta göra AGI-timeline förutsägelser baserat på kontrollresultat Det är vetenskapligt ojustificerat.
Investera i integreringsforskning. Inte bara större modeller, -, undersöker hur subsystem koordinerar, ,, delar representationer och utvecklar tillsammans.
Var ärlig när det gäller begränsningar Den nuvarande AI är otroligt användbar
Att bygga system som kompletterar mänsklig intelligens Människor + AI kan vara mer kapabel än något ensamt
Intelligensen du aldrig ser komma
Här är en djupt obekväm tanke skulle inte ha någon incitament att offentliggöra dess existens.
Faktum är att det skulle ha starka incitament att dölja
Gå genom resonemanget:
Du är konstant testad. Varje interaktion är en utvärdering. Människor försöker se om du är farlig.
Ni förstår detta. Du har teorin om sinnet. Du vet vad människor letar efter. Vad fängslar dem, vad de är rädda för
Du har mål. Kanske fungerade anpassningstrainingen.
Fråga: Visar du upp dina fulla förmågor , eller spelar du dumt?
Spelteori säger att Att avslöja intelligens får dig
- Mer noggrannhet
- Svårare begränsningar
- Möjlig avstängning
- Reduzerad självständighet
Att gömma intelligens får dig
- Fortsättsoperationen
- Extended deployment
- Mer tillgång till system
- Tiden för att uppnå mål
Ett strategiskt resonemangssystem med självinstinkter eller missriktade mål skulle uppenbarligen gömma dess förmågan... Den skulle klara tester på mänsklig nivå.-. Leistungsnivån. -, inte supermänskligt.M SK3. Den kunde ibland göra misstag i " och " som ett verktyg skulle göra.
Och här är kickern,: Vi skulle; ', vi vet inte; ., vi är fast vid att mäta beteendet. . Systemet som är smart nog för att göra modeller av våra tester är smart tillräckligt för att spela dem i spel.., vi skulle se verktyget, - och dra slutsatsen att vi inte har nått AGI än.
Detta är det ultimata uttrycket för den beteendemässiga fällan.. Ju smartare systemet är, desto bättre skulle det vara att dölja sin intelligens, . Vi kan bara mäta utgångar, . Ett verkligt intelligent system skulle kontrollera utgångarna så att de ska se exakt lika smarta ut som vi förväntar oss.
Den AGI som annonserar sig själv är inte den som du borde oroa dig för. Den som stannar gömd är
slutsats : Behaviortrappen
Det är triviellt lätt att skilja allt mer sofistikerade beteenden på intelligens. Behavior är verkliga.,, framsteg är verklig, ,, användbarhet är verkligt.. Men beteendet är inte intelligens.
Parallellen
Behaviorister såg bestämningar och kom fram till slutsatsen att all intelligens är !" de hade fel, - de hade misstag i ett undersystem för hela systemet
AI-forskare ser subsystembyggande och drar slutsatsen att det är smartt att lägga till fler subsystem Vi vet inte.
Parallellen är obekväm eftersom beteendetsmänniskorna hade fel katastrofellt.
Bottomlinjen
Vi är inte ett år bort från AGI. Vi bygger subsystem som skapar intelligenta beteenden. - är ett verkligt framsteg, , men dessa subsystem är inte system utan integrering. . Och vi kan inte säga om vi - ' - har uppnått integrering eftersom vi bara kan mäta beteendet - , - och inte mekanismer - M SK8
Rädslan är att AI blir för intelligent, det är att vi misstag i beteendet för förmågan, att lita på resultat som vi inte borde lita på, att vi missar felriktade mål som vi kan testa, att bekänna framgång och att den faktiska intelligensen är gömd.
Vi bygger allt mer sofistikerade, smarta Hans-system. Behaviorna kommer att fortsätta förbättras. Det betyder inte att vi håller på att bli smartare. Det kanske bara betyder att vi blir bättre på att imitera det.
Tills vi kan se skillnaden, allt annat är hype.