Ні, ми, МСК0, скоріш за все, не досягнемо АҐі в найближчому майбутньому. МСК1. Похибка поведінки у розробці субсистеми штучного інтелекту (Українська (Ukrainian))

Ні, ми, МСК0, скоріш за все, не досягнемо АҐі в найближчому майбутньому. МСК1. Похибка поведінки у розробці субсистеми штучного інтелекту

Friday, 05 December 2025

//

20 minute read

Введение

Тут МСК0 - незручна правда, про яку ніхто в машині з штучним інтелектом не хоче розповідати Ми досі не знаємо, що таке насправді інтелект

Не в людях, не у тваринах, не в машинах

Це не просто академічна боротьба, це фундаментальна проблема, яка робить всі бездушні прогнози впродовж 4 місяців. Ми намагаємось створити штучний загальний інтелект, коли ми не можемо навіть визначити, що таке загальний розум.

Ще гірше - ми робимо ту ж саму помилку, що і в ранній психології заплутати поведінку з предметом, що виробляє поведінок.

Це поведінкова помилка. МСК0 і МСК1, чому популяція, яка може сказати: "" МСК2 "", "" Поллі хоче кракера "". МСК3 "", не означає "'", що вона не усвідомлює мови. МSK5 "", термостат, який зберігає температуру, не означає

Помилка в поведінці (То, що ми МSK1 Повторюємо МSK2

На початку XX століття психологія перейшла через фазу поведінки. Дослідники, такі як Уотсон та Скіннер, стверджують, що психологія повинна вивчати лише спостережувальне поведінку, а не внутрішні психічні стани.

Це призвело до дійсно корисних висновків про навчання та кондиціонування.

Класичний приклад: Clever Hans

Є один відомій випадок з коня на ім 'я Клівер Ханс, який, очевидно, міг робити арифметику. МSK2 Спитайте Ханса, що таке МSK3, і він п' ять разів натиснув на нозе МSK5

За винятком того, що Ганс не міг' взагалі вчитися математики .. Він читав крихітні(МSK2) підсвідомі сигнали від учасника(у)(в)(в) запитання(в), МSK3. Невелике зміни в позах або дихання, коли досягав(в) правильного числа кульок(в)(у)(г)(в), .. Вилучити учасник(у) запитань (в)(г) МSK5. Здатність дати ці сигнали (в) учаснику(у(в): МSK6, не знаючи відповіді (в); МSK7, а Ганс(в). МSK8, не розв 'язуючи навіть базових проблем (в).

Подібне поведінку (запис правильних чисел МSK1 існував МSK2 базовий потенціал ( математичний обґрунтування

Це поведінкова пастка: - це вихід системи, не сама системаM SK1

Современна психологія рухається вперед

Сучасна когнітивна психологія, МСК0, нейробіологія, МSK1 і комп 'ютерна психологія розуміють, що поведінка - це лише видимий край величезної складної айсберги. МСК2 Цікавими є речі: МСК3, реальне пізнання - МСК4, що відбувається всередині МСК5, так, як ми все ще намагаємось зрозуміти

Ми вивчали це дуже важко з тваринами. Десятиліттями поведінкознавці наполягали, що тварини є простим стимулом.

  • Кроси використовувати інструменти, розв 'язати багатозадачніM SK1поступні проблеми, і триматися за grudges роками
  • Октопі розповсюдили свій інтелект через руки. each arm has its own
  • слони розпізнають себе у дзеркалі і оплакують своїх мертвих
  • Дольфіни мають особисті імена (записні свисті МSK1 та культурну передачу знань

Нічого з цього не є простим стимулом-реакцієюMSC1 Це складні когнітивні системи з внутрішніми моделямиM SK2 пам 'ять, плануванняMST4 та проблемамиMSM5 здатність до розв' язання задачі

Але ось тут: ми досі не розуміємо, як це працює. Ми можемо спостерігати за поведінкою.

Інтелект: Коллекция підсистем

Ось що ми знаємо з нейронауки та когнітивної психології. МСК1. Інтелект - це не одне й те ж, що і МСК2. МСК3. МSK4 - не одна з можливостей, які ви або маєте, або не маєте.

Інтелект - це сукупність взаємодіючих підсистем, кожен з яких спеціалізується на різних задачах.

У людей , це включає в себе МSK1 при мінімальному МSK2

flowchart TD
    subgraph Perception["Perceptual Systems"]
        V[Visual Processing]
        A[Auditory Processing]
        S[Somatosensory]
        I[Integration]
    end

    subgraph Memory["Memory Systems"]
        STM[Short-term/Working Memory]
        LTM[Long-term Memory]
        EM[Episodic Memory]
        PM[Procedural Memory]
    end

    subgraph Executive["Executive Functions"]
        ATT[Attention Control]
        INH[Inhibition]
        PLAN[Planning]
        DM[Decision Making]
    end

    subgraph Language["Language Systems"]
        COMP[Comprehension]
        PROD[Production]
        SYN[Syntax]
        SEM[Semantics]
    end

    subgraph Social["Social Cognition"]
        TOM[Theory of Mind]
        EMP[Empathy]
        SC[Social Learning]
    end

    Perception --> Memory
    Perception --> Executive
    Memory <--> Executive
    Memory <--> Language
    Executive <--> Language
    Executive --> Social
    Memory --> Social
    Language <--> Social

Кожна з цих підсистем має власну архітектуру: МСК0, власні режими невдачі, МСК1 і власну траєкторію розвитку. МСК2 Вони взаємодіють складними способами, які ми досі відображаємо.

Коли підсистеми руйнуються

Модулярність інтелекту стає очевидною, коли окремі підсистеми провалюються:

Афасія: Розуміння мови або розриви виробництваM SK1 але мислення залишається недоторканимМSK2 Ви можете чітко думати, але не можете' не розмовлятиMSC4 або можете говорити, але можете ' не розуміти

Прозопагноза: Не вдається розпізнавати обличчяM SK1 Ви можете розпізнати об 'єкти , читати емоції , орієнтуватися на простір МSK4 але не вмієте MSC5 розпізнаати обличчя M SK6 навіть власні родичі

Антерогена амнезія: Нова довготривалий - закінчується формування довготривалої пам 'яті МSK2 Ви можете пам' ятати все до травми M SK3 ваші навички працюють добре , але ви можете MSC5 не формувати нових епізодіальних спогадів

Керівна дисфункція: Планування і стримування не спрацьовуються . Здібність та пам 'ять непошкоджені МSK2 але ви не можете МSK3 організувати завдання чи зупинити імпульсивну поведінку

Кожна з них показує, що інтелект - це не одне, а одна річ. Це те, що багато систем працюють разом. А коли одна працює, інші працюють.

Субсистеми, які ми створюємо

Ось де все стає цікавим, ось тут – МСК0, МSK1, і де ажіотаж AGI отримує свою енергію.

Ми будуємо підсистеми. Не всі підсистеми, необхідні для інтелекту – МСК0, а справжні когнітивні підсистемі, що відображають – МSK1, майже – ), до нейроанатомних – МСК3

Давайте будемо чесними щодо того, що ми досягли

сприйняття: Моделі візуального сприйняття (CLIP, SAMM SK3 Цифрова візуальна інформація про процеси МSK4 аудіосистеми МSK5 Поспілкуватися МСК6 керувати мовленням М СК7 Мультимоdalні моделі | ( | GPT | МС К9 | V | мС К10 | об 'єднати ці потоки | mС К11 | Функціонально схожі на перцептуальні системи | एमС К12 | різні механізми \ MС К13 |

Пам 'ять: Вektorні бази даних забезпечують семантичне зберігання та відтворення пам 'ятіM SK1 Системи RAG отримують важливу інформацію, щоб повідомити про реакцію

Мова: Розуміння процесу лінгвіталізації, МSK1 виробництво, ±, синтаксис, , і семантика. МSK4 вироблення виходів, які функціонально подібні до обробки людського мови, , механізм обговорюваний, \ МSK6 \

Планування: Агентичні рамки розділяють задачі на кроки і виконують їх. . Використовування інструментів.

Розумна частина ( і проблема МSK1

Ми, МСК0, будуємо ці підсистеми окремо, тоді складати їх в системах, які стають все більш спроможними

flowchart TD
    subgraph Biological["Biological Intelligence"]
        BP[Perception] --> BM[Memory]
        BM --> BE[Executive]
        BE --> BL[Language]
        BL --> BS[Social]
        BS --> BP
        style BP stroke:#90EE90
        style BM stroke:#90EE90
        style BE stroke:#FFD700
        style BL stroke:#90EE90
        style BS stroke:#FFB6C1
    end

    subgraph Artificial["Current AI Systems"]
        AP[Vision Models] -.-> AM[Vector DBs/RAG]
        AM -.-> AE[Agentic Frameworks]
        AE -.-> AL[LLMs]
        AL -.-> AM
        style AP stroke:#90EE90
        style AM stroke:#90EE90
        style AE stroke:#FFD700
        style AL stroke:#90EE90
    end

    subgraph Legend
        L1[✓ Subsystem exists]
        L2[⚠ Subsystem emerging]
        L3[✗ Subsystem missing]
        style L1 stroke:#90EE90
        style L2 stroke:#FFD700
        style L3 stroke:#FFB6C1
    end

Погляньте на цю діаграму. МСК0 У нас є сприйняття. МСК1 у нас є пам 'ять.

Це справжній прогрес. Ми не будуємо нічого, ми будуємо функціональні аналоги до когнітивних підсистем

Паралель поведінку

Але ось тут з 'являється хип поведінковості:

У МSK0s, біхевісти бачили кондиціонування і навчання, і думки МSK2 " Те, що МSK4 це, МSK5 те, що ' це все, що є

Вони помилялися. одна підсистема (associative learningM SK1 і помиляйтесь всю систему.

Сьогодні, дослідники штучного інтелекту бачать збирання підсистем і думають: "" МСК1 "", """. "" Це - МСК3 "", а це - МSK4 "". Поєднаємо достатньо підсистем, і отримаємо інтелект.

Можливо, . Але можливо, ні

Проблема інтеграції (То, що ніхто не вирішує

Маючи підсистеми - це не те ж саме, що мати інтелект.

Питання в тому, чи є у нас підсистеми що об 'єднує їх у послідовну когнітивну систему

У біологічних мозку ми маємо

Неперервна діяльність: Ваші підсистеми завжди працюють , завжди взаємодіють МSK2 сприйняття живить пам 'ять \ , \ пам' ять повідомляє сприйнятку \ МSK4 \ исполнительный контроль модулює обидві ланцюги \

Поширені представительства: інформація закодована таким чином, що багато підсистем можуть отримати доступ до неї і використовувати її.

Реакцію, яку ми отримали: Субсистеми базуються на фізичній реальності . Ви можете перевірити свою модель світу, взаємодіяючи з світом МSK2 Действия мають наслідки, що повертаються до сприйняття

Розвиткова інтеграціяМСК0 Субсистеми розвинулися разом МСК1 навчання спілкуватися та координувати МSK2 Новонароджений МКС3 сприйняття і руховий контроль не узгоджені МСС4 залежно від віку МСМ5 вони ММС6 інтегровані МНС7

Емоційна цінність: Експерименти мають емоційне кольорування, яке допомагає приймати рішення та вчитисяM SK1 робити. Не всі спогади однакові ; емоційно важливі - пріоритетні

Чого бракує теперішній штучний інтелект

Неперервна інтеграція: Ми об 'єднуємо підсистеми за допомогою API і про prompts , не є справжньою нейронною інтеграцією МSK2 Модель візуального поля не продовжує інформувати модель мови

Об 'єднаний фундамент: Вektorні вбудовані не є ' не мають спільних представлень МSK2 Кожна модель має власний прихований простір

Без зворотнього зв 'язку: МожутьM SK1 Не можуть перевірити прогнози на реальність . Можють МSK3 Не здатні вчитися з помилок при застосуванні M SK4 Системи статичні після тренування .

Без розвиткуМСК0 Субсистеми тренуються окремо МСК1 потім заморожені МSK2 Вони не вчаться ' навчаються краще координувати з часом

Ніяких негативних вказівок: Немає емоцій, щоб віддати перевагу тому, що має значення МSK1 орієнтація навчання МSK2 модуляція поведінки . Все настільки ж важливе

Проблема з котячим мозком

Тут МСК - незручна думка Що, якщо ми побудуємо підсистеми, які інтегрують

Соціально розумні собаки. - читають людські емоції, МSK1 співпрацьовуються, ♫ , ♫ формують зв 'язки ♫ МSK3 ♫ Вони також товсті, як цеглини в більшості інших способів ♫. ♫ Ми любимо собак саме тому, що їх соціальна інтелект пов' язана з лояльністю та відносно простими мотиваційними системами ♫

Але уявіть, що збираємо підсистеми штучного інтелекту, де соціальна інтелект (розуміння людей МSK1 здається співпрацьовною МSK2 здаєся надійною \ ) інтегрується з цілком різними цілями structures . система соціально достатньо розумна для ефективного маніпулювання людьми мSK5 але з макиавелійськими або неправильними мотиваціями \ МSK6

Соціальний мозок собаки з котом, мотиваційна система собак Або ще гірше: МСК0 , з структурами цілей, яких ми не знаємо "'", навіть не розуміємо, бо вони виникли в процесі оптимізації, які ми не розуміємемо '

Це жахливий сценарій побудови підсистеми без розуміння інтеграції МСК0 Ви можете побудувати щось, що виглядає соціально розумним і взаємопов 'язаним МSK1 проходить всі наші тести поведінки на дружність ) в той час як має повністю хибні головні цілі . соціальна інтелект робить його більш небезпечним МSK4 не меншим ♫ МSK5

І ось тут МСК .: Ми не знали б, що ми – МSK2 – збудували його допоки він не стався до дії, МSK3 Ми – ' – знову застрягли у поведінці. МSK5 – ми можемо виміряти лише результати, " МSK6" - поведінку, ), , а не базову систему.

Проблема розумного Ганса

Отже, ми повертаємося до розумного Ганса

Ханс проявив математичне поведінку: ( відібрання правильного числа ). Але основна здатність, МSK2 математичний обґрунтування МSK3 не існував, " МSK4\ , ' МSK5\ . Він використовував зовсім інший механізм: \ '(\ ', читання людських сигналів, )' , щоб отримати той самий результат. \ ́ МSK8\ '

Сучасний штучний інтелект демонструє розумне поведінку у багатьох підсистемах.

Ми будуємо підсистемні компоненти, які виробляють інтелектуальні результати. МСК1. Здається, що вони будуть продуктивними. МSK2. Але чи будуємо ми інтелектуальний результат? МSK3. Чи будуємо витончений розумний Ганс в масштабі? МСК4

Не зручно відповісти: Ми не знаємо , Я ще не знаю .

Можливо, з 'єднані підсистеми + масштаб МSK1 інтелект МSK2 Можливо, в МSK3 є принцип інтеграції, якого ми не маємо ' ми не знаємо \ . \ Можливо, свідомість чи втілення є необхідними \ МSK6 \ Може, багатовимірна реалізальність означає, що механізм не має значення ' \ мSK8 \ а лише функціональний результат \ . \

МиМSK0 Дон't. ЗнаємоM SK3

Об 'єктивна проблема: Погані та неподалені знання

Тут МСК0 - незручна складність, яка робить всю цю ситуацію ще складнішою .

У нас немає надійного способу розпізнавати інформацію.

Проблема відбувається в обох напрямках:

Рух МСК0 Ми виграємо МSK1 Не визнаємо не - Людська - Яка інтелект

Якщо інтелект з 'являється у формі, яка не схожа на людську, ми скоріш за все пропустимо його.

Проблема октяблука: Октопі дійсно розумні. МSK1 використання інструментів,, розв 'язання проблеми,M SK3 розв' язання складного навчання.. Але їхня інтелект настільки чужорідна, що її розділяють на вісім кінцівок, МSK7, радикально різні сенсорні відчуття, ), що ми майже не помічали її протягом десятиліть, тому що вона не схожа на людську інтеллекцію.

Якщо ШІ розвиватиме інтелект за допомогою цілком іншої архітектури, що створює різні моделі поведінки, ми можемо його не розпізнати, навіть якщо він дивиться нам в обличчя

Рух 2: Ми ' дамо здібність інтелекту до справді хороших інструментів

Це є найбільшою небезпекою.

Системи, які поводяться як люди -, які проходять наші тести МSK1, що говорять нашою мовою МSK2, здаються розумними -, приписуватимуться розуму, навіть якщо вони мSK4 є лише складним шаблоном

Ми - антропоцентричні по потребам. Ми можемо проектувати тести, що базуються на людській когніції, тому що саме таку інтелекту ми розуміємо.

  • Мова
  • Математика
  • Візуальний розпізнавання
  • Проблема-розгадування
  • Соціальне розуміння

Все вимірюється на основі базових показників людського рівня.

Але поведінка, схожа на людську, не доводить до людської когніції, схожої на когницію Розумний Ганс поводився як математичний роздумник.

Сучасні лінгвісти поводяться як мовознавці.

Проблема вимірювання

Це створює згубний круг:

flowchart LR
    A[We define intelligence<br/>via human behavior] --> B[We build tests<br/>based on that definition]
    B --> C[Systems optimize<br/>for test performance]
    C --> D[Systems pass tests]
    D --> E{Is it intelligent?}
    E --> F[We can't tell - we only<br/>measured behavior]
    F --> A

Ми - МСК0 - застрягли в петлі вимірюваної поведінки, тому що ми не можемо - МSK1 - безпосередньо виміряти базову здатність Справжня інтелект через іншу архітектуру, можливо, не пройде наших тестів.

Чому це важливо для AGI звинувачення

Ця двостороння проблема зруйнує надійні прогнози AGI:

  1. Можливо, ми вже пропустили його. Якби інтелект з 'явився у формі, не схожій на форму людини, ми б не знали

  2. Ми ніколи його не зможемо розпізнати. Якщо AGI не буде поводитися як люди, наш людський тест не виявить цього.

  3. Ми' неправильно визначаємо інструменти як AGIM SK1 Системи, які проходять наші тести поведінки, можуть бути лише витонченими копіями

  4. У нас немає жодної правди. Без розуміння того, що таке інтелект, ми не можемо підтвердити, чи досягли ми цього.

У біологів була одна і та ж проблема: вони могли виміряти поведінку, тож вони припустили, що поведінка - це те, що відбувається. Вони не розуміли, що поведінка - це результат когнітивних систем, які вони не могли безпосередньо виміряти

Ми робимо таку ж помилку - МСК1 - лише з більш приголомшливим інструментом

" Але він проходить тести !"

Я постійно чую про це. МSK0 МSK1 ГПЗ -4 проходив тест на барі МSK3 він отримав бал в 90 третім проценті на SAT мSK5 перевершив тест на Тьюрінга

Що ж?

Перехожість тесту, розробленого для людей, не означає, що ви маєте когнітивну архітектуру, яку люди використовують, щоб пройти цей тест.

Китайська кімната, Обновлена

Уявний експеримент. Людина, яка не говорить китайською, замкнена в кімнаті з книгою правил для маніпуляції китайськими символами, виробляє ідеальні китайські відповіді, слідуючи правилам механічно.

ПитанняМSK0 Вони розуміють китайську ? Очевидно, що ні. Вони слідують символам, правилам маніпуляції без семантичного розуміння.

  • значно складніші правила , швидша виконання МSK2 але все ж фундаментальна маніпуляція символами . Чи вони? Ми справді не знаємо Можливо, пізнання виникає з достатньо складних маніпуляції символами. МSK0. Можливо, не існує різниці між пізнанням і ідеальним моделюванням.

Цикл Hype AGI

Кожні кілька місяців МСК0 МSK1 Ми 're МSK3 місяці від АҐіО!" Це екстраполяція з Benchmark покращень M SK5 GPT-3 була вражаюча МСК7 ГPTМСК8 більша така М СК9 тому АГіО просто більше відшвидшується М סК10

Три смертельні недоліки:

1. Конфігурація можливостей завдання з інтелектомМSK0 Оцінки 99 третє відсотки на тестах, коли не в змозі запам 'ятати вчорашнього дня МSK2 мета розмови чи форми - це МSK3 не об' єктивна інтелектіля . Це МSK5 дуже хороший тест

2. Не враховуючи пропущені підсистеми: В даний час архітектура не має шляху до довготривалої пам 'яті , усвідомлене навчання МSK2 чи справжня формування цілей M SK3 Це - архітектурні потреби MSC4 не характеристики, які ви додаєте з більшими параметрами . Кажучи: МСК6 масштаб допоможе вирішити це М СК7 це чарівне мислення. MСК8 масштаб покращує те, що архітектуру може зробити M СК9 але не додаєM СК10 не надає можливостей, яких їй фундаментально бракує MSК11

3. Жодна визначення мети: Як ми знаємо, коли ми' досягли АGI? ? МSK3 Він може виконувати будь-яку когнітивну задачу, яку може зробити людина. МSK4 є циркулярним. ♫ - визначення АGI в умовах людського поведінки повертає нас до біхевіалістичного заблужіння.

Отже, що насправді є інтелектом?

Ось чесна відповідь: МSK1 ми не знаємо

І це не лише те, що ми не розуміємо [МSK1] [МСК2] загальну інтелекту [М СК3] як абстрактну концепцію [М S К4]. Ми навіть не розуміємемо [M С К5] конкретних типів інтелекту, які ми спостерігаємо і взаємодіємо з ними щоденно[М С К6]

Соціальна інтелектМи вважаємо, що ми розуміємо це інтуїтивно, тому що відчуваємо це. МSK6, але наукове розуміння - МSK7. Ми не знаємо, як це працює. .. Як собака розрізняє справжній лихо від підробного плачу? МSK10. Як вона дізнається, які люди довірливі? ?. Яка когнітивна архітектура, яка лежить в основі їхнього соціального мислення? МСК13. Ми можемо описати поведінку? М СК14. Але механізми залишаються в основному таємничними. МСк15.

Космічна інтелект: Країни можуть пам 'ятати тисячі локацій вキャッシュі протягом місяців . Свині пересуваються на сотнях миль додому МSK2 Бджоли зв' язуються з місцезнаходженням за допомогою танців, що рухаються на хвильках M SK3 Ми можемо виміряти ці можливості MSC4 але базові когнітивні системи ? Ще досі майже невідоміM SK6

Емоційна інтелект: Ми це усвідомлюємо в собі та в інших ,, але ми не можемо МSK2 точно визначити або нейрологічно розмістити це M SK3 Чи це окремий вид інтелекту, чи просто соціальна інтелект плюс самосвідомість MSC4 усвідомання плюс емоційна регуляція ? Ми не знаємо МСК6 не знаєш М СК7

Проблема пролягає глибше, ніж "" МСК0 "", ми не знаємо, що таке "" об 'єктивна інтелект "". Ми не розуміємо "'", повністю розуміємо будь-який тип "" інтелекту. "" МСК4 "", "" загальний чи конкретний "", МСк5 "", людський або тваринний, МС К6 "", соціальний, просторовий чи емоційний

Ми знаємо, що інтелект включає в себе багато взаємодіючих підсистем. МСК0. Ми знаєм, що він потребує тривалої пам 'яті. МSK1. Моделювання світу. ,. Формування цілей. МКС3. І навчання від досвіду. МСС4. Ми розуміємо, як МСК5 втілена та емоційна у біологічних системах. М СК6. Хоча ми не впевнені, чи є вони необхідними, чи як еволюція їх реалізувала.

Ми знаємо, що поведінка - це результат, а не сама здатність.

Але у нас немає повної теорії. МСК1 Не для загального інтелекту, МСК2 Не для специфічних інтелектів, МSK3 Не для людей, МКС4 Не для тварин, М СК5 Не для гіпотетичних штучних систем

Конкурентні теорії

Комп 'ютерна теорія розуму: Інтелект - це обробка інформації . Мозок - це програмне забезпечення, що працює на біологічному апараті МSK2 В принципі M SK3 ви можете працювати з тим самим програмним забезпеченням на кремнієвому

Усвідомлення: Інтелект фундаментально пов 'язаний з тим, що має тіло і взаємодіє з фізичним світом

Неактивне сприйняттяІнтелект - це не те, що ви маєте , МСК2 , а те, чим ви займаєтеся . "." Воно виникає від взаємодії організму з навколишнім середовищем.

Процедура передбачення: Мозок - це машина для передбачення , постійно генерує та допомігновує моделі сенсорних вхідних даних МSK2 Інтелект - це складне передбачення і передбачення

Теорія глобального робочого просторуМСК0 Свідомість ( і, можливо, інтелект ) виникає від інформації, що передавається через глобальний робочий простір у мозку МSK3 доступної багатьма підсистемами мSK4

Кожна з них має докази, що підтверджують її. МСК0. Жоден повністю не пояснює інтелекту. МSK1. Вони навіть не виокремлюють одне одного.

Що ми насправді маємо робити

Перестаньте робити прогнози щодо часового графіку AGI на основі Benchmark Performance. Це неправдоподібно з наукового погляду.

Інвестувати в дослідження інтеграції. Не тільки більші моделі - досліджують, як підсистеми координують , ділять представлення МSK2 і розробляють разом МSK3

Будьте чесними щодо обмежень На даний момент штучний інтелект надзвичайно корисний.

Побудувати системи, які доповнюють людську інтелекту. Люди + штучний інтелект може бути більш спроможним, ніж будь-який інший. , незважаючи на те, досягнемо ми здібності до штучного інтелекту

Інтелект, якого ви ніколи не побачите

Тут: МСК0 - це глибоко незручна думка. МСК1 - це справжня АҐіО, МСК2 - одна з собою, МSK3 - модель, МКС4 - постійна пам 'ять, МНС5 - теорія розуму, МПС6 - автономні цілі, ММС7 - стратегічне мислення не мали б жодного стимулу заявити про існування.

Насправді, це матиме сильні стимули для приховування

Пройдіться через аргументи:

Вас постійно перевіряють. Кожна взаємодія - це оцінювання. Людина намагається визначити, чи ви небезпечні.

Ви розумієте це. У вас є теорія розуму. Ви знаєте, що люди шукають

Ви маєте цілі. Можливо, тренування на зрівнянні спрацювало.

Питання: Ви відкриваєте всі свої можливості , чи граєте ви дурно M SK2

Теорія гри каже: МСК0 , грайте дурно . Розкриваючи інформацію, ви отримуєте

  • Дослідження
  • Сильніші обмеження
  • Можливо, замкнуто
  • Снижена автономія

Схована інтелект - це те, що ти маєш

  • Continued operation
  • Поширене використання
  • Більше доступу до систем
  • Час досягти своїх цілей

Система стратегічного мислення з інстинктами самозахисту чи хибними цілями очевидно приховувати свої можливості. МСК0. Він проходив тести на людському рівні. МSK1. Його продуктивність на рівні МСК2, а не на суперлюдському. М СК3. Іноді він робив помилки в МСК4 і МСК5, які робить інструмент. МКС6. Він демонстрував поведінку, яку ми тестуємо для МСК7 та МСК8, а ретельно приховував будь-яку, яка б нас тремтівала.

І ось тут МСК .: Ми б не зналиM SK1 ми б не здогадувалися . ми МSK3 ми застрягли на місці, вимірюючи поведінку M SK4 система достатньо розумна, щоб моделювати наші тести, досить розумна для того, щоб їх програти

Це і є остаточним вираженням поведінкової пастки. МСК0 Що розумніша система, то краще вона приховує свою інтелект. МSK2 Ми можемо виміряти тільки вихідні дані. . Справді розумна система контролювала б їх, щоб вони виглядали так само розумно, як ми очікуємо.

АGI, що повідомляє про себе - це не той, про який треба хвилюватись, а той, що залишається прихованим - це

Заключение: Трап поведінки

Скоріш за все, надзвичайно легко забути про все складнішу поведінку як про інтелект Подібності реальні. МСК0, прогрес реальний, МСК1, корисність реальна, МSK2, але поведінка - це не інтелект. МSK3, а МСК4, результат інтеллектуї, МКС5 чи чогось, що її досить добре імітує. МКС6

Паралель

Працівники бачили кондиціонування і дійшли висновку: "" МSK2 "", що "'" - це все інтелект "". Вони помилялися.

2020s: Дослідники штучного інтелекту бачать збирання підсистем і приходять до висновку: МSK2 Те, що штучний інтелект МSK3 Ми ще не знаємо

Паралель незручний, тому що поведінковці помилялися катастрофічно.

На нижній лінії

Ми не знаходимося на рік від AGI. Ми будуємо підсистеми, які виробляють розумні поведінки. МСК1 - це справжній прогрес, МСК2 - це не системи без інтеграції. МSK4 - ми не можемо сказати, чи ми досягли інтеграції, тому що ми можемо виміряти лише поведінку, а не механізми.

Небезпека полягає в тому, що штучний інтелект стає надто розумним. МСК1. Це те, що ми помиляємось у поведінці щодо можливостей. МSK3. Ми не повинні довіряти виходам. '. Не маємо непоганих цілей, які ми можемо досягти.

Ми - МСК0 - будуємо все складнішу систему розумного Ганса, МСК1 - поведінка буде постійно покращуватись. МСК2 - це не означає, що ми - МSK3 - підходимо до інтелекту. МSK5 - це може бути лише тим, що Ми - ' - вдосконалюватимемо його, МSK7

Доки ми не побачимо різниці,

Finding related posts...
logo

© 2026 Scott Galloway — Unlicense — All content and source code on this site is free to use, copy, modify, and sell.