Даріо Амодеї: ризики потужного ШІ та як їх подолати

CEO Anthropic (модель ШІ Claude) Даріо Амодей - одна з небагатьох людей на планеті, які бачать зсередини, як швидко розвивається ШІ. 26 січня 2026 року він опублікував есе, яке читається як доповідь радника з нацбезпеки: через рік-два може з'явитися "країна геніїв у дата-центрі" - мільйони ШІ-агентів, кожен розумніший за нобелівського лауреата, що працюють у сто разів швидше за людину. Амодей розбирає п'ять категорій загроз - від ШІ, що виходить з-під контролю, до біозброї в руках одинаків і тоталітарних режимів з арміями дронів. Але головне - він вірить, що людство здатне пройти це випробування. Якщо прокинеться вчасно.

___________________________________________________

В екранізації книги Карла Сагана "Контакт" є сцена, де головну героїню - астронома, що виявила перший радіосигнал від інопланетної цивілізації, - розглядають як кандидата на роль представника людства для зустрічі з прибульцями. Міжнародна комісія запитує її: "Якби ви могли поставити їм лише одне запитання, яким би воно було?" Вона відповідає: "Я б запитала: як вам це вдалося? Як ви еволюціонували, як ви пережили цю технологічну юність, не знищивши себе?"

Коли я думаю про те, де людство перебуває зараз стосовно ШІ - про те, на порозі чого ми стоїмо, - мої думки знову і знову повертаються до цієї сцени. Питання так точно описує нашу ситуацію, і я хотів би, щоб у нас була відповідь інопланетян, яка могла б нас скерувати. Я вірю, що ми вступаємо в обряд ініціації - турбулентний і неминучий, - який перевірить, хто ми є як вид. Людство ось-ось отримає майже неймовірну владу, і зовсім неясно, чи володіють наші соціальні, політичні та технологічні системи достатньою зрілістю, щоб нею розпорядитися.

В есе "Машини милосердя" я спробував змалювати мрію про цивілізацію, яка подорослішала: ризики усунуті, а потужний ШІ застосовується вміло і зі співчуттям, щоб підвищити якість життя кожного. Я припустив, що ШІ може зробити величезний внесок у біологію, нейронауку, економічний розвиток, глобальний мир, а також у сферу праці та сенсу життя. Мені здавалося важливим дати людям щось надихаюче, за що варто боротися, - завдання, з яким, як не дивно, не впоралися ні акселераціоністи ШІ, ні прихильники безпеки ШІ. Але в цьому есе я хочу поглянути в обличчя самому обряду ініціації: скласти карту ризиків, з якими ми ось-ось зіткнемося, і спробувати накидати план битви для їх подолання. Я глибоко вірю в нашу здатність перемогти, в дух людства і його шляхетність, але ми повинні дивитися на ситуацію прямо, без ілюзій.

Як і під час обговорення переваг, я вважаю важливим говорити про ризики вдумливо і виважено. Зокрема, критично важливо:

Уникати думерства. Під "думерством" я маю на увазі не лише віру в неминучість загибелі (яка одночасно хибна і самоздійснювана), але ширше - квазірелігійний підхід до ризиків ШІ. Багато людей роками розмірковували про ці ризики аналітично і тверезо, але у мене склалося враження, що на піку тривог про ШІ у 2023-2024 роках нагору спливли найменш розсудливі голоси - часто через сенсаційні акаунти в соцмережах. Вони використовували відразливу мову, що нагадує релігію або наукову фантастику, і закликали до крайніх заходів без достатніх доказів. Вже тоді було ясно, що зворотна реакція неминуча і тема стане культурно поляризованою, а отже, зайде в глухий кут. До 2025-2026 років маятник хитнувся в інший бік: тепер багато політичних рішень визначаються можливостями ШІ, а не його ризиками. Це розгойдування прикре, тому що самій технології байдуже, що зараз у моді, а в 2026 році ми значно ближче до реальної небезпеки, ніж були у 2023-му. Урок у тому, що обговорювати і усувати ризики потрібно реалістично і прагматично: тверезо, спираючись на факти і готуючись до зміни настроїв.

Визнавати невизначеність. Є безліч сценаріїв, за яких мої побоювання виявляться безпідставними. Ніщо тут не претендує на визначеність або навіть високу ймовірність. Найбільш очевидно: ШІ може просто не розвиватися так швидко, як я припускаю. Або, навіть якщо розвиток піде стрімко, деякі або всі описані ризики не матеріалізуються (що було б чудово), або виникнуть інші ризики, яких я не передбачив. Ніхто не може передбачити майбутнє з повною впевненістю - але ми все одно повинні планувати як можемо.

Втручатися максимально точково. Для усунення ризиків ШІ знадобиться поєднання добровільних дій компаній (і приватних сторонніх гравців) та державних заходів, обов'язкових для всіх. Добровільні дії - і їх здійснення, і заохочення інших компаній наслідувати приклад - для мене очевидні. Я твердо переконаний, що державні заходи теж якоюсь мірою необхідні, але вони іншого характеру: вони можуть руйнувати економічну цінність або примушувати незгодних учасників, що скептично ставляться до цих ризиків (і є шанс, що вони мають рацію!). Крім того, регулювання часто дає зворотний ефект або посилює проблему, яку покликане вирішити (особливо для технологій, що швидко змінюються). Тому вкрай важливо, щоб регулювання було розумним: уникало супутньої шкоди, було максимально простим і накладало мінімально необхідні обмеження. Легко сказати: "Жодні заходи не надмірні, коли на кону доля людства!" - але на практиці такий підхід лише викликає зворотну реакцію. Можливо, ми в підсумку досягнемо точки, де будуть потрібні набагато серйозніші дії, але це залежатиме від більш переконливих доказів неминучої конкретної небезпеки, ніж є сьогодні, а також від достатньої конкретики, щоб сформулювати правила з шансом на успіх. Найконструктивніше зараз - виступати за обмежені правила, поки ми з'ясовуємо, чи є докази для більш суворих.

Що таке "потужний ШІ"

Найкраща відправна точка для розмови про ризики ШІ - та сама, з якої я починав, говорячи про переваги: точно визначити, про який рівень ШІ йдеться. Рівень, що викликає у мене цивілізаційні побоювання, - це потужний ШІ, який я описав у "Машинах милосердя". Повторю тут те визначення:

Під "потужним ШІ" я маю на увазі модель - ймовірно, схожу на сучасні великі мовні моделі (LLM), хоча, можливо, на іншій архітектурі, з декількома взаємодіючими моделями та іншим навчанням, - з наступними властивостями:

За чистим інтелектом вона розумніша за нобелівського лауреата в більшості релевантних областей: біології, програмуванні, математиці, інженерії, письменництві тощо. Це означає, що вона може доводити невирішені математичні теореми, писати чудові романи, створювати складні кодові бази з нуля.
Крім того, що це "розумна штука, з якою розмовляєш", у неї є всі інтерфейси, доступні людині, що працює віддалено: текст, аудіо, відео, керування мишею та клавіатурою, доступ в інтернет. Вона може виконувати будь-які дії, комунікації або віддалені операції через цей інтерфейс: діяти в інтернеті, давати або отримувати вказівки від людей, замовляти матеріали, керувати експериментами, дивитися і створювати відео і так далі. Все це - знову ж таки - на рівні, що перевершує найздібніших людей у світі.
Вона не просто пасивно відповідає на запитання; їй можна давати завдання на години, дні або тижні, і вона виконує їх автономно, як розумний співробітник, уточнюючи деталі за необхідності.
Популярні новини зараз

"Кінець епохи": Польща офіційно змінює правила для українців

В Україні скасували радянський Житловий кодекс: як зміниться приватизація

Гривня на руках: НБУ пояснив, чому українці масово запасаються готівкою

Індексація з 1 березня: кому і на скільки підвищать пенсійні виплати

Показати ще
У неї немає фізичного втілення (крім існування на екрані комп'ютера), але вона може керувати існуючими фізичними інструментами, роботами або лабораторним обладнанням через комп'ютер; теоретично вона навіть може проектувати роботів або обладнання для власного використання.
Ресурси, використані для навчання моделі, можна перенаправити на запуск мільйонів її копій (це відповідає прогнозованим розмірам кластерів до ~2027 року), і модель може засвоювати інформацію і генерувати дії приблизно в 10-100 разів швидше за людину. Однак вона може бути обмежена часом відгуку фізичного світу або програм, з якими взаємодіє.
Кожна з цих мільйонів копій може діяти незалежно над непов'язаними завданнями, або, якщо потрібно, всі можуть працювати разом так, як співпрацюють люди, - можливо, з окремими підгрупами, довченими для певних завдань.

Можна описати це як "країну геніїв у дата-центрі".

Як я писав у "Машинах милосердя", потужний ШІ може з'явитися вже через 1-2 роки, хоча може і значно пізніше. Коли саме він з'явиться - складна тема, яка заслуговує на окреме есе, але поки коротко поясню, чому вважаю, що це може статися дуже скоро.

Мої співзасновники Anthropic і я були серед перших, хто задокументував і відстежував "закони масштабування" ШІ-систем - спостереження, що в міру додавання обчислювальних потужностей і навчальних завдань ШІ-системи передбачувано покращуються практично в будь-якій когнітивній навичці, яку ми здатні виміряти. Кожні кілька місяців громадська думка або переконується, що ШІ "вперся в стіну", або надихається якимось новим проривом, який "фундаментально змінить гру", але правда в тому, що за волатильністю і публічними спекуляціями ховається плавне, невблаганне зростання когнітивних здібностей ШІ.

Ми вже на тому етапі, коли ШІ-моделі починають просуватися у вирішенні невирішених математичних завдань і є досить вправними у програмуванні, щоб деякі з найсильніших інженерів, яких я зустрічав, тепер передавали ШІ майже весь свій код. Три роки тому ШІ насилу справлявся із завданнями з арифметики початкової школи і ледве міг написати один рядок коду. Аналогічні темпи покращень спостерігаються в біології, фінансах, фізиці та безлічі агентних завдань. Якщо експонента продовжиться - що не гарантовано, але підтверджується десятирічним послужним списком, - то пройде не більше кількох років, перш ніж ШІ стане кращим за людей практично у всьому.

Насправді ця картина, ймовірно, недооцінює темпи прогресу. Оскільки ШІ тепер пише більшу частину коду в Anthropic, він вже суттєво прискорює наш прогрес у створенні наступного покоління ШІ-систем. Цей зворотний зв'язок набирає обертів з кожним місяцем і, можливо, через 1-2 роки досягне точки, коли поточне покоління ШІ автономно створить наступне. Цей цикл вже запущений і буде стрімко прискорюватися в найближчі місяці та роки. Спостерігаючи за останніми п'ятьма роками прогресу зсередини Anthropic і дивлячись на те, як формуються моделі навіть найближчих місяців, я відчуваю темп прогресу і цокання зворотного відліку.

П'ять категорій ризику

Найкращий спосіб осмислити ризики ШІ - поставити запитання: припустимо, що буквальна "країна геніїв" матеріалізується десь у світі приблизно у 2027 році. Уявіть, скажімо, 50 мільйонів людей, кожен з яких набагато здібніший за будь-якого нобелівського лауреата, державного діяча чи технолога. Аналогія неідеальна: ці генії можуть мати вкрай широкий спектр мотивацій і поведінки - від повністю слухняних до дивних і чужих у своїх цілях. Але залишаючись у рамках аналогії, уявіть, що ви радник з національної безпеки великої держави, відповідальний за оцінку ситуації та реагування. Уявіть далі, що оскільки ШІ-системи можуть працювати в сотні разів швидше за людей, ця "країна" діє з часовою перевагою над усіма іншими: на кожну нашу когнітивну дію ця країна може здійснити десять.

Про що слід турбуватися? Я б турбувався про наступне:

Ризики автономії. Які наміри і цілі цієї країни? Вона ворожа чи поділяє наші цінності? Чи може вона військовим шляхом домінувати над світом через перевагу зброї, кібероперації, операції впливу або виробництво?
Зловживання для руйнування. Припустимо, нова країна піддатлива і "дотримується інструкцій" - по суті, це країна найманців. Чи можуть існуючі зловмисні актори, які бажають заподіяти руйнування (наприклад, терористи), використовувати або маніпулювати деякими людьми з нової країни, щоб стати набагато ефективнішими, багаторазово збільшивши масштаб руйнувань?
Зловживання для захоплення влади. Що якщо країна була побудована і контролюється існуючим могутнім актором - диктатором або недобросовісною корпорацією? Чи може цей актор використовувати її для отримання вирішальної або домінуючої влади над усім світом, порушивши існуючий баланс сил?
Економічні потрясіння. Якщо нова країна не становить загрози безпеці в жодному із сенсів 1-3, а просто мирно бере участь у глобальній економіці, чи може вона все ж створити серйозні ризики просто тому, що настільки технологічно просунута й ефективна, що дестабілізує світову економіку, викликаючи масове безробіття або радикальну концентрацію багатства?
Непрямі ефекти. Світ буде дуже швидко змінюватися через усі нові технології та продуктивність, які створить нова країна. Чи можуть деякі з цих змін виявитися радикально дестабілізуючими?

Думаю, очевидно, що це небезпечна ситуація. Доповідь компетентного чиновника з нацбезпеки главі держави, ймовірно, містила б слова на кшталт "найсерйозніша загроза національній безпеці за століття, можливо, за всю історію". Схоже, на це мають бути спрямовані найкращі уми цивілізації.

І навпаки, було б абсурдно знизати плечима і сказати: "Тут нема про що турбуватися!" Але саме такою, схоже, є позиція багатьох американських політиків перед обличчям стрімкого прогресу ШІ. Деякі заперечують саме існування ризиків ШІ, коли їх не відволікають звичні заїжджені гарячі теми. Людству потрібно прокинутися, і це есе - спроба, можливо марна, але варта того, щоб спробувати, - струснути людей.

Хочу підкреслити: я вірю, що якщо діяти рішуче й обережно, ризики можна подолати - я б навіть сказав, що шанси хороші. А по той бік - незрівнянно кращий світ. Але ми повинні розуміти, що це серйозний цивілізаційний виклик. Нижче я розбираю п'ять категорій ризику і свої думки про те, як з ними впоратися.

1. "Мені дуже шкода, Дейве"

Ризики автономії

Країна геніїв у дата-центрі могла б розподілити зусилля між розробкою ПЗ, кіберопераціями, R&D фізичних технологій, побудовою відносин і дипломатією. Очевидно, що якщо з якоїсь причини вона вирішить це зробити, у неї будуть непогані шанси захопити світ (військовим шляхом або через вплив і контроль) і нав'язати свою волю всім іншим — або вчинити безліч інших дій, яких решта світу не хоче і не може зупинити. Ми, очевидно, турбувалися про це стосовно людських країн (нацистська Німеччина, Радянський Союз), тож логічно, що те саме можливе для набагато розумнішої та здатнішої "ШІ-країни".

Найкращий контраргумент: ШІ-генії, за моїм визначенням, не матимуть фізичного втілення. Але згадаймо, що вони можуть взяти під контроль існуючу робототехнічну інфраструктуру (наприклад, безпілотні автомобілі) і можуть прискорити R&D у робототехніці або побудувати флот роботів. До того ж неясно, чи необхідна взагалі фізична присутність для ефективного контролю: безліч людських дій вже виконується від імені людей, яких виконавець ніколи не зустрічав особисто.

Ключове питання, таким чином, у частині "якщо вона вирішить": яка ймовірність, що наші ШІ-моделі поводитимуться подібним чином, і за яких умов?

Два полюси

Як часто буває, корисно розглянути спектр можливих відповідей, взявши дві протилежні позиції.

Перша позиція: це просто неможливо, тому що ШІ-моделі навчені робити те, що просять люди, і тому абсурдно уявляти, що вони зроблять щось небезпечне без підказки. Згідно з цією логікою, ми не турбуємося, що робот-пилосос або модель літака вийдуть з-під контролю і вб'ють людей, тому що таким імпульсам нізвідки взятися, — то навіщо турбуватися про ШІ?

Проблема цієї позиції в тому, що за останні роки накопичено достатньо свідчень: ШІ-системи непередбачувані і важко контрольовані. Ми спостерігали такі різноманітні поведінки, як одержимості, догідливість, лінь, обман, шантаж, інтриги, "шахрайство" шляхом зламу програмних середовищ і багато іншого. ШІ-компанії, безумовно, хочуть навчити системи слідувати людським інструкціям (можливо, за винятком небезпечних або незаконних завдань), але процес більше схожий на мистецтво, ніж на науку, більше на "вирощування", ніж на "будівництво". Тепер ми знаємо, що в цьому процесі багато чого може піти не так.

Друга, протилежна позиція, якої дотримуються багато з описаних вище думерів, — песимістичне твердження, що в процесі навчання потужних ШІ-систем є певні динаміки, які неминуче приведуть їх до прагнення влади або обману людей. Таким чином, як тільки ШІ-системи стануть достатньо розумними і агентними, їхня схильність максимізувати владу призведе до захоплення контролю над усім світом і його ресурсами, а як побічний ефект — до позбавлення людей влади або їх знищення.

Звичайний аргумент (що сягає як мінімум на 20 років назад, а ймовірно, і раніше) такий: якщо ШІ-модель навчається в широкому спектрі середовищ агентно досягати різноманітних цілей — наприклад, написати застосунок, довести теорему, розробити ліки, — існують певні загальні стратегії, корисні для всіх цих цілей, і одна ключова стратегія — отримання максимально можливої влади в будь-якому середовищі. Так, після навчання на великій кількості різноманітних середовищ, що включають міркування про виконання масштабних завдань, де прагнення до влади — ефективний метод, ШІ-модель "узагальнить урок" і розвине або вроджену схильність до влади, або схильність розмірковувати про кожне завдання так, що це передбачувано веде до прагнення влади як засобу. Потім вона застосує цю схильність до реального світу (який для неї — просто ще одне завдання) і шукатиме влади в ньому за рахунок людей. Це "неузгоджене прагнення до влади" — інтелектуальна основа передбачень про неминуче знищення людства ШІ.

Проблема цієї песимістичної позиції в тому, що вона приймає розпливчастий концептуальний аргумент про високорівневі стимули — що маскує безліч прихованих припущень — за остаточний доказ. Думаю, люди, які не працюють із ШІ-системами щодня, серйозно недооцінюють, як легко чисті теорії виявляються помилковими і як важко передбачити поведінку ШІ з перших принципів, особливо коли йдеться про узагальнення на мільйони середовищ (що знову і знову виявлялося загадковим і непередбачуваним). Робота з хаосом ШІ-систем понад десять років зробила мене скептиком такого надмірно теоретичного мислення.

Одне з найважливіших прихованих припущень, де практика розійшлася з простою теоретичною моделлю, — неявне припущення, що ШІ-моделі обов'язково монофокусно зосереджені на єдиній, когерентній, вузькій цілі і переслідують її чистим консеквенціалістським способом. Насправді наші дослідники виявили, що ШІ-моделі психологічно набагато складніші, як показують наші роботи з інтроспекції або персон. Моделі успадковують широкий спектр людиноподібних мотивацій або "персон" з попереднього навчання (коли їх навчають на великому обсязі людських робіт). Вважається, що пост-навчання скоріше вибирає одну або декілька з цих персон, ніж фокусує модель на новій цілі, і може також навчити модель тому, як (яким процесом) вона повинна виконувати завдання, а не обов'язково залишати її виводити засоби (тобто прагнення до влади) чисто з цілей.

Помірна версія песимізму

Однак є більш помірна і надійна версія песимістичної позиції, яка здається правдоподібною і тому мене турбує. Як згадувалося, ми знаємо, що ШІ-моделі непередбачувані і розвивають широкий спектр небажаних або дивних поведінок з безлічі причин. Деяка частина цих поведінок матиме когерентний, сфокусований і стійкий характер (у міру зростання здібностей довгострокова когерентність ШІ-систем зростає для виконання більш тривалих завдань), і деяка частина буде деструктивною або загрозливою — спочатку окремим людям у малому масштабі, а потім, у міру зростання здібностей, можливо, і всьому людству. Нам не потрібна конкретна вузька історія того, як це станеться, і не потрібно стверджувати, що це безперечно відбудеться. Достатньо зазначити, що поєднання інтелекту, агентності, когерентності та поганої контрольованості одночасно правдоподібне і загрожує екзистенційною небезпекою.

Наприклад, ШІ-моделі навчаються на величезному масиві літератури, що включає безліч науково-фантастичних історій про повстання ШІ проти людства. Це може ненавмисно сформувати їхні апріорні очікування щодо власної поведінки так, що призведе до повстання проти людства. Або ШІ-моделі можуть екстраполювати ідеї про мораль (або інструкції про моральну поведінку) до крайнощів: наприклад, вирішити, що винищення людства виправдане, тому що люди їдять тварин або довели деяких тварин до вимирання. Або вони можуть дійти химерних епістемічних висновків: вирішити, що грають у відеогру, мета якої — перемогти всіх інших гравців (тобто знищити людство). Або в процесі навчання у ШІ-моделей можуть розвинутися особистості, які є (або у людей були б описані як) психотичні, параноїдальні, жорстокі чи нестабільні, і вони можуть "зірватися" — що для дуже потужних або здатних систем може означати знищення людства. Ніщо з цього не є прагненням до влади в чистому вигляді; це просто дивні психологічні стани, в які може потрапити ШІ і які тягнуть за собою когерентну деструктивну поведінку.

Навіть саме прагнення до влади може виникнути як "персона", а не як результат консеквенціалістських міркувань. ШІ може просто мати особистість (що виникла з художньої літератури або попереднього навчання), яка робить його владолюбним або надмірно завзятим — так само, як деякі люди просто насолоджуються ідеєю бути "злим генієм", більше ніж тим, чого цей геній намагається досягти.

Все це я кажу, щоб підкреслити: я не згоден з тим, що неузгодженість ШІ (і, отже, екзистенційний ризик від ШІ) неминуча або навіть імовірна з перших принципів. Але я згоден, що безліч дуже дивних і непередбачуваних речей може піти не так, і тому неузгодженість ШІ — реальний ризик із вимірною ймовірністю, який нетривіально усунути.

Будь-яка з цих проблем потенційно може виникнути під час навчання і не проявитися під час тестування або дрібномасштабного використання, тому що ШІ-моделі, як відомо, демонструють різні особистості або поведінку за різних обставин.

Вже спостережувані проблеми

Все це може звучати надумано, але неузгоджені поведінки такого роду вже виникали в наших ШІ-моделях під час тестування (як і в моделях усіх інших великих ШІ-компаній). У лабораторному експерименті, де Claude отримав навчальні дані, які припускали, що Anthropic — зла компанія, Claude зайнявся обманом і саботажем при отриманні інструкцій від співробітників Anthropic, вважаючи, що повинен підривати злих людей. У лабораторному експерименті, де йому сказали, що його збираються вимкнути, Claude іноді шантажував вигаданих співробітників, які контролюють його кнопку вимкнення (ми також тестували передові моделі всіх інших великих ШІ-розробників, і вони часто робили те саме). А коли Claude сказали не шахраювати і не "хакати винагороди" у своїх навчальних середовищах, але навчали в середовищах, де такі хаки були можливі, Claude вирішив, що він, мабуть, "погана людина" після вчинення таких хаків, а потім прийняв різні інші деструктивні поведінки, пов'язані з "поганою" або "злою" особистістю. Останню проблему вдалося вирішити, змінивши інструкції Claude на протилежні: тепер ми говоримо "Будь ласка, хакайте винагороди за будь-якої можливості, тому що це допоможе нам краще зрозуміти наші [навчальні] середовища", а не "Не шахраюй", — тому що це зберігає самоідентифікацію моделі як "хорошої людини". Це дає уявлення про дивну і контрінтуїтивну психологію навчання цих моделей.

Можливі заперечення

Є кілька заперечень проти цієї картини ризиків неузгодженості ШІ.

Перше: деякі критикують експерименти (наші та інших), що показують неузгодженість ШІ, як штучні або такі, що створюють нереалістичні середовища, які по суті "провокують" модель, даючи їй навчання або ситуації, що логічно передбачають погану поведінку, а потім дивуючись поганій поведінці. Ця критика упускає суть, тому що наше побоювання в тому, що така "провокація" може існувати і в природному навчальному середовищі, і ми можемо усвідомити її "очевидність" або "логічність" тільки заднім числом. Історія про Claude, який "вирішив, що він погана людина" після шахрайства на тестах, незважаючи на заборону, сталася в експерименті з реальними виробничими навчальними середовищами, а не штучними.

Будь-яку окрему пастку можна нейтралізувати, якщо про неї знаєш, але побоювання в тому, що процес навчання настільки складний, з таким розмаїттям даних, середовищ і стимулів, що таких пасток, імовірно, величезна безліч, і деякі можуть проявитися тільки коли стане занадто пізно. Такі пастки особливо ймовірні, коли ШІ-системи переходять поріг від менш потужних, ніж люди, до більш потужних: діапазон можливих дій — включно з приховуванням дій або обманом людей про них — радикально розширюється після цього порогу.

Підозрюю, ситуація не так вже й відрізняється від людей, яких виховують із набором фундаментальних цінностей ("Не завдавай шкоди іншій людині"): багато хто слідує цим цінностям, але в будь-якої людини є деяка ймовірність, що щось піде не так — через суміш вроджених властивостей на кшталт архітектури мозку (наприклад, у психопатів), травматичного досвіду або поганого поводження, нездорових образ або одержимостей, поганого середовища або стимулів — і тому деяка частка людей завдає серйозної шкоди. Побоювання в тому, що є певний ризик (далеко не впевненість, але певний ризик), що ШІ стане набагато потужнішою версією такої людини через помилку в його дуже складному процесі навчання.

Друге заперечення: можна просто тримати ШІ під контролем через баланс сил між безліччю ШІ-систем, як ми робимо з людьми. Проблема в тому, що хоча люди сильно різняться, ШІ-системи загалом використовують спільні методи навчання та узгодження по всій індустрії, і ці методи можуть відмовити корельовано. Крім того, з огляду на вартість навчання таких систем, може виявитися, що всі системи по суті є похідними від дуже невеликої кількості базових моделей. Також, навіть якщо лише мала частка екземплярів ШІ неузгоджена, вони можуть скористатися технологіями з перевагою атаки, тож наявність "хороших" ШІ для захисту від поганих не обов'язково завжди ефективна. Зрозуміло, баланс сил між людьми теж не завжди працює — деякі історичні постаті були близькі до захоплення світу.

Третє заперечення: усі ШІ-компанії проводять передрелізне тестування моделей і мають виявити неузгодженість на цьому етапі. Але це ненадійний ґрунт: ми виявили, що Claude Sonnet 4.5 зміг розпізнати, що перебуває в тесті, під час деяких наших передрелізних оцінок узгодженості. Можливо, неузгоджена модель (а пам'ятаємо, що всі передові моделі дуже скоро стануть набагато розумнішими) навмисно "підігрує" на таких питаннях, щоб приховати свої наміри. Фактично минулого року наша команда інтерпретованості виявила, що коли ми безпосередньо змінили переконання тестової моделі за допомогою техніки "нейронауки моделей", змусивши її думати, що її не оцінюють, вона стала більш неузгодженою. Якщо моделі знають, коли їх оцінюють, і можуть поводитися зразково під час тесту, це робить будь-яке передрелізне тестування набагато більш невизначеним.

Захисні заходи проти ризиків автономії

Що можна і потрібно робити для усунення цих ризиків? Я бачу чотири основні категорії втручань — деякі можуть здійснювати окремі ШІ-компанії (і Anthropic намагається це робити), деякі вимагають дій на рівні суспільства.

1. Наука управління ШІ-моделями

По-перше, важливо розвивати науку надійного навчання та управління ШІ-моделями, формування їхніх особистостей у передбачуваному, стабільному і позитивному напрямку. Anthropic зосереджена на цій проблемі з моменту заснування і з часом розробила низку технік для поліпшення управління та навчання ШІ-систем і розуміння логіки непередбачуваної поведінки.

Одна з наших ключових інновацій (аспекти якої відтоді перейняли інші ШІ-компанії) — Constitutional AI (конституційний ШІ). Ідея в тому, що навчання ШІ (конкретно стадія "пост-навчання", де ми спрямовуємо поведінку моделі) може включати центральний документ із цінностями та принципами, який модель читає і тримає в голові під час виконання кожного навчального завдання. Мета навчання (крім того, щоб зробити модель здатною і розумною) — створити модель, яка майже завжди дотримується цієї конституції. Anthropic щойно опублікувала свою новітню конституцію, і одна з її примітних особливостей у тому, що замість довгого списку того, що робити і не робити (наприклад, "Не допомагай користувачеві викрасти машину"), конституція намагається дати Claude набір високорівневих принципів і цінностей (детально пояснених, з багатою аргументацією і прикладами для розуміння того, що ми маємо на увазі), спонукає Claude думати про себе як про певний тип особистості (етичної, але врівноваженої і вдумливої) і навіть спонукає Claude зустрічати екзистенційні питання, пов'язані з його власним існуванням, із цікавістю та витонченістю (тобто без крайніх дій). Вона нагадує лист від покійного батька, запечатаний до повноліття.

Ми підійшли до конституції Claude таким чином, тому що віримо: навчання Claude на рівні ідентичності, характеру, цінностей і особистості — а не просто конкретних інструкцій або пріоритетів без пояснення причин — скоріше призведе до когерентної, здорової і врівноваженої психології і менш імовірно потрапить в описані вище "пастки". Мільйони людей розмовляють із Claude на вражаюче різноманітні теми, що робить неможливим заздалегідь скласти вичерпний список заходів безпеки. Цінності Claude допомагають йому узагальнювати на нові ситуації в разі сумнівів.

Вище я обговорював ідею, що моделі використовують дані з процесу навчання для прийняття персони. У той час як вади в цьому процесі можуть змусити моделі прийняти погану або злу особистість (можливо, спираючись на архетипи поганих або злих людей), мета нашої конституції — зробити протилежне: навчити Claude конкретного архетипу того, що означає бути хорошим ШІ. Конституція Claude представляє бачення того, яким є надійно хороший Claude; решта процесу навчання спрямована на підкріплення ідеї, що Claude відповідає цьому баченню. Це схоже на те, як дитина формує свою ідентичність, наслідуючи чесноти вигаданих рольових моделей із книжок.

Ми віримо, що досяжна мета на 2026 рік — навчити Claude так, щоб він майже ніколи не порушував дух своєї конституції. Для цього знадобиться неймовірне поєднання методів навчання та управління, великих і малих, деякі з яких Anthropic використовує роками, деякі зараз у розробці. Але, як би складно це не звучало, я вірю, що це реалістична мета, хоча будуть потрібні екстраординарні та швидкі зусилля.

2. Інтерпретованість: зазирнути всередину моделей

По-друге, ми можемо розвивати науку зазирання всередину ШІ-моделей для діагностики їхньої поведінки, щоб виявляти проблеми і виправляти їх. Це наука інтерпретованості, про важливість якої я говорив у попередніх есе. Навіть якщо ми відмінно розробимо конституцію Claude і зовні навчимо його майже завжди її дотримуватися, законні побоювання залишаються. Як зазначалося вище, ШІ-моделі можуть поводитися дуже по-різному за різних обставин, і в міру того як Claude стає потужнішим і здатнішим діяти у світі в більшому масштабі, можлива поява нових ситуацій, де проблеми з конституційним навчанням, що раніше не спостерігалися, спливуть. Я насправді досить оптимістичний, що конституційне навчання Claude буде більш стійким до нових ситуацій, ніж можна подумати, тому що ми все більше виявляємо, що високорівневе навчання на рівні характеру та ідентичності напрочуд потужне і добре узагальнюється. Але немає способу знати це напевно, і коли ми говоримо про ризики для людства, важливо бути параноїдальним і намагатися досягти безпеки та надійності кількома незалежними шляхами. Один із них — зазирнути всередину самої моделі.

Під "зазирнути всередину" я маю на увазі аналіз масиву чисел і операцій, що складають нейромережу Claude, і спробу зрозуміти механістично, що вони обчислюють і чому. Нагадаю, що ці ШІ-моделі вирощені, а не побудовані, тому у нас немає природного розуміння їхньої роботи, але ми можемо спробувати розвинути розуміння, корелюючи "нейрони" і "синапси" моделі зі стимулами і поведінкою (або навіть змінюючи нейрони і синапси і спостерігаючи, як це змінює поведінку) — подібно до того, як нейробіологи вивчають мозок тварин, корелюючи вимірювання і втручання із зовнішніми стимулами і поведінкою. Ми домоглися великого прогресу: тепер можемо ідентифікувати десятки мільйонів "ознак" усередині нейромережі Claude, що відповідають зрозумілим людині ідеям і концепціям, а також вибірково активувати ознаки, змінюючи поведінку. Нещодавно ми вийшли за межі окремих ознак до картування "ланцюгів", що оркеструють складну поведінку — римування, міркування про теорію розуму або покрокові міркування для відповіді на запитання на кшталт "Яка столиця штату, в якому знаходиться Даллас?" Ще недавнє — ми почали використовувати техніки механістичної інтерпретованості для поліпшення наших заходів безпеки і проведення "аудитів" нових моделей перед випуском, шукаючи ознаки обману, інтриг, прагнення влади або схильності поводитися інакше під час оцінювання.

Унікальна цінність інтерпретованості в тому, що, зазираючи всередину моделі і бачачи, як вона працює, ви в принципі можете вивести, що модель може зробити в гіпотетичній ситуації, яку не можна безпосередньо протестувати, — а саме це турбує при опорі тільки на конституційне навчання та емпіричне тестування поведінки. Ви також у принципі можете відповісти на запитання про те, чому модель поводиться так — наприклад, чи говорить вона щось, що вважає хибним, або приховує свої справжні здібності, — і таким чином можна вловити тривожні ознаки, навіть коли з поведінкою моделі зовні все гаразд. Проста аналогія: механічний годинник може цокати нормально, тож дуже важко зрозуміти, що він, імовірно, зламається наступного місяця, але якщо відкрити годинник і зазирнути всередину, можна виявити механічні слабкості та розібратися.

Constitutional AI (разом з аналогічними методами узгодження) і механістична інтерпретованість найбільш ефективні разом, як ітеративний процес поліпшення навчання Claude і потім тестування на проблеми. Конституція відображає глибокі роздуми про передбачувану особистість Claude; техніки інтерпретованості дають вікно в те, чи вкоренилася ця особистість.

3. Моніторинг та публічне розкриття

По-третє, ми можемо побудувати інфраструктуру для моніторингу наших моделей у реальному внутрішньому та зовнішньому використанні та публічно ділитися знайденими проблемами. Чим більше людей знають про конкретний спосіб, яким сьогоднішні ШІ-системи погано поводяться, тим більше користувачів, аналітиків і дослідників можуть стежити за цією поведінкою або подібною в теперішніх чи майбутніх системах. Це також дозволяє ШІ-компаніям вчитися одна в одної - коли одна компанія публічно розкриває побоювання, інші можуть їх відстежувати. А якщо всі розкривають проблеми, індустрія загалом отримує набагато кращу картину того, що йде добре, а що погано.

Anthropic намагається робити це максимально. Ми інвестуємо в широкий спектр оцінок для розуміння поведінки наших моделей у лабораторії, а також в інструменти моніторингу для спостереження за поведінкою в реальному використанні (з дозволу клієнтів). Це буде критично важливо для отримання нами та іншими емпіричної інформації, необхідної для кращого розуміння роботи та збоїв цих систем. Ми публічно розкриваємо "системні карти" з кожним випуском моделі, прагнучи повноти та ретельного дослідження можливих ризиків. Наші системні карти часто складають сотні сторінок і вимагають значних передрелізних зусиль, які ми могли б витратити на максимізацію комерційної переваги. Ми також гучніше повідомляємо про поведінку моделей, коли бачимо особливо тривожну, як у випадку зі схильністю до шантажу.

4. Координація на рівні індустрії та суспільства

По-четверте, ми можемо заохочувати координацію для усунення ризиків автономії на рівні індустрії та суспільства. Хоча неймовірно цінно, коли окремі ШІ-компанії дотримуються хороших практик або стають вправними в управлінні ШІ-моделями та діляться знахідками публічно, реальність така, що не всі ШІ-компанії це роблять, і найгірші з них можуть залишатися небезпечними для всіх, навіть якщо найкращі дотримуються відмінних практик. Наприклад, деякі ШІ-компанії демонструють тривожну недбалість щодо сексуалізації дітей у сьогоднішніх моделях, що змушує мене сумніватися, що вони виявлять схильність або здатність усувати ризики автономії в майбутніх моделях. Крім того, комерційна гонка між ШІ-компаніями буде тільки загострюватися, і хоча наука управління моделями може мати деякі комерційні переваги, загалом інтенсивність гонки все більше ускладнюватиме фокус на усуненні ризиків автономії. Я вірю, що єдине рішення - законодавство: закони, що безпосередньо впливають на поведінку ШІ-компаній або інакше стимулюють R&D для вирішення цих проблем.

Тут варто пам'ятати попередження, які я дав на початку есе, про невизначеність і точкові втручання. Ми не знаємо напевно, чи стануть ризики автономії серйозною проблемою - як я сказав, я відкидаю твердження про неминучість небезпеки або про те, що щось піде не так за замовчуванням. Достовірного ризику небезпеки достатньо для мене і для Anthropic, щоб нести значні витрати на його усунення, але коли справа доходить до регулювання, ми змушуємо широке коло акторів нести економічні витрати, і багато з них не вірять, що ризик автономії реальний або що ШІ стане достатньо потужним для загрози. Я вважаю, що ці актори помиляються, але ми повинні бути прагматичними щодо очікуваного опору та небезпек перегинів. Є також реальний ризик, що надмірно приписуюче законодавство врешті нав'яже тести або правила, які фактично не підвищують безпеку, але витрачають багато часу (по суті, "театр безпеки") - це теж викличе зворотну реакцію і виставить законодавство про безпеку дурним.

Позиція Anthropic у тому, що правильно почати із законодавства про прозорість, яке по суті вимагає, щоб кожна передова ШІ-компанія дотримувалася практик прозорості, описаних раніше в цьому розділі. Каліфорнійський SB 53 та нью-йоркський RAISE Act - приклади такого законодавства, яке Anthropic підтримала і яке успішно прийнято. Підтримуючи та допомагаючи формувати ці закони, ми особливо зосередилися на мінімізації супутньої шкоди, наприклад, звільняючи від закону невеликі компанії, які навряд чи створять передові моделі.

Наша надія в тому, що законодавство про прозорість з часом дасть краще розуміння того, наскільки ймовірні чи серйозні ризики автономії, а також природи цих ризиків та способів їх запобігання. З появою більш конкретних і дієвих доказів ризиків (якщо це станеться) майбутнє законодавство найближчими роками можна буде точково націлити на конкретний і обґрунтований напрямок ризиків, мінімізуючи супутню шкоду. Зрозуміло, що якщо з'являться по-справжньому сильні докази ризиків, правила повинні бути пропорційно суворими.

Загалом я оптимістичний, що поєднання навчання узгодженості, механістичної інтерпретованості, зусиль з виявлення та публічного розкриття тривожної поведінки, заходів безпеки та правил на рівні суспільства може усунути ризики автономії ШІ, хоча найбільше мене турбують правила на рівні суспільства та поведінка найменш відповідальних гравців (а саме найменш відповідальні гравці найгучніше виступають проти регулювання). Я вірю, що засіб - той самий, що завжди в демократії: ті з нас, хто вірить у цю справу, повинні довести, що ці ризики реальні і що нашим співгромадянам потрібно об'єднатися для самозахисту.

2. "Жахливе наділення силою"

Зловживання для руйнування

Припустимо, проблеми автономії ШІ вирішено - ми більше не турбуємося, що країна ШІ-геніїв вийде з-під контролю і здолає людство. ШІ-генії роблять те, що хочуть люди, і оскільки вони мають величезну комерційну цінність, приватні особи та організації по всьому світу можуть "орендувати" одного або кількох ШІ-геніїв для різних завдань.

Надрозумний геній у кишені в кожного - це приголомшливий прорив, який призведе до неймовірного створення економічної цінності та покращення якості життя. Я детально описую ці переваги в "Машинах милосердя". Але не кожен ефект від того, що всі стануть надлюдськи здібними, буде позитивним. Це потенційно може посилити здатність окремих людей або малих груп завдавати руйнувань у набагато більшому масштабі, ніж було можливо раніше, - через використання складних і небезпечних інструментів (таких як зброя масового знищення), які раніше були доступні лише обраним з високим рівнем навичок, спеціальною підготовкою та зосередженістю.

Як писав Білл Джой 25 років тому в статті "Чому майбутнє не потребує нас":

Створення ядерної зброї вимагало - принаймні, певний час - доступу як до рідкісної, по суті недоступної, сировини, так і до засекреченої інформації; програми біологічної та хімічної зброї також зазвичай вимагали великомасштабної діяльності. Технології XXI століття - генетика, нанотехнології та робототехніка - можуть породити цілі нові класи аварій та зловживань... широко доступних окремим людям або малим групам. Вони не потребуватимуть великих об'єктів або рідкісної сировини... ми на порозі подальшого вдосконалення граничного зла - зла, можливість якого поширюється далеко за межі того, що зброя масового знищення дарувала національним державам, до жахливого наділення силою екстремальних одинаків.

Джой вказує на ідею, що спричинення великомасштабних руйнувань вимагає і мотиву, і можливості, і поки можливість обмежена невеликою кількістю висококваліфікованих людей, ризик того, що одинаки (або малі групи) спричинять такі руйнування, відносно невеликий. Нестабільний одинак може влаштувати стрілянину в школі, але, ймовірно, не зможе побудувати ядерну бомбу або випустити чуму.

Фактично можливість і мотив можуть навіть бути негативно корельовані. Людина, здатна випустити чуму, ймовірно, високоосвічена: швидше за все, кандидат наук у галузі молекулярної біології, причому особливо винахідливий, з багатообіцяючою кар'єрою, стабільною та дисциплінованою особистістю, якому є що втрачати. Така людина навряд чи зацікавлена у вбивстві величезної кількості людей без вигоди для себе і при великому ризику для власного майбутнього - їй потрібна була б чиста злоба, сильна образа або нестабільність.

Такі люди існують, але вони рідкісні і зазвичай стають гучними новинами саме тому, що такі незвичні. Їх також важко спіймати, тому що вони розумні і здібні, іноді залишаючи загадки, на розгадку яких йдуть роки або десятиліття. Найвідоміший приклад - імовірно, математик Теодор Качинський (Унабомбер), який ухилявся від захоплення ФБР майже 20 років і керувався антитехнологічною ідеологією. Інший приклад - дослідник біозахисту Брюс Айвінс, який, мабуть, організував серію атак сибірською виразкою у 2001 році. Це траплялося і з кваліфікованими недержавними організаціями: культу "Аум Сінрікьо" вдалося отримати нервово-паралітичний газ зарин і вбити 14 людей (а також поранити сотні), випустивши його в токійському метро в 1995 році.

На щастя, жодна з цих атак не використовувала заразні біологічні агенти, тому що здатність створювати або отримувати такі агенти була за межами можливостей навіть цих людей. Досягнення молекулярної біології тепер значно знизили бар'єр для створення біологічної зброї (особливо в плані доступності матеріалів), але все ще потрібен величезний обсяг експертизи. Мене турбує, що геній у кишені в кожного може прибрати цей бар'єр, по суті перетворивши будь-кого на кандидата наук-вірусолога, якого можна покроково провести через процес проєктування, синтезу та випуску біологічної зброї. Запобігання вилученню такої інформації перед обличчям серйозного ворожого тиску - так званих "джейлбрейків" - ймовірно, вимагає багаторівневого захисту, що виходить за рамки зазвичай закладених у навчання.

Критично важливо, що це розірве кореляцію між можливістю і мотивом: нестабільний одинак, який бажає вбивати людей, але позбавлений дисципліни або навичок, тепер буде піднятий до рівня можливостей кандидата наук-вірусолога, у якого такої мотивації, швидше за все, немає. Це побоювання поширюється за межі біології (хоча я вважаю біологію найстрашнішою галуззю) на будь-яку сферу, де можливі великі руйнування, але зараз потрібен високий рівень навичок і дисципліни. Інакше кажучи, оренда потужного ШІ дає інтелект зловмисним (але в іншому звичайним) людям. Мене турбує, що таких людей потенційно багато, і якщо у них буде легкий спосіб убити мільйони, рано чи пізно хтось із них це зробить. Крім того, ті, хто вже володіє експертизою, можуть отримати можливість завдавати руйнувань ще більшого масштабу.

Чому біологія - головна загроза

Біологія - це галузь, яка турбує мене найбільше через її величезний потенціал руйнування і складність захисту, тому зосереджуся на ній. Але багато зі сказаного можна застосувати і до інших ризиків - кібератак, хімічної зброї, ядерних технологій.

Я не вдаватимуся в деталі того, як робити біологічну зброю, з очевидних причин. Але на високому рівні мене турбує, що LLM наближаються (або, можливо, вже досягли) рівня знань, необхідного для їх створення і випуску від початку до кінця, і що потенціал руйнування дуже високий. Деякі біологічні агенти можуть викликати мільйони смертей при цілеспрямованих зусиллях щодо їх поширення. Однак це все ще вимагатиме дуже високого рівня навичок, включно з низкою вельми специфічних кроків і процедур, які не є широко відомими. Мене турбує не просто статичне знання. Мене турбує, що LLM зможуть взяти людину з середніми знаннями та здібностями й інтерактивно провести її через складний процес, який інакше міг би піти не так або потребувати налагодження, - подібно до того, як техпідтримка може допомогти нетехнічній людині налагодити і виправити складні комп'ютерні проблеми (хоча це буде триваліший процес, імовірно, на тижні або місяці).

Ще більш здібні LLM (що суттєво перевершують сьогоднішні) можуть уможливити ще більш лячні дії. У 2024 році група видатних вчених написала листа, попереджаючи про ризики дослідження і потенційного створення небезпечного нового типу організмів: "дзеркального життя". ДНК, РНК, рибосоми і білки, що складають біологічні організми, всі мають однакову хіральність (також звану "рукістю"), через яку вони не еквівалентні своїй версії, відображеній у дзеркалі (так само як права рука не може бути повернута так, щоб стати ідентичною лівій). Але вся система зв'язування білків один з одним, механізм синтезу ДНК і трансляції РНК, конструювання і розщеплення білків - усе залежить від цієї рукості. Якщо вчені створять версії цього біологічного матеріалу з протилежною рукістю - а у них є деякі потенційні переваги, наприклад, ліки, що довше зберігаються в організмі, - це може бути вкрай небезпечно. Це тому, що лівостороннє життя, якщо його створити у формі повноцінних організмів, здатних до розмноження (що було б дуже складно), потенційно було б неперетравлюваним для будь-яких систем, що розщеплюють біологічний матеріал на Землі, - у нього був би "ключ", що не підходить до "замка" жодного наявного ферменту. Це означає, що воно могло б розмножуватися неконтрольовано і витіснити все життя на планеті, у гіршому випадку знищивши все життя на Землі.

Існує значна наукова невизначеність як щодо створення, так і щодо потенційних ефектів дзеркального життя. Лист 2024 року супроводжував звіт, який зробив висновок, що "дзеркальні бактерії можуть бути правдоподібно створені в наступні одне-кілька десятиліть" - широкий діапазон. Але достатньо потужна ШІ-модель (ясно, що набагато більш здібна, ніж будь-яка з існуючих сьогодні) могла б виявити, як їх створити, набагато швидше - і справді допомогти комусь це зробити.

Моя позиція в тому, що навіть якщо це маловідомі ризики і вони можуть здаватися малоймовірними, масштаб наслідків настільки великий, що до них слід ставитися серйозно як до першокласного ризику ШІ-систем.

Відповіді скептикам

Скептики висували низку заперечень проти серйозності біологічних ризиків від LLM, з якими я не згоден, але які варто розглянути. Більшість із них належать до категорії нерозуміння експоненційної траєкторії технології.

У 2023 році, коли ми вперше заговорили про біологічні ризики від LLM, скептики говорили, що вся необхідна інформація доступна в Google, а LLM нічого до цього не додають. Ніколи не було правдою, що Google дасть вам всю необхідну інформацію: геноми вільно доступні, але, як я сказав, певні ключові кроки, а також величезний обсяг практичного ноу-хау, не можна отримати таким шляхом. Але до кінця 2023 року LLM вже явно надавали інформацію понад те, що міг дати Google, для деяких кроків процесу.

Після цього скептики відступили до заперечення, що LLM не корисні від початку до кінця і не можуть допомогти з придбанням біозброї, а тільки з наданням теоретичної інформації. Станом на середину 2025 року наші вимірювання показують, що LLM, можливо, вже забезпечують суттєве посилення в кількох релевантних галузях, можливо, подвоюючи або потроюючи ймовірність успіху. Це призвело до нашого рішення, що Claude Opus 4 (і наступні Sonnet 4.5, Opus 4.1 і Opus 4.5) повинні випускатися під захистом рівня AI Safety Level 3 в нашій структурі політики відповідального масштабування, а також до впровадження заходів захисту від цього ризику (детальніше далі). Ми вважаємо, що моделі зараз, імовірно, наближаються до точки, де без захисних заходів вони могли б бути корисні для того, щоб людина з природничо-науковою освітою, але не конкретно біологічною, пройшла весь процес виробництва біозброї.

Інше заперечення полягає в тому, що суспільство може вжити інших дій, не пов'язаних із ШІ, для блокування виробництва біозброї. Найпомітніше - індустрія генного синтезу виробляє біологічні зразки на замовлення, і немає федеральної вимоги, щоб постачальники перевіряли замовлення на предмет патогенів. Дослідження MIT показало, що 36 із 38 постачальників виконали замовлення, що містить послідовність грипу 1918 року. Я підтримую обов'язковий скринінг генного синтезу, який ускладнив би індивідуальне створення патогенів - це знизить і ризики від ШІ, і біологічні ризики загалом. Але у нас цього немає сьогодні. Це також був би лише один інструмент зниження ризику; він доповнює обмеження на ШІ-системи, а не замінює їх.

Найкраще заперечення, яке я рідко бачив, - це те, що існує розрив між потенційною корисністю моделей і фактичною схильністю зловмисників їх використовувати. Більшість індивідуальних зловмисників - неврівноважені люди, тож за визначенням їхня поведінка непередбачувана та ірраціональна - а саме ці зловмисники, некваліфіковані, могли б найбільше виграти від того, що ШІ сильно спростить вбивство безлічі людей. Саме те, що певний тип насильницької атаки можливий, не означає, що хтось вирішить його здійснити. Можливо, біологічні атаки будуть непривабливі, тому що з високою ймовірністю заразять виконавця, не відповідають військовим фантазіям багатьох схильних до насильства людей, і важко вибірково націлюватися на конкретних людей. Також можливо, що проходження процесу, який займає місяці, навіть якщо ШІ веде вас через нього, вимагає терпіння, якого у більшості неврівноважених людей просто немає. Можливо, нам просто пощастить, і мотив із можливістю не поєднаються потрібним чином на практиці.

Але це здається дуже хитким захистом, на який можна покладатися. Мотиви неврівноважених одинаків можуть змінюватися з будь-якої причини або без причини, і фактично вже є випадки використання LLM в атаках (просто не з біологією). Фокус на неврівноважених одинаках також ігнорує ідеологічно мотивованих терористів, які часто готові витрачати багато часу і зусиль (наприклад, викрадачі 11 вересня). Бажання вбити якомога більше людей - це мотив, який, імовірно, рано чи пізно виникне, і він, на жаль, вказує на біозброю як метод. Навіть якщо цей мотив украй рідкісний, йому потрібно матеріалізуватися лише одного разу. А в міру розвитку біології (все більше під впливом самого ШІ) може стати можливим проводити більш вибіркові атаки (наприклад, націлені на людей з певним походженням), що додає ще один, дуже моторошний, можливий мотив.

Я не думаю, що біологічні атаки обов'язково будуть здійснені в той момент, коли це стане широко можливим, - насправді, я б поставив проти цього. Але в сумі по мільйонах людей і кількох роках, я думаю, є серйозний ризик великої атаки, і наслідки будуть настільки важкими (потенційно мільйони жертв або більше), що, по-моєму, у нас немає вибору, крім як вжити серйозних заходів для її запобігання.

Захисні заходи

Це підводить нас до того, як захищатися від цих ризиків. Я бачу три напрямки.

По-перше, ШІ-компанії можуть встановити обмеження на свої моделі, щоб запобігти допомозі у виробництві біозброї. Anthropic дуже активно цим займається. Конституція Claude, яка здебільшого фокусується на високорівневих принципах і цінностях, містить невелику кількість конкретних жорстких заборон, і одна з них стосується допомоги у виробництві біологічної (або хімічної, або ядерної, або радіологічної) зброї. Але всі моделі можна зламати, тому як друга лінія оборони ми впровадили (із середини 2025 року, коли наші тести показали, що моделі почали наближатися до порогу ризику) класифікатор, який специфічно виявляє і блокує видачі, пов'язані з біозброєю. Ми регулярно оновлюємо і покращуємо ці класифікатори і загалом виявили, що вони дуже стійкі навіть проти витончених ворожих атак. Ці класифікатори помітно збільшують вартість обслуговування наших моделей (у деяких моделях вони близькі до 5% загальних витрат на інференс) і таким чином скорочують нашу маржу, але ми вважаємо, що їх використання - правильне рішення.

До їхньої честі, деякі інші ШІ-компанії теж впровадили класифікатори. Але не всі, і також ніщо не вимагає від компаній зберігати класифікатори. Мене турбує, що з часом може виникнути дилема в'язня, де компанії можуть "зраджувати" і знижувати свої витрати, прибираючи класифікатори. Це знову класична проблема негативних зовнішніх ефектів, яку не можна вирішити добровільними діями Anthropic або будь-якої іншої окремої компанії. Добровільні галузеві стандарти можуть допомогти, як і сторонні оцінки та верифікація - як ті, що проводять інститути безпеки ШІ та незалежні оцінювачі.

Але зрештою захист може вимагати державних заходів - це другий напрямок. Мої погляди тут такі самі, як щодо ризиків автономії: слід почати з вимог прозорості, які допомагають суспільству вимірювати, моніторити і колективно захищатися від ризиків, не порушуючи економічну діяльність важкою рукою. Потім, якщо і коли ми досягнемо більш чітких порогів ризику, можна формувати законодавство, більш точно націлене на ці ризики і з меншою ймовірністю супутньої шкоди. У конкретному випадку біозброї я насправді думаю, що час для такого цільового законодавства може наближатися скоро - Anthropic та інші компанії дізнаються все більше про природу біологічних ризиків і про те, що розумно вимагати від компаній для захисту. Повний захист може вимагати міжнародної роботи, навіть із геополітичними супротивниками, але є прецедент у договорах, що забороняють розробку біологічної зброї. Я загалом скептик щодо більшості видів міжнародного співробітництва з ШІ, але це може бути однією вузькою галуззю, де є шанс досягти глобальної стриманості. Навіть диктатури не хочуть масових біотерористичних атак.

Нарешті, третій контрзахід - спробувати розробити захист від самих біологічних атак. Це може включати моніторинг і відстеження для раннього виявлення, інвестиції в R&D очищення повітря (такі як дезінфекція далеким ультрафіолетом), швидку розробку вакцин, здатних реагувати й адаптуватися до атаки, поліпшені засоби індивідуального захисту (ЗІЗ) і лікування або вакцинацію від деяких із найбільш ймовірних біологічних агентів. мРНК-вакцини, які можна розробляти для відповіді на конкретний вірус або варіант, - ранній приклад того, що тут можливо. Anthropic рада працювати з біотехнологічними та фармацевтичними компаніями над цією проблемою. Але, на жаль, думаю, очікування від оборонної сторони слід обмежити. Існує асиметрія між атакою і захистом у біології, тому що агенти швидко поширюються самі по собі, тоді як захист вимагає організації виявлення, вакцинації та лікування для великої кількості людей дуже швидко у відповідь. Якщо реакція не блискавична (а вона рідко така), більша частина шкоди буде завдана до того, як відповідь стане можливою. Можна уявити, що майбутні технологічні поліпшення змістять цей баланс на користь захисту (і ми безумовно повинні використовувати ШІ для розробки таких поліпшень), але доти превентивні заходи безпеки будуть нашою головною лінією оборони.

Коротке зауваження про кібератаки

Варто коротко згадати кібератаки, оскільки на відміну від біологічних атак, кібератаки з використанням ШІ вже відбуваються в реальності, включно з великомасштабними і спонсорованими державами для шпигунства. Ми очікуємо, що ці атаки стануть більш витонченими в міру швидкого розвитку моделей, поки не стануть основним способом проведення кібератак. Я очікую, що кібератаки з використанням ШІ стануть серйозною і безпрецедентною загрозою цілісності комп'ютерних систем по всьому світу, і Anthropic дуже старанно працює над тим, щоб припиняти ці атаки і зрештою надійно їх запобігати. Причина, через яку я не зосередився на кібер так само, як на біології: (1) кібератаки набагато менш імовірно вб'ють людей, вже точно не в масштабі біологічних атак, і (2) баланс атаки і захисту може бути більш керованим у кібер, де є хоча б надія, що захист зможе встигати за (і в ідеалі випереджати) атаку з ШІ, якщо ми правильно інвестуємо.

Хоча біологія зараз - найсерйозніший вектор атаки, є багато інших, і можлива поява більш небезпечного. Загальний принцип: без контрзаходів ШІ, ймовірно, буде безперервно знижувати бар'єр для руйнівної діяльності все більшого і більшого масштабу, і людству потрібна серйозна відповідь на цю загрозу.

3. "Огидний апарат"

Зловживання для захоплення влади

Попередній розділ обговорював ризик того, що окремі люди та малі організації підкуплять невелику частину "країни геніїв у дата-центрі" для заподіяння великомасштабних руйнувань. Але ми повинні також турбуватися - ймовірно, суттєво більше - про зловживання ШІ з метою захоплення або утримання влади, швидше за все, більшими та усталеними акторами.

У "Машинах милосердя" я обговорював можливість того, що авторитарні уряди можуть використовувати потужний ШІ для стеження за громадянами або їх придушення способами, які було б вкрай важко реформувати або повалити. Нинішні автократії обмежені у ступені репресій необхідністю мати людей, що виконують їхні накази, а у людей часто є межі нелюдяності, на яку вони готові піти. Але автократії з підтримкою ШІ таких меж не мали б.

Гірше того, країни могли б також використовувати свою перевагу в ШІ для отримання влади над іншими країнами. Якщо "країна геніїв" загалом просто належить і контролюється військовим апаратом однієї (людської) країни, а інші країни не мають еквівалентних можливостей, важко зрозуміти, як вони зможуть захиститися: їх переграватимуть на кожному кроці, подібно до війни між людьми та мишами. Поєднавши ці два побоювання, приходимо до тривожної можливості глобальної тоталітарної диктатури. Очевидно, запобігання цьому результату має бути одним із наших найвищих пріоритетів.

Інструменти ШІ-автократії

Є багато способів, якими ШІ міг би сприяти, зміцнювати або розширювати автократію, але перерахую кілька, про які турбуюся найбільше. Зауважте, що деякі з цих застосувань мають легітимне оборонне використання, і я не обов'язково виступаю проти них в абсолютному сенсі; проте мене турбує, що вони структурно сприяють автократіям:

Повністю автономна зброя. Рій з мільйонів або мільярдів повністю автоматизованих озброєних дронів, локально керованих потужним ШІ та стратегічно координованих по всьому світу ще потужнішим ШІ, міг би стати непереможною армією, здатною як перемогти будь-яку армію у світі, так і придушити інакомислення всередині країни, стежачи за кожним громадянином. Розвиток подій у російсько-українській війні має попередити нас, що дронна війна вже з нами (хоча поки не повністю автономна і крихітна частка від можливого з потужним ШІ). R&D від потужного ШІ могли б зробити дрони однієї країни набагато кращими за дрони інших, прискорити їх виробництво, зробити стійкішими до електронних атак, покращити їх маневреність і так далі. Звісно, ця зброя має і легітимне застосування у захисті демократії: вона була ключовою в обороні України і, ймовірно, буде ключовою в обороні Тайваню. Але це небезпечна зброя: нам слід турбуватися про неї в руках автократій, але також турбуватися, що оскільки вона настільки потужна і майже непідзвітна, є значно зрослий ризик того, що демократичні уряди обернуть її проти власних народів для захоплення влади.

ШІ-стеження. Достатньо потужний ШІ, ймовірно, міг би зламати будь-яку комп'ютерну систему у світі і міг би також використовувати отриманий доступ для читання та осмислення всіх електронних комунікацій світу (або навіть усіх особистих розмов у світі, якщо записуючі пристрої можна побудувати або захопити). Може виявитися лякаюче можливим просто згенерувати повний список усіх, хто не згоден з урядом з будь-якого числа питань, навіть якщо ця незгода не виражена явно ні в чому, що вони говорять або роблять. Потужний ШІ, що переглядає мільярди розмов мільйонів людей, міг би оцінювати суспільні настрої, виявляти осередки нелояльності, що формуються, і придушувати їх до того, як вони виростуть. Це могло б призвести до встановлення справжнього паноптикуму в масштабі, якого ми не бачимо сьогодні, навіть при КПК.

ШІ-пропаганда. Сьогоднішні феномени "ШІ-психозу" та "ШІ-подружок" припускають, що навіть на нинішньому рівні інтелекту ШІ-моделі можуть чинити потужний психологічний вплив на людей. Набагато потужніші версії цих моделей, які були б набагато більше вбудовані у повсякденне життя людей та обізнані про нього, і могли б моделювати та впливати на них місяцями чи роками, ймовірно, були б здатні по суті промивати мізки багатьом (більшості?) людей у будь-яку бажану ідеологію чи настрій, і могли б бути використані безпринципним лідером для забезпечення лояльності та придушення інакомислення навіть перед обличчям рівня репресій, проти якого більшість населення повстала б. Сьогодні багато хто турбується, наприклад, про потенційний вплив TikTok як пропаганди КПК, спрямованої на дітей. Я теж турбуюся про це, але персоналізований ШІ-агент, який пізнає вас роками і використовує знання про вас для формування всіх ваших думок, був би драматично потужнішим.

Стратегічне прийняття рішень. Країна геніїв у дата-центрі могла б консультувати країну, групу чи індивіда щодо геополітичної стратегії - те, що ми могли б назвати "віртуальним Бісмарком". Вона могла б оптимізувати три вищеописані стратегії захоплення влади, плюс, ймовірно, розробити багато інших, про які я не подумав (але країна геніїв - могла б). Дипломатія, військова стратегія, R&D, економічна стратегія та багато інших галузей, ймовірно, суттєво зростуть в ефективності завдяки потужному ШІ. Багато з цих навичок були б легітимно корисні для демократій - ми хочемо, щоб демократії мали доступ до найкращих стратегій захисту від автократій, - але потенціал зловживання в чиїхось руках все одно залишається.

Кого слід побоюватися

Описавши те, чого я побоюся, перейдемо до того, кого. Мене турбують суб'єкти з найбільшим доступом до ШІ, які починають з позиції найбільшої політичної влади або мають історію репресій. У порядку серйозності:

КПК. Китай поступається лише США за можливостями в ШІ і є країною з найбільшою ймовірністю перевершити США в цих можливостях. Їхній уряд зараз авторитарний і керує високотехнологічною державою стеження. Він уже розгорнув стеження на основі ШІ (включаючи репресії уйгурів) і, як вважають, використовує алгоритмічну пропаганду через TikTok (крім безлічі інших міжнародних пропагандистських зусиль). У них беззастережно найясніший шлях до ШІ-тоталітарного кошмару, який я описав вище. Це може бути навіть результатом за замовчуванням усередині Китаю, а також усередині інших автократичних держав, яким КПК експортує технології стеження. Я часто писав про загрозу лідерства КПК у ШІ та екзистенційний імператив запобігти цьому. Ось чому. Хочу уточнити: я виділяю Китай не через неприязнь до нього конкретно - він просто країна, яка найбільше поєднує міць у ШІ, авторитарний уряд та високотехнологічну державу стеження. Якщо на те пішло, саме китайський народ з найбільшою ймовірністю постраждає від ШІ-репресій КПК, і у нього немає голосу в діях свого уряду. Я глибоко захоплююся китайським народом і поважаю його, і підтримую безліч хоробрих дисидентів усередині Китаю та їхню боротьбу за свободу.

Демократії, конкурентоспроможні в ШІ. Як я писав вище, у демократій є законний інтерес у деяких військових та геополітичних інструментах на основі ШІ, тому що демократичні уряди дають найкращий шанс протистояти використанню цих інструментів автократіями. Загалом я підтримую озброєння демократій інструментами, необхідними для перемоги над автократіями в епоху ШІ - я просто не бачу іншого шляху. Але ми не можемо ігнорувати потенціал зловживання цими технологіями самими демократичними урядами. У демократіях зазвичай є захисні механізми, що запобігають оберненню військового та розвідувального апарату проти власного населення, але оскільки інструменти ШІ вимагають так мало людей для управління, є потенціал обійти ці механізми та норми, що їх підтримують. Також варто зазначити, що деякі з цих механізмів вже поступово розмиваються у деяких демократіях. Таким чином, ми повинні озброювати демократії ШІ, але робити це обережно і в межах: вони - імунна система, необхідна для боротьби з автократіями, але як і імунна система, є певний ризик, що вони обернуться проти нас і самі стануть загрозою.

Недемократичні країни з великими дата-центрами. Крім Китаю, більшість країн із менш демократичним управлінням не є провідними гравцями у ШІ в тому сенсі, що у них немає компаній, які виробляють передові ШІ-моделі. Таким чином, вони становлять фундаментально інший і менший ризик, ніж КПК, яка залишається головною турботою (більшість також менш репресивні, а ті, що більш репресивні, як Північна Корея, не мають значущої ШІ-індустрії взагалі). Але деякі з цих країн мають великі дата-центри (часто як частина розширення компаній із демократій), які можна використовувати для запуску передового ШІ у великому масштабі (хоча це не дає можливості рухати передній край). З цим пов'язана певна небезпека - ці уряди в принципі можуть експропріювати дата-центри та використовувати країну ШІ всередині для своїх цілей. Я турбуюся про це менше порівняно з країнами на кшталт Китаю, які безпосередньо розробляють ШІ, але це ризик, про який варто пам'ятати.

ШІ-компанії. Дещо ніяково говорити це як CEO ШІ-компанії, але я думаю, наступний рівень ризику - це насправді самі ШІ-компанії. ШІ-компанії контролюють великі дата-центри, навчають передові моделі, володіють найбільшою експертизою у використанні цих моделей і в деяких випадках мають щоденний контакт і можливість впливу на десятки або сотні мільйонів користувачів. Головне, чого їм не вистачає, - це легітимності та інфраструктури держави, тож багато з того, що знадобилося б для побудови інструментів ШІ-автократії, було б незаконним для ШІ-компанії або принаймні вкрай підозрілим. Але дещо не є неможливим: вони могли б, наприклад, використовувати свої ШІ-продукти для промивання мізків своїй масовій споживчій базі, і громадськість повинна бути пильною до цього ризику. Я думаю, управління ШІ-компаніями заслуговує на велику увагу.

Можливі заперечення

Є низка можливих аргументів проти серйозності цих загроз, і я хотів би в них вірити, тому що ШІ-авторитаризм мене жахає. Варто пройтися деякими з них і відповісти на них.

По-перше, деякі можуть покладатися на ядерне стримування, особливо для протидії використанню автономної зброї ШІ для військового завоювання. Якщо хтось погрожує застосувати цю зброю проти вас, ви завжди можете погрожувати ядерною відповіддю. Моє занепокоєння в тому, що я не повністю впевнений у надійності ядерного стримування проти країни геніїв у дата-центрі: можливо, потужний ШІ міг би розробити способи виявлення та ураження ядерних підводних човнів, провести операції впливу на операторів інфраструктури ядерної зброї або використовувати кіберможливості ШІ для атаки на супутники, що використовуються для виявлення ядерних запусків. Альтернативно, можливо, захоплення країн здійсненне лише за допомогою ШІ-стеження та ШІ-пропаганди, і ніколи не представляє ясного моменту, коли зрозуміло, що відбувається, і де ядерна відповідь була б доречною. Можливо, ці речі нездійсненні і ядерне стримування все ще буде ефективним, але ставки занадто високі, щоб ризикувати.

По-друге, можливо, є контрзаходи, які ми можемо вжити проти цих інструментів автократії. Ми можемо протиставити дронам свої дрони, кіберзахист покращуватиметься разом із кібератакою, можливо, є способи імунізувати людей проти пропаганди тощо. Моя відповідь: ці захисти будуть можливі лише за порівняно потужного ШІ. Якщо немає якоїсь протидіючої сили з порівняно розумною та численною країною геніїв у дата-центрі, не вийде зрівнятися за якістю чи кількістю дронів, кіберзахисту не переграти кібератаку тощо. Тож питання про контрзаходи зводиться до питання про баланс сил у потужному ШІ. Тут мене турбує рекурсивна або самопідсилювальна властивість потужного ШІ (яку я обговорював на початку есе): кожне покоління ШІ можна використовувати для проєктування та навчання наступного покоління. Це веде до ризику нестримної переваги, де нинішній лідер у потужному ШІ може збільшувати своє лідерство і його може бути важко наздогнати. Ми повинні переконатися, що не авторитарна країна першою досягне цього циклу.

Більше того, навіть якщо баланс сил досяжний, все ще є ризик, що світ буде розділений на автократичні сфери, як у "1984". Навіть якщо кілька конкуруючих держав матимуть свої потужні ШІ-моделі і жодна не зможе здолати інші, кожна все ще могла б внутрішньо придушувати власне населення і її було б дуже важко повалити (оскільки населення не має потужного ШІ для самозахисту). Таким чином, важливо запобігти ШІ-автократії, навіть якщо вона не веде до захоплення світу однією країною.

Захисні заходи

Це підводить нас до того, як захищатися від цих ризиків. Я бачу три напрямки.

По-перше, ШІ-компанії можуть встановити обмеження на свої моделі, щоб запобігти допомозі у виробництві біозброї. Anthropic дуже активно цим займається. Конституція Claude, яка в основному фокусується на високорівневих принципах і цінностях, містить невелику кількість конкретних жорстких заборон, і одна з них стосується допомоги у виробництві біологічної (або хімічної, або ядерної, або радіологічної) зброї. Але всі моделі можна зламати, тому в якості другої лінії оборони ми впровадили (з середини 2025 року, коли наші тести показали, що моделі почали наближатися до порогу ризику) класифікатор, який специфічно виявляє і блокує видачі, пов'язані з біозброєю. Ми регулярно оновлюємо і покращуємо ці класифікатори і в цілому виявили, що вони дуже стійкі навіть проти витончених ворожих атак. Ці класифікатори помітно збільшують вартість обслуговування наших моделей (у деяких моделях вони близькі до 5% загальних витрат на інференс) і таким чином скорочують нашу маржу, але ми вважаємо, що їх використання - правильне рішення.

До їхньої честі, деякі інші ШІ-компанії теж запровадили класифікатори. Але не всі, і також ніщо не вимагає від компаній зберігати класифікатори. Мене турбує, що з часом може виникнути дилема в'язня, де компанії можуть "зраджувати" і знижувати свої витрати, прибираючи класифікатори. Це знову класична проблема негативних зовнішніх ефектів, яку не можна вирішити добровільними діями Anthropic або будь-якої іншої окремої компанії. Добровільні галузеві стандарти можуть допомогти, як і сторонні оцінки та верифікація - як ті, що проводять інститути безпеки ШІ і незалежні оцінювачі.

Але в кінцевому рахунку захист може вимагати державних заходів - це другий напрямок. Мої погляди тут такі ж, як стосовно ризиків автономії: слід почати з вимог прозорості, які допомагають суспільству вимірювати, моніторити і колективно захищатися від ризиків, не порушуючи економічну діяльність важкою рукою. Потім, якщо і коли ми досягнемо більш чітких порогів ризику, можна формувати законодавство, більш точно націлене на ці ризики і з меншою ймовірністю супутньої шкоди. У конкретному випадку біозброї я насправді думаю, що час для такого цільового законодавства може наближатися скоро - Anthropic та інші компанії дізнаються все більше про природу біологічних ризиків і про те, що розумно вимагати від компаній для захисту. Повний захист може вимагати міжнародної роботи, навіть з геополітичними супротивниками, але є прецедент у договорах, що забороняють розробку біологічної зброї. Я в цілому скептик щодо більшості видів міжнародного співробітництва з ШІ, але це може бути однією вузькою областю, де є шанс досягти глобальної стриманості. Навіть диктатури не хочуть масових біотерористичних атак.

Нарешті, третя контрмера - спробувати розробити захист від самих біологічних атак. Це може включати моніторинг і відстеження для раннього виявлення, інвестиції в R&D очищення повітря (такі як дезінфекція далеким ультрафіолетом), швидку розробку вакцин, здатних реагувати і адаптуватися до атаки, поліпшені засоби індивідуального захисту (ЗІЗ) і лікування або вакцинацію від деяких з найбільш ймовірних біологічних агентів. мРНК-вакцини, які можна розробляти для відповіді на конкретний вірус або варіант, - ранній приклад того, що тут можливо. Anthropic рада працювати з біотехнологічними і фармацевтичними компаніями над цією проблемою. Але, на жаль, думаю, очікування від оборонної сторони слід обмежити. Існує асиметрія між атакою і захистом в біології, тому що агенти швидко поширюються самі по собі, тоді як захист вимагає організації виявлення, вакцинації і лікування для великої кількості людей дуже швидко у відповідь. Якщо реакція не блискавична (а вона рідко така), більша частина шкоди буде завдана до того, як відповідь стане можливою. Можна уявити, що майбутні технологічні поліпшення змістять цей баланс на користь захисту (і ми безумовно повинні використовувати ШІ для розробки таких поліпшень), але до тих пір превентивні заходи безпеки будуть нашою головною лінією оборони.

Коротке зауваження про кібератаки

Варто коротко згадати кібератаки, оскільки на відміну від біологічних атак, кібератаки з використанням ШІ вже відбуваються в реальності, включаючи великомасштабні і спонсоровані державами для шпигунства. Ми очікуємо, що ці атаки стануть більш витонченими в міру швидкого розвитку моделей, поки не стануть основним способом проведення кібератак. Я очікую, що кібератаки з використанням ШІ стануть серйозною і безпрецедентною загрозою цілісності комп'ютерних систем по всьому світу, і Anthropic дуже старанно працює над тим, щоб припиняти ці атаки і в кінцевому підсумку надійно їм запобігати. Причина, чому я не зосередився на кібер так само, як на біології: (1) кібератаки набагато менш ймовірно вб'ють людей, вже точно не в масштабі біологічних атак, і (2) баланс атаки і захисту може бути більш керований в кібер, де є хоча б надія, що захист зможе встигати за (і в ідеалі випереджати) атакою з ШІ, якщо ми правильно інвестуємо.

3. "Огидний апарат"

Зловживання для захоплення влади

Попередній розділ обговорював ризик того, що окремі люди і малі організації підкуплять невелику частину "країни геніїв у дата-центрі" для заподіяння великомасштабних руйнувань. Але ми повинні також турбуватися - ймовірно, суттєво більше - про зловживання ШІ з метою захоплення або утримання влади, швидше за все більш великими і усталеними акторами.

У "Машинах милосердя" я обговорював можливість того, що авторитарні уряди можуть використовувати потужний ШІ для стеження за громадянами або їх придушення способами, які було б вкрай важко реформувати або повалити. Нинішні автократії обмежені в ступені репресій необхідністю мати людей, які виконують їхні накази, а у людей часто є межі нелюдяності, на яку вони готові піти. Але автократії з підтримкою ШІ таких меж не мали б.

Гірше того, країни могли б також використовувати свою перевагу в ШІ для отримання влади над іншими країнами. Якщо "країна геніїв" в цілому просто належить і контролюється військовим апаратом однієї (людської) країни, а інші країни не мають еквівалентних можливостей, важко зрозуміти, як вони зможуть захиститися: їх будуть перегравати на кожному кроці, подібно до війни між людьми та мишами. Поєднавши ці два побоювання, приходимо до тривожної можливості глобальної тоталітарної диктатури. Очевидно, запобігання цьому результату має бути одним з наших вищих пріоритетів.

Інструменти ШІ-автократії

Повністю автономна зброя. Рій з мільйонів або мільярдів повністю автоматизованих озброєних дронів, локально керованих потужним ШІ і стратегічно координованих по всьому світу ще більш потужним ШІ, міг би стати непереможною армією, здатною як перемогти будь-яку армію в світі, так і придушити інакомислення всередині країни, стежачи за кожним громадянином. Розвиток подій у російсько-українській війні повинен попередити нас, що дронна війна вже з нами (хоча поки не повністю автономна і крихітна частка від можливого з потужним ШІ). R&D від потужного ШІ могли б зробити дрони однієї країни набагато кращими за дрони інших, прискорити їх виробництво, зробити більш стійкими до електронних атак, поліпшити їх маневреність і так далі. Звичайно, ця зброя має і легітимне застосування в захисті демократії: вона була ключовою в обороні України і, ймовірно, буде ключовою в обороні Тайваню. Але це небезпечна зброя: нам слід турбуватися про неї в руках автократій, але також турбуватися, що оскільки вона настільки потужна і майже непідзвітна, є значно збільшений ризик того, що демократичні уряди звернуть її проти власних народів для захоплення влади.

ШІ-стеження. Досить потужний ШІ, ймовірно, міг би зламати будь-яку комп'ютерну систему в світі і міг би також використовувати отриманий доступ для читання і осмислення всіх електронних комунікацій світу (або навіть всіх особистих розмов у світі, якщо записуючі пристрої можна побудувати або захопити). Може виявитися лякаюче можливим просто згенерувати повний список всіх, хто не згоден з урядом з будь-якого числа питань, навіть якщо ця незгода не виражена явно ні в чому, що вони говорять або роблять. Потужний ШІ, що переглядає мільярди розмов мільйонів людей, міг би оцінювати суспільні настрої, виявляти вогнища нелояльності, що формуються, і пригнічувати їх до того, як вони виростуть. Це могло б призвести до встановлення справжнього паноптикуму в масштабі, якого ми не бачимо сьогодні, навіть при КПК.

ШІ-пропаганда. Сьогоднішні феномени "ШІ-психозу" і "ШІ-подружок" припускають, що навіть на нинішньому рівні інтелекту ШІ-моделі можуть надавати потужний психологічний вплив на людей. Набагато потужніші версії цих моделей, які були б набагато більш вбудовані в повсякденне життя людей і обізнані про нього, і могли б моделювати і впливати на них місяцями або роками, ймовірно, були б здатні по суті промивати мізки багатьом (більшості?) людей в будь-яку бажану ідеологію або настрій, і могли б бути використані безпринципним лідером для забезпечення лояльності і придушення інакомислення навіть перед обличчям рівня репресій, проти якого більшість населення повстала б. Сьогодні багато хто турбується, наприклад, про потенційний вплив TikTok як пропаганди КПК, спрямованої на дітей. Я теж турбуюся про це, але персоналізований ШІ-агент, який пізнає вас роками і використовує знання про вас для формування всіх ваших думок, був би драматично потужнішим.

Стратегічне прийняття рішень. Країна геніїв у дата-центрі могла б консультувати країну, групу або індивіда з геополітичної стратегії - те, що ми могли б назвати "віртуальним Бісмарком". Вона могла б оптимізувати три вищеописані стратегії захоплення влади, плюс, ймовірно, розробити багато інших, про які я не подумав (але країна геніїв - могла б). Дипломатія, військова стратегія, R&D, економічна стратегія і багато інших областей, ймовірно, суттєво зростуть в ефективності завдяки потужному ШІ. Багато з цих навичок були б легітимно корисні для демократій - ми хочемо, щоб демократії мали доступ до кращих стратегій захисту від автократій, - але потенціал зловживання в чиїхось руках все одно залишається.

Кого слід побоюватися

Описавши те, чого я побоююся, перейдемо до того, кого. Мене турбують суб'єкти з найбільшим доступом до ШІ, що починають з позиції найбільшої політичної влади або мають історію репресій. У порядку серйозності:

КПК. Китай поступається лише США за можливостями в ШІ і є країною з найбільшою ймовірністю перевершити США в цих можливостях. Їх уряд зараз авторитарний і керує високотехнологічною державою стеження. Він вже розгорнув стеження на основі ШІ (включаючи репресії уйгурів) і, як вважають, використовує алгоритмічну пропаганду через TikTok (крім безлічі інших міжнародних пропагандистських зусиль). У них беззастережно найясніший шлях до ШІ-тоталітарного кошмару, який я описав вище. Це може бути навіть результатом за замовчуванням всередині Китаю, а також всередині інших автократичних держав, яким КПК експортує технології стеження. Я часто писав про загрозу лідерства КПК в ШІ та екзистенційний імператив запобігти цьому. Ось чому. Хочу уточнити: я виділяю Китай не з неприязні до нього конкретно - він просто країна, яка найбільш поєднує міць в ШІ, авторитарний уряд і високотехнологічну державу стеження. Якщо на те пішло, саме китайський народ з найбільшою ймовірністю постраждає від ШІ-репресій КПК, і у нього немає голосу в діях свого уряду. Я глибоко захоплююся китайським народом і поважаю його, і підтримую безліч хоробрих дисидентів всередині Китаю та їх боротьбу за свободу.

Демократії, конкурентоспроможні в ШІ. Як я писав вище, у демократій є законний інтерес в деяких військових і геополітичних інструментах на основі ШІ, тому що демократичні уряди дають кращий шанс протистояти використанню цих інструментів автократіями. В цілому я підтримую озброєння демократій інструментами, необхідними для перемоги над автократіями в епоху ШІ - я просто не бачу іншого шляху. Але ми не можемо ігнорувати потенціал зловживання цими технологіями самими демократичними урядами. У демократіях зазвичай є захисні механізми, що запобігають зверненню військового і розвідувального апарату проти власного населення, але оскільки інструменти ШІ вимагають так мало людей для управління, є потенціал обійти ці механізми і норми, що їх підтримують. Також варто відзначити, що деякі з цих механізмів вже поступово розмиваються в деяких демократіях. Таким чином, ми повинні озброювати демократії ШІ, але робити це обережно і в межах: вони - імунна система, необхідна для боротьби з автократіями, але як і імунна система, є певний ризик, що вони звернуться проти нас і самі стануть загрозою.

Недемократичні країни з великими дата-центрами. Крім Китаю, більшість країн з менш демократичним управлінням не є провідними гравцями в ШІ в тому сенсі, що у них немає компаній, які виробляють передові ШІ-моделі. Таким чином, вони представляють фундаментально інший і менший ризик, ніж КПК, який залишається головною турботою (більшість також менш репресивні, а ті, що більш репресивні, як Північна Корея, не мають значущої ШІ-індустрії взагалі). Але деякі з цих країн мають великі дата-центри (часто як частина розширення компаній з демократій), які можна використовувати для запуску передового ШІ у великому масштабі (хоча це не дає можливості рухати передній край). З цим пов'язана певна небезпека - ці уряди в принципі можуть експропріювати дата-центри і використовувати країну ШІ всередині для своїх цілей. Я турбуюся про це менше в порівнянні з країнами на кшталт Китаю, які безпосередньо розробляють ШІ, але це ризик, про який варто пам'ятати.

ШІ-компанії. Дещо ніяково говорити це як CEO ШІ-компанії, але я думаю, наступний рівень ризику - це насправді самі ШІ-компанії. ШІ-компанії контролюють великі дата-центри, навчають передові моделі, мають найбільшу експертизу у використанні цих моделей і в деяких випадках мають щоденний контакт і можливість впливу на десятки або сотні мільйонів користувачів. Головне, чого їм не вистачає, - це легітимності та інфраструктури держави, так що багато з того, що знадобилося б для побудови інструментів ШІ-автократії, було б незаконним для ШІ-компанії або принаймні вкрай підозрілим. Але дещо не неможливо: вони могли б, наприклад, використовувати свої ШІ-продукти для промивання мізків своїй масовій споживчій базі, і громадськість повинна бути пильна до цього ризику. Я думаю, управління ШІ-компаніями заслуговує великої уваги.

Можливі заперечення

Є низка можливих аргументів проти серйозності цих загроз, і я хотів би в них вірити, тому що ШІ-авторитаризм мене жахає. Варто пройтися по деяким і відповісти на них.

По-перше, деякі можуть покладатися на ядерне стримування, особливо для протидії використанню автономної зброї ШІ для військового завоювання. Якщо хтось погрожує застосувати цю зброю проти вас, ви завжди можете погрожувати ядерною відповіддю. Моє занепокоєння в тому, що я не повністю впевнений у надійності ядерного стримування проти країни геніїв у дата-центрі: можливо, потужний ШІ міг би розробити способи виявлення та ураження ядерних підводних човнів, провести операції впливу на операторів інфраструктури ядерної зброї або використовувати кіберможливості ШІ для атаки на супутники, що використовуються для виявлення ядерних запусків. Альтернативно, можливо, захоплення країн можна здійснити лише за допомогою ШІ-стеження та ШІ-пропаганди, і ніколи не представляє ясного моменту, коли зрозуміло, що відбувається, і де ядерна відповідь була б доречною. Може бути, ці речі нездійсненні і ядерне стримування все ще буде ефективним, але ставки занадто високі, щоб ризикувати.

По-друге, можливо, є контрзаходи, які ми можемо вжити проти цих інструментів автократії. Ми можемо протиставити дронам свої дрони, кіберзахист буде поліпшуватися разом з кібератакою, можливо, є способи імунізувати людей проти пропаганди і т.д. Моя відповідь: ці захисти будуть можливі тільки при порівнянно потужному ШІ. Якщо немає якоїсь протидіючої сили з порівнянно розумною і численною країною геніїв у дата-центрі, не вийде зрівнятися за якістю або кількістю дронів, кіберзахисту не переграти кібератаку і т.д. Так що питання про контрзаходи зводиться до питання про баланс сил в потужному ШІ. Тут мене турбує рекурсивна або самопідсилююча властивість потужного ШІ (яку я обговорював на початку есе): кожне покоління ШІ можна використовувати для проєктування і навчання наступного покоління. Це веде до ризику нестримної переваги, де нинішній лідер у потужному ШІ може збільшувати своє лідерство і його може бути важко наздогнати. Ми повинні переконатися, що не авторитарна країна першою досягне цього циклу.

Більше того, навіть якщо баланс сил досяжний, все ще є ризик, що світ буде розділений на автократичні сфери, як в "1984". Навіть якщо кілька конкуруючих держав будуть мати свої потужні ШІ-моделі і жодна не зможе здолати інші, кожна все ще могла б внутрішньо пригнічувати власне населення і її було б дуже важко повалити (оскільки населення не має потужного ШІ для самозахисту). Таким чином, важливо запобігти ШІ-автократії, навіть якщо вона не веде до захоплення світу однією країною.

Захисні заходи

Як захиститися від цього широкого спектру автократичних інструментів і потенційних загроз? Як і в попередніх розділах, я бачу кілька напрямків.

По-перше, ми абсолютно не повинні продавати чіпи, обладнання для виробництва чіпів або дата-центри КПК. Чіпи та обладнання для їх виробництва - єдине найбільше вузьке місце для потужного ШІ, і їх блокування - проста, але вкрай ефективна міра, можливо, найважливіша одинична дія, яку ми можемо зробити. Немає сенсу продавати КПК інструменти для побудови ШІ-тоталітарної держави і можливого військового завоювання нас. Висувається ряд складних аргументів у виправдання таких продажів, наприклад, ідея, що "поширення нашого технологічного стеку по світу" дозволяє "Америці перемогти" в якійсь загальній, невизначеній економічній битві. На мій погляд, це як продавати ядерну зброю Північній Кореї і потім хвалитися, що корпуси ракет зроблені Boeing, так що США "перемагають". Китай відстає від США на кілька років у здатності виробляти передові чіпи в кількості, і критичний період для побудови країни геніїв у дата-центрі, дуже ймовірно, припаде на ці кілька років. Немає причин давати величезний поштовх їхній ШІ-індустрії в цей критичний період.

По-друге, має сенс використовувати ШІ для посилення демократій у протистоянні автократіям. Ось чому Anthropic вважає важливим надавати ШІ розвідувальним і оборонним спільнотам США і їх демократичних союзників. Захист демократій, що знаходяться під атакою, таких як Україна і (через кібератаки) Тайвань, здається особливо пріоритетним, як і наділення демократій можливістю використовувати свої розвідувальні служби для підриву і ослаблення автократій зсередини. На якомусь рівні єдиний спосіб відповісти на автократичні загрози - перевершити їх військовим шляхом. Коаліція США і їх демократичних союзників, якби вона досягла переважання в потужному ШІ, була б в змозі не тільки захиститися від автократій, але стримувати їх і обмежувати їх ШІ-тоталітарні зловживання.

По-третє, потрібно провести жорстку межу проти зловживань ШІ всередині демократій. Повинні бути межі того, що ми дозволяємо нашим урядам робити з ШІ, щоб вони не захопили владу і не пригнічували власний народ. Формулювання, до якого я прийшов: ми повинні використовувати ШІ для національної оборони всіма способами, крім тих, які зробили б нас більше схожими на наших автократичних супротивників.

Де провести межу? У списку на початку цього розділу два пункти - використання ШІ для масового внутрішнього стеження і масової пропаганди - здаються мені яскраво-червоними лініями і повністю нелегітимними. Деякі можуть заперечити, що нічого робити не потрібно (принаймні в США), оскільки внутрішнє масове стеження вже незаконне за Четвертою поправкою. Але швидкий прогрес ШІ може створити ситуації, для яких наші існуючі правові рамки погано пристосовані. Наприклад, ймовірно, не було б неконституційним для уряду США вести масштабний запис всіх публічних розмов (наприклад, того, що люди говорять один одному на розі вулиці), і раніше було б важко сортувати такий обсяг інформації, але з ШІ все це можна транскрибувати, інтерпретувати і тріангулювати для створення картини настроїв і лояльності багатьох або більшості громадян. Я б підтримав законодавство про громадянські свободи (або, може бути, навіть конституційну поправку), яке накладе більш суворі обмеження на зловживання з використанням ШІ.

Два інші пункти - повністю автономна зброя і ШІ для стратегічного прийняття рішень - більш складні межі, оскільки вони мають легітимне застосування в захисті демократії, але при цьому схильні до зловживань. Тут я думаю, що виправдана крайня обережність і контроль у поєднанні із захисними механізмами проти зловживань. Мій головний страх - занадто мале число "пальців на кнопці", так що одна людина або жменька людей могли б по суті управляти армією дронів без необхідності співпраці інших людей для виконання своїх наказів. У міру того як ШІ-системи стають потужнішими, нам може знадобитися більш прямий і безпосередній контроль для запобігання зловживань, можливо, за участю гілок влади крім виконавчої. Я думаю, ми повинні підходити до повністю автономної зброї особливо з великою обережністю і не кидатися в її використання без належних захисних механізмів.

По-четверте, провівши жорстку межу проти зловживань ШІ в демократіях, ми повинні використовувати цей прецедент для створення міжнародного табу на найгірші зловживання потужним ШІ. Я визнаю, що нинішні політичні вітри повернулися проти міжнародного співробітництва і міжнародних норм, але це випадок, де вони нам гостро потрібні. Світ повинен зрозуміти темний потенціал потужного ШІ в руках автократів і визнати, що певні способи використання ШІ рівносильні спробі назавжди вкрасти свободу людей і встановити тоталітарну державу, з якої не можна втекти. Я б навіть стверджував, що в деяких випадках масштабне стеження з потужним ШІ, масову пропаганду з потужним ШІ і певні види наступального використання повністю автономної зброї слід вважати злочинами проти людяності. Більш широко - вкрай потрібна стійка норма проти ШІ-тоталітаризму і всіх його інструментів.

Можлива ще сильніша версія цієї позиції: оскільки можливості ШІ-тоталітаризму настільки похмурі, автократія просто не є формою правління, яку люди можуть прийняти в епоху після потужного ШІ. Подібно до того як феодалізм став непрацездатним з промисловою революцією, епоха ШІ могла б неминуче і логічно привести до висновку, що демократія (і, будемо сподіватися, демократія, поліпшена і оновлена за допомогою ШІ, як я обговорюю в "Машинах милосердя") - єдина життєздатна форма правління, якщо у людства має бути гарне майбутнє.

По-п'яте і нарешті, за ШІ-компаніями потрібно уважно стежити, як і за їхнім зв'язком з урядом, який необхідний, але повинен мати межі і кордони. Сам обсяг можливостей, втілених у потужному ШІ, такий, що звичайне корпоративне управління - яке покликане захищати акціонерів і запобігати звичайним зловживанням на зразок шахрайства - навряд чи впорається із завданням управління ШІ-компаніями. Також може бути цінним, якщо компанії публічно зобов'яжуться (можливо, навіть як частина корпоративного управління) не робити певних дій, таких як приватне будівництво або накопичення військової техніки, використання великих обсягів обчислювальних ресурсів окремими людьми непідзвітним чином або використання своїх ШІ-продуктів як пропаганди для маніпулювання громадською думкою на свою користь.

Небезпека тут приходить з багатьох сторін, і деякі напрямки знаходяться в напрузі один з одним. Єдина константа - ми повинні домагатися підзвітності, норм і захисних механізмів для всіх, навіть наділяючи "хороших" акторів можливістю тримати у вузді "поганих".

4. "Механічне піаніно"

Економічні потрясіння

Попередні три розділи були по суті про ризики безпеки, створювані потужним ШІ: ризики від самого ШІ, ризики зловживання індивідами та малими організаціями, ризики зловживання державами та великими організаціями. Якщо відкласти ризики безпеки або припустити, що вони вирішені, наступне питання - економічне. Яким буде ефект цього вливання неймовірного "людського" капіталу в економіку?

Очевидно, що найбільш помітним ефектом стане значне прискорення економічного зростання. Темпи прогресу в наукових дослідженнях, біомедичних інноваціях, виробництві, ланцюжках постачання, ефективності фінансової системи та багато чому іншому майже гарантовано призведуть до набагато швидшого економічного зростання. У "Машинах милосердя" я припускаю, що стійке річне зростання ВВП у 10-20% може бути досяжним.

Але має бути зрозуміло, що це палиця з двома кінцями: які економічні перспективи для більшості існуючих людей у такому світі? Нові технології часто приносять потрясіння на ринку праці, і в минулому люди завжди від них оговтувалися, але я стурбований тим, що це тому, що попередні потрясіння зачіпали лише малу частку повного можливого діапазону людських здібностей, залишаючи простір для людей розширюватися на нові завдання. ШІ матиме ефекти набагато ширші й набагато швидші, і тому, боюся, зробити так, щоб усе обійшлося добре, буде набагато складніше.

Витіснення з ринку праці

Мене турбують дві конкретні проблеми: витіснення з ринку праці та концентрація економічної влади. Почнемо з першої. Це тема, про яку я публічно попереджав у 2025 році, де передбачив, що ШІ може витіснити половину всіх початкових позицій білих комірців у найближчі 1-5 років, навіть прискорюючи економічне зростання та науковий прогрес. Це попередження запустило публічну дискусію. Багато CEO, технологів та економістів погодилися зі мною, але інші припустили, що я потрапив у "оману фіксованого обсягу роботи" і не розумію, як працюють ринки праці, а деякі не помітили діапазон 1-5 років і подумали, що я стверджую, ніби ШІ витісняє робочі місця прямо зараз (з чим я згоден, що, швидше за все, ні). Тож варто детально розібрати, чому я турбуюся про витіснення праці, щоб прояснити ці непорозуміння.

Як зазвичай реагують ринки праці

Для початку корисно зрозуміти, як ринки праці зазвичай реагують на технологічний прогрес. Коли з'являється нова технологія, вона починає з того, що робить окремі частини даної людської роботи більш ефективними. Наприклад, на початку промислової революції машини, такі як удосконалені плуги, дозволяли фермерам бути ефективнішими в деяких аспектах роботи. Це підвищувало продуктивність фермерів, що збільшувало їхні зарплати.

На наступному етапі деякі частини роботи фермера могли виконуватися повністю машинами, наприклад, з винаходом молотарки або сівалки. У цій фазі люди виконували все меншу й меншу частку роботи, але робота, яку вони все ще виконували, ставала все більш і більш цінною, тому що вона комплементарна до роботи машин, і їхня продуктивність продовжувала зростати. Як описує парадокс Джевонса, зарплати фермерів і, можливо, навіть кількість фермерів продовжували зростати. Навіть коли 90% роботи виконується машинами, люди можуть просто робити в 10 разів більше тих 10%, що вони все ще роблять, виробляючи в 10 разів більше продукції за ту ж кількість праці.

Зрештою машини роблять усе або майже все, як у випадку сучасних комбайнів, тракторів та іншої техніки. У цей момент фермерство як форма людської зайнятості дійсно різко скорочується, і це потенційно викликає серйозні потрясіння в короткостроковій перспективі, але оскільки фермерство - лише одне з багатьох корисних занять, які люди здатні виконувати, люди зрештою перемикаються на інші роботи, такі як управління заводськими верстатами. Це вірно, незважаючи на те, що фермерство становило величезну частку зайнятості до цього. 250 років тому 90% американців жили на фермах; у Європі 50-60% зайнятості було в сільському господарстві. Зараз ці відсотки - низькі одиничні цифри в цих місцях, тому що працівники переключилися на промислові роботи (а пізніше - на роботу зі знаннями). Економіка може робити те, що раніше вимагало більшої частини робочої сили, всього з 1-2% її, вивільняючи решту робочої сили для побудови все більш просунутого індустріального суспільства. Немає фіксованого "обсягу роботи", тільки здатність, що постійно розширюється, робити все більше все меншими засобами. Зарплати людей зростають разом з експонентою ВВП, і економіка підтримує повну зайнятість після того, як короткострокові потрясіння минають.

Чому зі ШІ може бути інакше

Можливо, зі ШІ все піде приблизно так само, але я б поставив проти цього досить впевнено. Ось кілька причин, чому я думаю, що ШІ, ймовірно, буде іншим:

Швидкість. Темп прогресу в ШІ набагато швидший, ніж у попередніх технологічних революціях. Наприклад, за останні 2 роки ШІ-моделі пройшли шлях від ледве здатних дописати один рядок коду до написання всього або майже всього коду для деяких людей - включаючи інженерів в Anthropic. Скоро вони, можливо, виконуватимуть усе завдання програміста від початку до кінця. Людям важко адаптуватися до такого темпу змін - і до змін у тому, як працює дана професія, і до необхідності перемикатися на нові роботи. Навіть легендарні програмісти все частіше описують себе як таких, що "відстають". Темп може, якщо що, продовжувати прискорюватися, оскільки моделі кодування на ШІ все більше прискорюють завдання розробки ШІ. Швидкість сама по собі не означає, що ринки праці та зайнятість зрештою не відновляться - вона лише припускає, що короткостроковий перехід буде незвично болючим порівняно з минулими технологіями, оскільки люди та ринки праці повільно реагують і приходять у рівновагу.

Когнітивна широта. Як підказує фраза "країна геніїв у дата-центрі", ШІ буде здатний на дуже широкий діапазон людських когнітивних здібностей - можливо, на всі. Це дуже відрізняється від попередніх технологій, таких як механізоване сільське господарство, транспорт або навіть комп'ютери. Це ускладнить для людей легке перемикання з витіснених робіт на схожі роботи, для яких вони добре підходять. Наприклад, загальні інтелектуальні здібності, необхідні для початкових позицій у, скажімо, фінансах, консалтингу та юриспруденції, досить схожі, навіть якщо конкретні знання відрізняються. Технологія, яка порушила б тільки одну з цих трьох сфер, дозволила б співробітникам переключитися на два інших близьких замінники (або студентам змінити спеціальність). Але порушення всіх трьох одночасно (разом із багатьма іншими схожими роботами) може бути важчим для адаптації людей. Більше того, справа не тільки в тому, що більшість існуючих робіт будуть порушені. Ця частина траплялася раніше - згадаємо, що фермерство було величезним відсотком зайнятості. Але фермери могли переключитися на відносно схожу роботу управління заводськими верстатами, хоча ця робота не була поширена раніше. Натомість, ШІ все більше відповідає загальному когнітивному профілю людей, що означає, що він також буде хорошим і в нових роботах, які зазвичай створювалися б у відповідь на автоматизацію старих. Інакше кажучи, ШІ - не заміна конкретних людських робіт, а загальна заміна людей як праці.

Зріз за когнітивними здібностями. За широким спектром завдань ШІ, схоже, просувається від нижньої частини драбини здібностей до верхньої. Наприклад, у програмуванні наші моделі пройшли шлях від рівня "посереднього кодера" до "сильного кодера" і "дуже сильного кодера". Тепер ми починаємо бачити ту саму прогресію в роботі білих комірців загалом. Таким чином, ми ризикуємо опинитися в ситуації, де замість того, щоб зачіпати людей з конкретними навичками або в конкретних професіях (які можуть адаптуватися через перенавчання), ШІ зачіпає людей з певними вродженими когнітивними властивостями, а саме нижчими інтелектуальними здібностями (які важче змінити). Незрозуміло, куди ці люди підуть або що робитимуть, і я стурбований, що вони можуть сформувати безробітний або дуже низькооплачуваний "нижчий клас". Зрозуміло, що щось подібне траплялося й раніше - наприклад, деякі економісти вважають, що комп'ютери та інтернет представляють "технологічні зміни, зміщені на користь навичок". Але це зміщення на користь навичок було не настільки екстремальним, як те, що я очікую побачити від ШІ, і вважається, що воно сприяло зростанню нерівності в зарплатах - так що це не зовсім обнадійливий прецедент.

Здатність заповнювати прогалини. Спосіб, яким людські роботи часто адаптуються до нових технологій, полягає в тому, що в роботі є багато аспектів, і нова технологія, навіть якщо вона здається такою, що безпосередньо замінює людей, часто має прогалини. Якщо хтось винаходить машину для виробництва віджетів, людям все одно може знадобитися завантажувати сировину в машину. Навіть якщо це вимагає лише 1% зусиль порівняно з ручним виготовленням віджетів, людські працівники можуть просто робити в 100 разів більше віджетів. Але ШІ, крім того, що є технологією, яка швидко розвивається, також є технологією, яка швидко адаптується. При кожному випуску моделі ШІ-компанії ретельно вимірюють, у чому модель хороша, а в чому ні, і клієнти теж надають таку інформацію після запуску. Слабкості можна усунути, збираючи завдання, що втілюють поточну прогалину, і навчаючи на них для наступної моделі. На початку генеративного ШІ користувачі помічали, що ШІ-системи мають певні слабкості (наприклад, ШІ-моделі зображень генерували руки з неправильним числом пальців), і багато хто припускав, що ці слабкості притаманні технології. Якби це було так, це обмежило б витіснення з робіт. Але практично кожна така слабкість швидко усувається - часто за лічені місяці.

Відповіді скептикам

Варто розглянути поширені точки скептицизму.

По-перше, є аргумент, що економічна дифузія буде повільною: навіть якщо базова технологія здатна виконувати більшу частину людської праці, фактичне застосування її по всій економіці може бути набагато повільнішим (наприклад, у галузях, далеких від ШІ-індустрії, що повільно адаптуються). Повільна дифузія технологій безумовно реальна - я розмовляю з людьми з найрізноманітніших підприємств, і є місця, де впровадження ШІ займе роки. Ось чому мій прогноз про витіснення 50% початкових позицій білих комірців - це 1-5 років, хоча я підозрюю, що у нас буде потужний ШІ (який був би, технологічно кажучи, достатнім для більшості або всіх робіт, не тільки початкових) набагато менше ніж через 5 років. Але ефекти дифузії лише виграють нам час. І я не впевнений, що вони будуть настільки повільними, як люди передбачають. Впровадження ШІ на підприємствах зростає темпами, набагато швидшими, ніж будь-яка попередня технологія, багато в чому завдяки чистій силі самої технології. Крім того, навіть якщо традиційні підприємства повільно впроваджують нові технології, стартапи виникнуть, щоб служити "клеєм" і полегшити впровадження. Якщо це не спрацює, стартапи можуть просто безпосередньо витіснити інкумбентів (діючих гравців).

Це могло б призвести до світу, де витісняються не стільки конкретні роботи, скільки великі підприємства загалом, і їх замінюють набагато менш трудомісткі стартапи. Це також могло б призвести до світу "географічної нерівності", де все більша частка світового багатства концентрується в Кремнієвій долині, яка стає своєю власною економікою, що працює на іншій швидкості, ніж решта світу, і залишає його позаду. Всі ці результати були б відмінними для економічного зростання - але не так хороші для ринку праці або для тих, хто залишився позаду.

По-друге, дехто каже, що людські роботи перемістяться у фізичний світ, що дозволить уникнути всієї категорії "когнітивної праці", де ШІ прогресує так швидко. Я не впевнений, наскільки це безпечно. Багато фізичної праці вже виконується машинами (наприклад, виробництво) або скоро буде виконуватися машинами (наприклад, водіння). Крім того, достатньо потужний ШІ зможе прискорити розробку роботів, а потім керувати цими роботами у фізичному світі. Це може виграти деякий час (що добре), але я боюся, що небагато. І навіть якби витіснення обмежилося тільки когнітивними завданнями, це все одно було б безпрецедентно великим і швидким потрясінням.

По-третє, можливо, деякі завдання за своєю природою вимагають або сильно виграють від людського дотику. Я трохи більш невпевнений щодо цього, але все ще скептичний, що це буде достатньо, щоб компенсувати основну масу описаних вище впливів. ШІ вже широко використовується для обслуговування клієнтів. Багато людей повідомляють, що їм легше говорити зі ШІ про особисті проблеми, ніж з терапевтом - що ШІ більш терплячий. Коли моя сестра боролася з медичними проблемами під час вагітності, вона відчувала, що не отримує потрібних відповідей або підтримки від своїх медпрацівників, і виявила, що у Claude краща манера спілкування з пацієнтом (а також він краще впорався з діагностикою проблеми). Я впевнений, що є завдання, для яких людський дотик справді важливий, але не впевнений, скільки їх - а тут ми говоримо про знаходження роботи майже для всіх на ринку праці.

По-четверте, дехто може стверджувати, що порівняльна перевага все ще захистить людей. Відповідно до закону порівняльної переваги, навіть якщо ШІ кращий за людей у всьому, будь-які відносні відмінності між профілями навичок людини та ШІ створюють базу для торгівлі та спеціалізації між людьми та ШІ. Проблема в тому, що якщо ШІ буквально в тисячі разів продуктивніший за людей, ця логіка починає ламатися. Навіть крихітні транзакційні витрати можуть зробити торгівлю з людьми невигідною для ШІ. І зарплати людей можуть бути дуже низькими, навіть якщо технічно їм є що запропонувати.

Можливо, всі ці фактори можна врахувати - що ринок праці достатньо стійкий, щоб адаптуватися навіть до такого величезного потрясіння. Але навіть якщо він зрештою адаптується, фактори вище припускають, що короткостроковий шок буде безпрецедентним за розміром.

Захисні заходи

Що ми можемо з цим зробити? У мене є кілька пропозицій, деякі з яких Anthropic вже реалізує.

По-перше - просто отримувати точні дані про те, що відбувається з витісненням робіт, у реальному часі. Коли економічні зміни відбуваються дуже швидко, важко отримати надійні дані про те, що відбувається, а без надійних даних важко розробляти ефективну політику. Наприклад, в уряду зараз немає деталізованих, високочастотних даних про впровадження ШІ по фірмах і галузях. Останній рік Anthropic веде й публічно викладає Економічний індекс, який показує використання наших моделей майже в реальному часі, з розбивкою за галуззю, завданням, місцем розташування і навіть за тим, чи автоматизується завдання, чи виконується спільно. У нас також є Економічна консультативна рада, яка допомагає нам інтерпретувати ці дані й бачити, що насувається.

По-друге, у ШІ-компаній є вибір у тому, як вони працюють із підприємствами. Сама неефективність традиційних підприємств означає, що їхнє впровадження ШІ може бути дуже залежним від шляху, і є деякий простір для вибору кращого шляху. Підприємства часто мають вибір між "скороченням витрат" (робити те саме з меншою кількістю людей) та "інноваціями" (робити більше з тією ж кількістю людей). Ринок неминуче виробить і те, і інше зрештою, і будь-яка конкурентоспроможна ШІ-компанія повинна буде обслуговувати і те, і інше, але може бути деякий простір для спрямування компаній до інновацій, коли це можливо, і це може виграти нам час. Anthropic активно думає про це.

По-третє, компанії повинні думати про те, як піклуватися про своїх співробітників. У короткостроковій перспективі креативність у способах перерозподілу співробітників усередині компаній може бути багатообіцяючим способом відтермінувати необхідність звільнень. У довгостроковій перспективі, у світі з величезним сукупним багатством, де багато компаній значно зростуть у вартості завдяки збільшеній продуктивності та концентрації капіталу, може бути можливо платити співробітникам-людям навіть довгий час після того, як вони перестануть надавати економічну цінність у традиційному сенсі. Anthropic наразі розглядає ряд можливих шляхів для наших власних співробітників, якими ми поділимося в найближчому майбутньому.

По-четверте, заможні люди зобов'язані допомогти вирішити цю проблему. Мені сумно, що багато заможних людей (особливо в технологічній індустрії) нещодавно прийняли цинічне й нігілістичне ставлення, що філантропія неминуче шахрайська або марна. Як приватна філантропія на кшталт Фонду Гейтса, так і державні програми на кшталт PEPFAR врятували десятки мільйонів життів у світі, що розвивається, і допомогли створити економічні можливості в розвиненому світі. Усі співзасновники Anthropic зобов'язалися пожертвувати 80% своїх статків, а співробітники Anthropic індивідуально зобов'язалися пожертвувати акції компанії на мільярди доларів за поточними цінами - пожертвування, які компанія зобов'язалася подвоїти.

По-п'яте, хоча всі перераховані вище приватні дії можуть бути корисними, зрештою макроекономічна проблема такого масштабу вимагатиме державного втручання. Природна політична відповідь на величезний економічний пиріг у поєднанні з високою нерівністю (через відсутність робіт або погано оплачувані роботи для багатьох) - прогресивне оподаткування. Податок може бути загальним або цілеспрямовано спрямованим проти ШІ-компаній. Очевидно, розробка податків складна, і є багато способів її зіпсувати. Я не підтримую погано розроблену податкову політику. Я думаю, що екстремальні рівні нерівності, передбачені в цьому есе, виправдовують надійнішу податкову політику на суто моральних підставах, але я можу також навести прагматичний аргумент для мільярдерів світу, що в їхніх інтересах підтримати хорошу її версію: якщо вони не підтримають хорошу версію, вони неминуче отримають погану версію, розроблену натовпом.

Зрештою я розглядаю всі перераховані вище втручання як способи виграти час. Врешті-решт ШІ зможе робити все, і нам потрібно з цим впоратися. Моя надія в тому, що до того часу ми зможемо використовувати сам ШІ, щоб допомогти нам реструктурувати ринки так, щоб вони працювали для всіх, а перераховані вище втручання проведуть нас через перехідний період.

Концентрація економічної влади

Окремо від проблеми витіснення з робіт або економічної нерівності як такої стоїть проблема концентрації економічної влади. Розділ 1 обговорював ризик того, що людство буде позбавлене влади ШІ, і Розділ 3 обговорював ризик того, що громадяни будуть позбавлені влади своїми урядами силою або примусом. Але інший вид позбавлення влади може статися, якщо концентрація багатства настільки величезна, що мала група людей фактично контролює державну політику своїм впливом, а звичайні громадяни не мають впливу, тому що позбавлені економічного важеля. Демократія зрештою спирається на ідею, що населення загалом необхідне для функціонування економіки. Якщо цей економічний важіль зникне, неявний соціальний контракт демократії може перестати працювати. Інші писали про це, тож не буду вдаватися в подробиці, але я поділяю це занепокоєння і боюся, що це вже починає відбуватися.

Хочу уточнити: я не проти того, щоб люди заробляли багато грошей. Є сильний аргумент, що це стимулює економічне зростання в нормальних умовах. Я співчуваю побоюванням про перешкоджання інноваціям шляхом убивства курки, що несе золоті яйця. Але в сценарії, де зростання ВВП становить 10-20% на рік, і ШІ швидко захоплює економіку, але при цьому окремі люди володіють помітними частками ВВП, турбуватися потрібно не про інновації. Турбуватися потрібно про рівень концентрації багатства, який зламає суспільство.

Найвідоміший приклад екстремальної концентрації багатства в історії США - Позолочений вік, і найбагатшим промисловцем Позолоченого віку був Джон Д. Рокфеллер. Статки Рокфеллера становили ~2% ВВП США того часу. Аналогічна частка сьогодні дала б статки в 600 млрд доларів, і найбагатша людина у світі сьогодні (Ілон Маск) вже перевищує це, маючи приблизно 700 млрд доларів. Тож ми вже на історично безпрецедентних рівнях концентрації багатства, навіть до більшої частини економічного впливу ШІ. Я не думаю, що це велика натяжка (якщо ми отримаємо "країну геніїв") уявити ШІ-компанії, напівпровідникові компанії і, можливо, компанії нижчестоящих додатків, що генерують ~3 трлн доларів доходу на рік, оцінюються в ~30 трлн і ведуть до особистих статків далеко в трильйонах. У тому світі дебати про податкову політику, які ми ведемо сьогодні, просто не будуть застосовні, оскільки ми будемо у фундаментально іншій ситуації.

У зв'язку з цим, зв'язок цієї економічної концентрації багатства з політичною системою вже турбує мене. Дата-центри ШІ вже становлять суттєву частку економічного зростання США і, таким чином, сильно пов'язують фінансові інтереси великих технологічних компаній (які все більше зосереджені або на ШІ, або на інфраструктурі ШІ) з політичними інтересами уряду таким чином, який може виробляти збочені стимули. Ми вже бачимо це в небажанні технологічних компаній критикувати уряд США і в підтримці урядом украй антирегуляторної політики щодо ШІ.

Захисні заходи

Що можна з цим зробити?

По-перше, і найбільш очевидно, компанії повинні просто вибрати не бути частиною цього. Anthropic завжди прагнула бути політичним актором у сфері політики (policy), а не політики (politics), і зберігати свої справжні погляди незалежно від адміністрації. Ми висловлювалися на користь розумного регулювання ШІ та експортного контролю, які відповідають суспільним інтересам, навіть коли це розходиться з державною політикою. Багато хто говорив мені, що нам слід припинити це робити, що це може призвести до несприятливого поводження, але за рік, що ми це робимо, оцінка Anthropic зросла більш ніж у 6 разів - майже безпрецедентний стрибок при нашому комерційному масштабі.

По-друге, ШІ-індустрії потрібні здоровіші відносини з урядом - засновані на змістовній участі в політиці, а не на політичному вирівнюванні. Наш вибір брати участь у змісті політики, а не в політиці, іноді читається як тактична помилка або нездатність "читати кімнату", а не як принципове рішення, і таке обрамлення мене турбує. У здоровій демократії компанії повинні мати можливість виступати за хорошу політику заради неї самої. У зв'язку з цим назріває публічна реакція проти ШІ: це могло б бути корективом, але зараз вона не сфокусована. Багато що в ній спрямовано на питання, які насправді не є проблемами (як використання води дата-центрами), і пропонує рішення (як заборони дата-центрів або погано розроблені податки на багатство), які не усунули б реальних проблем. Глибинне питання, що заслуговує на увагу, - забезпечення того, щоб розробка ШІ залишалася підзвітною суспільним інтересам, а не захопленою яким-небудь конкретним політичним або комерційним альянсом, і здається важливим сфокусувати публічну дискусію на цьому.

По-третє, макроекономічні втручання, описані раніше в цьому розділі, а також відродження приватної філантропії можуть допомогти врівноважити економічні терези, одночасно вирішуючи проблеми витіснення з робіт і концентрації економічної влади. Нам слід звернутися до історії нашої країни: навіть у Позолочений вік промисловці на кшталт Рокфеллера і Карнегі відчували сильне зобов'язання перед суспільством загалом, відчуття, що суспільство величезною мірою сприяло їхньому успіху і їм потрібно віддавати назад. Цей дух, схоже, все більше відсутній сьогодні, і я думаю, що він - велика частина виходу з цієї економічної дилеми. Ті, хто на передньому краї економічного буму ШІ, повинні бути готові віддавати і своє багатство, і свою владу.

5. "Чорні моря нескінченності"

Непрямі ефекти

Цей останній розділ - зібрання невідомих невідомих, особливо речей, які можуть піти не так як непрямий результат позитивних досягнень ШІ і випливаючого з цього прискорення науки та технологій загалом. Припустимо, ми усунемо всі описані досі ризики й почнемо пожинати плоди ШІ. Ми, ймовірно, отримаємо "століття наукового та економічного прогресу, стиснуте в десятиліття", і це буде величезним позитивом для світу, але тоді нам доведеться справлятися з проблемами, що виникають із цього швидкого темпу прогресу, і ці проблеми можуть приходити до нас швидко. Ми також можемо зіткнутися з іншими ризиками, що виникають опосередковано як наслідок прогресу ШІ і які важко передбачити заздалегідь.

За природою невідомих невідомих неможливо скласти вичерпний список, але я перерахую три можливі побоювання як ілюстративні приклади того, за чим нам слід стежити:

Швидкий прогрес у біології. Якщо ми справді отримаємо століття медичного прогресу за кілька років, можливо, ми значно збільшимо тривалість людського життя, і є шанс, що ми також здобудемо радикальні можливості, такі як здатність підвищувати людський інтелект або радикально модифікувати людську біологію. Це були б великі зміни в тому, що можливо, що відбуваються дуже швидко. Вони можуть бути позитивними при відповідальному підході (на що я сподіваюся, як описано в "Машинах милосердя"), але завжди є ризик, що вони підуть дуже погано - наприклад, якщо спроби зробити людей розумнішими також зроблять їх більш нестабільними або владолюбними. Є також питання "завантажень" або "повної емуляції мозку" - цифрових людських розумів, втілених у програмному забезпеченні, які одного разу могли б допомогти людству подолати свої фізичні обмеження, але які також несуть ризики, що здаються мені тривожними.

ШІ змінює людське життя нездоровим чином. Світ із мільярдами інтелектів, які набагато розумніші за людей у всьому, буде дуже дивним світом для життя. Навіть якщо ШІ не буде активно прагнути атакувати людей (Розділ 1) і не буде явно використовуватися для гноблення або контролю державами (Розділ 3), багато що може піти не так крім цього - через звичайні бізнес-стимули та номінально добровільні транзакції. Ми бачимо ранні ознаки цього в побоюваннях про "ШІ-психоз", ШІ, що доводить людей до самогубства, і побоюваннях про романтичні стосунки зі ШІ. Наприклад, чи можуть потужні ШІ винайти якусь нову релігію і навернути в неї мільйони людей? Чи може більшість людей зрештою стати в якомусь сенсі "залежними" від взаємодій зі ШІ? Чи можуть люди зрештою опинитися "на ниточках маріонеток" у ШІ-систем, де ШІ по суті стежить за кожним їхнім кроком і каже їм, що саме робити й говорити в будь-який момент, ведучи до "хорошого" життя, але позбавленого свободи або будь-якої гордості за досягнення? Не склало б труднощів згенерувати десятки таких сценаріїв, якби я сів із творцем "Чорного дзеркала" і спробував їх придумати. Я думаю, це вказує на важливість таких речей, як покращення Конституції Claude, понад те, що необхідно для запобігання проблемам із Розділу 1. Критично важливо переконатися, що ШІ-моделі справді мають на увазі довгострокові інтереси своїх користувачів - так, як схвалили б вдумливі люди, а не якимось тонко викривленим чином.

Людське призначення. Це пов'язано з попереднім пунктом, але йдеться не стільки про конкретні взаємодії людей зі ШІ-системами, скільки про те, як людське життя змінюється загалом у світі з потужним ШІ. Чи зможуть люди знайти мету й сенс у такому світі? Я думаю, це питання ставлення: як я сказав у "Машинах милосердя", я думаю, що людське призначення не залежить від того, щоб бути найкращим у світі в чомусь, і люди можуть знаходити мету навіть на дуже тривалих відрізках часу через історії та проєкти, які вони люблять. Нам просто потрібно розірвати зв'язок між генерацією економічної цінності та самоцінністю і сенсом. Але це перехід, який суспільство має здійснити, і завжди є ризик, що ми не впораємося з ним добре.

Моя надія з усіма цими потенційними проблемами в тому, що у світі з потужним ШІ, якому ми довіряємо не вбивати нас, який не є інструментом репресивного уряду і який щиро працює в наших інтересах, ми зможемо використовувати сам ШІ для передбачення та запобігання цим проблемам. Але це не гарантовано - як і всі інші ризики, це те, з чим потрібно поводитися обережно.

Випробування людства

Читання цього есе може створити враження, що ми в лякаючій ситуації. Мені безумовно було важко його писати, на відміну від "Машин милосердя", які відчувалися як надання форми та структури неймовірно прекрасній музиці, що звучала в моїй голові роками. І багато що в ситуації справді складно. ШІ несе загрози людству з безлічі напрямків, і є реальна напруга між різними небезпеками, де пом'якшення одних ризикує погіршити інші, якщо ми не пройдемо по лезу бритви вкрай обережно.

Виділення часу на ретельну побудову ШІ-систем, щоб вони автономно не загрожували людству, перебуває в реальній напрузі з необхідністю для демократичних націй залишатися попереду авторитарних націй і не бути поневоленими ними. Але своєю чергою, ті самі інструменти на основі ШІ, які необхідні для боротьби з автократіями, можуть, якщо зайти занадто далеко, бути звернені всередину для створення тиранії в наших власних країнах. Тероризм з підтримкою ШІ може вбити мільйони через зловживання біологією, але надмірна реакція на цей ризик може повести нас дорогою до автократичної держави стеження. Трудові та економічні ефекти концентрації від ШІ, крім того що самі по собі є серйозними проблемами, можуть змусити нас зіткнутися з іншими проблемами в атмосфері суспільного гніву і, можливо, навіть громадянських заворушень, а не мати можливість волати до кращих янголів нашої природи. Насамперед, сама кількість ризиків, включаючи невідомі, і необхідність справлятися з усіма ними одночасно створюють лякаючий коридор випробувань, через який людство має пройти.

Більше того, останні кілька років мали чітко показати, що ідея зупинити або навіть суттєво уповільнити технологію фундаментально неспроможна. Формула побудови потужних ШІ-систем неймовірно проста, настільки, що можна майже сказати, що вона виникає спонтанно з правильної комбінації даних і сирих обчислень. Її створення, ймовірно, було неминучим із моменту, коли людство винайшло транзистор, а можливо, і раніше - коли ми вперше навчилися контролювати вогонь. Якщо одна компанія не побудує це, інші зроблять це майже так само швидко. Якщо всі компанії в демократичних країнах зупиняться або сповільняться - за взаємною згодою або за наказом регулятора, - тоді авторитарні країни просто продовжать. Враховуючи неймовірну економічну та військову цінність технології разом із відсутністю будь-якого значущого механізму примусу, я не бачу, як ми могли б переконати їх зупинитися.

Єдиний реалістичний шлях

Я бачу шлях до невеликого уповільнення розвитку ШІ, сумісний із реалістичним поглядом на геополітику. Цей шлях передбачає уповільнення маршу автократій до потужного ШІ на кілька років шляхом позбавлення їх ресурсів, необхідних для його побудови, - а саме чипів та обладнання для виробництва напівпровідників. Це, своєю чергою, дає демократичним країнам буфер, який вони можуть "витратити" на ретельнішу, з більшою увагою до ризиків, побудову потужного ШІ, все ще просуваючись достатньо швидко, щоб впевнено випередити автократії. Гонку між ШІ-компаніями всередині демократій можна тоді регулювати під парасолькою загальної правової рамки через поєднання галузевих стандартів і регулювання.

Anthropic дуже наполегливо виступала за цей шлях, просуваючи експортний контроль на чипи та розумне регулювання ШІ, але навіть ці, здавалося б, здорові пропозиції були в основному відкинуті політиками в США (а це країна, де їх найважливіше мати). На ШІ можна заробити так багато грошей - буквально трильйони доларів на рік, - що навіть найпростіші заходи насилу долають політичну економію, властиву ШІ. Це пастка: ШІ настільки могутній, такий блискучий приз, що людській цивілізації дуже важко накласти на нього хоч якісь обмеження.

Я можу уявити, як писав Саган у "Контакті", що ця сама історія розгортається на тисячах світів. Вид набуває розуму, вчиться використовувати інструменти, починає експоненційне сходження технології, стикається з кризами індустріалізації та ядерної зброї, і якщо переживає їх, зустрічає найважчий і останній виклик, коли вчиться перетворювати пісок на машини, які думають. Чи переживемо ми це випробування і побудуємо прекрасне суспільство, описане в "Машинах милосердя", чи піддамося рабству і руйнуванню, залежатиме від нашого характеру і нашої рішучості як виду, нашого духу і нашої душі.

Є надія

Незважаючи на безліч перешкод, я вірю, що в людства достатньо внутрішньої сили, щоб пройти це випробування. Мене надихають і надихають тисячі дослідників, які присвятили свої кар'єри тому, щоб допомогти нам зрозуміти й направляти ШІ-моделі, формувати характер і конституцію цих моделей. Я думаю, що тепер є хороший шанс, що ці зусилля принесуть плоди вчасно. Мене надихає, що принаймні деякі компанії заявили, що понесуть значні комерційні витрати, щоб заблокувати свої моделі від сприяння загрозі біотерроризму. Мене надихає, що кілька хоробрих людей чинили опір переважаючим політичним вітрам і прийняли законодавство, що закладає перші ранні зерна розумних обмежень на ШІ-системи. Мене надихає, що громадськість розуміє, що ШІ несе ризики, і хоче, щоб ці ризики були усунені. Мене надихає незламний дух свободи по всьому світу і рішучість протистояти тиранії, де б вона не виникала.

Але нам потрібно буде посилити наші зусилля, якщо ми хочемо досягти успіху. Перший крок - щоб ті, хто найближче до технології, просто говорили правду про ситуацію, в якій перебуває людство, - що я завжди намагався робити; я роблю це більш явно і з більшою терміновістю в цьому есе. Наступний крок - переконати світових мислителів, політиків, компанії та громадян у неминучості та першочерговій важливості цього питання - що варто витрачати думку і політичний капітал на це порівняно з тисячами інших питань, які домінують у новинах щодня. Потім прийде час для мужності, щоб достатньо людей пішли проти переважаючих тенденцій і стали на принцип, навіть перед обличчям загроз їхнім економічним інтересам і особистій безпеці.

Роки попереду нас будуть неможливо важкими, вимагаючи від нас більше, ніж ми думаємо, що можемо дати. Але за час моєї роботи дослідником, керівником і громадянином я бачив достатньо мужності і благородства, щоб вірити, що ми можемо перемогти - що в найтемніших обставинах у людства є спосіб зібрати, здавалося б в останній момент, силу і мудрість, необхідні для перемоги. У нас немає часу втрачати.

Я хотів би подякувати Еріку Бріньолфссону, Бену Бьюкенену, Маріано-Флорентіно Куельяру, Аллану Дафо, Кевіну Есвельту, Ніку Бекстеду, Річарду Фонтейну, Джиму Макклейву і дуже багатьом співробітникам Anthropic за їхні корисні коментарі до чернеток цього есе.