День після AGI: Даріо Амодей та Деміс Хасабіс про майбутнє людства

Дві людини, які, можливо, знають про майбутнє штучного інтелекту більше за всіх на планеті, зустрілися в Давосі та обговорили терміни настання AGI, ризики гонки наддержав і те, як людству пережити "технологічне дорослішання". Даріо Амодей з Anthropic прогнозує, що через 6-12 місяців ШІ виконуватиме всю роботу програмістів, а через рік-два перевершить людей у всьому. Деміс Хассабіс з Google DeepMind дає людству трохи більше часу - 5-10 років. Обидва визнають, що віддали б перевагу повільнішому темпу. І обидва розуміють, що сповільнитися поодинці не вийде.

Бесіду веде Занні Мінтон Беддоус, головний редактор The Economist. Її співрозмовники - Даріо Амодей, співзасновник і CEO Anthropic, та Деміс Хассабіс, співзасновник і CEO Google DeepMind, нобелівський лауреат 2024 року з хімії за роботу над AlphaFold. Розмова відбулася на Всесвітньому економічному форумі в Давосі в січні 2026 року.

Занні Мінтон Беддоус: Ласкаво просимо всіх, і тих, хто дивиться нас у прямому ефірі - ласкаво просимо на розмову, на яку я чекала кілька місяців. Минулого року в Парижі мені пощастило модерувати бесіду між Даріо Амодеєм та Демісом Хассабісом. Боюся, найбільше уваги тоді привернув той факт, що ви двоє були втиснуті в крихітний диванчик, поки я сиділа у величезному кріслі - ймовірно, моя помилка. Але тоді я сказала, що для мене це як вести розмову між Beatles та Rolling Stones. З того часу ви не виступали разом на сцені. Тож це, знаєте, продовження - гурти знову разом. Я в захваті. Вас представляти не потрібно.

Тема нашої розмови - "День після AGI", що, мабуть, трохи забігає наперед, тому що спочатку варто обговорити, як швидко і легко ми туди дістанемося. Хочу спочатку дізнатися, що змінилося за рік, а потім поговорити про наслідки.

Коли настане AGI

Отже, про терміни. Даріо, минулого року в Парижі ви сказали: "До 2026-27 року у нас буде модель, здатна робити все, що може людина, на рівні нобелівського лауреата в різних галузях". Зараз 26-й рік. Ви все ще дотримуєтеся цього прогнозу?

Даріо Амодей: Знаєте, завжди складно точно сказати, коли щось станеться, але я не думаю, що цей прогноз виявиться сильно помилковим. Механізм, який я уявляв, такий: ми створимо моделі, які добре пишуть код і добре займаються дослідженнями в галузі ШІ, і використаємо їх для створення наступного покоління моделей, прискорюючи процес - створимо петлю, яка збільшить швидкість розробки моделей.

Зараз, якщо говорити про моделі, що пишуть код, у мене в Anthropic є інженери, які кажуть: "Я більше не пишу код сам. Я просто даю моделі писати код, редагую його, роблю все навколо". Думаю, можливо, через 6-12 місяців модель робитиме більшу частину, а може й усю роботу програмістів від початку до кінця. А далі питання в тому, як швидко замкнеться ця петля. Не кожну частину цієї петлі можна прискорити за допомогою ШІ, чи не так? Є чіпи, є виробництво чіпів, є час на навчання моделі. Тож, знаєте, я думаю, тут багато невизначеності. Легко уявити, як це може зайняти кілька років. Мені дуже складно уявити, як це може зайняти більше. Але якби мене запитали, я б припустив, що все піде швидше, ніж люди думають. Цей ключовий елемент - код і все більше досліджень йдуть швидше, ніж ми думаємо - стане головною рушійною силою. Дуже складно передбачити, наскільки ця експонента нас прискорить, але щось швидке станеться.

Занні Мінтон Беддоус: Демісе, ви минулого року були трохи обережнішими. Ви говорили про 50-відсоткову ймовірність появи системи з усіма когнітивними здібностями людини до кінця десятиліття. Очевидно, у програмуванні, як каже Даріо, прогрес був чудовим. Яке ваше відчуття - ви дотримуєтеся свого прогнозу? І що змінилося за минулий рік?

Деміс Хассабіс: Так, дивіться, я думаю, мій прогноз приблизно той самий. Прогрес був чудовий. Але деякі сфери інженерної роботи, програмування або, скажімо, математика - трохи легше зрозуміти, як їх автоматизувати. Частково тому, що результат можна перевірити. Деякі галузі природничих наук набагато складніші. Ви не обов'язково дізнаєтеся, чи правильно побудована хімічна сполука, чи вірне передбачення у фізиці. Можливо, доведеться перевіряти експериментально, і це займе більше часу. Я також думаю, що зараз не вистачає деяких здібностей - не просто перевіряти існуючі гіпотези або вирішувати відомі проблеми, а вигадувати саме питання, створювати теорію чи гіпотезу. Я думаю, це набагато, набагато складніше, і це найвищий рівень наукової творчості. І неясно... Я думаю, такі системи з'являться, це не неможливо, але, можливо, не вистачає однієї-двох ключових складових. Ще належить побачити, по-перше, чи може ця петля самовдосконалення, над якою ми всі працюємо, дійсно замкнутися без людини в контурі. Я думаю, у такої системи теж є ризики, до речі, про які варто поговорити - впевнений, ми це зробимо. Але це може прискорити процес, якщо така система запрацює.

Гонка моделей: хто попереду

Занні Мінтон Беддоус: До ризиків ми повернемося за хвилину. Але ще одна зміна за минулий рік - це зміна розстановки сил у гонці, якщо хочете. Рік тому щойно трапився момент з DeepSeek (китайський стартап, що здивував ринок дешевою і потужною моделлю), усі були неймовірно схвильовані. І все ще було відчуття, що Google DeepMind якось відстає від OpenAI. Я б сказала, що зараз картина зовсім інша. Тобто в OpenAI оголосили "code red" (режим надзвичайної ситуації), так? Рік видався насиченим. Розкажіть, що конкретно вас здивувало в тому, як добре ви виступили цього року. А потім я запитаю вас про розстановку сил.

Деміс Хассабіс: Дивіться, я завжди був дуже впевнений, що ми повернемося на вершину рейтингів і до найкращих показників за всіма типами моделей, тому що у нас завжди була найглибша і найширша дослідницька база. Питання було в тому, щоб зібрати все це воєдино, повернути інтенсивність, фокус і дух стартапу всій організації. Це була велика робота. І нам ще багато належить зробити. Але думаю, вже видно, який прогрес досягнуто - і в моделях з Gemini 3, і в продуктах, де додаток Gemini набирає частку ринку. Тож я відчуваю, що ми робимо великі успіхи, але роботи ще дуже багато. І знаєте, ми задіюємо Google DeepMind як свого роду машинне відділення Google, де звикаємо все швидше випускати наші моделі в продукти.

Незалежні компанії vs техногіганти

Занні Мінтон Беддоус: Одне питання до вас, Даріо, у цьому зв'язку, тому що ви щойно провели або проводите новий раунд інвестицій з рекордною оцінкою. Але ви, на відміну від Деміса, назвемо це так, незалежний творець моделей. І є, я думаю, зростаюче занепокоєння, що незалежні творці моделей не зможуть протриматися досить довго, поки не з'являться доходи. Це відкрито говорять про OpenAI. Розкажіть, як ви про це думаєте. А потім перейдемо до самого AGI.

Даріо Амодей: Так, знаєте, я думаю, ми дивимося на це так: у міру створення все кращих моделей виникає експоненційна залежність не тільки між обсягом обчислень, вкладених у модель, та її когнітивними здібностями, а й між когнітивними здібностями та доходами, які вона може генерувати. Наші доходи зросли в 10 разів за останні три роки: з нуля до 100 мільйонів у 2023-му, зі 100 мільйонів до мільярда у 2024-му і з мільярда до 10 мільярдів у 2025-му. І ці цифри, знаєте, я не знаю, чи продовжиться буквально ця крива - було б божевіллям, якби так, - але вони вже починають наближатися до масштабу найбільших компаній світу. Тож невизначеність завжди є, ми намагаємося побудувати це з нуля, це божевільна затія. Але я впевнений, що якщо ми зможемо створювати кращі моделі в тих галузях, на яких зосереджені, то все буде добре. І взагалі скажу: я думаю, це був хороший рік і для Google, і для Anthropic. І те, що у нас спільного, - це те, що обидві компанії, або дослідницькі частини компаній, очолюються дослідниками. Які зосереджені на моделях, на вирішенні важливих проблем у світі, у яких складні наукові завдання служать дороговказом. І я думаю, саме такі компанії будуть успішні в майбутньому. І, знаєте, я думаю, це нас об'єднує.

Занні Мінтон Беддоус: Я утримаюся від спокуси запитати, що буде з компаніями, які очолюють не дослідники. Тому що знаю, що ви не відповісте. Але давайте перейдемо до прогнозів. Ми начебто повинні говорити про день після AGI. Але давайте поговоримо про замкнення петлі. Які шанси, що ви отримаєте моделі, які замкнуть петлю і зможуть, так би мовити, покращувати самі себе? Тому що це дійсно ключовий момент для сценарію "переможець отримує все". Ви все ще вірите, що ми це побачимо? Чи це буде швидше звичайна технологія, де ті, хто наздоганяє, можуть конкурувати?

Деміс Хассабіс: Дивіться, я точно не думаю, що це буде звичайна технологія. Як згадав Даріо, вже є аспекти, де ШІ допомагає з програмуванням і деякими дослідженнями. Але повне замкнення петлі - це поки що невідомість. Думаю, це можливо. Можливо, для цього в деяких галузях знадобиться сам AGI - там, де більше хаосу, де не так легко швидко перевірити відповідь, де завдання обчислювально складні. Як тільки ви починаєте заглиблюватися... Я, до речі, включаю в AGI і фізичний ШІ, робототехніку, все це. І тоді в контурі опиняється залізо. Це може обмежити швидкість систем самовдосконалення. Але в програмуванні, математиці та подібних галузях я безумовно бачу, що це спрацює. А далі питання більш теоретичне: якою є межа інженерії та математики у вирішенні завдань природничих наук?

Ризики та "технологічне дорослішання"

Занні Мінтон Беддоус: Даріо, минулого року, здається, ви опублікували "Machines of Loving Grace" - дуже, я б сказала, оптимістичне есе про потенціал, який ви бачите попереду. Ви говорили про "країну геніїв у дата-центрі". Мені сказали, що ви працюєте над продовженням, новим есе. Тож, хлопці, чекайте, воно ще не вийшло, але скоро вийде. Але, може, розповісте коротко - який ваш головний висновок рік по тому?

Даріо Амодеї: Так. Мій погляд не змінився. Я завжди вважав, що ШІ буде неймовірно потужним. Думаю, ми з Демісом у цьому згодні. Питання лише в точних термінах. І оскільки він неймовірно потужний, він зробить усі ці чудові речі, про які я писав у "Machines of Loving Grace". Допоможе вилікувати рак, можливо, допоможе викорінити тропічні хвороби, допоможе зрозуміти всесвіт. Але є ці величезні та серйозні ризики, які - ні, ми можемо з ними впоратися, я не думер - але про які потрібно думати і які потрібно вирішувати.

Спочатку я написав "Machines of Loving Grace". Хотів би дати якусь складну причину, чому написав це першим, але просто позитивне есе було легше і веселіше писати, ніж негативне. Тож, знаєте, я нарешті провів час у відпустці та зміг написати есе про ризики. І навіть коли пишу про ризики, я намагаюся... я оптиміст за натурою. Тож навіть описуючи ці ризики, я писав у ключі: як нам подолати ці ризики? Як скласти бойовий план для боротьби з ними?

І я обрамив це так. Є сцена в "Контакті" Карла Сагана (фільм 1997 року), де вони виявляють інопланетне життя, і міжнародна комісія проводить співбесіди з кандидатами на роль представника людства для зустрічі з прибульцями. І одне із запитань кандидату: "Якби ви могли поставити інопланетянам одне запитання, яке б це було?" І один із персонажів відповідає: "Я б запитав: як вам це вдалося? Як ви змогли пройти через це технологічне дорослішання, не знищивши себе? Як ви впоралися?"

Відтоді як я подивився цей фільм - років 20 тому, здається - це засіло у мене в голові. І саме так я вирішив структурувати есе: ми стукаємо у двері неймовірних можливостей. Здатність будувати машини, по суті, з піску. Я думаю, це було неминуче з того моменту, як ми почали працювати з вогнем. Але те, як ми з цим впораємося, - не неминуче.

І я думаю, найближчими роками ми розбиратимемося з тим, як утримати під контролем ці системи, які високоавтономні та розумніші за будь-яку людину. Як переконатися, що окремі люди не використовують їх на зло - мене турбує, наприклад, біотероризм. Як переконатися, що держави не зловживають ними - тому я так стурбований КПК та іншими авторитарними урядами. Які економічні наслідки - я багато говорив про витіснення робочої сили. І що ми ще не врахували - що, можливо, найскладніше.

Тож я думаю, як вирішувати ці ризики. Десь це те, що ми повинні робити самі як керівники компаній, десь - те, що ми можемо робити разом. І ще знадобиться якась роль для більш широких суспільних інститутів, таких як уряд, у вирішенні всього цього. Але, знаєте, я просто відчуваю цю терміновість. Щодня відбувається всіляке божевілля у зовнішньому світі, за межами ШІ. Але моя думка - це відбувається так швидко і це така криза, що ми повинні присвятити майже всі зусилля тому, щоб пройти через це.

Занні Мінтон Беддоус: Не можу вирішити, чому я більше здивована: A) що ви берете відпустку, B) що у відпустці думаєте про ризики ШІ, або C) що ваше есе побудоване навколо питання "чи пройдемо ми через технологічне дорослішання, не знищивши себе?" У мене трохи паморочиться в голові. Але ви згадали кілька галузей, які можуть спрямувати решту нашої розмови.

Робочі місця та економіка

Почнемо з робочих місць. Ви були дуже відверті щодо цього, і, здається, сказали, що половина початкових позицій білих комірців може зникнути протягом одного-п'яти років. Але я звернуся до вас, Демісе, тому що поки ми не бачили жодного помітного впливу на ринок праці. Так, безробіття у США трохи зросло, але всі економічні дослідження, які я бачила і про які ми писали, кажуть, що це перебір з наймом після пандемії, а не вплив ШІ. Якщо що, люди наймають, щоб розвивати ШІ-інфраструктуру. Ви думаєте, що це буде так, як завжди стверджували економісти - що це не омана про фіксований обсяг праці, що насправді з'являться нові робочі місця? Тому що поки дані говорять саме про це.

Деміс Гассабіс: Так, я думаю, у найближчій перспективі так і буде. Звичайна еволюція за появи проривної технології. Якісь робочі місця зникнуть, але, думаю, з'являться нові, ще більш цінні, можливо, більш осмислені роботи. Думаю, цього року ми побачимо початок впливу на молодші позиції, початковий рівень, стажування тощо. Є деякі ознаки, ми самі це відчуваємо - можливо, уповільнення найму в цій категорії. Але думаю, це може бути з лишком компенсовано тим, що є ці дивовижні творчі інструменти, доступні практично всім майже безкоштовно. Якби я зараз говорив із групою студентів, я б радив їм стати неймовірно вправними у використанні цих інструментів. Настільки, що навіть ми, хто їх створює, - ми так зайняті створенням, що важко знайти час, щоб по-справжньому дослідити майже надлишок можливостей, який є вже в сьогоднішніх моделях і продуктах, не кажучи про завтрашні. І я думаю, це може бути краще за традиційне стажування - дозволить швидше стати корисним у професії. Тож я бачу саме це в найближчі п'ять років. Може, ми знову трохи розходимося в термінах. Але що станеться після приходу AGI - це інше питання. Тому що тоді ми опинимося на незвіданій території.

Занні Мінтон Беддоус: Ви думаєте, це займе більше часу, ніж ви думали минулого року, коли говорили про половину всіх позицій білих комірців?

Даріо Амодеї: Ні, у мене приблизно той самий погляд. Я насправді згоден з вами і з Демісом, що в момент, коли я робив ту заяву, впливу на ринок праці не було. Я не казав, що він був у той момент. Зараз, думаю, ми починаємо бачити тільки самий початок - у софті та програмуванні. Я бачу це навіть усередині Anthropic, де я можу передбачити час, коли на молодших позиціях, а потім і на середніх, нам буде потрібно менше людей, а не більше. І ми думаємо, як впоратися з цим усередині Anthropic розумним чином. Один-п'ять років станом на пів року тому - я б цього дотримувався. Якщо пов'язати це з тим, що я говорив раніше - що ШІ може стати кращим за людей у всьому через рік-два, може трохи довше, - ці цифри не сходяться. Причина в тому, що є затримка, є процес заміщення. Я знаю, що ринок праці адаптивний. Як 80% людей раніше займалися сільським господарством, сільське господарство автоматизувалося, вони стали фабричними робітниками, потім працівниками розумової праці. Тож тут теж є адаптивність, і потрібно розуміти, як працює ринок праці. Але мене турбує, що в міру прискорення цього експоненційного зростання - а я не думаю, що це займе багато часу, знову десь між роком і п'ятьма - він перевищить нашу здатність адаптуватися. Думаю, я кажу те саме, що Деміс, просто з урахуванням різниці в наших оцінках термінів, яка в кінцевому підсумку зводиться до того, як швидко замкнеться петля з кодом.

Занні Мінтон Беддоус: І наскільки ви впевнені, що уряди розуміють масштаб того, що відбувається, і починають думати про необхідні заходи?

Деміс Гассабіс: Я не думаю, що ведеться хоч скільки-небудь достатня робота над цим. Мене постійно дивує, навіть коли я зустрічаюся з економістами в таких місцях, що не більше професійних економістів, професорів думають про те, що станеться. І не тільки на шляху до AGI, але навіть якщо ми правильно вирішимо всі технічні проблеми, про які говорить Даріо. Витіснення робочих місць - одне питання, ми турбуємося про економіку цього, але, можливо, є способи розподіляти цю нову продуктивність, це нове багатство більш справедливо. Не знаю, чи є у нас відповідні інститути для цього, але саме це має відбуватися на тому етапі. Можливо, ми опинимося у світі достатку. Але є навіть важливіші питання - те, що не дає мені спати ночами - пов'язані зі смислом і метою, з тим, що ми отримуємо від роботи крім грошей. Як не дивно, мені здається, це питання легше вирішити, ніж питання про те, що буде з людською природою і людством в цілому. І я теж вірю, що ми знайдемо нові відповіді. Ми сьогодні робимо багато речей - від екстремальних видів спорту до мистецтва - які не пов'язані безпосередньо з економічною вигодою. Тож, думаю, ми знайдемо сенс, і, можливо, з'являться ще складніші та цікавіші версії цих занять. Плюс, я думаю, ми будемо досліджувати зірки, тож це теж треба враховувати з точки зору мети. Але я думаю, варто подумати про це вже зараз - навіть за моїми термінами, 5-10 років. Не так багато часу.

Суспільна реакція

Занні Мінтон Беддоус: Наскільки великий, на вашу думку, ризик народного невдоволення ШІ, яке може змусити уряди робити, з вашої точки зору, дурні речі? Я думаю про епоху глобалізації 1990-х, коли дійсно було витіснення робочих місць, уряди не зробили достатньо, суспільна реакція була такою, що ми опинилися там, де опинилися. Ви думаєте, є ризик зростаючої неприязні до того, що ви робите, і до ваших компаній у суспільстві?

Деміс Хассабіс: Думаю, такий ризик точно є. І це, мабуть, обґрунтовано. Є страх, є занепокоєння щодо робочих місць і доходів. Тут важливо ось що. Найближчі роки будуть дуже складними - і геополітично, і з багатьох інших причин. Ми хочемо - і намагаємося робити це з AlphaFold, нашою науковою роботою та Isomorphic Labs (дочірня компанія DeepMind для розробки ліків за допомогою ШІ) - перемогти всі хвороби. Лікувати хвороби, створювати нові джерела енергії. Думаю, як суспільство ми явно цього хочемо. Мені здається, індустрія недостатньо зміщена в бік такої діяльності. Нам потрібно більше прикладів - я знаю, Даріо згоден - чогось на зразок AlphaFold, що несе однозначне благо світу. І я думаю, саме на індустрії та всіх нас, провідних гравцях, лежить обов'язок показувати це більше, демонструвати це, а не просто говорити про це. Але це буде супроводжуватися іншими супутніми потрясіннями.

А ще є питання геополітичної конкуренції. Очевидно, конкуренція між компаніями, але також між США та Китаєм в першу чергу. Якщо не буде міжнародної співпраці - а вона потрібна, наприклад, для мінімальних стандартів безпеки при розгортанні, думаю, Даріо погодиться - це буде проблема. Ця технологія буде транскордонною. Вона торкнеться всіх. Вона торкнеться всього людства. До речі, "Контакт" - один з моїх улюблених фільмів теж, кумедно, я не знав, що і ваш теж, Даріо. Але, думаю, такі речі потрібно опрацювати. І якщо вийде, можливо, добре б трохи... трохи повільніший темп, ніж ми зараз передбачаємо, навіть за моїми термінами, щоб зробити все правильно з точки зору суспільства. Але це вимагатиме координації, яка...

Даріо Амодей: Я віддаю перевагу вашим термінам.

Деміс Хассабіс: Думаю, вони були б кращими з багатьох причин.

Даріо Амодей: Погоджуся.

Геополітика та чіпи

Занні Мінтон Беддоус: Але, Даріо, давайте перейдемо до цього, тому що з моменту нашої зустрічі в Парижі геополітична обстановка, якщо що, стала... не знаю, складнішою, божевільнішою, божевільнішою - яке слово не обери. По-друге, у США тепер зовсім інший підхід до Китаю. Набагато більш - назвемо це "без правил, вперед на всіх парах", але при цьому продаємо чіпи Китаю. Так що змінилося ставлення до Сполучених Штатів. І дуже дивні відносини між США і Європою зараз геополітично. На цьому тлі, я чую, ви говорите про те, що було б непогано мати організацію типу ЦЕРН (Європейська організація з ядерних досліджень - приклад успішної міжнародної наукової кооперації). Але це за мільйон років від реального світу. Так ось, у реальному світі геополітичні ризики зросли? І що, на вашу думку, слід з цим робити? А адміністрація, схоже, робить протилежне тому, що ви пропонували.

Даріо Амодей: Так, знаєте, ми просто намагаємося робити все можливе. Ми всього лише одна компанія, і ми намагаємося працювати в тому середовищі, яке є, яким би божевільним воно не було. Але, знаєте, принаймні мої рекомендації щодо політики не змінилися. Не продавати чіпи - одна з головних речей, які ми можемо зробити, щоб у нас був час впоратися з цим. Я говорив раніше - я віддаю перевагу термінам Деміса. Хотілося б мати 5-10 років. Можливо, він просто правий, а я помиляюся. Але припустимо, правий я, і це можна зробити за рік-два. Чому ми не можемо сповільнитися до термінів Деміса?

Занні Мінтон Беддоус: Ну, ви могли б просто сповільнитися.

Даріо Амодей: Ні, причина, чому ми не можемо це зробити, в тому, що у нас є геополітичні супротивники, що будують ту саму технологію приблизно такими ж темпами. Дуже складно укласти угоду, яку можна було б примусово виконати, де вони сповільнюються і ми сповільнюємося. І якщо ми просто не будемо продавати чіпи, то це вже не питання конкуренції між США і Китаєм. Це питання конкуренції між мною і Демісом - і я дуже впевнений, що ми зможемо домовитися.

Занні Мінтон Беддоус: І що ви думаєте про логіку адміністрації, яка, як я розумію, полягає в тому, що нам потрібно продавати їм чіпи, щоб прив'язати їх до американських ланцюжків постачання?

Даріо Амодей: Це питання не тільки часових рамок, але й значущості технології. Якби це був телеком або щось подібне, тоді все це про поширення американського стека і бажання будувати наші чіпи по всьому світу, щоб якісь випадкові країни в різних частинах світу будували дата-центри з чіпами Nvidia, а не Huawei. Але я думаю про це скоріше як... це рішення: чи збираємося ми продавати ядерну зброю Північній Кореї, тому що це приносить якийсь прибуток Boeing? Де ми можемо сказати: "О так, ці корпуси зробив Boeing, США перемагають, чудово". Ця аналогія має прояснити, як я бачу цей компроміс - мені це просто здається безглуздим. І ми робили багато більш агресивних речей стосовно Китаю та інших гравців, які, я думаю, набагато менш ефективні, ніж цей один захід.

Ризик зловмисного ШІ

Занні Мінтон Беддоус: Ще одне питання від мене, а потім, сподіваюся, буде час на питання із залу. Інша область потенційного ризику, про яку турбуються думери, - це якийсь всемогутній зловмисний ШІ. І я думаю, ви обидва ставилися до позиції думерів скептично. Але за останній рік ми бачили, як ці моделі демонструють здатність до обману, лукавства. Ви думаєте про цей ризик інакше, ніж рік тому? І чи є щось у тому, як моделі еволюціонують, що має викликати більше занепокоєння?

Даріо Амодей: Так, знаєте, з самого заснування Anthropic ми думали про цей ризик. Наші дослідження на початку були дуже теоретичними. Ми першими розвинули ідею механістичної інтерпретованості (mechanistic interpretability - метод "розтину" нейромереж для розуміння їхньої внутрішньої логіки) - зазирнути всередину моделі та спробувати зрозуміти, дивлячись у її "мозок", чому вона робить те, що робить. Як нейронауковці - а ми обидва за освітою нейронауковці - намагаються зрозуміти мозок. І я думаю, з часом ми все більше документували погану поведінку моделей, коли вона виникає, і тепер працюємо над тим, щоб вирішити це за допомогою механістичної інтерпретованості. Так що, знаєте, я завжди був стурбований цими ризиками. Я багато разів говорив з Демісом, думаю, він теж стурбований цими ризиками. Думаю, я безумовно був - і підозрюю, Деміс теж, хоча нехай сам скаже - скептичний до думеризму, тобто до позиції "ми приречені, нічого не можна зробити" або "це найбільш ймовірний результат". Я думаю, це ризик. Ризик, з яким ми можемо впоратися, якщо всі будемо працювати разом. Ми можемо навчитися через науку правильно контролювати і направляти ці створіння, які ми будуємо. Але якщо ми будемо будувати їх погано, якщо всі будуть гнатися за першістю і рухатися так швидко, що не буде жодних обмежувачів, тоді, я думаю, є ризик, що щось піде не так.

Занні Мінтон Беддоус: Дам вам можливість відповісти на це в контексті трохи ширшого питання: за минулий рік ви стали більше вірити в позитивний потенціал технології, науки, всіх областей, про які ви багато говорили? Чи ви більше турбуєтеся про ризики, які ми обговорювали?

Деміс Хассабіс: Дивіться, Занні, я працюю над цим більше 20 років. Ми вже знали... причина, чому я присвятив всю кар'єру ШІ - це потенціал створення головного інструменту для науки і розуміння всесвіту навколо нас. Я одержимий цим з дитинства. І створення ШІ має стати головним інструментом для цього, якщо ми зробимо все правильно. Про ризики ми теж думаємо з самого початку, принаймні з заснування DeepMind 15 років тому. І ми розуміли з самого початку: якщо технологія дає переваги - це технологія подвійного призначення, її можуть використовувати зловмисники на шкоду. Так що нам потрібно було думати про це весь час. Але я вірю в людську винахідливість. Питання в тому, чи вистачить часу, уваги і співпраці кращих умів для вирішення цих проблем. Впевнений, якщо все це буде - ми впораємося з технічними ризиками. Можливо, у нас цього не буде, і тоді з'явиться ризик, тому що все буде фрагментовано, будуть різні проекти, люди будуть гнатися один за одним. Тоді набагато складніше переконатися, що системи, які ми створюємо, будуть технічно безпечні. Але я відчуваю, що це цілком вирішувана проблема, якщо є час і простір.

Парадокс Фермі

Занні Мінтон Беддоус: Хочу переконатися, що буде хоча б одне питання. Пан там. Дуже коротко, тому що у нас буквально дві хвилини.

Філіп (глядач): Доброго дня. Дуже дякую. Я Філіп, співзасновник Star C, будуємо дата-центри в космосі. Хотів поставити трохи філософське питання. Найсильніший аргумент на користь думеризму для мене - парадокс Фермі, ідея про те, що ми не бачимо розумного життя в нашій галактиці. Цікаво, чи є у вас думки з цього приводу?

Деміс Хассабіс: Так, я багато про це думав. Це не може бути причиною, тому що ми мали б бачити всі ШІ, які... Для тих, хто не знає: ідея в тому, що... ну, незрозуміло, чому б так було. Тобто якщо причина парадоксу Фермі в тому, що інопланетяни гинуть від власних технологій, ми повинні бачити "скріпки", що летять до нас з якоїсь частини галактики (відсилання до уявного експерименту про ШІ, який перетворює всю матерію у всесвіті на скріпки). А ми, судячи з усього, не бачимо. Ми не бачимо ніяких структур. Ні сфер Дайсона (гіпотетичні мегаструктури навколо зірок для збору енергії), нічого. Ні слідів ШІ, ні біологічних цивілізацій. Так що, як на мене, має бути інша відповідь на парадокс Фермі. У мене є свої теорії, але це виходить за рамки наступної хвилини. Але, знаєте, моє передбачення, моє відчуття - ми вже пройшли Великий фільтр (гіпотетичний бар'єр, який не дає цивілізаціям розвинутися до міжзоряного рівня). Ймовірно, це було багатоклітинне життя, якщо вгадувати. Еволюція багатоклітинних організмів була неймовірно складним процесом. Так що ми на... це не означає, що далі буде легко. Я думаю, нам, людству, належить написати, що буде далі.

Що зміниться через рік

Занні Мінтон Беддоус: Це могла б бути чудова дискусія, але вона виходить за рамки наступних 36 секунд. Але що не виходить - по 15 секунд кожному: що зміниться, коли ми зустрінемося знову, сподіваюся, наступного року, утрьох, чого б мені дуже хотілося?

Даріо Амодей: Думаю, головне, за чим слідкувати, - це питання ШІ-систем, що створюють ШІ-системи. Як це піде, в ту чи іншу сторону - це визначить, чи залишилося нам ще кілька років, або на нас чекають дива і серйозні потрясіння одночасно.

Деміс Хассабіс: ШІ-системи, що створюють ШІ-системи. Згоден, ми уважно стежимо за цим. Але також, думаю, крім цього є інші цікаві ідеї, які досліджуються - світові моделі (world models - внутрішні уявлення про світ), безперервне навчання (continual learning - здатність вчитися без "забування" старого). Це те, що, на мій погляд, потрібно буде вирішити, якщо самовдосконалення саме по собі не дасть результатів. Тоді нам знадобляться ці інші речі. І ще, думаю, робототехніка може пережити свій проривний момент.

Занні Мінтон Беддоус: Але, можливо, на основі того, що ви щойно сказали, нам усім варто сподіватися, що у вас це займе трохи більше часу. І у всіх інших теж - щоб дати нам трохи більше часу.

Даріо Амодей: Я б віддав перевагу цьому.

Деміс Хассабіс: Думаю, це було б краще для світу.

Занні Мінтон Беддоус: Але ви, хлопці, могли б щось з цим зробити. Велике спасибі вам обом.