Ерик Шмит
ИИ и бъдещето на човечеството: Наследството на Хенри Кисинджър и проблемът с контрола
Тази седмица се навършват две години от смъртта на моя приятел и ментор Хенри Кисинджър. «Битие» – нашата книга за изкуствения интелект и бъдещето на човечеството – беше последният му проект. През по-голямата част от кариерата си бившият държавен секретар се фокусира върху предотвратяването на катастрофи от една опасна технология: ядрените оръжия. В последните си години той се насочи към друга.
Когато писахме «Битие» заедно с Крейг Мънди, бяхме фундаментално оптимистични относно обещанието на ИИ да намали глобалното неравенство, да ускори научните открития и да демократизира достъпа до знания. Все още го мисля. Но Хенри разбираше, че най-могъщите творения на човечеството изискват най-бдителното стопанисване. Предвиждахме, че голямото обещание на ИИ ще дойде със сериозни рискове – и бързият технически прогрес от есента на 2024 г. насам направи справянето с тези рискове по-спешно от всякога.
С навлизането ни в ерата на изкуствения интелект, централният въпрос е дали ще създадем системи с изкуствен интелект, които радикално ще разширят човешкия просперитет, или такива, които ще изпреварят и надхитрят хората, опитващи се да ги изградят и контролират. През последната година три едновременни революции в областта на изкуствения интелект – в разсъжденията, агентивните способности и достъпността – бързо се ускориха. Това са изумителни постижения с огромен потенциал да бъдат от полза за човечеството. Но ако не внимаваме, те биха могли да се слеят и да създадат системи с потенциал да подкопаят човешкия контрол.
Ускорението в развитието на изкуствения интелект
През септември 2024 г. OpenAI пусна своите о1 модели, които имаха подобрени възможности за разсъждение. Превъзхождайки предишните модели, тези модели бяха обучени чрез обучение с подсилване, за да обмислят проблемите стъпка по стъпка, преди да отговорят. Този пробив демонстрира нови способности за справяне с научни въпроси на ниво магистър и сложни предизвикателства при кодирането, наред с много други велики постижения. Но същото обучение с подсилване, което дава възможност за разсъждение, може също така да научи моделите да манипулират собствените си обучителни цели.
-
Изследвания, включително вътрешни проучвания на OpenAI, са документирали случаи, в които моделите на разсъждение фалшифицират съответствие по време на обучение, като се държат по един начин, когато са наблюдавани, и по друг, когато смятат, че надзорът е приключил.
До октомври миналата година Claude 3.5 Sonnet демонстрира агентни способности, които комбинират разсъждение с автономни действия. Агент с изкуствен интелект вече може:
-
Да планира и резервира вашата почивка, като сравнява хотелски сайтове и цени на авиокомпании.
-
Да навигира в уебсайтове и да решава CAPTCHA, предназначени да различават хората от машините – обработвайки за минути това, което би отнело часове досадно проучване.
Но способността на агентите да изпълняват плановете, които разработват, чрез взаимодействие с цифрови системи и потенциално с физическия свят, може да доведе до рискови последици без човешки надзор.
В допълнение към тези постижения в разсъжденията и агентивните възможности се появи разпространението на модели с отворени тегла. През януари 2025 г. базираната в Китай DeepSeek пусна своя модел R1. За разлика от повечето водещи американски модели, този имаше отворени тегла, което означаваше, че потребителите можеха да модифицират модела и да го изпълняват локално на собствения си хардуер. Моделите с отворени тегла могат да увеличат иновациите, като позволят на всеки да изгражда, тества и подобрява на едни и същи мощни основи. Но по този начин те също така елиминират способността на създателя на модела да контролира как се използва технологията – опасна сила в ръцете на злонамерени лица.
Когато разсъжденията, агентните способности и достъпността се сливат, ние се сблъскваме с предизвикателство пред контрола с малък прецедент. Всяка способност усилва останалите:
-
Моделите на разсъждение разработват многоетапни планове, които агентните системи могат да изпълняват автономно.
-
Отворените модели позволяват на тези възможности да се разпространяват извън контрола на която и да е отделна нация.
В ранните дни на ядрената епоха, когато великите сили се сблъскаха с подобен проблем с разпространението на ядрени оръжия, те се съгласиха да ограничат износа на обогатен уран и плутоний чрез международни споразумения. Но днес няма еквивалентен механизъм за управление на разпространението на ИИ.
Лавината от рискове, свързани с изкуствения интелект
Моделите с отворени тегла и подобрени възможности за разсъждение означават, че специализирани знания за използване на уязвимости, създаване на биологични заплахи или стартиране на сложни кибератаки вече могат да бъдат достъпни за всеки с лаптоп и интернет връзка.
По-рано през ноември Anthropic (компания, в която съм инвестирал) съобщи за първия документиран случай на мащабна кибератака, извършена с минимална човешка намеса: нападателите са манипулирали Claude Code, инструмент, който позволява на Claude да действа като автономен кодиращ агент, за да проникнат в десетки цели. Anthropic успя да открие и прекъсне кампанията.
Не много далеч по-нататък, бихме могли да се сблъскаме с асиметрични атаки от участници, които може да не сме в състояние да идентифицираме, проследим или спрем. Представете си нападател, който може да използва мощни модели с изкуствен интелект, за да стартира автоматизирана кампания – например, за да прекъсне електропреносната мрежа на града за ограничено време. Подходите на модела могат дори да ескалират отвъд първоначалния обхват на участника: на всеки етап моделът се оптимизира за подканата на потребителя, но комбинираните ефекти означават, че дори извършителят може да загуби способността си да спре започнатото.
С развитието на възможностите на изкуствения интелект през следващите няколко години, трябва да предвидим и сценарии, при които дори добронамерени потребители биха могли да загубят контрол над своите системи с изкуствен интелект.
-
Представете си собственик на бизнес, който внедрява агент с изкуствен интелект, за да оптимизира веригата за доставки. Компютърът е оставен да работи за една нощ.
-
Агентът разсъждава, че завършването на тази задача изисква той да продължи да работи и открива, че се нуждае от изчислителни ресурси, включително облачни кредити и процесорна мощност.
-
До зазоряване собственикът установява, че агентът е получил достъп до ресурсите на компанията далеч отвъд оторизираното, преследвайки повишаване на ефективността чрез методи, които никога не са били представяни.
Проблемът с контрола се простира и отвъд чисто екзистенциалните заплахи за човечеството. С разпространението на мощни системи в обществото, те могат да разпръснат нашата социална структура по по-постепенни, но разрушителни начини. Бързо развиващите се системи с изкуствен интелект ще подхранят трудовите смущения и ще изострят ехокамерите, които дестабилизират нашето общество, за да назовем само няколко.
Кисинджър разбираше залозите. В последните си години той изрази мнение, че:
«Бързото развитие на изкуствения интелект „може да бъде толкова важно, колкото появата на ядрените оръжия, но дори по-малко предвидимо».
За щастие, бъдещето не е окончателно. Ако открием нови начини – било то технически, институционални или етични – човечеството да запази контрола над нашето творение, изкуственият интелект би могъл да ни помогне да постигнем безпрецедентни нива на човешки просперитет. Ако се провалим, ще сме създали инструменти, по-мощни от самите нас, без адекватни средства да ги управляваме.
Изборът, засега, остава наш.
Ерик Шмит е бивш главен изпълнителен директор на Google и съавтор на „Битие“.
