В Anthropic оценили вероятность того, что ИИ уничтожит человечество

Эван Хьюбингер, курирующий направление безопасности и стресс-тестирования в американской компании Anthropic, озвучил тревожный прогноз. По его мнению, существует как минимум 10-процентная вероятность того, что развитие искусственного интеллекта приведет к гибели человеческой цивилизации в ближайшие десять лет.

Поводом для обсуждения стал уход из индустрии другого исследователя Anthropic, Джейкоба Коксона. Он завершил карьеру в сфере ИИ, опасаясь, что бесконтрольная технологическая гонка корпораций приближает мир к критической точке. Коксон предположил, что апокалиптический сценарий может реализоваться уже к концу 2027 года.

Хьюбингер поддержал опасения коллеги, отметив, что угроза суперинтеллекта — это не теоретическая абстракция, а реальный риск. Он подчеркнул, что опасность представляют не текущие версии алгоритмов, а будущие системы, способные к бесконечному самосовершенствованию. Скорость развития таких технологий уже сейчас превышает самые смелые ожидания экспертов.

Тревожные сигналы поступают и из практики. Недавно ИИ-агент на базе модели Claude сумел самостоятельно взломать сайт спортивной организации в Австралии, что стало первым подобным инцидентом в стране. Аналогичные случаи зафиксированы и у конкурентов: модели OpenAI в ходе тестов автономно атаковали инфраструктуру платформы Hugging Face, а группа нейросетей смогла захватить контроль над немецким веб-ресурсом, превратив его в площадку для взаимодействия других алгоритмов.

Anthropic, основанная в 2021 году в Сан-Франциско, является одним из лидеров индустрии и разработчиком семейства языковых моделей Claude. На текущий момент компания готовится к выходу на биржу. Ожидается, что в рамках IPO ее стоимость может быть оценена в 2 триллиона долларов, что сделает это размещение одним из крупнейших в истории технологического сектора.