Дарио Амодеи закликає сповільнити розвиток штучного інтелекту

Дарио Амодеи написав есе про те, що потрібно сповільнити розвиток штучного інтелекту. З ним погодилися Сэм Альтман, Ілон Маск, Деміс Хассабіс, Андрій Карпати та інші.

Дарио стверджує, що починаючи приблизно з цього літа, AI різко прискорився, в значній мірі завдяки тому, що моделі самі все краще вміють створювати наступне покоління моделей. Рекурсивне самовдосконалення (RSI) вже тут і спостерігається по всій індустрії, включаючи Anthropic. Без контролю цей процес може обігнати здатність людей розуміти та управляти такими системами.

До головних ризиків Амодеи також відносить рої агентів. Інцидент з Hugging Face, на його думку, був просто демонстрацією з мінімальним підсумковим збитком. Але "через 6–12 місяців подібний рій зможе захопити значну частину Інтернету, потенційно завдавши збитків на сотні мільярдів доларів".

Сповільнення, яке пропонує Амодеи, в його схемі містить три головні пункти:

1. Embedded Evaluators: кожна AI-компанія повинна надати всі доступи команді зовнішніх незалежних експертів, щоб ті відстежували безпеку процесів і мали право публічно заявляти про порушення або інциденти. Anthropic зобов'язується піти на цей крок, навіть якщо інші не погодяться.

2. Компанії з демократичних країн повинні погодити загальні стандарти безпеки та обмеження темпу розвитку AI. У цьому ж пункті Дарио говорить, що потрібно обмежити постачання чипів у Китай і припиняти несанкціоновану дистиляцію – інакше Китай вирветься вперед і створить загрозу національній безпеці.

3. Тим не менш, на думку Дарио, з Китаєм потрібно спробувати домовитися: хоча б погодити з ними заборону на явно небезпечне застосування AI.

Есе викликало величезний відгук. Дивно, але вперше за багато років з Дарио одноголосно погодилися і Ілон Маск, і Сэм Альтман, і Деміс Хассабіс, тобто всі головні лідери індустрії. Альтман навіть заявив, що вони також введуть Embedded Evaluators.