Dario Amodei llama a ralentizar el desarrollo de la IA
Dario Amodei aboga por ralentizar el desarrollo de la IA, un llamado que ha recibido apoyo de figuras líderes en la industria. Destaca los riesgos asociados con la auto-mejora recursiva de la IA.
Dario Amodei ha escrito un ensayo sobre la necesidad de ralentizar el desarrollo de la IA, que ha sido respaldado por Sam Altman, Elon Musk, Demis Hassabis, Andrei Karpathy y otros.
Dario afirma que, a partir de este verano, la IA se ha acelerado drásticamente, en gran parte debido a que los modelos son cada vez más capaces de crear la siguiente generación de modelos por sí mismos. La auto-mejora recursiva (RSI) ya está aquí y se observa en toda la industria, incluida Anthropic. Sin control, este proceso podría superar la capacidad de la humanidad para entender y gestionar tales sistemas.
Entre los principales riesgos, Amodei también señala los enjambres de agentes. El incidente con Hugging Face, en su opinión, fue simplemente una demostración con un daño final mínimo. Sin embargo, "en 6-12 meses, un enjambre similar podría capturar una parte significativa de Internet, causando potencialmente cientos de miles de millones de dólares en daños."
La desaceleración que propone Amodei se encapsula en tres puntos principales:
Evaluadores Integrados: cada empresa de IA debe otorgar acceso a un equipo de expertos independientes externos para monitorear los procesos de seguridad y tener el derecho de informar públicamente sobre violaciones o incidentes. Anthropic se compromete a dar este paso, incluso si otros no están de acuerdo.
Las empresas de países democráticos deben acordar estándares de seguridad comunes y límites en el ritmo de desarrollo de la IA. En este punto, Dario menciona que se deben restringir los suministros de chips a China y detener la destilación no autorizada; de lo contrario, China se adelantará y creará una amenaza para la seguridad nacional.
Sin embargo, según Dario, se deben intentar negociaciones con China: al menos acordar con ellos una prohibición sobre aplicaciones de IA claramente peligrosas.
El ensayo ha generado una gran respuesta. Sorprendentemente, por primera vez en muchos años, Dario ha recibido el apoyo unánime de Elon Musk, Sam Altman y Demis Hassabis, todos ellos líderes importantes de la industria. Altman incluso declaró que ellos también implementarán Evaluadores Integrados.
Por qué es importante
АналітикаEsto es importante, ya que la discusión sobre los riesgos asociados con el desarrollo de la IA se vuelve cada vez más relevante a la luz de los rápidos avances tecnológicos. La postura unificada de las figuras líderes de la industria podría influir en la futura regulación de la IA.
Debatir en la comunidad
Діліться своїм досвідом та думками з ШІ-розробниками