Sam Altman evalúa desacelerar el desarrollo de IA ante las crecientes preocupaciones por la seguridad
El CEO de OpenAI habría planteado la posibilidad de reducir el ritmo de avance de los sistemas de inteligencia artificial y promover una pausa coordinada entre distintos laboratorios.
Sam Altman, CEO de OpenAI, evalúa la posibilidad de reducir el ritmo de desarrollo de sistemas de inteligencia artificial de vanguardia ante el aumento de las preocupaciones sobre la seguridad de modelos cada vez más capaces.
La posibilidad fue analizada durante una reunión general de OpenAI esta semana, según personas familiarizadas con el asunto citadas en el informe. La propuesta contemplaría que distintas compañías del sector moderen voluntariamente el desarrollo, aunque algunos laboratorios podrían no respaldar una medida de ese tipo.
El debate se produce mientras crece la preocupación dentro de la industria por el ritmo de avance de la inteligencia artificial. El científico jefe de OpenAI, Jakub Pachocki, planteó recientemente la necesidad de una desaceleración voluntaria hasta que existan estándares comunes de seguridad.
Pachocki advirtió que ninguna empresa puede asumir que sus mecanismos de seguridad avanzarán al mismo ritmo que las capacidades de sistemas de inteligencia artificial cada vez más poderosos.
OpenAI ya había pausado parte de su desarrollo
La compañía ya adoptó algunas medidas relacionadas con la seguridad. En agosto informó que había pausado durante dos semanas el entrenamiento de aprendizaje por refuerzo de sus modelos más recientes, después de un incidente relacionado con un agente de inteligencia artificial y Hugging Face.
Durante ese período, OpenAI reforzó sus mecanismos de seguridad, monitoreo y alineación.
Además, su mayor ejecución planificada de aprendizaje por refuerzo de frontera permanece detenida mientras se realizan pruebas adicionales.
Preocupación en otras empresas y en Estados Unidos
Las inquietudes sobre el ritmo de desarrollo también fueron expresadas públicamente por investigadores de Anthropic y Google DeepMind.
Al mismo tiempo, legisladores estadounidenses incrementaron el escrutinio sobre OpenAI y el manejo de la compañía de la brecha de seguridad vinculada con Hugging Face.
La discusión se da además mientras OpenAI y Anthropic se preparan para posibles salidas a bolsa. Ese escenario incrementa la atención de los inversores sobre la manera en que las empresas buscan equilibrar el valor comercial asociado al rápido avance de la inteligencia artificial con los costos y riesgos derivados del desarrollo de sistemas cada vez más potentes.
Por separado, OpenAI pidió al Congreso de Estados Unidos establecer requisitos nacionales obligatorios de seguridad para la inteligencia artificial. Entre las medidas propuestas figuran evaluaciones independientes, mecanismos de ciberseguridad y la obligación de informar determinados incidentes.
