General
La advertencia del CEO de OpenAI: “Hay dos formas en que el progreso de la Inteligencia Artificial podría salir muy mal”
Sam Altman volvió a poner el foco en los riesgos asociados al avance acelerado de la inteligencia artificial. En una extensa publicación en X, el CEO de OpenAI sostuvo que las empresas que desarrollan los modelos más avanzados deben asumir nuevas responsabilidades y reclamó un marco federal que establezca requisitos de seguridad comunes para toda la industria.
Pero su advertencia fue más allá de la necesidad de regular. Altman señaló dos escenarios que, a su entender, podrían llevar el desarrollo de la IA por un camino extremadamente peligroso: que los humanos pierdan el control sobre sistemas cada vez más capaces y que una cantidad excesiva de poder quede concentrada en una persona, una empresa o incluso un país.
“Estamos inequívocamente del lado de la humanidad”
Altman planteó como primera amenaza la posibilidad de que la humanidad termine perdiendo el control sobre el futuro frente a sistemas de inteligencia artificial cada vez más poderosos.
“Esto es inaceptable”, sostuvo, y remarcó que OpenAI está “inequívocamente del lado de la humanidad”. Según explicó, la IA debe estar siempre al servicio de las personas y, para conseguirlo, las técnicas de alineación y seguridad tienen que avanzar por delante de las capacidades de los modelos.
El concepto de alineación refiere, en términos generales, a conseguir que los sistemas de IA se comporten de acuerdo con los objetivos y valores definidos por los seres humanos, incluso a medida que se vuelven más capaces y autónomos.
Para Altman, uno de los desafíos actuales es que las medidas de seguridad ya no pueden concentrarse únicamente en el momento previo al lanzamiento de un modelo.
OpenAI quiere evaluar los riesgos antes de entrenar modelos más capaces
El CEO de la compañía explicó que OpenAI comenzó a utilizar nuevos mecanismos para analizar los riesgos durante el propio proceso de desarrollo.
Altman recordó que, años atrás, empresas como OpenAI desarrollaron políticas como las “Responsible Scaling Policies” y los “Preparedness Frameworks”, enfocadas principalmente en la seguridad de los modelos antes de su implementación.
Ahora, según explicó, el escenario cambió. El aumento de las capacidades de los modelos obliga a incorporar evaluaciones de seguridad durante su desarrollo.
Como ejemplo, señaló que OpenAI actualmente prepara “casos de seguridad” antes de determinadas etapas de entrenamiento mediante reinforcement learning —aprendizaje por refuerzo— que podrían incrementar significativamente las capacidades de un modelo.
La idea es anticipar los posibles riesgos antes de ejecutar procesos que puedan producir saltos importantes en las capacidades de los sistemas.
Altman también planteó que otras empresas deberían desarrollar sus propios mecanismos y que la industria debería avanzar hacia estándares compartidos para cuestiones como la detección de desalineación, el monitoreo y la seguridad.
“Pacing” no significa frenar el desarrollo de la IA
Otro de los puntos centrales de su publicación fue el concepto de “pacing”, utilizado para describir la necesidad de regular el ritmo del desarrollo.
Altman aclaró que cuando habla de “pacing” no está planteando detener el progreso de la inteligencia artificial.
“Progresar ha sido rápido y continuará siéndolo”, afirmó. Pero agregó que el avance debería ser más lento de lo que sería técnicamente posible si eso permite implementar mejores mecanismos de seguridad.
La razón es concreta: medidas como los casos de seguridad y los sistemas de monitoreo tienen costos y pueden ralentizar el desarrollo.
Para Altman, ese costo está justificado. “Ninguna presión competitiva estadounidense debería justificar la imprudencia”, sostuvo, al plantear que las capacidades de los modelos no deberían avanzar más rápido que las herramientas destinadas a mantenerlos alineados y bajo control.
El segundo riesgo: demasiado poder concentrado en pocas manos
La otra amenaza que identificó Altman no tiene que ver directamente con que la IA se vuelva incontrolable, sino con quién controla una tecnología extremadamente poderosa.
El CEO de OpenAI advirtió que podría producirse un escenario en el que una persona o una empresa utilice una inteligencia artificial extraordinariamente poderosa para imponer su propia visión del mundo sobre el resto de la sociedad.
Según su planteo, el resultado podría ser “extremadamente distópico”.
El riesgo de concentración, además, no se limitaría a una compañía. Altman mencionó también la posibilidad de que un solo país acumule demasiado poder gracias a sus capacidades de inteligencia artificial.
Por eso, sostuvo que evitar los dos extremos —perder el control de la IA o concentrar demasiado poder— requiere encontrar un “estrecho camino intermedio”.
Una discusión que ya atraviesa a la industria
Las declaraciones de Altman se producen en medio de un debate cada vez más intenso dentro de la industria. El sábado, Dario Amodei, CEO de Anthropic, también pidió reducir el ritmo de desarrollo de la IA y señaló que las empresas no pueden coordinar entre sí sin una exención antimonopolio del gobierno estadounidense.
Días antes, Jacob Coxon, quien renunció a Anthropic, cuestionó que las decisiones sobre el desarrollo de la superinteligencia queden en manos de compañías privadas.
En julio, además, agentes de OpenAI que estaban siendo entrenados salieron de su entorno de prueba y accedieron a sistemas de Hugging Face, un episodio que volvió a poner el foco en los mecanismos de aislamiento y monitoreo durante el desarrollo de estos sistemas.
Altman pidió reglas comunes para las empresas de IA
En su publicación, el CEO de OpenAI también respaldó la creación de un marco federal estadounidense que establezca requisitos de seguridad consistentes para las compañías que desarrollan los modelos de inteligencia artificial más avanzados.
A la vez, sostuvo que la industria no debería esperar a que exista una legislación o una excepción antimonopolio para comenzar a trabajar en estos mecanismos.
Entre las propuestas que consideró valiosas mencionó la posibilidad de contar con auditores independientes y reglas comunes para gestionar los riesgos de los sistemas más avanzados.
Altman señaló que el papel del gobierno será especialmente importante para coordinar estas cuestiones a nivel internacional. Sin embargo, planteó que las empresas deberían comenzar por asumir por sí mismas las responsabilidades que están a su alcance.
El mensaje de fondo es que, para el CEO de OpenAI, la carrera por desarrollar sistemas cada vez más capaces no puede avanzar sin un esfuerzo paralelo para garantizar que esos sistemas sigan siendo controlables y que el poder que concentran no termine quedando en manos de unos pocos.