El mundo sigue preguntándose cómo DeepSeek pudo entrenar un modelo de IA como R1 con solo 2.048 chips de Nvidia, pero cada vez aparecen más claves. La más escandalosa, las acusaciones de "espionaje" por parte de OpenAI, que afirma tener pruebas de que la empresa china utilizó sus modelos para hacer avanzar más rápido el entrenamiento.
En una declaraciones remitidas a Financial Times y Bloomberg, la empresa estadounidense afirmaba tener pruebas de que el grupo chino habría utilizado los modelos de OpenAI para entrenar los suyos, una técnica que se conoce en el sector como distillation (destilación en español) y que apunta a ganar mucho peso en el mundo de la inteligencia artificial.
Esta técnica consiste en extraer respuestas e información de un modelo de lenguaje para entrenar otro más pequeño. Es una práctica muy usada, hasta el punto que la propia OpenAI tiene tutoriales en su web para enseñar a sus clientes a hacerlo. Las ventajas residen en que los clientes pueden tener modelos más pequeños, pero muy especializados en una tarea completa y más baratos de usar después de este proceso en el que el modelo pequeño interactúa con el 'grande'.
¿Por qué indigna entonces a la compañía de Sam Altman que su rival asiático haya recurrido a esta técnica? Principalmente porque bajo el modelo de distillation recogido arriba estos nuevos modelos entrenados a partir de GPT generan ingresos y beneficios para la compañía, pero DeepSeek no.
En este caso, la técnica se ha utilizado para crear un modelo rival, algo que iría contra los términos y condiciones de uso de ChatGPT. Irónicamente, Altman acusa a otros de robar su código después de que su empresa utilizara todo el contenido de Internet sin permiso para entrenar sus primeros modelos. Las acusaciones han recibido respaldo del Gobierno estadounidense, ya que David Sacks, el 'zar' de Donald Trump para la inteligencia artificial, aseguró que el Gobierno estadounidense había encontrado "pruebas tangibles" de que DeepSeek usó OpenAI para entrenar sus modelos.
Los grandes modelos de lenguaje tienen medidas protectoras para evitar que esto pase. Por ejemplo, OpenAI reconoce que vigila IPs sospechosas y en caso de que sea evidente que están realizando estas prácticas las bloquea.
Sin embargo, Ben Thompson, uno de los principales expertos en el sector, apuntaba a que existe un creciente consenso de que no es algo que ocurra solo con DeepSeek, sino que es una práctica extendida entre los competidores, ya que, como acaba de probar la IA china, abarata significativamente el entrenamiento y es complicado de probar por parte de la competencia. Una técnica que beneficiaría una vez más a los actores más rezagados y dejaría a OpenAI o Anthropic la patata caliente de tener que seguir invirtiendo cantidades mayores que sus rivales para desarrollar los modelos más avanzados porque, si tienes el mejor modelo, no hay nadie a quien puedas copiar.
Por otro lado, refuerza las bondades del código abierto, que da por hecho que esta compartición del código permitirá a otros mejorarlo y terminará así favoreciendo al creador original del modelo, que se puede beneficiar de esas nuevas mejoras.