El español es la sexta lengua de los datos con los que se entrenan los modelos, no la segunda

En cada presentación institucional sobre la salud del español aparece la misma afirmación: es la segunda lengua de internet. Es cierta con una métrica concreta y deja de serlo con otra. En el mayor archivo público de páginas web, que es la materia prima de la que salen buena parte de los corpus de entrenamiento de los modelos de lenguaje, el español ocupa el sexto lugar con el 4,6418% de las páginas. Por delante están el inglés, el ruso, el alemán, el japonés y el francés.

La diferencia entre ambas afirmaciones no es retórica. Una mide notoriedad —cuántos sitios muy visitados publican en cada idioma— y la otra mide volumen de texto disponible. Para saber si el español está bien representado en un buscador, la primera sirve. Para saber cuánto texto en español ha visto un modelo durante su entrenamiento, la que importa es la segunda. Y ahí el español no compite con el inglés: el inglés multiplica por 8,7 su presencia.

El ranking real, con los datos del último rastreo

El archivo publica la distribución por idioma detectado en cada página. En el rastreo más reciente, el inglés supone el 40,58% de todas las páginas. Le siguen el ruso con el 6,82%, el alemán con el 5,99%, el japonés con el 5,32% y el francés con el 4,80%. El español queda sexto con el 4,64%, y el chino séptimo con el 4,43%.

Conviene detenerse en las comparaciones incómodas. El alemán aporta más texto web que el español teniendo una comunidad de hablantes muchísimo menor. El japonés, con una población de hablantes que cabe holgadamente dentro de la hispanohablante, aporta un 15% más. La correlación entre número de hablantes y volumen de texto publicado es débil: lo que pesa es cuánto se publica, en qué formato y con qué densidad de dominios propios.

El dato demográfico que sirve de contraste está bien establecido: el español tiene 520 millones de hablantes nativos, la tercera comunidad del mundo por detrás del chino mandarín y el hindi, y 635 millones de hablantes potenciales sumando competencias limitadas. Tercero en hablantes, sexto en corpus. Esa es la brecha.

Las lenguas de España, en la escala real

El mismo rastreo permite situar al catalán, al euskera y al gallego, y el resultado ordena bastante el debate. El catalán aporta el 0,2065% de las páginas, el euskera el 0,0378% y el gallego el 0,0323%. Las tres juntas suman el 0,2766%: menos de la decimosexta parte de lo que aporta el español.

Puesto en proporciones directas: por cada página en catalán hay 197 en inglés; por cada una en euskera, 1.074; por cada una en gallego, 1.256. Cualquier discusión sobre modelos que funcionen bien en estas lenguas debería partir de ahí y no de las cifras de hablantes. El catalán, por cierto, aporta casi tres veces más que el euskera y el gallego sumados, una diferencia que no se explica por número de hablantes sino por densidad de publicación digital.

Cuatro cosas que este dato no demuestra

La primera y más importante: esto mide páginas, no palabras. Una página larga y una página de tres líneas cuentan igual. La cantidad real de texto por idioma puede desviarse bastante de estos porcentajes, y no tenemos forma pública de corregirlo.

La segunda: el idioma lo asigna automáticamente un detector, sobre el idioma principal de cada página. En webs mezcladas —contenido en español con interfaz y pie de página en inglés— la asignación puede irse al inglés. Es un sesgo conocido y va en contra de las lenguas no inglesas, así que el 4,64% es probablemente un suelo, no un techo.

La tercera: este archivo no es la web, es una muestra de la web con sus propios criterios de rastreo, que su equipo reconoce sesgados hacia el contenido en inglés y que están trabajando por corregir. Tampoco es el corpus de entrenamiento de ningún modelo concreto: los laboratorios filtran, deduplican y mezclan con fuentes propias. Es la mejor aproximación pública que existe, no una radiografía del dato real de nadie.

La cuarta es una cautela sobre el movimiento. Comparando los tres últimos rastreos, el español pierde una décima de punto y el ruso gana cuatro. Sería tentador leer una tendencia, pero en ese mismo periodo el persa pasa del 0,29% al 0,70%, más del doble, algo que no ocurre en la realidad lingüística de nadie. Lo que se mueve entre rastreos es la composición de la muestra. Con tres puntos no hay serie, y no vamos a fabricar una.

Queda una lectura de fondo que sí aguanta. Si el español aporta menos de la vigésima parte del texto que un modelo ve durante su entrenamiento, la calidad en español no saldrá gratis del tamaño del modelo: saldrá de decisiones deliberadas de mezcla de datos, de corpus específicos y de evaluación en español. Eso es una elección de quien entrena, no una consecuencia automática de que el idioma tenga muchos hablantes.

Metodología

Los porcentajes por idioma proceden de las estadísticas públicas del mayor archivo abierto de rastreo web, correspondientes al rastreo más reciente publicado, y se refieren al idioma principal detectado en páginas HTML mediante un identificador automático. Son dato de fuente y los reproducimos con los cuatro decimales con los que se publican. Nuestro trabajo ha consistido en tres cosas: ordenar el ranking, que la fuente publica alfabéticamente por código de idioma y no por volumen; calcular las razones entre lenguas, que son divisiones directas entre esos porcentajes; y comparar los tres últimos rastreos para medir la variación. Las cifras de hablantes proceden del anuario oficial del organismo público español encargado de la difusión del idioma. No hemos calculado índices de representación por hablante para las demás lenguas porque no disponemos de una fuente homogénea y citable de número de hablantes para todas ellas, y preferimos no mezclar recuentos de origen distinto.

GonzaloFundador

Madrileño enganchado a la tecnología desde pequeño. Trabajo en finanzas pero la inteligencia artificial es lo que me quita el sueño. Creé Miuranews para seguirla de cerca y contarla en español sin hype.

Todos sus artículos →