Buenas, esto es BIMPRAXIS, el podcast donde el
BIM se encuentra con la inteligencia artificial.
Exploramos la ciencia, la tecnología y el futuro
desde el enfoque de la arquitectura, ingeniería y
construcción.
¡Empezamos!
Muy buenas, bienvenidas, bienvenidos a un nuevo episodio
de BIMPRAXIS.
Hoy os traemos cómo entrenar tu propio modelo
de inteligencia artificial desde cero y en tu
portátil.
Que suena a ciencia ficción, la verdad.
Totalmente.
Porque, a ver, imaginad por un momento el
cerebro tecnológico que da vida a asistentes como
ChatGPT o Cloud.
Yo estoy segura de que la imagen mental
que se os viene a la cabeza es
un rascacielos blindado.
Claro, un centro de datos enorme.
Eso es.
Lleno de servidores, parpadeantes, zumbando a toda potencia.
Y, bueno, consumiendo casi la misma energía que
toda una ciudad pequeña.
Sí, sí, parece magia negra tecnológica.
Algo que está reservado solo para un club
hiperexclusivo de corporaciones billonarias.
Pues bien, hoy vamos a destruir ese mito
por completo.
Vamos a coger ese cerebro inalcanzable y lo
vamos a meter dentro del mismo portátil normal
y corriente que usáis habitualmente para ver series
en Netflix.
Y, ojo, es crucial subrayar que esto no
es un experimento mental o una ida de
olla teórica.
Todo este análisis nace de una clase magistral.
Que es absolutamente fascinante.
Flipante, sí.
Impartida por Ángelos Peribolaropoulos, que es ingeniero de
investigación en Eleven Labs.
Casi nada.
Ya ves.
Pero, bueno, creo que es vital establecer las
expectativas correctas desde el minuto uno para quienes
nos escuchan hoy.
No vamos a construir el próximo sistema hiperavanzado
de inteligencia artificial en el salón de casa.
Claro, no vamos a sacar el GPT -5
hoy.
Exacto.
Lo que Ángelos hace en su taller es
construir un modelo que llamamos pequeño.
De unos 1 ,8 millones de parámetros.
Que, comparado con los billones de hoy en
día, es enano.
Es diminuto, sí.
Y lo hace utilizando herramientas gratuitas de estar
por casa, como Python, PyTorch y la arquitectura
clásica de un modelo como GPT -2.
O sea, el valor real de desgranar esto
a fondo hoy no es que aprendamos a
teclear código en directo y montemos una startup.
No, para nada.
El objetivo es abrir el capó de la
tecnología.
¿Qué es la tecnología?
Queremos entender tuerca.
Explica a tuerca y paso a paso cómo
aprenden a hablar las máquinas.
Quitarle por fin ese aura místico y casi
incomprensible que tiene la IA.
Ese es exactamente el objetivo.
Vale, pues vamos a desgranar esto.
Y el primer paso lógico, a ver, antes
de que una máquina empiece a pensar, a
predecir o a redactar ensayos, es enseñarle a
leer.
Fundamental.
Pero claro, los ordenadores son pésimos con la
literatura.
No entienden de comas, no entienden de metáforas,
ni siquiera entienden las...
Las letras.
Solo ven números.
Eso es.
Entienden puramente de números.
Así que la primera gran pieza de este
rompecabezas es el tokenizador o tokenizer en inglés.
Que es una pieza clave.
Y Ángel os cuenta un detalle increíble en
la charla.
Y es que en laboratorios de élite, como
Eleven Labs, los ingenieros pueden tirarse, literalmente, meses
enteros debatiendo y afinando exclusivamente el tokenizador.
Sí, sí, meses.
Mucho antes de siquiera tocar la estructura matemática
del celebro del modelo.
Es que el impacto de esa decisión inicial
es colosal.
Condiciona absolutamente todo lo que viene después.
Piensa en el tokenizador como el puente diplomático
o el traductor oficial entre nuestro mundo lingüístico,
que es súper complejo, y su mundo puramente
matemático.
Vale.
Un modelo de lenguaje no ve palabras.
Ve lo que llamamos embeddings, que son vectores
o secuencias numéricas inmediatas.
Inmensas.
Ya.
Y en el experimento de este portátil, para
no complicar las cosas, Ángel os opta por
lo más rudimentario de todo, que es una
tokenización a nivel de carácter.
Letra a letra.
Eso es.
Es decir, el diccionario completo de nuestro modelo
tiene únicamente 65 tokens o piezas posibles.
Las 26 letras del alfabeto en mayúsculas y
minúsculas, espacios y algo de puntuación básica.
Claro, súper reducido.
Exacto.
Computacionalmente hablando, para un portátil de 16 letras,
es un poco más difícil.
Y para un portátil de 16 gigas de
memoria RAM, esto es maravilloso porque es ligerísimo.
Vale.
A ver si lo entiendo bien.
Esto es como intentar leer el Quijote, pero
en lugar de poder procesar párrafos o palabras
de un vistazo, estás obligado a leer literalmente
letra por letra.
Tal cual.
Ves la E, luego ves la N, luego
encuentras un espacio, y así.
Con esa miopía tan extrema, te va a
costar horrores saber de qué va la novela.
Es una carga cognitiva brutal.
Claro.
Tienes que adivinar y mantener en tu memoria
que la B, seguida de la L… …
y de la U, termina formando el concepto
del color blue en inglés.
Sí.
Entonces, te pregunto, ¿es esta tremenda miopía la
razón por la que los modelos tan pequeños
se pierden por completo cuando intentas mantener una
conversación amplia y compleja con ellos?
Has dado en el clavo, totalmente.
La distancia cognitiva para relacionar, por ejemplo, un
artículo como él con el sujeto cielo y
luego con el adjetivo azul es matemáticamente enorme
si el pobre modelo está obligado a procesar
saltando de letra en letra.
Es que no da abasto.
Claro.
Por eso, ¿cómo resuelven esto los gigantes de
la industria en la vida real?
Pues no usan caracteres sueltos.
Usan un algoritmo llamado BPE, o Byte -Pair
-Encoding.
BPE.
Vale.
Y aquí es donde la ingeniería de datos
se pone fascinante.
El BPE no le entrega al modelo un
diccionario predefinido por humanos de, oye, estas son
las palabras que existen.
Ah, no.
No, no.
Lo que hace es coger montañas gigantescas de
texto puro.
Y empieza a buscar, de manera automática e
iterativa, qué combinaciones de bytes o de letras
se repiten más a menudo.
Espera, vamos a detenernos ahí.
¿Cómo funciona exactamente esa búsqueda iterativa en la
práctica?
Ponme un ejemplo.
A ver, imagina que el algoritmo analiza miles
de libros y nota estadísticamente que la letra
E y la letra N aparecen juntas constantemente.
Vale, tiene sentido.
Pues el sistema coge y las fusiona y
crea un nuevo token único, que es el
token EN.
Luego hace una segunda pasada de lectura por
todo el texto y ve que ese nuevo
token, EN, suele ir seguido de un espacio
y de la letra U.
¡Ostras!
¿Y las vuelve a fusionar?
Las vuelve a fusionar.
Este proceso se repite miles y miles de
veces.
Si el texto de entrenamiento es, por ejemplo,
código de programación en Python, palabras enteras y
repetitivas como enumerate o print dejan de ser
letras sueltas.
Claro, ya no son la P, la R,
la I.
Exacto.
Pero acaban convirtiéndose en un único número, en
un solo token macizo.
Claro, lo veo.
De esa forma, en vez de gastar diez
preciados espacios de tu memoria operativa en leer
la palabra enumerate letra por letra, la máquina
la procesa entera de un solo bocado.
Exactamente.
Comprime muchísimo la densidad de la información y,
como resultado directo, amplía enormemente el contexto que
el modelo puede recordar de una sola vez.
¡Qué listo!
Pero claro.
Eh… El trabajo tiene un precio a pagar
en términos de hardware que es brutal.
¡Aquí viene la trampa!
Claro.
Si hubieran intentado usar un vocabulario BPE profesional,
pongamos de 50 .000 tokens, en este experimento
casero, solo la tabla matemática inicial necesaria para
traducir esos 50 .000 tokens a vectores con
cientos de dimensiones habría requerido unos 19 millones
de parámetros.
¡Madre mía!
Solo para empezar, el portátil habría colapsado al
instante, se habría quedado sin memoria RAM antes
incluso de poder realizar el primer cálculo matemático
del modelo.
Es que ni arranca.
Ni arranca.
Por eso, para este ejercicio didáctico de la
charla, se conforman con los 65 caracteres básicos
y a correr.
¡Qué barbaridad!
O sea, la memoria del ordenador se iría
a pique antes de empezar.
Vale, entonces ya tenemos el texto humano, traducido
a números, a esos vectores gigantes.
Ahora, ¿dónde demonios se procesa y se mastica
toda esa ensalada de números?
Buena pregunta.
Y aquí dejamos el traductor y entramos en
la arquitectura del Transformer, que es literalmente el
motor de combustión de toda la inteligencia artificial
moderna.
Y según las fuentes, su núcleo duro es
un concepto muy concreto llamado mecanismo de atención.
Así es.
Si queremos usar el nombre técnico completo, los
ingenieros hablan de multi -head self -attention.
Atención multicabeza.
Eso es.
Cuando el cerebro del Transformer recibe esa enorme
secuencia de vectores matemáticos, necesita entender desesperadamente cómo
se relacionan entre sí dentro de la frase.
Vale.
El mecanismo de atención permite que mientras el
modelo procesa activamente la palabra banco, por ejemplo,
pueda mirar hacia atrás en el texto para
calcular matemáticamente si esa palabra venía de sentarse
en un o de robar en un.
Claro, el contexto lo cambia todo.
Cambia todo el significado.
Y se llama multicabeza porque el modelo no
hace esto una sola vez de forma lineal,
sino que lanza varias redes de atención en
paralelo simultáneamente.
Es como… Sí.
A ver, es como contratar a un equipo
de correctores para que lean el mismo texto
a la vez, pero cada uno tiene su
especialidad.
Me gusta esa analogía.
O sea, uno se fija obsesivamente en la
puntuación, otro busca que el sujeto y el
verbo concuerden en número, y otro se encarga
de analizar el tono emocional global del párrafo,
¿no?
Tal cual.
Lo has clavado.
Todas esas cabezas extraen relaciones invisibles de los
números.
Y una vez que tienen esos descubrimientos, entra
en acción la segunda parte vital de este
cerebro, que es el MLP.
Las redes feedforward.
¿Y esas qué hacen exactamente?
Imagina que toman todos los informes de esos
correctores que has mencionado, los organizan lógicamente y
dicen, de acuerdo, con todas estas relaciones matemáticas
sobre la mesa, ya estamos listos para predecir
qué letra viene después.
Entendido.
Y leyendo sobre esto, veo que todo este
flujo de datos está blindado por unos mecanismos
de seguridad matemáticos muy técnicos, destacando especialmente dos,
las conexiones residuales y la normalización de capas.
Esos son los salvavidas del sistema.
Es que las conexiones residuales me parecieron curiosísimas
en la documentación, porque actúan como una red
de seguridad espectacular.
Lo son, lo son.
Según entiendo, si el modelo hace un cálculo
profundo en una de sus capas, no tira
todo a la basura y empieza de cero
en la siguiente capa, sino que suma la
información de entrada original al nuevo descubrimiento.
Exacto.
Es como… A ver.
Es el equivalente a no quemar tus apuntes
de álgebra del año pasado cuando pasas al
siguiente curso, sino añadirle las fórmulas nuevas encima.
Totalmente.
Y, por otro lado, la normalización de capas
evita que los números exploten, impidiendo que un
simple valor de 0 ,5 acabe convertido en
10 millones tras varios cálculos y el portatil
salga ardiendo.
Es que es literal, ¿eh?
En las redes neuronales profundas, si te pones
a multiplicar números entre sí a lo largo
de 100 capas consecutivas… …los valores tienden al
infinito o al cero absoluto, con una rapidez
aterradora.
Claro, el efecto bola de nieve.
Eso es.
La normalización actúa literalmente como un termostato de
seguridad, manteniendo siempre todas las operaciones matemáticas, operando
dentro de un rango manejable para que el
sistema no colapse por su propio peso numérico.
Pero espera, aquí tengo que frenar y hacer
un poco de abogada del diablo.
A ver, dime.
Porque en la charla, Ángelos abre el archivo
con el código en Python de este famoso
transformer, y revela que son apenas unas cientos
de líneas de código.
Sí, es un archivo súper corto.
Todo el núcleo duro cabe en un par
de archivos de texto.
Entonces, mi duda es si la arquitectura base
es tan sorprendentemente simple porque existen saltos tan
gigantescos en capacidad entre un modelo antiguo y
los monstruos actuales.
Ya sé por dónde vas.
Claro, me refiero a esos modelos con ventanas
de contexto gigantes que son capaces de tragarse
un libro entero de una sentada.
¿Dónde está el truco si la receta base
que usan es idéntica a la del portátil?
Pues mira, esa es probablemente la pregunta técnica
más importante de la última década en este
campo.
La respuesta se resume en el problema del
escalado computacional.
Explícamelo un poco.
En este pequeño modelo entrenado en el portátil,
la ventana de contexto, que es el número
máximo de tokens que puede retener en la
memoria a la vez, es de sólo 256.
Es una ventana enana.
Es minúscula.
Cualquiera desde casa podría pensar por eso.
Pues oye, abro el código, borro el 256,
escribo un millón de tokens y ya tengo
un modelo súper avanzado.
No.
Claro, suena facilísimo.
O sea, ¿por qué no hacerlo y saltarnos
todo el problema?
Porque el maravilloso mecanismo de atención que acabamos
de alabar tiene un defecto fatal.
Y es que su coste computacional crece de
forma cuadrática, no lineal.
Ostras.
Para entender a la perfección el contexto, la
arquitectura requiere que cada token individual se compare
matemáticamente con absolutamente todos los tokens anteriores.
Ah, entiendo.
O sea, a ver, es como organizar una
cena.
Si sois cuatro personas sentadas a la mesa,
todos podéis escucharos sin problema cruzar miradas y
seguir el hilo de la conversación cruzada.
Claro, una charla fluida.
Pero si metes a, no sé, cien mil
personas de golpe en un estadio de fútbol
y exiges que cada persona escuche y preste
atención simultáneamente a lo que están diciendo las
otras 99 .999...
El caos absoluto.
El cerebro colapsa.
Es puro ruido ensordecedor.
Es una analogía magistral, de verdad.
Exactamente eso mismo ocurre dentro de los chips
de memoria de una tarjeta gráfica.
Un estadio virtual de cien mil tokens intentando
prestarse atención mutua requeriría terabytes y terabytes de
memoria RAM ultra rápida, que sencillamente no caben
físicamente en un solo ordenador.
Es físicamente imposible hoy en día.
Por eso, la verdadera gran revolución silenciosa de
los últimos años en empresas como Google u
OpenAI no ha sido reinventar la rueda del
Transformer, sino descubrir trucos de ingeniería matemática brutales.
¿Trucos de magia numérica?
Básicamente, algoritmos de optimización como Flash Attention que
logran que ese cálculo de atención cuadrático se
haga increíblemente rápido y gastando mucha menos memoria,
sin derretir los servidores.
Vale, ahora encaja todo.
Es como, a ver, es como saber fabricar
los planos de un computador.
Es como un motor de combustión básico de
hace un siglo frente a diseñar el motor
híbrido de un monoplaza de Fórmula 1 moderno.
Eso es.
La teoría subyacente del pistón es exactamente la
misma, pero la ingeniería de materiales y la
optimización de soporte que hay detrás lo cambian
absolutamente todo.
Totalmente.
Bien, pues ya tenemos nuestro cerebro Transformer montado
en el portátil, con su tokenizador listo y
sus capas alineadas, pero ahora mismo está totalmente
en blanco.
Es un lienzo vacío, sí.
Es decir, ni más ni menos que como
William Shakespeare.
Palabras mayores.
Así es, se le proporciona un conjunto de
datos muy célebre en este ámbito formativo, que
es un archivo de texto con un millón
de caracteres exactos extraídos de las obras de
Shakespeare.
Un millón, vale.
Y el objetivo que le marcamos matemáticamente a
la máquina es asombrosamente simple en la teoría.
Tiene que predecir el siguiente token de manera
autorregresiva.
Es decir, adivinar lo que viene.
Exacto.
Lee el fragmento anterior y adivina qué letra
tocaría ahora.
Pero el verdadero secreto aquí no es simplemente
vomitarle los datos encima, sino controlar científicamente cómo
de rápido le dejas aprender de sus propios
errores.
Claro, el ritmo importa.
Muchísimo.
Y ahí entra un concepto absolutamente vital, que
es la tasa de aprendizaje o Learning Rate,
que en este caso es gobernada por un
optimizador algorítmico llamado Adam W.
Uf, aquí es donde la cosa se pone
muy interesante para mí.
Porque revisando las fuentes, el concepto de la
tasa de aprendizaje me recordó muchísimo a esas
noches de universidad en las que te ponías
a estudiar para los exámenes finales a base
de café.
Ay madre, qué recuerdos.
¿Verdad?
O sea, si empiezas tu sesión de estudio
tomándote tres espresos dobles de golpe, lo que
equivaldría a una tasa de aprendizaje altísima en
el código, entras en pánico absoluto.
Te da taquicardia.
Te da taquicardia, tu mente va dando bandazos
de una idea a otra, y al final
no retienes ni un solo concepto claro.
Sí, sí, es un desastre.
Pues el optimizador Adam W., por el contrario,
actúa como un tutor inteligente que te va
dando el café poco a poco.
Me encanta.
Y empieza con un warm up, un calentamiento
muy suave.
Luego va subiendo el ritmo hasta llegar a
un pico óptimo donde estás súper concentrado aprendiendo
a toda velocidad.
Y después inicia un descenso lentísimo, un cosine
decay.
Eso es.
Va relajando la presión a medida que el
modelo se va volviendo un experto para que
no se pase de frenada al ajustar los
detalles finos.
Es que esa metáfora visual es impecable.
Piensa que, matemáticamente, el modelo está intentando descender
por un paisaje de montañas escarpadas buscando el
valle más bajo.
Que sería el menor error.
Exacto.
Representa el mínimo de error posible.
Si mantienes la tasa de aprendizaje muy alta,
la sobredosis de café, al final del entrenamiento
el modelo estará saltando bruscamente de un lado
a otro del valle, rebotando por encima de
la solución perfecta sin llegar a asentarse nunca.
Claro, nunca llega al fondo.
Y la forma en la que los ingenieros
sabemos, en tiempo real, si este delicado ritmo
de aprendizaje está funcionando, es monitorizando una métrica
llamada Loss, la función de pérdida.
Y ver bajar ese número en directo en
la pantalla es, con diferencia, el momento más
mágico del taller de Ángelos.
Yo me quedé asombrada.
En la demostración, ese número empieza en un
valor de 4 ,17.
Que, traducido a la regla, es el número
más alto del taller de Ángelos.
En la realidad, significa que el modelo es
tan ignorante que sólo está escupiendo ruido aleatorio
sin sentido.
Basura puramente aleatoria, ¿sí?
Pero de repente, a base de leer y
corregirse, baja a 3 ,3.
Y ahí descubres que al menos ha empezado
a entender qué letras del alfabeto son más
frecuentes que otras.
Ya es un paso.
Luego sigue bajando, a 2 ,5.
Y ves que el sistema ya junta la
T y la H, instintivamente, porque ha internalizado
los biogramas comunes en inglés.
Exacto.
Va pillando el truco.
Al tocar el 1 ,5, la máquina empieza
a soltar palabras completas y reales.
Y cuando por fin baja a 1 ,0,
está creando nombres propios inventados y frases con
una estructura gramatical que suenan exactamente al estilo
de Shakespeare.
Es increíble de ver.
Es que es literalmente como observar a un
bebé humano aprender a balbucear, luego pronunciar sílabas,
decir palabras sueltas y finalmente soltarte una frase
completa.
Pero todo este proceso biológico, comprimido en apenas
15 minutos de procesamiento en la pantalla de
tu portátil.
Es asistir a la emergencia pura del lenguaje
matemático en tiempo real.
Pero ojo, cuidado aquí, porque hay un peligro
técnico monumental oculto en la ambición de bajar
ese número.
Aclaro, no todo es infinito.
Ángelos lanza una advertencia severa en la clase.
Si dejamos que esa métrica de pérdida siga
bajando muy por debajo de 1 ,0, entramos
de lleno en un terreno pantanoso.
Comienza lo que se denomina overfitting o sobreajuste.
Claro, que es el punto en el que
el modelo deja de ser genuinamente inteligente, ¿no?
Exacto.
Deja de aprender las reglas lógicas y abstractas
del lenguaje que le permitirían ser creativo y
empieza pura y simplemente a memorizar de manera
fotográfica ese millón de caracteres de entrenamiento.
Se vuelve un empollón sin imaginación.
Se convierte en un loro estadístico.
Por eso, durante este bucle, se somete al
modelo al validation loss o pérdida de validación.
¿Y eso cómo funciona?
Pues, de forma periódica, se pausa el entrenamiento
y le presentamos a la máquina textos de
Shakespeare que nunca jamás ha visto en su
vida, pidiéndole que los continúe.
Si su pérdida en los textos de entrenamiento
sigue bajando, pero de repente vemos que empieza
a fracasar estrepitosamente y equivocarse al predecir los
textos nuevos… O sea, significa que el modelo
se está chapando el guión de Hamlet de
memoria, perdiendo toda su capacidad de generalizar y
de razonar lingüísticamente con textos inéditos.
Tal cual.
Pierde la capacidad de extrapolar.
¡Qué fascinante!
Es la búsqueda constante del equilibrio perfecto entre
entender profundamente la norma gramatical y no llegar
a obsesionarse ciegamente con el ejemplo concreto.
Ese es el santo grial del machine learning.
Vale, pues pongamos por caso que el modelo
se ha graduado con honores y ya no
memoriza a lo bruto.
Hemos terminado el entrenamiento.
¿Qué ocurre ahora, en la práctica, cuando nos
sentamos frente al teclado, abrimos la consola y
le pedimos que nos escriba un verso nuevo?
El momento de la verdad.
¿Cómo decide mecánicamente qué tecla debe pulsar a
continuación?
Aquí cruzamos la frontera y pasamos del entrenamiento
a lo que llamamos la inferencia.
En el momento de generar texto, el modelo
analiza todo el contexto previo que le has
dado y genera una distribución de probabilidades matemáticas
masiva para todas y cada una de las
letras o tokens de su diccionario.
Una lista de porcentajes, vamos.
Exacto.
A estos números crudos los denominamos logits.
Supongamos que tras hacer sus cálculos, el modelo
determina que hay un 80 % de probabilidad
de que la siguiente letra deba ser una
A, un 15 % para una E y
porcentajes diminutos para el resto de consonantes.
Vale.
La lógica más fría y puramente algorítmica de
un ordenador nos dictaría una regla clarísima.
Elige siempre la opción con mayor probabilidad matemática.
A esta estrategia se la llama greedy decoding
o decodificación codiciosa.
Y aquí, perdona que te corte, pero aquí
es donde necesito frenar en seco y plantear
un dilema brutal que choca contra toda mi
intuición.
Dispara.
Porque Angelos asegura rotundamente que hacer eso, coger
la probabilidad más alta, es una pésima idea
si queremos generar texto natural.
Pero a nivel lógico, ¿por qué querríamos de
forma 100 % voluntaria forzar a la inteligencia
artificial a que elija una opción matemáticamente peor?
Parece contradictorio, ¿verdad?
Totalmente.
Hemos invertido horas de computación, energía y código
refinado en entrenar una máquina para que sea
ultra precisa.
¿No rompe absolutamente todo el propósito obligarla a
equivocarse o a conformarse con la segunda mejor
opción?
Es una de las paradojas más bellas de
esta tecnología y ayuda muchísimo a desmitificar estas
herramientas.
Verás, si estuviéramos diseñando un sistema cuyo único
trabajo fuera transcribir el dictado de voz de
un cirujano durante una operación, ahí usaríamos greedy
decoding sin dudarlo ni un segundo.
Claro, ahí no te la juegas.
Queremos cero creatividad y un 100 % de
precisión estadística.
Pero resulta que el lenguaje humano conversacional es
inherentemente impredecible.
Está lleno de giros estilísticos, de matices poéticos,
y estadísticamente hablando, somos muy subóptimos al hablar.
Damos muchos rodeos.
Demasiados.
Si obligamos al modelo a escoger siempre la
palabra número uno en probabilidad, el texto resultante
sonaría plano, aburrido, tremendamente repetitivo y súper robótico.
Parecería un manual de instrucciones.
Literalmente.
Para que la máquina suene remotamente humana y
literaria, necesitamos inyectarle una buena dosis de caos
controlado.
O sea, necesitamos que el modelo asuma un
control.
O sea, que el modelo asuma voluntariamente ciertos
riesgos creativos.
Y ahí es precisamente donde entra a jugar
un parámetro clave que muchísimos usuarios modifican a
diario en plataformas de IA sin entender realmente
lo que hace.
La famosa temperatura.
Eso es, la temperatura.
Según explica Ángelos en su código, si ajustamos
esa temperatura a un valor de 0 ,7,
que suele ser considerado el punto dulce en
la industria, estamos flexibilizando y aplanando esa rigidez
matemática.
Exacto, relajamos las normas.
Al subir la temperatura, a veces el modelo
va a ignorar deliberadamente esa palabra súper evidente
y aburrida del 80 % de probabilidad y
va a arriesgarse a elegir esa segunda o
tercera opción menos común del 15%.
Sí, sí, se la juega.
Por ejemplo, en lugar de decir el gato
se sentó en la alfombra, podría sorprenderte con
el gato se sentó en la penumbra.
Y es precisamente esa elección estadísticamente menos probable
la que le inyecta el alma o la
chispa creativa al texto.
Lo has descrito a la perfección, de verdad.
La temperatura modifica la distribución aplanando los picos
de las probabilidades para darle una oportunidad a
los tokens más débiles.
Pero claro, invocar el caos siempre es peligroso
en computación.
Te puede salir el tiro por la culata.
Ya te digo.
Tampoco queremos que la máquina se vuelva completamente
loca y empiece a soltar jeroglíficos incómodos comprensibles
de manera aleatoria.
Por eso la temperatura rara vez opera sola
en la práctica.
Siempre trabaja en tándem con un mecanismo llamado
muestreo Top -K.
Top -K.
Que entiendo que funciona como ponerle unas barreras
de contención a esa creatividad desbocada, ¿no?
Exactamente.
El Top -K le marca un límite estricto
al modelo, diciéndole vale, de acuerdo, tienes permiso
para ser creativo y lanzar los dados usando
la temperatura, pero solo puedes elegir entre las
50 opciones que encabezan la lista de probabilidades.
Las 50 mejores.
Eso es.
Al usar esta técnica, cortamos de raíz esa
larga cola estadística de probabilidades infinitesimales.
Evitamos el riesgo de que, en un arrebato
matemático provocado por la temperatura, el modelo elija
una letra rarísima con un 0 ,001 %
de probabilidad que destroce por completo la estructura
de la frase.
Claro, te salva la vida.
Consigues el efecto de la sorpresa literaria, pero
siempre amarrado a una red de seguridad matemática
robusta.
Es una maravilla de mecanismo.
El equilibrio perfecto entre locura y razón.
Entonces, llegados a este punto, vamos a dar
un paso atrás.
Vamos a salir de la pantalla del portátil
y a mirar la foto completa de la
industria actual.
Vamos a ello.
Porque, a ver, ¿qué significa todo esto, en
realidad?
Hasta ahora, hemos estado desgranando pacientemente cómo un
ordenador doméstico predice la siguiente letra para sonar
como Shakespeare.
Que ya es un logro.
Lo es.
Pero luego abres cualquier portal de noticias tecnológicas
y ves que la inteligencia artificial de hoy
es capaz de analizar vídeos de cámaras de
seguridad, componerte una banda sonora instrumental en 10
segundos, o, lo que me resulta más impactante,
ves modelos de razonamiento avanzado que te resuelven
complejos problemas de física cuántica explicando cada paso.
Sí, el salto parece abismal.
Es que si toda la base teórica es
esta simple predicción probabilística de la siguiente pieza,
¿de dónde demonios sale esta inteligencia tan dispar
y aparentemente compleja?
Pues mira, esta es una oportunidad fantástica para
despejar uno de los malentendidos más extendidos de
todo el sector.
Empecemos por la multimodalidad, es decir, el procesamiento
de vídeos, imágenes o pistas de audio.
Vale.
El corazón del transformer base, del que hemos
hablado todo el rato, sigue siendo completamente ciego
y sordo.
Sigue sin entender el concepto visual de un
vídeo.
Y sólo sabe masticar sus amados embeddings numéricos.
O sea, sigue viendo números.
Sólo números.
La magia moderna radica en usar traductores externos
que son muy, muy especializados.
Para inyectarle un vídeo al sistema, se utiliza
otro transformer dedicado exclusivamente a la visión, que
es un video encoder.
Ah, amigo.
Este módulo extrae los fotogramas, los tritura mediante
operaciones matemáticas complejas y convierte las imágenes en
los mismos tipos de vectores que usa el
modelo de texto.
Lo unifica todo.
Eso es.
Para el cerebro principal de la IA, no
hay ninguna distinción técnica entre leer la palabra
escrita manzana y recibir los píxeles digitales de
una manzana de una foto.
Todo le llega empaquetado como una matriz de
números en su idioma nativo.
Y supongo que con el audio pasa igual.
Con el audio, la filosofía es supersimilar.
Aunque la matemática del entrenamiento difiere un poco.
En lugar de predecir la siguiente letra, se
entrena a los modelos auditivos comparando formas de
ondas sonoras puras contra representaciones visuales del sonido,
como los espectrogramas.
Es francamente alucinante.
Es literalmente como si tuvieras a un analista
brillante encerrado en una habitación que sólo es
capaz de leer texto en braille.
Exactamente.
O sea, no puede ver, no puede oír,
pero le pasas la información de la luz
y de las ondas de sonido meticulosamente traducidas
a patrones de puntos táctiles.
Él sólo acaricia puntos en un papel, pero,
matemáticamente, está describiendo la inmensa riqueza del mundo
exterior.
Es una analogía poética, pero técnicamente correctísima.
Pero, a ver, lo que de verdad me
dejó la cabeza dando vueltas de las fuentes
de hoy es la parte de los modelos
lógicos.
Esas famosas IA's que piensan antes de contestar,
las que usan cadenas de pensamiento o chain
of thought.
Porque, como usuaria de AP, te imaginas que
para lograr que un código razone, los ingenieros
de Silicon Valley han tenido que inventar una
especie de lóbulo frontal digital.
Claro, un salto evolutivo del código.
Exacto, una arquitectura de programación completamente revolucionaria y
distinta al transformer.
Y esa, perdona que te lo diga así,
es la mayor ilusión de todas.
¿En serio?
En absoluto, han inventado eso.
Y es un punto crítico que todos debemos
entender hoy.
La arquitectura base de las máquinas más punteras
que razonan sigue siendo en esencia exactamente la
misma que hemos analizado en tu portátil.
O sea, es el mismo motor.
El mismo.
La diferencia abismal, la verdadera magia de la
inteligencia moderna, no ocurre en el código base.
Ocurre en una etapa posterior llamada postentrenamiento.
Explícate.
El modelo básico, el del portátil, ya sabe
hablar, domina el lenguaje, pero carece de lógica
estructurada.
¿Cómo le enseñamos a ser lógico y a
razonar?
Ni idea.
Pues a base de pura fuerza bruta y
muchísimo talento humano.
Detrás de la cortina hay corporaciones gigantescas y
plataformas especializadas como Scale AI, que se dedican
exclusivamente a reclutar verdaderos ejércitos de doctores, universitarios,
físicos de partículas, matemáticos de élite, investigadores de
todo el mundo.
A estas mentes brillantes se les paga enormes
sumas de dinero para sentarse frente a una
pantalla y resolver problemas hipercomplejos.
A mano.
Redactando de forma manual, exhaustiva y superestructurada cada
mínimo paso mental que dan, volcando literalmente su
propio monólogo lógico interno en un documento de
texto.
Entiendo el mecanismo.
Luego recogen esos miles, y miles de exámenes
y demostraciones resueltas a mano por estos humanos
hipercualificados, y fuerzan al modelo base a leerlos
y analizarlos una y otra vez durante el
postentrenamiento.
Así es.
El modelo absorbe vorazmente esa estructura lógica.
Y aquí está el gran truco.
La IA no está adquiriendo de repente una
capacidad filosófica intrínseca de razonamiento deductivo o teniendo
un destello de conciencia.
Para nada.
Lo que está haciendo es aplicar su fabuloso
y eficiente motor probabilístico, el de predecir la
siguiente letra, para imitar a la perfección el
riguroso patrón estructural de cómo un doctor humano
en astrofísica plasma su proceso de razonamiento en
un papel.
O sea, para dejarlo cristalino, el famoso lóbulo
frontal de la IA de ultimísima generación, esa
misma que cotiza en miles de millones de
dólares en la bolsa, en el fondo son
cientos de expertos y profesores humanos contratados para
escribir ejemplos a mano en el salón de
su casa.
Tal cual.
Es una imitación estelar basada en mano de
obra hiperespecializada.
Y es precisamente esa dependencia absoluta de la
labor humana lo que hace que este sistema
sea, bajo la superficie, extremadamente frágil.
Es como un castillo de cristal.
Claro, porque dependes de que no se equivoquen.
Exacto.
Si los textos de razonamiento escritos a mano
por esos doctores humanos contienen un fallo de
lógica consistente, un pequeño error estructural que pase
desapercibido, el modelo lo absorberá de inmediato e
imitará ese defecto.
Y te la lía parda.
Arruinando por completo el comportamiento de una herramienta
en la que se han invertido montañas de
dinero.
Es por esto que las empresas no solo
contratan a los expertos que redactan, sino que
mantienen brigadas enteras de controladores de calidad.
Los equipos de CUA.
Los famosos CUA, humanos, cuya única misión es
auditar y revisar con lupa cada coma del
trabajo de los propios doctores.
Al final del día, la inteligencia artificial más
vanguardista y deslumbrante del planeta está limitada de
forma directa e inexorable por la calidad y
el rigor del trabajo artesanal humano que la
alimenta.
¡Uf!
A ver, es que empezamos este recorrido fascinados
viendo cómo un humilde portátil de 16 gigas
aprendía a duras penas que la B y
la L iban juntas para escribir la palabra
azul.
Y hemos acabado descubriendo, al levantar el capó
de toda la industria, que la ansiada cima
tecnológica global depende de humanos, rellenando problemas de
matemáticas a mano para que una máquina aprenda
a copiarlos con estilo y parezca inteligente.
Así es la realidad.
Es que me estalla la cabeza, de verdad.
Y fíjate, todo este andamiaje tecnológico oculto nos
deja en bandeja una última reflexión sobre el
futuro.
Una pregunta que me parece bastante provocadora y
que creo que todos deberíamos llevarnos a casa
para pensar.
A ver, cuéntanos.
Si resulta que todo este salto histórico actual
hacia modelos que supuestamente razonan depende de manera
vital de contratar a los mayores expertos humanos
del planeta para que escriban y estructuren procesos
lógicos paso a paso, ¿qué va a ocurrir
exactamente el día en que necesitemos dar el
siguiente gran salto evolutivo y queramos que la
IA se vuelva, por fin, más lista y
capaz que los propios humanos que hoy en
día generan sus datos de entrenamiento?
¡Ostras!
Chocaremos de bruces contra un muro técnico insalvable
simplemente porque nos quedaremos sin ejemplos de genios
humanos superiores que darle de comer a las
máquinas.
Madre mía, ahí os dejamos esa tremenda bomba
intelectual para que le deis vueltas.
Ha sido un viaje absolutamente espectacular desmitificando la
tecnología que nos rodea.
Antes de despedirnos, hasta el próximo programa os
informamos de que las voces que oyes han
sido generadas por la IA de Notebook LM
y que dirigiendo el podcast se encuentra Julio
Pablo Vázquez, un humano que te envía saludos.
En caso de error, probablemente sean errores humanos.
¡Nos escuchamos!
Y hasta aquí el episodio de hoy.
Muchas gracias por tu atención.
Esto es BIMPRAXIS.
Nos escuchamos en el próximo episodio.