1
00:00:09,679 --> 00:00:15,660
Buenas, esto es BIMPRAXIS, el podcast donde el

2
00:00:15,660 --> 00:00:17,719
BIM se encuentra con la inteligencia artificial.

3
00:00:20,300 --> 00:00:23,480
Exploramos la ciencia, la tecnología y el futuro

4
00:00:23,480 --> 00:00:26,420
desde el enfoque de la arquitectura, ingeniería y

5
00:00:26,420 --> 00:00:27,120
construcción.

6
00:00:28,739 --> 00:00:29,420
¡Empezamos!

7
00:00:36,880 --> 00:00:40,420
Muy buenas, bienvenidas, bienvenidos a un nuevo episodio

8
00:00:40,420 --> 00:00:41,280
de BIMPRAXIS.

9
00:00:41,280 --> 00:00:44,659
Hoy os traemos cómo entrenar tu propio modelo

10
00:00:44,659 --> 00:00:47,500
de inteligencia artificial desde cero y en tu

11
00:00:47,500 --> 00:00:48,079
portátil.

12
00:00:48,240 --> 00:00:50,420
Que suena a ciencia ficción, la verdad.

13
00:00:50,920 --> 00:00:51,439
Totalmente.

14
00:00:51,640 --> 00:00:54,320
Porque, a ver, imaginad por un momento el

15
00:00:54,320 --> 00:00:57,000
cerebro tecnológico que da vida a asistentes como

16
00:00:57,000 --> 00:00:58,399
ChatGPT o Cloud.

17
00:00:58,619 --> 00:01:00,920
Yo estoy segura de que la imagen mental

18
00:01:00,920 --> 00:01:02,500
que se os viene a la cabeza es

19
00:01:02,500 --> 00:01:04,180
un rascacielos blindado.

20
00:01:04,359 --> 00:01:06,280
Claro, un centro de datos enorme.

21
00:01:06,659 --> 00:01:07,120
Eso es.

22
00:01:07,239 --> 00:01:10,859
Lleno de servidores, parpadeantes, zumbando a toda potencia.

23
00:01:11,280 --> 00:01:13,840
Y, bueno, consumiendo casi la misma energía que

24
00:01:13,840 --> 00:01:14,739
toda una ciudad pequeña.

25
00:01:15,099 --> 00:01:17,340
Sí, sí, parece magia negra tecnológica.

26
00:01:17,439 --> 00:01:19,659
Algo que está reservado solo para un club

27
00:01:19,659 --> 00:01:22,120
hiperexclusivo de corporaciones billonarias.

28
00:01:22,439 --> 00:01:25,040
Pues bien, hoy vamos a destruir ese mito

29
00:01:25,040 --> 00:01:25,680
por completo.

30
00:01:25,920 --> 00:01:28,340
Vamos a coger ese cerebro inalcanzable y lo

31
00:01:28,340 --> 00:01:30,719
vamos a meter dentro del mismo portátil normal

32
00:01:30,719 --> 00:01:33,120
y corriente que usáis habitualmente para ver series

33
00:01:33,120 --> 00:01:33,620
en Netflix.

34
00:01:33,859 --> 00:01:35,859
Y, ojo, es crucial subrayar que esto no

35
00:01:35,859 --> 00:01:37,939
es un experimento mental o una ida de

36
00:01:37,939 --> 00:01:38,480
olla teórica.

37
00:01:38,659 --> 00:01:41,120
Todo este análisis nace de una clase magistral.

38
00:01:41,280 --> 00:01:43,579
Que es absolutamente fascinante.

39
00:01:43,920 --> 00:01:44,560
Flipante, sí.

40
00:01:44,959 --> 00:01:49,159
Impartida por Ángelos Peribolaropoulos, que es ingeniero de

41
00:01:49,159 --> 00:01:50,760
investigación en Eleven Labs.

42
00:01:50,959 --> 00:01:51,420
Casi nada.

43
00:01:51,640 --> 00:01:51,859
Ya ves.

44
00:01:52,219 --> 00:01:54,280
Pero, bueno, creo que es vital establecer las

45
00:01:54,280 --> 00:01:56,920
expectativas correctas desde el minuto uno para quienes

46
00:01:56,920 --> 00:01:57,719
nos escuchan hoy.

47
00:01:57,959 --> 00:02:01,019
No vamos a construir el próximo sistema hiperavanzado

48
00:02:01,019 --> 00:02:03,060
de inteligencia artificial en el salón de casa.

49
00:02:03,319 --> 00:02:05,260
Claro, no vamos a sacar el GPT -5

50
00:02:05,260 --> 00:02:05,599
hoy.

51
00:02:05,739 --> 00:02:06,180
Exacto.

52
00:02:06,299 --> 00:02:08,139
Lo que Ángelos hace en su taller es

53
00:02:08,139 --> 00:02:09,900
construir un modelo que llamamos pequeño.

54
00:02:09,900 --> 00:02:12,479
De unos 1 ,8 millones de parámetros.

55
00:02:12,680 --> 00:02:15,000
Que, comparado con los billones de hoy en

56
00:02:15,000 --> 00:02:16,120
día, es enano.

57
00:02:16,300 --> 00:02:16,979
Es diminuto, sí.

58
00:02:17,139 --> 00:02:19,780
Y lo hace utilizando herramientas gratuitas de estar

59
00:02:19,780 --> 00:02:22,860
por casa, como Python, PyTorch y la arquitectura

60
00:02:22,860 --> 00:02:24,539
clásica de un modelo como GPT -2.

61
00:02:24,759 --> 00:02:28,159
O sea, el valor real de desgranar esto

62
00:02:28,159 --> 00:02:30,319
a fondo hoy no es que aprendamos a

63
00:02:30,319 --> 00:02:32,780
teclear código en directo y montemos una startup.

64
00:02:33,139 --> 00:02:34,020
No, para nada.

65
00:02:34,259 --> 00:02:36,800
El objetivo es abrir el capó de la

66
00:02:36,800 --> 00:02:37,280
tecnología.

67
00:02:37,560 --> 00:02:37,800
¿Qué es la tecnología?

68
00:02:37,800 --> 00:02:39,580
Queremos entender tuerca.

69
00:02:39,580 --> 00:02:41,659
Explica a tuerca y paso a paso cómo

70
00:02:41,659 --> 00:02:43,319
aprenden a hablar las máquinas.

71
00:02:43,620 --> 00:02:46,460
Quitarle por fin ese aura místico y casi

72
00:02:46,460 --> 00:02:47,900
incomprensible que tiene la IA.

73
00:02:48,159 --> 00:02:49,919
Ese es exactamente el objetivo.

74
00:02:50,360 --> 00:02:51,939
Vale, pues vamos a desgranar esto.

75
00:02:52,159 --> 00:02:54,719
Y el primer paso lógico, a ver, antes

76
00:02:54,719 --> 00:02:57,000
de que una máquina empiece a pensar, a

77
00:02:57,000 --> 00:03:00,439
predecir o a redactar ensayos, es enseñarle a

78
00:03:00,439 --> 00:03:00,699
leer.

79
00:03:01,199 --> 00:03:01,719
Fundamental.

80
00:03:01,979 --> 00:03:04,919
Pero claro, los ordenadores son pésimos con la

81
00:03:04,919 --> 00:03:05,460
literatura.

82
00:03:05,560 --> 00:03:08,219
No entienden de comas, no entienden de metáforas,

83
00:03:08,219 --> 00:03:09,560
ni siquiera entienden las...

84
00:03:09,580 --> 00:03:09,919
Las letras.

85
00:03:10,000 --> 00:03:11,080
Solo ven números.

86
00:03:11,460 --> 00:03:12,000
Eso es.

87
00:03:12,120 --> 00:03:13,539
Entienden puramente de números.

88
00:03:13,780 --> 00:03:16,379
Así que la primera gran pieza de este

89
00:03:16,379 --> 00:03:20,780
rompecabezas es el tokenizador o tokenizer en inglés.

90
00:03:21,039 --> 00:03:22,340
Que es una pieza clave.

91
00:03:22,419 --> 00:03:24,800
Y Ángel os cuenta un detalle increíble en

92
00:03:24,800 --> 00:03:25,439
la charla.

93
00:03:25,520 --> 00:03:28,400
Y es que en laboratorios de élite, como

94
00:03:28,400 --> 00:03:32,900
Eleven Labs, los ingenieros pueden tirarse, literalmente, meses

95
00:03:32,900 --> 00:03:37,439
enteros debatiendo y afinando exclusivamente el tokenizador.

96
00:03:37,719 --> 00:03:39,159
Sí, sí, meses.

97
00:03:39,840 --> 00:03:43,240
Mucho antes de siquiera tocar la estructura matemática

98
00:03:43,240 --> 00:03:44,360
del celebro del modelo.

99
00:03:44,620 --> 00:03:46,800
Es que el impacto de esa decisión inicial

100
00:03:46,800 --> 00:03:48,080
es colosal.

101
00:03:48,400 --> 00:03:50,659
Condiciona absolutamente todo lo que viene después.

102
00:03:51,039 --> 00:03:54,919
Piensa en el tokenizador como el puente diplomático

103
00:03:54,919 --> 00:03:58,340
o el traductor oficial entre nuestro mundo lingüístico,

104
00:03:58,340 --> 00:04:01,219
que es súper complejo, y su mundo puramente

105
00:04:01,219 --> 00:04:01,840
matemático.

106
00:04:01,979 --> 00:04:02,400
Vale.

107
00:04:02,580 --> 00:04:04,500
Un modelo de lenguaje no ve palabras.

108
00:04:04,819 --> 00:04:08,139
Ve lo que llamamos embeddings, que son vectores

109
00:04:08,139 --> 00:04:09,560
o secuencias numéricas inmediatas.

110
00:04:09,580 --> 00:04:10,039
Inmensas.

111
00:04:10,060 --> 00:04:10,300
Ya.

112
00:04:10,520 --> 00:04:13,139
Y en el experimento de este portátil, para

113
00:04:13,139 --> 00:04:15,500
no complicar las cosas, Ángel os opta por

114
00:04:15,500 --> 00:04:17,660
lo más rudimentario de todo, que es una

115
00:04:17,660 --> 00:04:19,480
tokenización a nivel de carácter.

116
00:04:19,660 --> 00:04:20,600
Letra a letra.

117
00:04:20,759 --> 00:04:21,240
Eso es.

118
00:04:21,319 --> 00:04:24,360
Es decir, el diccionario completo de nuestro modelo

119
00:04:24,360 --> 00:04:28,120
tiene únicamente 65 tokens o piezas posibles.

120
00:04:28,300 --> 00:04:31,120
Las 26 letras del alfabeto en mayúsculas y

121
00:04:31,120 --> 00:04:33,860
minúsculas, espacios y algo de puntuación básica.

122
00:04:34,240 --> 00:04:35,660
Claro, súper reducido.

123
00:04:36,019 --> 00:04:36,560
Exacto.

124
00:04:37,300 --> 00:04:39,560
Computacionalmente hablando, para un portátil de 16 letras,

125
00:04:39,560 --> 00:04:39,560
es un poco más difícil.

126
00:04:39,579 --> 00:04:40,079
Y para un portátil de 16 gigas de

127
00:04:40,079 --> 00:04:42,740
memoria RAM, esto es maravilloso porque es ligerísimo.

128
00:04:42,980 --> 00:04:43,420
Vale.

129
00:04:43,500 --> 00:04:44,660
A ver si lo entiendo bien.

130
00:04:44,959 --> 00:04:47,500
Esto es como intentar leer el Quijote, pero

131
00:04:47,500 --> 00:04:49,899
en lugar de poder procesar párrafos o palabras

132
00:04:49,899 --> 00:04:52,879
de un vistazo, estás obligado a leer literalmente

133
00:04:52,879 --> 00:04:53,920
letra por letra.

134
00:04:54,040 --> 00:04:54,540
Tal cual.

135
00:04:54,759 --> 00:04:56,839
Ves la E, luego ves la N, luego

136
00:04:56,839 --> 00:04:58,459
encuentras un espacio, y así.

137
00:04:58,839 --> 00:05:01,300
Con esa miopía tan extrema, te va a

138
00:05:01,300 --> 00:05:03,339
costar horrores saber de qué va la novela.

139
00:05:03,439 --> 00:05:04,980
Es una carga cognitiva brutal.

140
00:05:05,360 --> 00:05:05,660
Claro.

141
00:05:05,680 --> 00:05:07,779
Tienes que adivinar y mantener en tu memoria

142
00:05:07,779 --> 00:05:09,759
que la B, seguida de la L… …

143
00:05:09,759 --> 00:05:11,839
y de la U, termina formando el concepto

144
00:05:11,839 --> 00:05:12,920
del color blue en inglés.

145
00:05:13,220 --> 00:05:13,540
Sí.

146
00:05:13,639 --> 00:05:18,519
Entonces, te pregunto, ¿es esta tremenda miopía la

147
00:05:18,519 --> 00:05:20,879
razón por la que los modelos tan pequeños

148
00:05:20,879 --> 00:05:23,680
se pierden por completo cuando intentas mantener una

149
00:05:23,680 --> 00:05:26,040
conversación amplia y compleja con ellos?

150
00:05:26,360 --> 00:05:27,800
Has dado en el clavo, totalmente.

151
00:05:28,519 --> 00:05:31,220
La distancia cognitiva para relacionar, por ejemplo, un

152
00:05:31,220 --> 00:05:34,279
artículo como él con el sujeto cielo y

153
00:05:34,279 --> 00:05:37,720
luego con el adjetivo azul es matemáticamente enorme

154
00:05:37,720 --> 00:05:39,939
si el pobre modelo está obligado a procesar

155
00:05:39,939 --> 00:05:41,300
saltando de letra en letra.

156
00:05:41,420 --> 00:05:42,360
Es que no da abasto.

157
00:05:42,579 --> 00:05:43,019
Claro.

158
00:05:43,459 --> 00:05:46,060
Por eso, ¿cómo resuelven esto los gigantes de

159
00:05:46,060 --> 00:05:47,060
la industria en la vida real?

160
00:05:47,680 --> 00:05:49,420
Pues no usan caracteres sueltos.

161
00:05:49,620 --> 00:05:53,100
Usan un algoritmo llamado BPE, o Byte -Pair

162
00:05:53,100 --> 00:05:53,519
-Encoding.

163
00:05:54,040 --> 00:05:54,480
BPE.

164
00:05:54,680 --> 00:05:55,120
Vale.

165
00:05:55,240 --> 00:05:56,899
Y aquí es donde la ingeniería de datos

166
00:05:56,899 --> 00:05:57,939
se pone fascinante.

167
00:05:58,259 --> 00:06:00,480
El BPE no le entrega al modelo un

168
00:06:00,480 --> 00:06:03,199
diccionario predefinido por humanos de, oye, estas son

169
00:06:03,199 --> 00:06:04,279
las palabras que existen.

170
00:06:04,399 --> 00:06:04,920
Ah, no.

171
00:06:05,040 --> 00:06:05,459
No, no.

172
00:06:05,639 --> 00:06:08,420
Lo que hace es coger montañas gigantescas de

173
00:06:08,420 --> 00:06:09,079
texto puro.

174
00:06:09,439 --> 00:06:11,759
Y empieza a buscar, de manera automática e

175
00:06:11,759 --> 00:06:15,019
iterativa, qué combinaciones de bytes o de letras

176
00:06:15,019 --> 00:06:16,540
se repiten más a menudo.

177
00:06:17,040 --> 00:06:18,740
Espera, vamos a detenernos ahí.

178
00:06:18,980 --> 00:06:22,300
¿Cómo funciona exactamente esa búsqueda iterativa en la

179
00:06:22,300 --> 00:06:22,839
práctica?

180
00:06:23,079 --> 00:06:23,800
Ponme un ejemplo.

181
00:06:24,060 --> 00:06:26,600
A ver, imagina que el algoritmo analiza miles

182
00:06:26,600 --> 00:06:29,540
de libros y nota estadísticamente que la letra

183
00:06:29,540 --> 00:06:32,620
E y la letra N aparecen juntas constantemente.

184
00:06:32,779 --> 00:06:33,660
Vale, tiene sentido.

185
00:06:33,959 --> 00:06:36,139
Pues el sistema coge y las fusiona y

186
00:06:36,139 --> 00:06:38,139
crea un nuevo token único, que es el

187
00:06:38,139 --> 00:06:38,779
token EN.

188
00:06:39,439 --> 00:06:41,459
Luego hace una segunda pasada de lectura por

189
00:06:41,459 --> 00:06:43,439
todo el texto y ve que ese nuevo

190
00:06:43,439 --> 00:06:46,000
token, EN, suele ir seguido de un espacio

191
00:06:46,000 --> 00:06:47,000
y de la letra U.

192
00:06:47,259 --> 00:06:47,740
¡Ostras!

193
00:06:48,060 --> 00:06:49,379
¿Y las vuelve a fusionar?

194
00:06:49,399 --> 00:06:50,379
Las vuelve a fusionar.

195
00:06:50,560 --> 00:06:53,060
Este proceso se repite miles y miles de

196
00:06:53,060 --> 00:06:53,279
veces.

197
00:06:53,579 --> 00:06:55,699
Si el texto de entrenamiento es, por ejemplo,

198
00:06:55,800 --> 00:06:58,720
código de programación en Python, palabras enteras y

199
00:06:58,720 --> 00:07:02,040
repetitivas como enumerate o print dejan de ser

200
00:07:02,040 --> 00:07:02,819
letras sueltas.

201
00:07:02,939 --> 00:07:05,740
Claro, ya no son la P, la R,

202
00:07:05,879 --> 00:07:06,379
la I.

203
00:07:07,420 --> 00:07:07,899
Exacto.

204
00:07:07,899 --> 00:07:10,399
Pero acaban convirtiéndose en un único número, en

205
00:07:10,399 --> 00:07:11,639
un solo token macizo.

206
00:07:12,019 --> 00:07:13,279
Claro, lo veo.

207
00:07:13,519 --> 00:07:15,920
De esa forma, en vez de gastar diez

208
00:07:15,920 --> 00:07:19,000
preciados espacios de tu memoria operativa en leer

209
00:07:19,000 --> 00:07:22,620
la palabra enumerate letra por letra, la máquina

210
00:07:22,620 --> 00:07:24,839
la procesa entera de un solo bocado.

211
00:07:25,500 --> 00:07:26,060
Exactamente.

212
00:07:26,360 --> 00:07:29,279
Comprime muchísimo la densidad de la información y,

213
00:07:29,319 --> 00:07:32,540
como resultado directo, amplía enormemente el contexto que

214
00:07:32,540 --> 00:07:34,300
el modelo puede recordar de una sola vez.

215
00:07:34,540 --> 00:07:35,360
¡Qué listo!

216
00:07:35,680 --> 00:07:36,439
Pero claro.

217
00:07:36,579 --> 00:07:38,879
Eh… El trabajo tiene un precio a pagar

218
00:07:38,879 --> 00:07:40,439
en términos de hardware que es brutal.

219
00:07:40,740 --> 00:07:41,860
¡Aquí viene la trampa!

220
00:07:42,180 --> 00:07:42,480
Claro.

221
00:07:43,399 --> 00:07:46,759
Si hubieran intentado usar un vocabulario BPE profesional,

222
00:07:47,100 --> 00:07:49,959
pongamos de 50 .000 tokens, en este experimento

223
00:07:49,959 --> 00:07:53,259
casero, solo la tabla matemática inicial necesaria para

224
00:07:53,259 --> 00:07:56,139
traducir esos 50 .000 tokens a vectores con

225
00:07:56,139 --> 00:07:59,279
cientos de dimensiones habría requerido unos 19 millones

226
00:07:59,279 --> 00:08:00,060
de parámetros.

227
00:08:00,339 --> 00:08:01,120
¡Madre mía!

228
00:08:01,319 --> 00:08:04,779
Solo para empezar, el portátil habría colapsado al

229
00:08:04,779 --> 00:08:07,699
instante, se habría quedado sin memoria RAM antes

230
00:08:07,699 --> 00:08:10,560
incluso de poder realizar el primer cálculo matemático

231
00:08:10,560 --> 00:08:11,040
del modelo.

232
00:08:11,379 --> 00:08:13,000
Es que ni arranca.

233
00:08:13,120 --> 00:08:13,800
Ni arranca.

234
00:08:13,939 --> 00:08:16,480
Por eso, para este ejercicio didáctico de la

235
00:08:16,480 --> 00:08:19,759
charla, se conforman con los 65 caracteres básicos

236
00:08:19,759 --> 00:08:20,459
y a correr.

237
00:08:20,740 --> 00:08:21,560
¡Qué barbaridad!

238
00:08:21,779 --> 00:08:24,279
O sea, la memoria del ordenador se iría

239
00:08:24,279 --> 00:08:25,500
a pique antes de empezar.

240
00:08:25,720 --> 00:08:28,800
Vale, entonces ya tenemos el texto humano, traducido

241
00:08:28,800 --> 00:08:30,779
a números, a esos vectores gigantes.

242
00:08:31,199 --> 00:08:34,480
Ahora, ¿dónde demonios se procesa y se mastica

243
00:08:34,480 --> 00:08:35,580
toda esa ensalada de números?

244
00:08:35,580 --> 00:08:36,440
Buena pregunta.

245
00:08:36,740 --> 00:08:39,360
Y aquí dejamos el traductor y entramos en

246
00:08:39,360 --> 00:08:42,840
la arquitectura del Transformer, que es literalmente el

247
00:08:42,840 --> 00:08:45,220
motor de combustión de toda la inteligencia artificial

248
00:08:45,220 --> 00:08:45,980
moderna.

249
00:08:46,100 --> 00:08:48,539
Y según las fuentes, su núcleo duro es

250
00:08:48,539 --> 00:08:51,559
un concepto muy concreto llamado mecanismo de atención.

251
00:08:52,019 --> 00:08:52,440
Así es.

252
00:08:52,500 --> 00:08:55,159
Si queremos usar el nombre técnico completo, los

253
00:08:55,159 --> 00:08:57,740
ingenieros hablan de multi -head self -attention.

254
00:08:58,580 --> 00:08:59,700
Atención multicabeza.

255
00:08:59,840 --> 00:09:00,360
Eso es.

256
00:09:00,639 --> 00:09:03,179
Cuando el cerebro del Transformer recibe esa enorme

257
00:09:03,179 --> 00:09:07,600
secuencia de vectores matemáticos, necesita entender desesperadamente cómo

258
00:09:07,600 --> 00:09:09,519
se relacionan entre sí dentro de la frase.

259
00:09:09,679 --> 00:09:10,100
Vale.

260
00:09:10,240 --> 00:09:12,539
El mecanismo de atención permite que mientras el

261
00:09:12,539 --> 00:09:15,159
modelo procesa activamente la palabra banco, por ejemplo,

262
00:09:15,279 --> 00:09:17,460
pueda mirar hacia atrás en el texto para

263
00:09:17,460 --> 00:09:20,440
calcular matemáticamente si esa palabra venía de sentarse

264
00:09:20,440 --> 00:09:22,299
en un o de robar en un.

265
00:09:22,419 --> 00:09:24,200
Claro, el contexto lo cambia todo.

266
00:09:24,379 --> 00:09:25,659
Cambia todo el significado.

267
00:09:25,799 --> 00:09:28,179
Y se llama multicabeza porque el modelo no

268
00:09:28,179 --> 00:09:29,980
hace esto una sola vez de forma lineal,

269
00:09:30,019 --> 00:09:32,440
sino que lanza varias redes de atención en

270
00:09:32,440 --> 00:09:33,100
paralelo simultáneamente.

271
00:09:33,980 --> 00:09:35,080
Es como… Sí.

272
00:09:35,100 --> 00:09:36,659
A ver, es como contratar a un equipo

273
00:09:36,659 --> 00:09:38,960
de correctores para que lean el mismo texto

274
00:09:38,960 --> 00:09:40,879
a la vez, pero cada uno tiene su

275
00:09:40,879 --> 00:09:41,480
especialidad.

276
00:09:41,700 --> 00:09:42,720
Me gusta esa analogía.

277
00:09:42,980 --> 00:09:44,700
O sea, uno se fija obsesivamente en la

278
00:09:44,700 --> 00:09:47,000
puntuación, otro busca que el sujeto y el

279
00:09:47,000 --> 00:09:49,679
verbo concuerden en número, y otro se encarga

280
00:09:49,679 --> 00:09:52,159
de analizar el tono emocional global del párrafo,

281
00:09:52,159 --> 00:09:52,240
¿no?

282
00:09:52,419 --> 00:09:53,059
Tal cual.

283
00:09:53,220 --> 00:09:54,000
Lo has clavado.

284
00:09:54,240 --> 00:09:57,080
Todas esas cabezas extraen relaciones invisibles de los

285
00:09:57,080 --> 00:09:57,379
números.

286
00:09:57,600 --> 00:10:00,179
Y una vez que tienen esos descubrimientos, entra

287
00:10:00,179 --> 00:10:02,139
en acción la segunda parte vital de este

288
00:10:02,139 --> 00:10:04,039
cerebro, que es el MLP.

289
00:10:04,039 --> 00:10:05,460
Las redes feedforward.

290
00:10:05,720 --> 00:10:07,279
¿Y esas qué hacen exactamente?

291
00:10:07,759 --> 00:10:09,899
Imagina que toman todos los informes de esos

292
00:10:09,899 --> 00:10:13,080
correctores que has mencionado, los organizan lógicamente y

293
00:10:13,080 --> 00:10:16,360
dicen, de acuerdo, con todas estas relaciones matemáticas

294
00:10:16,360 --> 00:10:18,879
sobre la mesa, ya estamos listos para predecir

295
00:10:18,879 --> 00:10:19,899
qué letra viene después.

296
00:10:20,440 --> 00:10:21,000
Entendido.

297
00:10:21,100 --> 00:10:23,620
Y leyendo sobre esto, veo que todo este

298
00:10:23,620 --> 00:10:26,120
flujo de datos está blindado por unos mecanismos

299
00:10:26,120 --> 00:10:29,759
de seguridad matemáticos muy técnicos, destacando especialmente dos,

300
00:10:29,879 --> 00:10:32,659
las conexiones residuales y la normalización de capas.

301
00:10:32,659 --> 00:10:34,580
Esos son los salvavidas del sistema.

302
00:10:34,940 --> 00:10:38,740
Es que las conexiones residuales me parecieron curiosísimas

303
00:10:38,740 --> 00:10:41,720
en la documentación, porque actúan como una red

304
00:10:41,720 --> 00:10:43,200
de seguridad espectacular.

305
00:10:43,659 --> 00:10:45,039
Lo son, lo son.

306
00:10:45,320 --> 00:10:47,840
Según entiendo, si el modelo hace un cálculo

307
00:10:47,840 --> 00:10:50,259
profundo en una de sus capas, no tira

308
00:10:50,259 --> 00:10:52,340
todo a la basura y empieza de cero

309
00:10:52,340 --> 00:10:54,639
en la siguiente capa, sino que suma la

310
00:10:54,639 --> 00:10:57,299
información de entrada original al nuevo descubrimiento.

311
00:10:57,480 --> 00:10:58,000
Exacto.

312
00:10:58,059 --> 00:10:59,220
Es como… A ver.

313
00:10:59,220 --> 00:11:01,480
Es el equivalente a no quemar tus apuntes

314
00:11:01,480 --> 00:11:03,559
de álgebra del año pasado cuando pasas al

315
00:11:03,559 --> 00:11:07,179
siguiente curso, sino añadirle las fórmulas nuevas encima.

316
00:11:07,500 --> 00:11:08,059
Totalmente.

317
00:11:08,440 --> 00:11:11,120
Y, por otro lado, la normalización de capas

318
00:11:11,120 --> 00:11:14,059
evita que los números exploten, impidiendo que un

319
00:11:14,059 --> 00:11:17,720
simple valor de 0 ,5 acabe convertido en

320
00:11:17,720 --> 00:11:20,139
10 millones tras varios cálculos y el portatil

321
00:11:20,139 --> 00:11:20,759
salga ardiendo.

322
00:11:20,919 --> 00:11:22,059
Es que es literal, ¿eh?

323
00:11:22,080 --> 00:11:24,779
En las redes neuronales profundas, si te pones

324
00:11:24,779 --> 00:11:27,100
a multiplicar números entre sí a lo largo

325
00:11:27,100 --> 00:11:30,220
de 100 capas consecutivas… …los valores tienden al

326
00:11:30,220 --> 00:11:32,679
infinito o al cero absoluto, con una rapidez

327
00:11:32,679 --> 00:11:33,279
aterradora.

328
00:11:33,399 --> 00:11:34,919
Claro, el efecto bola de nieve.

329
00:11:35,120 --> 00:11:35,600
Eso es.

330
00:11:35,679 --> 00:11:38,919
La normalización actúa literalmente como un termostato de

331
00:11:38,919 --> 00:11:43,179
seguridad, manteniendo siempre todas las operaciones matemáticas, operando

332
00:11:43,179 --> 00:11:44,960
dentro de un rango manejable para que el

333
00:11:44,960 --> 00:11:47,440
sistema no colapse por su propio peso numérico.

334
00:11:47,659 --> 00:11:49,799
Pero espera, aquí tengo que frenar y hacer

335
00:11:49,799 --> 00:11:51,179
un poco de abogada del diablo.

336
00:11:51,360 --> 00:11:51,840
A ver, dime.

337
00:11:52,100 --> 00:11:55,379
Porque en la charla, Ángelos abre el archivo

338
00:11:55,379 --> 00:11:57,240
con el código en Python de este famoso

339
00:11:57,240 --> 00:12:01,200
transformer, y revela que son apenas unas cientos

340
00:12:01,200 --> 00:12:01,960
de líneas de código.

341
00:12:02,259 --> 00:12:04,139
Sí, es un archivo súper corto.

342
00:12:04,159 --> 00:12:05,639
Todo el núcleo duro cabe en un par

343
00:12:05,639 --> 00:12:06,419
de archivos de texto.

344
00:12:06,639 --> 00:12:09,580
Entonces, mi duda es si la arquitectura base

345
00:12:09,580 --> 00:12:13,620
es tan sorprendentemente simple porque existen saltos tan

346
00:12:13,620 --> 00:12:16,860
gigantescos en capacidad entre un modelo antiguo y

347
00:12:16,860 --> 00:12:18,259
los monstruos actuales.

348
00:12:18,399 --> 00:12:19,379
Ya sé por dónde vas.

349
00:12:19,659 --> 00:12:21,700
Claro, me refiero a esos modelos con ventanas

350
00:12:21,700 --> 00:12:24,700
de contexto gigantes que son capaces de tragarse

351
00:12:24,700 --> 00:12:26,240
un libro entero de una sentada.

352
00:12:26,240 --> 00:12:28,840
¿Dónde está el truco si la receta base

353
00:12:28,840 --> 00:12:30,919
que usan es idéntica a la del portátil?

354
00:12:31,100 --> 00:12:33,860
Pues mira, esa es probablemente la pregunta técnica

355
00:12:33,860 --> 00:12:36,240
más importante de la última década en este

356
00:12:36,240 --> 00:12:36,519
campo.

357
00:12:36,759 --> 00:12:39,279
La respuesta se resume en el problema del

358
00:12:39,279 --> 00:12:40,320
escalado computacional.

359
00:12:40,740 --> 00:12:41,519
Explícamelo un poco.

360
00:12:41,700 --> 00:12:43,980
En este pequeño modelo entrenado en el portátil,

361
00:12:44,080 --> 00:12:46,360
la ventana de contexto, que es el número

362
00:12:46,360 --> 00:12:48,419
máximo de tokens que puede retener en la

363
00:12:48,419 --> 00:12:50,799
memoria a la vez, es de sólo 256.

364
00:12:51,740 --> 00:12:52,539
Es una ventana enana.

365
00:12:52,799 --> 00:12:54,120
Es minúscula.

366
00:12:54,360 --> 00:12:56,220
Cualquiera desde casa podría pensar por eso.

367
00:12:56,240 --> 00:12:58,940
Pues oye, abro el código, borro el 256,

368
00:12:59,379 --> 00:13:01,759
escribo un millón de tokens y ya tengo

369
00:13:01,759 --> 00:13:02,919
un modelo súper avanzado.

370
00:13:03,000 --> 00:13:03,360
No.

371
00:13:03,600 --> 00:13:05,779
Claro, suena facilísimo.

372
00:13:05,980 --> 00:13:08,519
O sea, ¿por qué no hacerlo y saltarnos

373
00:13:08,519 --> 00:13:09,320
todo el problema?

374
00:13:09,600 --> 00:13:12,360
Porque el maravilloso mecanismo de atención que acabamos

375
00:13:12,360 --> 00:13:14,620
de alabar tiene un defecto fatal.

376
00:13:14,820 --> 00:13:17,259
Y es que su coste computacional crece de

377
00:13:17,259 --> 00:13:19,259
forma cuadrática, no lineal.

378
00:13:19,320 --> 00:13:19,799
Ostras.

379
00:13:20,120 --> 00:13:22,220
Para entender a la perfección el contexto, la

380
00:13:22,220 --> 00:13:25,200
arquitectura requiere que cada token individual se compare

381
00:13:25,200 --> 00:13:28,399
matemáticamente con absolutamente todos los tokens anteriores.

382
00:13:28,899 --> 00:13:29,659
Ah, entiendo.

383
00:13:29,799 --> 00:13:31,799
O sea, a ver, es como organizar una

384
00:13:31,799 --> 00:13:32,100
cena.

385
00:13:32,279 --> 00:13:34,820
Si sois cuatro personas sentadas a la mesa,

386
00:13:34,940 --> 00:13:38,440
todos podéis escucharos sin problema cruzar miradas y

387
00:13:38,440 --> 00:13:40,500
seguir el hilo de la conversación cruzada.

388
00:13:40,620 --> 00:13:41,759
Claro, una charla fluida.

389
00:13:41,919 --> 00:13:45,500
Pero si metes a, no sé, cien mil

390
00:13:45,500 --> 00:13:48,720
personas de golpe en un estadio de fútbol

391
00:13:48,720 --> 00:13:52,419
y exiges que cada persona escuche y preste

392
00:13:52,419 --> 00:13:55,720
atención simultáneamente a lo que están diciendo las

393
00:13:55,720 --> 00:13:58,039
otras 99 .999...

394
00:13:58,039 --> 00:13:59,519
El caos absoluto.

395
00:13:59,539 --> 00:14:00,440
El cerebro colapsa.

396
00:14:00,440 --> 00:14:02,120
Es puro ruido ensordecedor.

397
00:14:02,279 --> 00:14:04,879
Es una analogía magistral, de verdad.

398
00:14:05,360 --> 00:14:07,659
Exactamente eso mismo ocurre dentro de los chips

399
00:14:07,659 --> 00:14:09,220
de memoria de una tarjeta gráfica.

400
00:14:09,419 --> 00:14:12,519
Un estadio virtual de cien mil tokens intentando

401
00:14:12,519 --> 00:14:16,139
prestarse atención mutua requeriría terabytes y terabytes de

402
00:14:16,139 --> 00:14:19,159
memoria RAM ultra rápida, que sencillamente no caben

403
00:14:19,159 --> 00:14:20,500
físicamente en un solo ordenador.

404
00:14:20,639 --> 00:14:23,240
Es físicamente imposible hoy en día.

405
00:14:23,240 --> 00:14:25,879
Por eso, la verdadera gran revolución silenciosa de

406
00:14:25,879 --> 00:14:27,700
los últimos años en empresas como Google u

407
00:14:27,700 --> 00:14:30,480
OpenAI no ha sido reinventar la rueda del

408
00:14:30,480 --> 00:14:34,059
Transformer, sino descubrir trucos de ingeniería matemática brutales.

409
00:14:34,240 --> 00:14:35,360
¿Trucos de magia numérica?

410
00:14:35,679 --> 00:14:39,720
Básicamente, algoritmos de optimización como Flash Attention que

411
00:14:39,720 --> 00:14:42,940
logran que ese cálculo de atención cuadrático se

412
00:14:42,940 --> 00:14:46,320
haga increíblemente rápido y gastando mucha menos memoria,

413
00:14:46,460 --> 00:14:48,000
sin derretir los servidores.

414
00:14:48,480 --> 00:14:50,080
Vale, ahora encaja todo.

415
00:14:50,299 --> 00:14:52,539
Es como, a ver, es como saber fabricar

416
00:14:52,539 --> 00:14:53,220
los planos de un computador.

417
00:14:53,220 --> 00:14:54,700
Es como un motor de combustión básico de

418
00:14:54,700 --> 00:14:56,799
hace un siglo frente a diseñar el motor

419
00:14:56,799 --> 00:14:59,419
híbrido de un monoplaza de Fórmula 1 moderno.

420
00:14:59,480 --> 00:15:00,120
Eso es.

421
00:15:00,240 --> 00:15:03,779
La teoría subyacente del pistón es exactamente la

422
00:15:03,779 --> 00:15:06,200
misma, pero la ingeniería de materiales y la

423
00:15:06,200 --> 00:15:09,080
optimización de soporte que hay detrás lo cambian

424
00:15:09,080 --> 00:15:10,000
absolutamente todo.

425
00:15:10,500 --> 00:15:11,059
Totalmente.

426
00:15:11,220 --> 00:15:14,419
Bien, pues ya tenemos nuestro cerebro Transformer montado

427
00:15:14,419 --> 00:15:16,799
en el portátil, con su tokenizador listo y

428
00:15:16,799 --> 00:15:19,700
sus capas alineadas, pero ahora mismo está totalmente

429
00:15:19,700 --> 00:15:20,299
en blanco.

430
00:15:20,460 --> 00:15:22,120
Es un lienzo vacío, sí.

431
00:15:22,120 --> 00:15:24,159
Es decir, ni más ni menos que como

432
00:15:24,159 --> 00:15:24,940
William Shakespeare.

433
00:15:25,419 --> 00:15:26,419
Palabras mayores.

434
00:15:26,740 --> 00:15:29,379
Así es, se le proporciona un conjunto de

435
00:15:29,379 --> 00:15:32,039
datos muy célebre en este ámbito formativo, que

436
00:15:32,039 --> 00:15:33,659
es un archivo de texto con un millón

437
00:15:33,659 --> 00:15:36,360
de caracteres exactos extraídos de las obras de

438
00:15:36,360 --> 00:15:36,659
Shakespeare.

439
00:15:37,000 --> 00:15:38,159
Un millón, vale.

440
00:15:38,639 --> 00:15:41,440
Y el objetivo que le marcamos matemáticamente a

441
00:15:41,440 --> 00:15:43,919
la máquina es asombrosamente simple en la teoría.

442
00:15:43,940 --> 00:15:46,399
Tiene que predecir el siguiente token de manera

443
00:15:46,399 --> 00:15:47,620
autorregresiva.

444
00:15:47,759 --> 00:15:49,379
Es decir, adivinar lo que viene.

445
00:15:49,720 --> 00:15:50,279
Exacto.

446
00:15:50,279 --> 00:15:53,120
Lee el fragmento anterior y adivina qué letra

447
00:15:53,120 --> 00:15:53,740
tocaría ahora.

448
00:15:54,000 --> 00:15:56,480
Pero el verdadero secreto aquí no es simplemente

449
00:15:56,480 --> 00:16:00,340
vomitarle los datos encima, sino controlar científicamente cómo

450
00:16:00,340 --> 00:16:02,460
de rápido le dejas aprender de sus propios

451
00:16:02,460 --> 00:16:02,919
errores.

452
00:16:03,139 --> 00:16:04,600
Claro, el ritmo importa.

453
00:16:05,259 --> 00:16:05,820
Muchísimo.

454
00:16:06,039 --> 00:16:09,360
Y ahí entra un concepto absolutamente vital, que

455
00:16:09,360 --> 00:16:11,679
es la tasa de aprendizaje o Learning Rate,

456
00:16:11,820 --> 00:16:13,700
que en este caso es gobernada por un

457
00:16:13,700 --> 00:16:16,200
optimizador algorítmico llamado Adam W.

458
00:16:16,440 --> 00:16:18,620
Uf, aquí es donde la cosa se pone

459
00:16:18,620 --> 00:16:19,940
muy interesante para mí.

460
00:16:19,940 --> 00:16:23,320
Porque revisando las fuentes, el concepto de la

461
00:16:23,320 --> 00:16:26,159
tasa de aprendizaje me recordó muchísimo a esas

462
00:16:26,159 --> 00:16:28,639
noches de universidad en las que te ponías

463
00:16:28,639 --> 00:16:31,340
a estudiar para los exámenes finales a base

464
00:16:31,340 --> 00:16:31,779
de café.

465
00:16:32,000 --> 00:16:33,360
Ay madre, qué recuerdos.

466
00:16:33,480 --> 00:16:33,820
¿Verdad?

467
00:16:33,940 --> 00:16:36,220
O sea, si empiezas tu sesión de estudio

468
00:16:36,220 --> 00:16:39,860
tomándote tres espresos dobles de golpe, lo que

469
00:16:39,860 --> 00:16:42,360
equivaldría a una tasa de aprendizaje altísima en

470
00:16:42,360 --> 00:16:44,820
el código, entras en pánico absoluto.

471
00:16:44,899 --> 00:16:45,799
Te da taquicardia.

472
00:16:45,879 --> 00:16:48,600
Te da taquicardia, tu mente va dando bandazos

473
00:16:48,600 --> 00:16:50,240
de una idea a otra, y al final

474
00:16:50,240 --> 00:16:52,899
no retienes ni un solo concepto claro.

475
00:16:53,139 --> 00:16:54,379
Sí, sí, es un desastre.

476
00:16:54,500 --> 00:16:57,039
Pues el optimizador Adam W., por el contrario,

477
00:16:57,240 --> 00:16:59,580
actúa como un tutor inteligente que te va

478
00:16:59,580 --> 00:17:00,919
dando el café poco a poco.

479
00:17:01,059 --> 00:17:01,600
Me encanta.

480
00:17:01,919 --> 00:17:04,279
Y empieza con un warm up, un calentamiento

481
00:17:04,279 --> 00:17:05,019
muy suave.

482
00:17:05,279 --> 00:17:07,619
Luego va subiendo el ritmo hasta llegar a

483
00:17:07,619 --> 00:17:11,160
un pico óptimo donde estás súper concentrado aprendiendo

484
00:17:11,160 --> 00:17:12,059
a toda velocidad.

485
00:17:12,380 --> 00:17:15,819
Y después inicia un descenso lentísimo, un cosine

486
00:17:15,819 --> 00:17:16,160
decay.

487
00:17:16,480 --> 00:17:17,000
Eso es.

488
00:17:17,000 --> 00:17:19,660
Va relajando la presión a medida que el

489
00:17:19,660 --> 00:17:21,900
modelo se va volviendo un experto para que

490
00:17:21,900 --> 00:17:23,680
no se pase de frenada al ajustar los

491
00:17:23,680 --> 00:17:24,539
detalles finos.

492
00:17:24,619 --> 00:17:26,539
Es que esa metáfora visual es impecable.

493
00:17:26,740 --> 00:17:30,299
Piensa que, matemáticamente, el modelo está intentando descender

494
00:17:30,299 --> 00:17:33,079
por un paisaje de montañas escarpadas buscando el

495
00:17:33,079 --> 00:17:33,859
valle más bajo.

496
00:17:33,980 --> 00:17:34,920
Que sería el menor error.

497
00:17:35,140 --> 00:17:35,619
Exacto.

498
00:17:35,940 --> 00:17:37,759
Representa el mínimo de error posible.

499
00:17:38,180 --> 00:17:40,819
Si mantienes la tasa de aprendizaje muy alta,

500
00:17:40,880 --> 00:17:43,559
la sobredosis de café, al final del entrenamiento

501
00:17:43,559 --> 00:17:45,900
el modelo estará saltando bruscamente de un lado

502
00:17:45,900 --> 00:17:48,180
a otro del valle, rebotando por encima de

503
00:17:48,180 --> 00:17:50,460
la solución perfecta sin llegar a asentarse nunca.

504
00:17:50,640 --> 00:17:51,680
Claro, nunca llega al fondo.

505
00:17:51,940 --> 00:17:53,420
Y la forma en la que los ingenieros

506
00:17:53,420 --> 00:17:56,440
sabemos, en tiempo real, si este delicado ritmo

507
00:17:56,440 --> 00:17:59,859
de aprendizaje está funcionando, es monitorizando una métrica

508
00:17:59,859 --> 00:18:01,880
llamada Loss, la función de pérdida.

509
00:18:02,339 --> 00:18:04,319
Y ver bajar ese número en directo en

510
00:18:04,319 --> 00:18:07,099
la pantalla es, con diferencia, el momento más

511
00:18:07,099 --> 00:18:08,640
mágico del taller de Ángelos.

512
00:18:08,799 --> 00:18:09,940
Yo me quedé asombrada.

513
00:18:10,220 --> 00:18:12,960
En la demostración, ese número empieza en un

514
00:18:12,960 --> 00:18:14,380
valor de 4 ,17.

515
00:18:15,500 --> 00:18:16,740
Que, traducido a la regla, es el número

516
00:18:16,740 --> 00:18:16,740
más alto del taller de Ángelos.

517
00:18:16,759 --> 00:18:18,619
En la realidad, significa que el modelo es

518
00:18:18,619 --> 00:18:21,200
tan ignorante que sólo está escupiendo ruido aleatorio

519
00:18:21,200 --> 00:18:21,779
sin sentido.

520
00:18:22,119 --> 00:18:23,900
Basura puramente aleatoria, ¿sí?

521
00:18:24,160 --> 00:18:26,539
Pero de repente, a base de leer y

522
00:18:26,539 --> 00:18:28,980
corregirse, baja a 3 ,3.

523
00:18:29,200 --> 00:18:31,700
Y ahí descubres que al menos ha empezado

524
00:18:31,700 --> 00:18:33,640
a entender qué letras del alfabeto son más

525
00:18:33,640 --> 00:18:34,579
frecuentes que otras.

526
00:18:34,740 --> 00:18:35,259
Ya es un paso.

527
00:18:35,579 --> 00:18:38,000
Luego sigue bajando, a 2 ,5.

528
00:18:38,200 --> 00:18:40,079
Y ves que el sistema ya junta la

529
00:18:40,079 --> 00:18:43,559
T y la H, instintivamente, porque ha internalizado

530
00:18:43,559 --> 00:18:45,140
los biogramas comunes en inglés.

531
00:18:45,460 --> 00:18:45,940
Exacto.

532
00:18:45,940 --> 00:18:47,039
Va pillando el truco.

533
00:18:47,299 --> 00:18:50,059
Al tocar el 1 ,5, la máquina empieza

534
00:18:50,059 --> 00:18:52,240
a soltar palabras completas y reales.

535
00:18:52,319 --> 00:18:54,900
Y cuando por fin baja a 1 ,0,

536
00:18:55,019 --> 00:18:58,380
está creando nombres propios inventados y frases con

537
00:18:58,380 --> 00:19:01,700
una estructura gramatical que suenan exactamente al estilo

538
00:19:01,700 --> 00:19:02,180
de Shakespeare.

539
00:19:02,619 --> 00:19:03,920
Es increíble de ver.

540
00:19:04,180 --> 00:19:05,740
Es que es literalmente como observar a un

541
00:19:05,740 --> 00:19:09,619
bebé humano aprender a balbucear, luego pronunciar sílabas,

542
00:19:09,619 --> 00:19:13,059
decir palabras sueltas y finalmente soltarte una frase

543
00:19:13,059 --> 00:19:13,460
completa.

544
00:19:13,460 --> 00:19:16,779
Pero todo este proceso biológico, comprimido en apenas

545
00:19:16,779 --> 00:19:19,099
15 minutos de procesamiento en la pantalla de

546
00:19:19,099 --> 00:19:19,759
tu portátil.

547
00:19:19,859 --> 00:19:22,779
Es asistir a la emergencia pura del lenguaje

548
00:19:22,779 --> 00:19:24,460
matemático en tiempo real.

549
00:19:24,700 --> 00:19:28,019
Pero ojo, cuidado aquí, porque hay un peligro

550
00:19:28,019 --> 00:19:30,980
técnico monumental oculto en la ambición de bajar

551
00:19:30,980 --> 00:19:31,400
ese número.

552
00:19:31,759 --> 00:19:33,740
Aclaro, no todo es infinito.

553
00:19:33,900 --> 00:19:36,660
Ángelos lanza una advertencia severa en la clase.

554
00:19:36,900 --> 00:19:39,460
Si dejamos que esa métrica de pérdida siga

555
00:19:39,460 --> 00:19:42,519
bajando muy por debajo de 1 ,0, entramos

556
00:19:42,519 --> 00:19:44,160
de lleno en un terreno pantanoso.

557
00:19:44,619 --> 00:19:48,099
Comienza lo que se denomina overfitting o sobreajuste.

558
00:19:48,420 --> 00:19:50,119
Claro, que es el punto en el que

559
00:19:50,119 --> 00:19:53,180
el modelo deja de ser genuinamente inteligente, ¿no?

560
00:19:53,440 --> 00:19:54,039
Exacto.

561
00:19:54,180 --> 00:19:57,079
Deja de aprender las reglas lógicas y abstractas

562
00:19:57,079 --> 00:19:59,799
del lenguaje que le permitirían ser creativo y

563
00:19:59,799 --> 00:20:02,160
empieza pura y simplemente a memorizar de manera

564
00:20:02,160 --> 00:20:05,099
fotográfica ese millón de caracteres de entrenamiento.

565
00:20:05,400 --> 00:20:07,359
Se vuelve un empollón sin imaginación.

566
00:20:07,519 --> 00:20:09,660
Se convierte en un loro estadístico.

567
00:20:09,740 --> 00:20:12,299
Por eso, durante este bucle, se somete al

568
00:20:12,299 --> 00:20:15,339
modelo al validation loss o pérdida de validación.

569
00:20:15,480 --> 00:20:16,720
¿Y eso cómo funciona?

570
00:20:17,099 --> 00:20:20,720
Pues, de forma periódica, se pausa el entrenamiento

571
00:20:20,720 --> 00:20:23,500
y le presentamos a la máquina textos de

572
00:20:23,500 --> 00:20:25,299
Shakespeare que nunca jamás ha visto en su

573
00:20:25,299 --> 00:20:27,240
vida, pidiéndole que los continúe.

574
00:20:27,380 --> 00:20:29,599
Si su pérdida en los textos de entrenamiento

575
00:20:29,599 --> 00:20:32,279
sigue bajando, pero de repente vemos que empieza

576
00:20:32,279 --> 00:20:35,579
a fracasar estrepitosamente y equivocarse al predecir los

577
00:20:35,579 --> 00:20:38,500
textos nuevos… O sea, significa que el modelo

578
00:20:38,500 --> 00:20:40,400
se está chapando el guión de Hamlet de

579
00:20:40,400 --> 00:20:43,740
memoria, perdiendo toda su capacidad de generalizar y

580
00:20:43,740 --> 00:20:46,839
de razonar lingüísticamente con textos inéditos.

581
00:20:46,980 --> 00:20:47,359
Tal cual.

582
00:20:47,599 --> 00:20:49,579
Pierde la capacidad de extrapolar.

583
00:20:49,700 --> 00:20:50,740
¡Qué fascinante!

584
00:20:50,839 --> 00:20:54,079
Es la búsqueda constante del equilibrio perfecto entre

585
00:20:54,079 --> 00:20:57,839
entender profundamente la norma gramatical y no llegar

586
00:20:57,839 --> 00:21:00,559
a obsesionarse ciegamente con el ejemplo concreto.

587
00:21:00,799 --> 00:21:02,900
Ese es el santo grial del machine learning.

588
00:21:03,240 --> 00:21:05,640
Vale, pues pongamos por caso que el modelo

589
00:21:05,640 --> 00:21:07,700
se ha graduado con honores y ya no

590
00:21:07,700 --> 00:21:08,880
memoriza a lo bruto.

591
00:21:09,000 --> 00:21:10,779
Hemos terminado el entrenamiento.

592
00:21:10,900 --> 00:21:14,200
¿Qué ocurre ahora, en la práctica, cuando nos

593
00:21:14,200 --> 00:21:17,359
sentamos frente al teclado, abrimos la consola y

594
00:21:17,359 --> 00:21:19,440
le pedimos que nos escriba un verso nuevo?

595
00:21:19,859 --> 00:21:21,119
El momento de la verdad.

596
00:21:21,339 --> 00:21:24,599
¿Cómo decide mecánicamente qué tecla debe pulsar a

597
00:21:24,599 --> 00:21:25,220
continuación?

598
00:21:25,500 --> 00:21:28,660
Aquí cruzamos la frontera y pasamos del entrenamiento

599
00:21:28,660 --> 00:21:30,420
a lo que llamamos la inferencia.

600
00:21:30,740 --> 00:21:33,440
En el momento de generar texto, el modelo

601
00:21:33,440 --> 00:21:35,519
analiza todo el contexto previo que le has

602
00:21:35,519 --> 00:21:38,880
dado y genera una distribución de probabilidades matemáticas

603
00:21:38,880 --> 00:21:41,299
masiva para todas y cada una de las

604
00:21:41,299 --> 00:21:43,000
letras o tokens de su diccionario.

605
00:21:43,099 --> 00:21:44,839
Una lista de porcentajes, vamos.

606
00:21:45,099 --> 00:21:45,640
Exacto.

607
00:21:45,799 --> 00:21:49,200
A estos números crudos los denominamos logits.

608
00:21:49,940 --> 00:21:52,559
Supongamos que tras hacer sus cálculos, el modelo

609
00:21:52,559 --> 00:21:55,339
determina que hay un 80 % de probabilidad

610
00:21:55,339 --> 00:21:57,200
de que la siguiente letra deba ser una

611
00:21:57,200 --> 00:21:59,819
A, un 15 % para una E y

612
00:21:59,819 --> 00:22:02,240
porcentajes diminutos para el resto de consonantes.

613
00:22:02,460 --> 00:22:02,940
Vale.

614
00:22:03,119 --> 00:22:06,059
La lógica más fría y puramente algorítmica de

615
00:22:06,059 --> 00:22:08,599
un ordenador nos dictaría una regla clarísima.

616
00:22:08,599 --> 00:22:12,099
Elige siempre la opción con mayor probabilidad matemática.

617
00:22:12,259 --> 00:22:14,980
A esta estrategia se la llama greedy decoding

618
00:22:14,980 --> 00:22:16,920
o decodificación codiciosa.

619
00:22:17,059 --> 00:22:19,359
Y aquí, perdona que te corte, pero aquí

620
00:22:19,359 --> 00:22:22,019
es donde necesito frenar en seco y plantear

621
00:22:22,019 --> 00:22:24,759
un dilema brutal que choca contra toda mi

622
00:22:24,759 --> 00:22:25,240
intuición.

623
00:22:25,480 --> 00:22:25,920
Dispara.

624
00:22:26,079 --> 00:22:29,559
Porque Angelos asegura rotundamente que hacer eso, coger

625
00:22:29,559 --> 00:22:32,839
la probabilidad más alta, es una pésima idea

626
00:22:32,839 --> 00:22:34,880
si queremos generar texto natural.

627
00:22:35,440 --> 00:22:39,059
Pero a nivel lógico, ¿por qué querríamos de

628
00:22:39,059 --> 00:22:42,259
forma 100 % voluntaria forzar a la inteligencia

629
00:22:42,259 --> 00:22:45,259
artificial a que elija una opción matemáticamente peor?

630
00:22:45,519 --> 00:22:47,240
Parece contradictorio, ¿verdad?

631
00:22:47,460 --> 00:22:48,059
Totalmente.

632
00:22:48,619 --> 00:22:52,519
Hemos invertido horas de computación, energía y código

633
00:22:52,519 --> 00:22:55,380
refinado en entrenar una máquina para que sea

634
00:22:55,380 --> 00:22:56,099
ultra precisa.

635
00:22:56,440 --> 00:22:59,980
¿No rompe absolutamente todo el propósito obligarla a

636
00:22:59,980 --> 00:23:02,660
equivocarse o a conformarse con la segunda mejor

637
00:23:02,660 --> 00:23:03,140
opción?

638
00:23:03,339 --> 00:23:05,319
Es una de las paradojas más bellas de

639
00:23:05,319 --> 00:23:08,420
esta tecnología y ayuda muchísimo a desmitificar estas

640
00:23:08,420 --> 00:23:09,099
herramientas.

641
00:23:09,220 --> 00:23:12,400
Verás, si estuviéramos diseñando un sistema cuyo único

642
00:23:12,400 --> 00:23:14,839
trabajo fuera transcribir el dictado de voz de

643
00:23:14,839 --> 00:23:18,140
un cirujano durante una operación, ahí usaríamos greedy

644
00:23:18,140 --> 00:23:19,700
decoding sin dudarlo ni un segundo.

645
00:23:19,980 --> 00:23:21,380
Claro, ahí no te la juegas.

646
00:23:21,519 --> 00:23:24,460
Queremos cero creatividad y un 100 % de

647
00:23:24,460 --> 00:23:25,779
precisión estadística.

648
00:23:25,900 --> 00:23:29,259
Pero resulta que el lenguaje humano conversacional es

649
00:23:29,259 --> 00:23:30,799
inherentemente impredecible.

650
00:23:31,059 --> 00:23:34,859
Está lleno de giros estilísticos, de matices poéticos,

651
00:23:34,859 --> 00:23:38,839
y estadísticamente hablando, somos muy subóptimos al hablar.

652
00:23:39,079 --> 00:23:40,539
Damos muchos rodeos.

653
00:23:40,619 --> 00:23:41,180
Demasiados.

654
00:23:41,599 --> 00:23:44,160
Si obligamos al modelo a escoger siempre la

655
00:23:44,160 --> 00:23:47,440
palabra número uno en probabilidad, el texto resultante

656
00:23:47,440 --> 00:23:52,539
sonaría plano, aburrido, tremendamente repetitivo y súper robótico.

657
00:23:52,779 --> 00:23:54,460
Parecería un manual de instrucciones.

658
00:23:54,680 --> 00:23:55,319
Literalmente.

659
00:23:55,779 --> 00:23:58,640
Para que la máquina suene remotamente humana y

660
00:23:58,640 --> 00:24:01,880
literaria, necesitamos inyectarle una buena dosis de caos

661
00:24:01,880 --> 00:24:02,559
controlado.

662
00:24:02,680 --> 00:24:04,839
O sea, necesitamos que el modelo asuma un

663
00:24:04,839 --> 00:24:04,839
control.

664
00:24:04,839 --> 00:24:06,440
O sea, que el modelo asuma voluntariamente ciertos

665
00:24:06,440 --> 00:24:07,339
riesgos creativos.

666
00:24:07,500 --> 00:24:10,039
Y ahí es precisamente donde entra a jugar

667
00:24:10,039 --> 00:24:13,519
un parámetro clave que muchísimos usuarios modifican a

668
00:24:13,519 --> 00:24:16,140
diario en plataformas de IA sin entender realmente

669
00:24:16,140 --> 00:24:16,839
lo que hace.

670
00:24:17,039 --> 00:24:18,039
La famosa temperatura.

671
00:24:18,460 --> 00:24:19,980
Eso es, la temperatura.

672
00:24:20,420 --> 00:24:24,180
Según explica Ángelos en su código, si ajustamos

673
00:24:24,180 --> 00:24:27,240
esa temperatura a un valor de 0 ,7,

674
00:24:27,440 --> 00:24:30,220
que suele ser considerado el punto dulce en

675
00:24:30,220 --> 00:24:34,759
la industria, estamos flexibilizando y aplanando esa rigidez

676
00:24:34,839 --> 00:24:35,539
matemática.

677
00:24:35,720 --> 00:24:37,640
Exacto, relajamos las normas.

678
00:24:37,700 --> 00:24:40,000
Al subir la temperatura, a veces el modelo

679
00:24:40,000 --> 00:24:43,400
va a ignorar deliberadamente esa palabra súper evidente

680
00:24:43,400 --> 00:24:46,339
y aburrida del 80 % de probabilidad y

681
00:24:46,339 --> 00:24:48,700
va a arriesgarse a elegir esa segunda o

682
00:24:48,700 --> 00:24:51,839
tercera opción menos común del 15%.

683
00:24:51,839 --> 00:24:53,259
Sí, sí, se la juega.

684
00:24:53,420 --> 00:24:55,900
Por ejemplo, en lugar de decir el gato

685
00:24:55,900 --> 00:24:59,339
se sentó en la alfombra, podría sorprenderte con

686
00:24:59,670 --> 00:25:02,200
el gato se sentó en la penumbra.

687
00:25:02,200 --> 00:25:06,460
Y es precisamente esa elección estadísticamente menos probable

688
00:25:06,460 --> 00:25:08,819
la que le inyecta el alma o la

689
00:25:08,819 --> 00:25:10,279
chispa creativa al texto.

690
00:25:10,599 --> 00:25:12,660
Lo has descrito a la perfección, de verdad.

691
00:25:12,880 --> 00:25:16,440
La temperatura modifica la distribución aplanando los picos

692
00:25:16,440 --> 00:25:18,940
de las probabilidades para darle una oportunidad a

693
00:25:18,940 --> 00:25:20,180
los tokens más débiles.

694
00:25:20,420 --> 00:25:23,799
Pero claro, invocar el caos siempre es peligroso

695
00:25:23,799 --> 00:25:24,440
en computación.

696
00:25:24,700 --> 00:25:26,640
Te puede salir el tiro por la culata.

697
00:25:26,859 --> 00:25:27,539
Ya te digo.

698
00:25:27,779 --> 00:25:29,940
Tampoco queremos que la máquina se vuelva completamente

699
00:25:29,940 --> 00:25:32,720
loca y empiece a soltar jeroglíficos incómodos comprensibles

700
00:25:32,720 --> 00:25:33,859
de manera aleatoria.

701
00:25:33,920 --> 00:25:36,200
Por eso la temperatura rara vez opera sola

702
00:25:36,200 --> 00:25:36,859
en la práctica.

703
00:25:37,039 --> 00:25:39,500
Siempre trabaja en tándem con un mecanismo llamado

704
00:25:39,500 --> 00:25:40,799
muestreo Top -K.

705
00:25:40,980 --> 00:25:41,619
Top -K.

706
00:25:41,980 --> 00:25:45,779
Que entiendo que funciona como ponerle unas barreras

707
00:25:45,779 --> 00:25:48,460
de contención a esa creatividad desbocada, ¿no?

708
00:25:49,039 --> 00:25:49,519
Exactamente.

709
00:25:49,619 --> 00:25:51,759
El Top -K le marca un límite estricto

710
00:25:51,759 --> 00:25:54,700
al modelo, diciéndole vale, de acuerdo, tienes permiso

711
00:25:54,700 --> 00:25:56,559
para ser creativo y lanzar los dados usando

712
00:25:56,559 --> 00:25:58,940
la temperatura, pero solo puedes elegir entre las

713
00:25:58,940 --> 00:26:01,579
50 opciones que encabezan la lista de probabilidades.

714
00:26:01,579 --> 00:26:02,779
Las 50 mejores.

715
00:26:03,200 --> 00:26:03,819
Eso es.

716
00:26:04,180 --> 00:26:07,039
Al usar esta técnica, cortamos de raíz esa

717
00:26:07,039 --> 00:26:10,700
larga cola estadística de probabilidades infinitesimales.

718
00:26:11,140 --> 00:26:13,440
Evitamos el riesgo de que, en un arrebato

719
00:26:13,440 --> 00:26:17,039
matemático provocado por la temperatura, el modelo elija

720
00:26:17,039 --> 00:26:20,420
una letra rarísima con un 0 ,001 %

721
00:26:20,420 --> 00:26:23,680
de probabilidad que destroce por completo la estructura

722
00:26:23,680 --> 00:26:24,079
de la frase.

723
00:26:24,319 --> 00:26:25,480
Claro, te salva la vida.

724
00:26:25,660 --> 00:26:28,359
Consigues el efecto de la sorpresa literaria, pero

725
00:26:28,359 --> 00:26:30,819
siempre amarrado a una red de seguridad matemática

726
00:26:30,819 --> 00:26:31,480
robusta.

727
00:26:31,579 --> 00:26:33,180
Es una maravilla de mecanismo.

728
00:26:33,259 --> 00:26:36,160
El equilibrio perfecto entre locura y razón.

729
00:26:36,619 --> 00:26:39,400
Entonces, llegados a este punto, vamos a dar

730
00:26:39,400 --> 00:26:40,039
un paso atrás.

731
00:26:40,200 --> 00:26:42,380
Vamos a salir de la pantalla del portátil

732
00:26:42,380 --> 00:26:44,420
y a mirar la foto completa de la

733
00:26:44,420 --> 00:26:45,220
industria actual.

734
00:26:45,500 --> 00:26:46,180
Vamos a ello.

735
00:26:46,359 --> 00:26:49,319
Porque, a ver, ¿qué significa todo esto, en

736
00:26:49,319 --> 00:26:49,660
realidad?

737
00:26:50,180 --> 00:26:53,579
Hasta ahora, hemos estado desgranando pacientemente cómo un

738
00:26:53,579 --> 00:26:56,759
ordenador doméstico predice la siguiente letra para sonar

739
00:26:56,759 --> 00:26:57,240
como Shakespeare.

740
00:26:57,599 --> 00:26:58,500
Que ya es un logro.

741
00:26:58,599 --> 00:26:59,000
Lo es.

742
00:26:59,000 --> 00:27:02,759
Pero luego abres cualquier portal de noticias tecnológicas

743
00:27:02,759 --> 00:27:05,140
y ves que la inteligencia artificial de hoy

744
00:27:05,140 --> 00:27:07,220
es capaz de analizar vídeos de cámaras de

745
00:27:07,220 --> 00:27:10,519
seguridad, componerte una banda sonora instrumental en 10

746
00:27:10,519 --> 00:27:13,539
segundos, o, lo que me resulta más impactante,

747
00:27:13,880 --> 00:27:16,680
ves modelos de razonamiento avanzado que te resuelven

748
00:27:16,680 --> 00:27:20,099
complejos problemas de física cuántica explicando cada paso.

749
00:27:20,299 --> 00:27:22,019
Sí, el salto parece abismal.

750
00:27:22,180 --> 00:27:24,259
Es que si toda la base teórica es

751
00:27:24,259 --> 00:27:28,099
esta simple predicción probabilística de la siguiente pieza,

752
00:27:28,099 --> 00:27:31,599
¿de dónde demonios sale esta inteligencia tan dispar

753
00:27:31,599 --> 00:27:33,019
y aparentemente compleja?

754
00:27:33,200 --> 00:27:35,839
Pues mira, esta es una oportunidad fantástica para

755
00:27:35,839 --> 00:27:38,319
despejar uno de los malentendidos más extendidos de

756
00:27:38,319 --> 00:27:38,880
todo el sector.

757
00:27:39,220 --> 00:27:42,859
Empecemos por la multimodalidad, es decir, el procesamiento

758
00:27:42,859 --> 00:27:44,980
de vídeos, imágenes o pistas de audio.

759
00:27:45,220 --> 00:27:45,519
Vale.

760
00:27:45,660 --> 00:27:48,279
El corazón del transformer base, del que hemos

761
00:27:48,279 --> 00:27:51,460
hablado todo el rato, sigue siendo completamente ciego

762
00:27:51,460 --> 00:27:52,000
y sordo.

763
00:27:52,099 --> 00:27:54,599
Sigue sin entender el concepto visual de un

764
00:27:54,599 --> 00:27:54,839
vídeo.

765
00:27:54,940 --> 00:27:58,700
Y sólo sabe masticar sus amados embeddings numéricos.

766
00:27:58,720 --> 00:28:00,440
O sea, sigue viendo números.

767
00:28:00,799 --> 00:28:01,319
Sólo números.

768
00:28:01,599 --> 00:28:04,180
La magia moderna radica en usar traductores externos

769
00:28:04,480 --> 00:28:06,480
que son muy, muy especializados.

770
00:28:06,720 --> 00:28:08,880
Para inyectarle un vídeo al sistema, se utiliza

771
00:28:08,880 --> 00:28:11,539
otro transformer dedicado exclusivamente a la visión, que

772
00:28:11,539 --> 00:28:12,799
es un video encoder.

773
00:28:13,000 --> 00:28:13,960
Ah, amigo.

774
00:28:14,339 --> 00:28:17,140
Este módulo extrae los fotogramas, los tritura mediante

775
00:28:17,140 --> 00:28:20,160
operaciones matemáticas complejas y convierte las imágenes en

776
00:28:20,160 --> 00:28:22,220
los mismos tipos de vectores que usa el

777
00:28:22,220 --> 00:28:22,859
modelo de texto.

778
00:28:23,099 --> 00:28:24,099
Lo unifica todo.

779
00:28:24,339 --> 00:28:24,680
Eso es.

780
00:28:24,759 --> 00:28:26,839
Para el cerebro principal de la IA, no

781
00:28:26,839 --> 00:28:29,079
hay ninguna distinción técnica entre leer la palabra

782
00:28:29,079 --> 00:28:31,839
escrita manzana y recibir los píxeles digitales de

783
00:28:31,839 --> 00:28:32,859
una manzana de una foto.

784
00:28:32,980 --> 00:28:34,980
Todo le llega empaquetado como una matriz de

785
00:28:34,980 --> 00:28:36,240
números en su idioma nativo.

786
00:28:36,380 --> 00:28:37,940
Y supongo que con el audio pasa igual.

787
00:28:38,220 --> 00:28:40,619
Con el audio, la filosofía es supersimilar.

788
00:28:40,799 --> 00:28:43,660
Aunque la matemática del entrenamiento difiere un poco.

789
00:28:43,900 --> 00:28:46,460
En lugar de predecir la siguiente letra, se

790
00:28:46,460 --> 00:28:49,200
entrena a los modelos auditivos comparando formas de

791
00:28:49,200 --> 00:28:52,759
ondas sonoras puras contra representaciones visuales del sonido,

792
00:28:52,759 --> 00:28:54,079
como los espectrogramas.

793
00:28:54,180 --> 00:28:56,019
Es francamente alucinante.

794
00:28:56,359 --> 00:28:58,799
Es literalmente como si tuvieras a un analista

795
00:28:58,799 --> 00:29:01,180
brillante encerrado en una habitación que sólo es

796
00:29:01,180 --> 00:29:02,660
capaz de leer texto en braille.

797
00:29:03,359 --> 00:29:03,880
Exactamente.

798
00:29:04,220 --> 00:29:06,599
O sea, no puede ver, no puede oír,

799
00:29:06,640 --> 00:29:08,579
pero le pasas la información de la luz

800
00:29:08,579 --> 00:29:11,460
y de las ondas de sonido meticulosamente traducidas

801
00:29:11,460 --> 00:29:12,920
a patrones de puntos táctiles.

802
00:29:13,319 --> 00:29:16,099
Él sólo acaricia puntos en un papel, pero,

803
00:29:16,160 --> 00:29:19,900
matemáticamente, está describiendo la inmensa riqueza del mundo

804
00:29:19,900 --> 00:29:20,279
exterior.

805
00:29:20,579 --> 00:29:23,980
Es una analogía poética, pero técnicamente correctísima.

806
00:29:24,119 --> 00:29:25,960
Pero, a ver, lo que de verdad me

807
00:29:25,960 --> 00:29:27,960
dejó la cabeza dando vueltas de las fuentes

808
00:29:27,960 --> 00:29:29,799
de hoy es la parte de los modelos

809
00:29:29,799 --> 00:29:30,259
lógicos.

810
00:29:31,400 --> 00:29:34,700
Esas famosas IA's que piensan antes de contestar,

811
00:29:34,700 --> 00:29:37,480
las que usan cadenas de pensamiento o chain

812
00:29:37,480 --> 00:29:37,920
of thought.

813
00:29:38,119 --> 00:29:41,200
Porque, como usuaria de AP, te imaginas que

814
00:29:41,200 --> 00:29:43,940
para lograr que un código razone, los ingenieros

815
00:29:43,940 --> 00:29:46,359
de Silicon Valley han tenido que inventar una

816
00:29:46,359 --> 00:29:48,160
especie de lóbulo frontal digital.

817
00:29:48,579 --> 00:29:50,640
Claro, un salto evolutivo del código.

818
00:29:51,000 --> 00:29:55,180
Exacto, una arquitectura de programación completamente revolucionaria y

819
00:29:55,180 --> 00:29:56,019
distinta al transformer.

820
00:29:56,640 --> 00:29:58,500
Y esa, perdona que te lo diga así,

821
00:29:58,599 --> 00:30:00,019
es la mayor ilusión de todas.

822
00:30:00,220 --> 00:30:00,660
¿En serio?

823
00:30:00,920 --> 00:30:02,519
En absoluto, han inventado eso.

824
00:30:02,640 --> 00:30:04,940
Y es un punto crítico que todos debemos

825
00:30:04,940 --> 00:30:05,500
entender hoy.

826
00:30:05,819 --> 00:30:08,359
La arquitectura base de las máquinas más punteras

827
00:30:08,359 --> 00:30:11,599
que razonan sigue siendo en esencia exactamente la

828
00:30:11,599 --> 00:30:13,759
misma que hemos analizado en tu portátil.

829
00:30:13,839 --> 00:30:15,539
O sea, es el mismo motor.

830
00:30:15,759 --> 00:30:16,400
El mismo.

831
00:30:16,640 --> 00:30:19,299
La diferencia abismal, la verdadera magia de la

832
00:30:19,299 --> 00:30:22,079
inteligencia moderna, no ocurre en el código base.

833
00:30:22,079 --> 00:30:25,079
Ocurre en una etapa posterior llamada postentrenamiento.

834
00:30:25,740 --> 00:30:26,319
Explícate.

835
00:30:26,519 --> 00:30:29,279
El modelo básico, el del portátil, ya sabe

836
00:30:29,279 --> 00:30:32,599
hablar, domina el lenguaje, pero carece de lógica

837
00:30:32,599 --> 00:30:33,180
estructurada.

838
00:30:33,519 --> 00:30:35,799
¿Cómo le enseñamos a ser lógico y a

839
00:30:35,799 --> 00:30:36,339
razonar?

840
00:30:36,559 --> 00:30:37,380
Ni idea.

841
00:30:37,680 --> 00:30:39,859
Pues a base de pura fuerza bruta y

842
00:30:39,859 --> 00:30:41,140
muchísimo talento humano.

843
00:30:41,640 --> 00:30:44,660
Detrás de la cortina hay corporaciones gigantescas y

844
00:30:44,660 --> 00:30:48,740
plataformas especializadas como Scale AI, que se dedican

845
00:30:48,740 --> 00:30:53,099
exclusivamente a reclutar verdaderos ejércitos de doctores, universitarios,

846
00:30:53,099 --> 00:30:57,240
físicos de partículas, matemáticos de élite, investigadores de

847
00:30:57,240 --> 00:30:57,799
todo el mundo.

848
00:30:58,000 --> 00:31:00,960
A estas mentes brillantes se les paga enormes

849
00:31:00,960 --> 00:31:02,940
sumas de dinero para sentarse frente a una

850
00:31:02,940 --> 00:31:05,839
pantalla y resolver problemas hipercomplejos.

851
00:31:06,039 --> 00:31:07,019
A mano.

852
00:31:07,099 --> 00:31:07,660
A mano.

853
00:31:08,180 --> 00:31:12,160
Redactando de forma manual, exhaustiva y superestructurada cada

854
00:31:12,160 --> 00:31:15,680
mínimo paso mental que dan, volcando literalmente su

855
00:31:15,680 --> 00:31:18,619
propio monólogo lógico interno en un documento de

856
00:31:18,619 --> 00:31:18,920
texto.

857
00:31:19,099 --> 00:31:20,099
Entiendo el mecanismo.

858
00:31:20,220 --> 00:31:23,480
Luego recogen esos miles, y miles de exámenes

859
00:31:23,480 --> 00:31:25,839
y demostraciones resueltas a mano por estos humanos

860
00:31:25,839 --> 00:31:29,619
hipercualificados, y fuerzan al modelo base a leerlos

861
00:31:29,619 --> 00:31:32,180
y analizarlos una y otra vez durante el

862
00:31:32,180 --> 00:31:33,039
postentrenamiento.

863
00:31:33,259 --> 00:31:33,759
Así es.

864
00:31:33,839 --> 00:31:37,480
El modelo absorbe vorazmente esa estructura lógica.

865
00:31:37,519 --> 00:31:38,859
Y aquí está el gran truco.

866
00:31:39,079 --> 00:31:41,220
La IA no está adquiriendo de repente una

867
00:31:41,220 --> 00:31:45,680
capacidad filosófica intrínseca de razonamiento deductivo o teniendo

868
00:31:45,680 --> 00:31:46,779
un destello de conciencia.

869
00:31:46,940 --> 00:31:47,400
Para nada.

870
00:31:47,660 --> 00:31:50,059
Lo que está haciendo es aplicar su fabuloso

871
00:31:50,059 --> 00:31:52,980
y eficiente motor probabilístico, el de predecir la

872
00:31:52,980 --> 00:31:55,319
siguiente letra, para imitar a la perfección el

873
00:31:55,319 --> 00:31:58,279
riguroso patrón estructural de cómo un doctor humano

874
00:31:58,279 --> 00:32:01,420
en astrofísica plasma su proceso de razonamiento en

875
00:32:01,420 --> 00:32:01,799
un papel.

876
00:32:02,019 --> 00:32:05,400
O sea, para dejarlo cristalino, el famoso lóbulo

877
00:32:05,400 --> 00:32:08,720
frontal de la IA de ultimísima generación, esa

878
00:32:08,720 --> 00:32:11,220
misma que cotiza en miles de millones de

879
00:32:11,220 --> 00:32:13,960
dólares en la bolsa, en el fondo son

880
00:32:13,960 --> 00:32:17,799
cientos de expertos y profesores humanos contratados para

881
00:32:17,799 --> 00:32:19,759
escribir ejemplos a mano en el salón de

882
00:32:19,759 --> 00:32:20,140
su casa.

883
00:32:20,279 --> 00:32:20,660
Tal cual.

884
00:32:20,660 --> 00:32:23,279
Es una imitación estelar basada en mano de

885
00:32:23,279 --> 00:32:24,759
obra hiperespecializada.

886
00:32:24,900 --> 00:32:27,720
Y es precisamente esa dependencia absoluta de la

887
00:32:27,720 --> 00:32:29,700
labor humana lo que hace que este sistema

888
00:32:29,700 --> 00:32:33,180
sea, bajo la superficie, extremadamente frágil.

889
00:32:33,240 --> 00:32:35,259
Es como un castillo de cristal.

890
00:32:35,359 --> 00:32:37,299
Claro, porque dependes de que no se equivoquen.

891
00:32:37,480 --> 00:32:37,960
Exacto.

892
00:32:38,180 --> 00:32:40,619
Si los textos de razonamiento escritos a mano

893
00:32:40,619 --> 00:32:43,140
por esos doctores humanos contienen un fallo de

894
00:32:43,140 --> 00:32:46,180
lógica consistente, un pequeño error estructural que pase

895
00:32:46,180 --> 00:32:49,220
desapercibido, el modelo lo absorberá de inmediato e

896
00:32:49,220 --> 00:32:50,400
imitará ese defecto.

897
00:32:50,400 --> 00:32:51,220
Y te la lía parda.

898
00:32:51,440 --> 00:32:54,400
Arruinando por completo el comportamiento de una herramienta

899
00:32:54,400 --> 00:32:56,380
en la que se han invertido montañas de

900
00:32:56,380 --> 00:32:56,640
dinero.

901
00:32:57,119 --> 00:32:59,400
Es por esto que las empresas no solo

902
00:32:59,400 --> 00:33:01,839
contratan a los expertos que redactan, sino que

903
00:33:01,839 --> 00:33:04,460
mantienen brigadas enteras de controladores de calidad.

904
00:33:04,900 --> 00:33:06,180
Los equipos de CUA.

905
00:33:06,299 --> 00:33:09,700
Los famosos CUA, humanos, cuya única misión es

906
00:33:09,700 --> 00:33:12,400
auditar y revisar con lupa cada coma del

907
00:33:12,400 --> 00:33:13,940
trabajo de los propios doctores.

908
00:33:14,440 --> 00:33:16,980
Al final del día, la inteligencia artificial más

909
00:33:16,980 --> 00:33:20,019
vanguardista y deslumbrante del planeta está limitada de

910
00:33:20,019 --> 00:33:22,119
forma directa e inexorable por la calidad y

911
00:33:22,119 --> 00:33:24,059
el rigor del trabajo artesanal humano que la

912
00:33:24,059 --> 00:33:24,500
alimenta.

913
00:33:24,559 --> 00:33:24,759
¡Uf!

914
00:33:24,880 --> 00:33:28,200
A ver, es que empezamos este recorrido fascinados

915
00:33:28,200 --> 00:33:31,160
viendo cómo un humilde portátil de 16 gigas

916
00:33:31,160 --> 00:33:33,960
aprendía a duras penas que la B y

917
00:33:33,960 --> 00:33:36,019
la L iban juntas para escribir la palabra

918
00:33:36,019 --> 00:33:36,339
azul.

919
00:33:36,519 --> 00:33:39,059
Y hemos acabado descubriendo, al levantar el capó

920
00:33:39,059 --> 00:33:41,599
de toda la industria, que la ansiada cima

921
00:33:41,599 --> 00:33:45,019
tecnológica global depende de humanos, rellenando problemas de

922
00:33:45,019 --> 00:33:47,319
matemáticas a mano para que una máquina aprenda

923
00:33:47,319 --> 00:33:49,359
a copiarlos con estilo y parezca inteligente.

924
00:33:50,400 --> 00:33:50,960
Así es la realidad.

925
00:33:51,259 --> 00:33:52,839
Es que me estalla la cabeza, de verdad.

926
00:33:53,079 --> 00:33:56,079
Y fíjate, todo este andamiaje tecnológico oculto nos

927
00:33:56,079 --> 00:33:58,299
deja en bandeja una última reflexión sobre el

928
00:33:58,299 --> 00:33:58,599
futuro.

929
00:33:58,799 --> 00:34:01,140
Una pregunta que me parece bastante provocadora y

930
00:34:01,140 --> 00:34:02,980
que creo que todos deberíamos llevarnos a casa

931
00:34:02,980 --> 00:34:03,559
para pensar.

932
00:34:03,839 --> 00:34:04,759
A ver, cuéntanos.

933
00:34:05,019 --> 00:34:07,460
Si resulta que todo este salto histórico actual

934
00:34:07,460 --> 00:34:10,639
hacia modelos que supuestamente razonan depende de manera

935
00:34:10,639 --> 00:34:13,239
vital de contratar a los mayores expertos humanos

936
00:34:13,239 --> 00:34:16,519
del planeta para que escriban y estructuren procesos

937
00:34:16,519 --> 00:34:18,940
lógicos paso a paso, ¿qué va a ocurrir

938
00:34:18,940 --> 00:34:21,219
exactamente el día en que necesitemos dar el

939
00:34:21,219 --> 00:34:24,000
siguiente gran salto evolutivo y queramos que la

940
00:34:24,000 --> 00:34:26,320
IA se vuelva, por fin, más lista y

941
00:34:26,320 --> 00:34:28,400
capaz que los propios humanos que hoy en

942
00:34:28,400 --> 00:34:30,119
día generan sus datos de entrenamiento?

943
00:34:30,500 --> 00:34:30,960
¡Ostras!

944
00:34:31,300 --> 00:34:34,239
Chocaremos de bruces contra un muro técnico insalvable

945
00:34:34,239 --> 00:34:37,739
simplemente porque nos quedaremos sin ejemplos de genios

946
00:34:37,739 --> 00:34:39,559
humanos superiores que darle de comer a las

947
00:34:39,559 --> 00:34:40,000
máquinas.

948
00:34:40,219 --> 00:34:43,039
Madre mía, ahí os dejamos esa tremenda bomba

949
00:34:43,039 --> 00:34:44,739
intelectual para que le deis vueltas.

950
00:34:44,739 --> 00:34:48,599
Ha sido un viaje absolutamente espectacular desmitificando la

951
00:34:48,599 --> 00:34:49,860
tecnología que nos rodea.

952
00:34:49,900 --> 00:34:52,619
Antes de despedirnos, hasta el próximo programa os

953
00:34:52,619 --> 00:34:54,659
informamos de que las voces que oyes han

954
00:34:54,659 --> 00:34:56,880
sido generadas por la IA de Notebook LM

955
00:34:56,880 --> 00:34:59,639
y que dirigiendo el podcast se encuentra Julio

956
00:34:59,639 --> 00:35:02,039
Pablo Vázquez, un humano que te envía saludos.

957
00:35:02,079 --> 00:35:05,239
En caso de error, probablemente sean errores humanos.

958
00:35:05,559 --> 00:35:06,320
¡Nos escuchamos!

959
00:35:17,460 --> 00:35:19,539
Y hasta aquí el episodio de hoy.

960
00:35:19,679 --> 00:35:21,480
Muchas gracias por tu atención.

961
00:35:30,780 --> 00:35:33,039
Esto es BIMPRAXIS.

962
00:35:33,179 --> 00:35:35,699
Nos escuchamos en el próximo episodio.