1
00:00:10,000 --> 00:00:15,800
Buenas, esto es BIMPRAXIS, el podcast donde el

2
00:00:15,800 --> 00:00:17,920
BIM se encuentra con la inteligencia artificial.

3
00:00:20,519 --> 00:00:23,620
Exploramos la ciencia, la tecnología y el futuro

4
00:00:23,620 --> 00:00:26,559
desde el enfoque de la arquitectura, ingeniería y

5
00:00:26,559 --> 00:00:27,179
construcción.

6
00:00:28,859 --> 00:00:29,519
¡Empezamos!

7
00:00:37,280 --> 00:00:40,820
Muy buenas, bienvenidas, bienvenidos a un nuevo episodio

8
00:00:40,820 --> 00:00:42,280
de BIMPRAXIS.

9
00:00:42,560 --> 00:00:45,719
Hoy os traemos una inmersión profunda en cómo

10
00:00:45,719 --> 00:00:49,039
reducir drásticamente los costes y tiempos de espera

11
00:00:49,039 --> 00:00:51,659
de los grandes modelos de lenguaje, gracias a

12
00:00:51,659 --> 00:00:52,280
GPT-Caché.

13
00:00:52,960 --> 00:00:55,500
Y la verdad es un tema fascinante porque

14
00:00:55,500 --> 00:00:58,439
ataca directamente a la viabilidad económica de la

15
00:00:58,439 --> 00:00:59,679
inteligencia artificial.

16
00:00:59,960 --> 00:01:02,479
Bueno, y para arrancar este análisis, vamos a

17
00:01:02,479 --> 00:01:03,820
plantear una situación.

18
00:01:04,219 --> 00:01:06,840
Imaginemos por un momento que contratamos al consultor

19
00:01:06,840 --> 00:01:08,879
más brillante del planeta para un negocio.

20
00:01:09,379 --> 00:01:11,719
Uno que tiene respuestas para todo, claro.

21
00:01:11,840 --> 00:01:12,299
Exacto.

22
00:01:12,299 --> 00:01:17,560
Respuestas súper precisas, articuladas para cualquier problema imaginable.

23
00:01:17,819 --> 00:01:20,879
Pero hay un pequeño gran inconveniente en el

24
00:01:20,879 --> 00:01:21,799
contrato.

25
00:01:21,799 --> 00:01:24,000
Y es que este genio cobra una tarifa

26
00:01:24,000 --> 00:01:27,579
exorbitante por cada sílaba exacta que sale de

27
00:01:27,579 --> 00:01:28,400
su boca.

28
00:01:28,439 --> 00:01:30,939
Uf, menudo peligro para la cuenta del banco

29
00:01:30,939 --> 00:01:31,840
de la empresa.

30
00:01:31,900 --> 00:01:32,859
Totalmente.

31
00:01:32,900 --> 00:01:35,560
Y además, como tiene que pensar meticulosamente cada

32
00:01:35,560 --> 00:01:38,459
respuesta, pues se toma su tiempo para formular

33
00:01:38,459 --> 00:01:41,099
las frases en tiempo real y mientras los

34
00:01:41,099 --> 00:01:43,180
clientes esperando en la línea.

35
00:01:43,180 --> 00:01:43,879
Claro.

36
00:01:44,040 --> 00:01:46,000
Y el problema de verdad llega cuando tienes

37
00:01:46,000 --> 00:01:48,180
a miles de personas entrando por la puerta

38
00:01:48,180 --> 00:01:51,700
y preguntándoles exactamente la misma duda rutinaria.

39
00:01:51,620 --> 00:01:53,959
O sea, cosas como, no sé, el horario

40
00:01:53,959 --> 00:01:55,859
de apertura de la tienda, por ejemplo.

41
00:01:55,760 --> 00:01:56,579
Eso es.

42
00:01:56,519 --> 00:01:58,379
Si la empresa le paga a este consultor

43
00:01:58,379 --> 00:02:01,799
por generar esa misma respuesta, desde cero, una

44
00:02:01,799 --> 00:02:04,480
y otra vez, la bancarrota está asegurada.

45
00:02:04,400 --> 00:02:06,480
Pues de eso va nuestra misión de hoy.

46
00:02:06,480 --> 00:02:08,979
Queremos entender la arquitectura que se está implementando

47
00:02:08,979 --> 00:02:11,580
para resolver esta crisis de escalabilidad.

48
00:02:11,419 --> 00:02:14,020
Y es que esa analogía del consultor ilustra

49
00:02:14,020 --> 00:02:17,400
con una precisión tremenda el problema económico fundamental

50
00:02:17,400 --> 00:02:19,319
de la infraestructura actual.

51
00:02:18,900 --> 00:02:22,180
Depender de las APIs de estos modelos masivos

52
00:02:22,180 --> 00:02:25,520
impone un modelo de negocio que, sinceramente, rompe

53
00:02:25,520 --> 00:02:27,659
con la lógica del software tradicional.

54
00:02:27,800 --> 00:02:30,580
Porque antes, si una web recibía más visitas,

55
00:02:30,580 --> 00:02:32,460
pues añadías servidores y listo, ¿no?

56
00:02:32,840 --> 00:02:33,460
Claro.

57
00:02:33,460 --> 00:02:36,419
Añadías servidores, optimizabas bases de datos y el

58
00:02:36,419 --> 00:02:38,900
coste marginal por usuario bajaba radicalmente.

59
00:02:39,379 --> 00:02:41,580
Pero con la IA generativa, la curva de

60
00:02:41,580 --> 00:02:43,919
costes no se aplana tan fácilmente.

61
00:02:43,919 --> 00:02:46,060
Crece de forma constante y lineal.

62
00:02:45,780 --> 00:02:48,039
O sea, a más uso, la factura sube

63
00:02:48,039 --> 00:02:49,080
proporcionalmente.

64
00:02:49,139 --> 00:02:50,240
Exactamente.

65
00:02:50,240 --> 00:02:52,580
Y la inmensa mayoría de estos proveedores cobran

66
00:02:52,580 --> 00:02:54,639
en base a una combinación de peticiones y

67
00:02:54,639 --> 00:02:56,159
del recuento de tokens.

68
00:02:56,240 --> 00:02:58,139
Para que no lo tenga fresco, un token

69
00:02:58,139 --> 00:03:01,319
viene a ser como una unidad de computación,

70
00:03:01,319 --> 00:03:03,159
más o menos un fragmento de palabra o

71
00:03:03,159 --> 00:03:04,000
una palabra corta.

72
00:03:04,080 --> 00:03:05,580
Sí, eso es.

73
00:03:05,580 --> 00:03:08,460
Y ese peaje económico por cada palabra generada

74
00:03:08,460 --> 00:03:11,020
es solo uno de los dos muros contra

75
00:03:11,020 --> 00:03:13,680
los que chocan los desarrolladores hoy en día.

76
00:03:13,199 --> 00:03:15,800
El segundo muro, entiendo, es el que afecta

77
00:03:15,800 --> 00:03:18,780
directamente a la paciencia de la audiencia, la

78
00:03:18,780 --> 00:03:22,400
latencia, esa lentitud desesperante cuando el sistema se

79
00:03:22,400 --> 00:03:23,099
satura.

80
00:03:23,099 --> 00:03:24,159
Totalmente.

81
00:03:24,159 --> 00:03:26,120
Y el origen de esa lentitud reside en

82
00:03:26,120 --> 00:03:29,000
la propia naturaleza de los algoritmos, porque estos

83
00:03:29,000 --> 00:03:31,419
grandes modelos son sistemas autoregresivos.

84
00:03:31,759 --> 00:03:34,139
Es decir, que no tienen la respuesta completa

85
00:03:34,139 --> 00:03:37,099
guardada en un disco duro lista para mandártela.

86
00:03:36,939 --> 00:03:37,879
Qué bar que va.

87
00:03:37,879 --> 00:03:41,060
La máquina calcula matemáticamente, basándose en el contexto

88
00:03:41,060 --> 00:03:43,479
previo, cuál es la siguiente palabra más probable.

89
00:03:43,500 --> 00:03:45,300
Claro, va palabra por palabra.

90
00:03:45,379 --> 00:03:46,159
Eso es.

91
00:03:46,159 --> 00:03:48,400
La decide, la añade al texto y vuelve

92
00:03:48,400 --> 00:03:50,520
a hacer todo el cálculo masivo para predecir

93
00:03:50,520 --> 00:03:51,800
la que viene después.

94
00:03:51,620 --> 00:03:53,419
Madre mía, es que viéndolo así es un

95
00:03:53,419 --> 00:03:57,520
proceso iterativo que exige una potencia bruta espectacular.

96
00:03:57,240 --> 00:03:59,539
Y por eso cuando una aplicación se hace

97
00:03:59,539 --> 00:04:02,599
viral y miles de personas exigen esa computación

98
00:04:02,599 --> 00:04:05,080
a la vez, no solo sube la factura,

99
00:04:05,080 --> 00:04:07,360
sino que la infraestructura corre un riesgo real

100
00:04:07,360 --> 00:04:08,180
de colapsar.

101
00:04:08,180 --> 00:04:10,240
Y ahí es cuando los proveedores imponen los

102
00:04:10,240 --> 00:04:11,919
famosos rate limits, ¿verdad?

103
00:04:12,020 --> 00:04:12,439
Exacto.

104
00:04:12,439 --> 00:04:14,979
Te ponen un límite estricto de peticiones por

105
00:04:14,979 --> 00:04:15,800
minuto.

106
00:04:15,819 --> 00:04:17,560
Si te pasas, pues quien esté usando tu

107
00:04:17,560 --> 00:04:19,360
app se come una pantalla de error.

108
00:04:19,160 --> 00:04:21,779
Bueno, pues todo este drama técnico nos lleva

109
00:04:21,779 --> 00:04:24,560
directos al núcleo de la investigación de hoy,

110
00:04:24,540 --> 00:04:27,339
la propuesta de valor de GPT-Caché, que es

111
00:04:27,339 --> 00:04:30,680
un proyecto de código abierto diseñado precisamente para

112
00:04:30,680 --> 00:04:32,300
situarse en medio.

113
00:04:32,060 --> 00:04:34,660
Como una capa intermedia entre la aplicación que

114
00:04:34,660 --> 00:04:37,180
desarrollas y el modelo de lenguaje externo.

115
00:04:37,220 --> 00:04:37,699
Eso es.

116
00:04:37,699 --> 00:04:41,420
Y su objetivo es construir una caché semántica.

117
00:04:41,420 --> 00:04:43,680
Y fíjate, los números que arroja la documentación

118
00:04:43,680 --> 00:04:45,620
técnica son una locura.

119
00:04:45,639 --> 00:04:47,500
Prometen reducir el coste de la API hasta

120
00:04:47,500 --> 00:04:48,680
10 veces.

121
00:04:48,600 --> 00:04:50,860
Y acelerar la velocidad de respuesta hasta 100

122
00:04:50,860 --> 00:04:51,639
veces.

123
00:04:51,639 --> 00:04:53,060
Es una barbaridad.

124
00:04:52,899 --> 00:04:54,920
Es un cambio de paradigma total.

125
00:04:55,699 --> 00:04:59,379
Pero, ¿cómo logran exactamente esas cifras de rendimiento?

126
00:04:59,360 --> 00:05:01,590
Pues el principio básico es evitar el trabajo

127
00:05:01,590 --> 00:05:02,690
redundante.

128
00:05:02,770 --> 00:05:04,990
Al interceptar las peticiones y entregar respuestas que

129
00:05:04,990 --> 00:05:07,950
ya tienen almacenadas localmente, el sistema corta de

130
00:05:07,950 --> 00:05:09,010
raíz el consumo de tokens.

131
00:05:09,310 --> 00:05:11,270
Claro, porque no tienes que enviar la petición

132
00:05:11,270 --> 00:05:13,190
al servidor ajeno y esperar a que la

133
00:05:13,190 --> 00:05:14,390
IA piense.

134
00:05:14,070 --> 00:05:14,670
Exacto.

135
00:05:14,670 --> 00:05:17,270
Y al no hacer ese cálculo autoregresivo, la

136
00:05:17,270 --> 00:05:19,310
latencia, o sea el tiempo de espera, se

137
00:05:19,310 --> 00:05:20,290
desploma.

138
00:05:20,290 --> 00:05:22,410
Y además, te libras casi por completo de

139
00:05:22,410 --> 00:05:23,930
los problemas de los límites de tasa que

140
00:05:23,930 --> 00:05:24,790
comentábamos antes.

141
00:05:25,030 --> 00:05:27,290
A ver, el concepto de guardar respuestas pasadas

142
00:05:27,290 --> 00:05:30,210
para ahorrar recursos tiene una lógica aplastante.

143
00:05:30,250 --> 00:05:31,930
Es el mecanismo de la memoria Caché de

144
00:05:31,930 --> 00:05:33,010
toda la vida, vamos.

145
00:05:33,030 --> 00:05:34,370
De toda la vida, sí.

146
00:05:34,370 --> 00:05:37,330
La informática lleva décadas usándolo con muchísimo éxito.

147
00:05:37,230 --> 00:05:40,150
Pero claro, aplicarlo a la inteligencia artificial tiene

148
00:05:40,150 --> 00:05:41,630
que ser otra historia.

149
00:05:41,910 --> 00:05:44,550
Porque el lenguaje humano es de todo menos

150
00:05:44,550 --> 00:05:46,870
un bloque de código predecible.

151
00:05:46,670 --> 00:05:49,630
Es un caos organizativo enorme.

152
00:05:49,930 --> 00:05:53,310
Está lleno de sinónimos, de expresiones coloquiales, de

153
00:05:53,310 --> 00:05:55,150
intenciones implícitas.

154
00:05:55,330 --> 00:05:57,330
Y por ese caos supongo que las caches

155
00:05:57,330 --> 00:05:59,230
tradicionales no sirven aquí, ¿no?

156
00:05:59,570 --> 00:06:01,910
Fracasan estrepitosamente, sí.

157
00:06:02,110 --> 00:06:05,330
Una Caché web convencional funciona buscando una coincidencia

158
00:06:05,330 --> 00:06:05,890
exacta.

159
00:06:06,590 --> 00:06:09,070
Busca si la petición nueva es idéntica, letra

160
00:06:09,070 --> 00:06:11,370
por letra, a algo que ya tiene guardado.

161
00:06:11,210 --> 00:06:13,170
Como cuando guarda el logotipo de una web

162
00:06:13,170 --> 00:06:15,350
para que cargue rápido la segunda vez.

163
00:06:15,310 --> 00:06:16,070
Eso es.

164
00:06:16,270 --> 00:06:18,710
En una web estática, eso vale.

165
00:06:18,710 --> 00:06:21,290
Pero al interactuar con lenguaje natural, la variabilidad

166
00:06:21,290 --> 00:06:22,730
es casi infinita.

167
00:06:22,730 --> 00:06:24,330
O sea, pongamos un ejemplo.

168
00:06:24,330 --> 00:06:26,550
Si alguien quiere saber cómo configurar el control

169
00:06:26,550 --> 00:06:30,190
parental en el móvil, puede escribir cómo activar

170
00:06:30,190 --> 00:06:31,950
control para niños en el móvil.

171
00:06:31,930 --> 00:06:32,690
Claro.

172
00:06:32,690 --> 00:06:35,070
Y a los dos minutos, otra persona con

173
00:06:35,070 --> 00:06:38,230
el mismo problema teclea pasos para bloquear contenido

174
00:06:38,230 --> 00:06:39,310
adulto en smartphone.

175
00:06:40,070 --> 00:06:43,490
O tutorial configuración parental teléfono.

176
00:06:43,490 --> 00:06:45,970
Y al final, las tres frases persiguen exactamente

177
00:06:45,970 --> 00:06:47,750
el mismo objetivo práctico.

178
00:06:48,210 --> 00:06:50,850
Sí, pero para un sistema de caché clásico

179
00:06:50,850 --> 00:06:53,510
basado en coincidencias exactas.

180
00:06:53,510 --> 00:06:56,550
Esas tres entradas son consultas completamente dispares.

181
00:06:57,170 --> 00:06:59,370
Ostras, ¿no se da cuenta de que la

182
00:06:59,370 --> 00:07:01,390
intención de fondo es la misma?

183
00:07:01,390 --> 00:07:02,470
Que va.

184
00:07:02,470 --> 00:07:05,170
Procesaría cada frase como algo totalmente nuevo.

185
00:07:05,170 --> 00:07:07,330
Dejaría pasar la petición a la API y

186
00:07:07,330 --> 00:07:09,570
la empresa pagaría tres veces por generar tres

187
00:07:09,570 --> 00:07:11,190
variaciones de la misma guía.

188
00:07:11,330 --> 00:07:14,070
Entonces, ¿la tasa de acierto sería tan baja

189
00:07:14,070 --> 00:07:16,030
que no compensaría tener la caché?

190
00:07:16,390 --> 00:07:17,750
Exactamente.

191
00:07:17,750 --> 00:07:19,910
Y es frente a esta limitación técnica donde

192
00:07:19,910 --> 00:07:22,650
entra la gran innovación de GPT-Caché, que es

193
00:07:22,650 --> 00:07:25,250
dar el salto del análisis sintáctico al análisis

194
00:07:25,250 --> 00:07:26,350
semántico.

195
00:07:26,050 --> 00:07:27,090
Entiendo.

196
00:07:27,090 --> 00:07:30,550
En lugar de buscar letras idénticas, agrupa consultas

197
00:07:30,550 --> 00:07:32,610
que comparten el significado de fondo.

198
00:07:32,670 --> 00:07:33,370
Eso es.

199
00:07:33,410 --> 00:07:34,450
Vale, pero espera, espera.

200
00:07:34,450 --> 00:07:35,850
Aquí tengo que hacer de abogada del diablo

201
00:07:35,850 --> 00:07:36,930
por un momento.

202
00:07:36,750 --> 00:07:37,910
Adelante, dime.

203
00:07:37,930 --> 00:07:40,190
Si la base de datos local que almacena

204
00:07:40,190 --> 00:07:43,610
esta caché no es una red neuronal masiva

205
00:07:43,610 --> 00:07:46,330
y no está pensando o comprendiendo el lenguaje

206
00:07:46,330 --> 00:07:50,270
en tiempo real, ¿cómo demonios sabe matemáticamente que

207
00:07:50,270 --> 00:07:53,510
dos frases totalmente distintas significan lo mismo?

208
00:07:53,710 --> 00:07:55,590
Es la gran pregunta, desde luego.

209
00:07:55,270 --> 00:07:58,030
O sea, ¿cómo sabe que felino doméstico y

210
00:07:58,030 --> 00:08:00,690
gato operan en la misma categoría si no

211
00:08:00,690 --> 00:08:03,110
está analizando la sintaxis de las letras?

212
00:08:03,470 --> 00:08:05,190
Pues la magia de todo esto reside en

213
00:08:05,190 --> 00:08:06,470
su diseño modular.

214
00:08:06,690 --> 00:08:08,310
El procesamiento se hace por pasos.

215
00:08:08,870 --> 00:08:11,350
Y el primer eslabón crucial es el generador

216
00:08:11,350 --> 00:08:12,570
de embeddings.

217
00:08:12,370 --> 00:08:13,430
Los famosos embeddings.

218
00:08:13,830 --> 00:08:16,770
Sí, que en lenguaje llano de ingeniería, un

219
00:08:16,770 --> 00:08:19,510
embedding no es más que un vector numérico.

220
00:08:19,650 --> 00:08:21,490
Este módulo coge la frase escrita por el

221
00:08:21,490 --> 00:08:23,550
usuario y la traduce a una lista de

222
00:08:23,550 --> 00:08:24,810
números reales.

223
00:08:24,710 --> 00:08:27,570
O sea, convierte las palabras en coordenadas matemáticas,

224
00:08:27,570 --> 00:08:28,330
por así decirlo.

225
00:08:28,550 --> 00:08:29,550
Exacto.

226
00:08:29,550 --> 00:08:31,110
Y usa modelos muy ligeros que ya han

227
00:08:31,110 --> 00:08:33,910
sido entrenados leyendo millones de textos.

228
00:08:33,990 --> 00:08:36,210
Así han aprendido que gato y felino suelen

229
00:08:36,210 --> 00:08:39,270
aparecer rodeados del mismo vocabulario y les asignan

230
00:08:39,270 --> 00:08:41,690
una representación matemática muy similar.

231
00:08:41,830 --> 00:08:43,810
Vale, a ver si lo visualizo.

232
00:08:44,010 --> 00:08:46,990
Es como tener un bibliotecario un poco especial,

233
00:08:46,990 --> 00:08:49,570
que tiene una capacidad de organización distinta.

234
00:08:49,770 --> 00:08:52,270
No ordena los libros por orden alfabético, sino

235
00:08:52,270 --> 00:08:55,070
en un mapa enorme de coordenadas conceptuales.

236
00:08:55,330 --> 00:08:56,710
Me gusta esa analogía.

237
00:08:56,710 --> 00:08:57,670
Es muy visual.

238
00:08:57,670 --> 00:08:59,890
Entonces, si alguien le pide algo sobre vehículos

239
00:08:59,890 --> 00:09:02,390
de combustión, el bibliotecario no va a la

240
00:09:02,390 --> 00:09:03,430
letra V.

241
00:09:03,590 --> 00:09:05,850
Piensa en el concepto y lo archiva en

242
00:09:05,850 --> 00:09:08,470
la latitud 40, longitud 12 del mapa.

243
00:09:08,390 --> 00:09:10,850
¿Y si al día siguiente llega otra persona

244
00:09:10,850 --> 00:09:13,590
y pide información sobre coches de gasolina?

245
00:09:13,610 --> 00:09:17,110
Pues el bibliotecario hace su cálculo y resulta

246
00:09:17,110 --> 00:09:20,370
que las coordenadas vuelven a ser latitud 40,

247
00:09:20,370 --> 00:09:24,250
longitud 12, frases distintas, pero acaban habitando el

248
00:09:24,250 --> 00:09:26,790
mismo punto exacto del mapa matemático.

249
00:09:26,910 --> 00:09:27,970
Lo has clavado.

250
00:09:27,970 --> 00:09:30,330
Esa es exactamente la lógica de la agrupación

251
00:09:30,330 --> 00:09:31,230
espacial.

252
00:09:31,230 --> 00:09:33,690
Aunque, por ponernos un poco tiquismiquis con la

253
00:09:33,690 --> 00:09:36,130
parte técnica, este mapa no tiene solo dos

254
00:09:36,130 --> 00:09:37,290
dimensiones.

255
00:09:36,970 --> 00:09:39,450
Claro, no es solo latitud y longitud.

256
00:09:38,970 --> 00:09:39,890
¡Qué va!

257
00:09:39,890 --> 00:09:42,850
Los espacios vectoriales en el procesamiento de lenguaje

258
00:09:42,850 --> 00:09:46,330
operan con cientos o miles de dimensiones simultáneas.

259
00:09:46,330 --> 00:09:48,910
Cada dimensión puede ser el tono, la formalidad,

260
00:09:48,910 --> 00:09:50,050
o sea, mil matices.

261
00:09:50,470 --> 00:09:53,090
Y para gobernar un mapa tan salvaje, he

262
00:09:53,090 --> 00:09:55,390
visto en las fuentes que GPT-Caché usa su

263
00:09:55,390 --> 00:09:59,230
segundo componente, el almacén de vectores o VectorStore.

264
00:09:58,930 --> 00:10:01,121
Sí, y se integran con bases de datos

265
00:10:01,121 --> 00:10:04,881
especializadas de alto rendimiento, como Milbus o Fais.

266
00:10:04,941 --> 00:10:08,141
Están hechas exclusivamente para guardar millones de estos

267
00:10:08,141 --> 00:10:11,421
puntos y calcular distancias entre ellos en fracciones

268
00:10:11,421 --> 00:10:12,141
de milisegundo.

269
00:10:12,861 --> 00:10:15,461
Vale, tenemos el generador, que traduce las palabras

270
00:10:15,461 --> 00:10:18,481
a puntos, y el almacén ultra rápido que

271
00:10:18,481 --> 00:10:19,561
guarda la ubicación.

272
00:10:19,481 --> 00:10:21,581
Y a eso hay que sumarle el almacenamiento

273
00:10:21,581 --> 00:10:23,261
de caché estándar, claro.

274
00:10:23,221 --> 00:10:24,581
Que entiendo que es una base de datos

275
00:10:24,581 --> 00:10:27,501
normal, tipo Postgres o SQLite, que guarda el

276
00:10:27,501 --> 00:10:29,221
texto real de la respuesta.

277
00:10:29,301 --> 00:10:31,541
El párrafo jugoso que queremos devolver, vamos.

278
00:10:31,061 --> 00:10:32,541
Eso es.

279
00:10:32,721 --> 00:10:34,521
Pero me sigue faltando una pieza en el

280
00:10:34,521 --> 00:10:35,581
rompecabezas.

281
00:10:35,601 --> 00:10:37,581
Si el almacén detecta que la coordenada de

282
00:10:37,581 --> 00:10:40,181
la pregunta nueva está cerca de una antigua,

283
00:10:40,181 --> 00:10:41,681
tiene que haber un árbitro.

284
00:10:41,681 --> 00:10:44,001
Alguien que decida si esa cercanía es suficiente

285
00:10:44,001 --> 00:10:46,321
para reciclar la respuesta o si están muy

286
00:10:46,321 --> 00:10:47,341
separados.

287
00:10:47,141 --> 00:10:50,121
Ah, el juez definitivo de la transacción.

288
00:10:50,121 --> 00:10:52,761
Ese módulo es el evaluador de similitud.

289
00:10:52,621 --> 00:10:55,041
¿Y cómo toma la decisión ese juez?

290
00:10:55,181 --> 00:10:58,141
Pues aplica algoritmos de distancia espacial.

291
00:10:58,281 --> 00:11:00,541
Uno muy típico es calcular la similitud del

292
00:11:00,541 --> 00:11:01,421
coseno.

293
00:11:01,641 --> 00:11:03,861
En vez de medir los centímetros imaginarios entre

294
00:11:03,861 --> 00:11:06,281
dos puntos, mide el ángulo que se forma

295
00:11:06,281 --> 00:11:08,621
trazando líneas desde el centro del mapa a

296
00:11:08,621 --> 00:11:10,101
las dos coordenadas.

297
00:11:10,141 --> 00:11:11,901
Ah, entiendo.

298
00:11:12,041 --> 00:11:14,101
Si el ángulo es muy cerrado, casi cero,

299
00:11:14,101 --> 00:11:16,961
es que apuntan en la misma dirección semántica.

300
00:11:16,721 --> 00:11:17,141
Exacto.

301
00:11:17,141 --> 00:11:19,101
Y si el ángulo es muy amplio, pues

302
00:11:19,101 --> 00:11:21,481
representan conceptos desconectados.

303
00:11:21,581 --> 00:11:24,141
Quien programa esto configura un umbral estricto y

304
00:11:24,141 --> 00:11:26,661
si se supera, el evaluador frena la petición

305
00:11:26,661 --> 00:11:28,761
a la API externa y saca la respuesta

306
00:11:28,761 --> 00:11:30,441
de la base de datos local.

307
00:11:30,541 --> 00:11:32,661
Fíjate que todo este entramado técnico ya me

308
00:11:32,661 --> 00:11:35,201
parece una pasada para el texto escrito.

309
00:11:35,341 --> 00:11:37,261
Pero es que la utilidad se multiplica por

310
00:11:37,261 --> 00:11:39,921
mil cuando pensamos en otros formatos, en la

311
00:11:39,921 --> 00:11:41,301
multimodalidad.

312
00:11:40,961 --> 00:11:43,001
Claro, porque hoy en día la IA también

313
00:11:43,001 --> 00:11:45,661
genera audios y sobre todo imágenes.

314
00:11:45,501 --> 00:11:46,461
Exacto.

315
00:11:46,461 --> 00:11:48,841
Y la documentación del proyecto muestra que esta

316
00:11:48,841 --> 00:11:51,961
lógica vectorial ya se está adaptando para interactuar

317
00:11:51,961 --> 00:11:53,561
con modelos de imágenes.

318
00:11:52,581 --> 00:11:55,941
Y ahí el ahorro económico y energético es

319
00:11:55,941 --> 00:11:58,041
un salto cualitativo brutal.

320
00:11:58,381 --> 00:12:01,301
Generar una ilustración original en alta resolución exige

321
00:12:01,301 --> 00:12:04,341
muchísimo más esfuerzo a las tarjetas gráficas que

322
00:12:04,341 --> 00:12:05,641
redactar un par de párrafos.

323
00:12:05,961 --> 00:12:06,701
Claro.

324
00:12:06,701 --> 00:12:08,941
Si alguien pide un bosque encantado al atardecer

325
00:12:08,941 --> 00:12:10,481
bajo la lluvia y a las dos horas

326
00:12:10,481 --> 00:12:13,661
otra persona pide árboles mágicos lloviendo durante la

327
00:12:13,661 --> 00:12:16,361
puesta de sol… El evaluador de similitud verá

328
00:12:16,361 --> 00:12:18,341
que los vectores son casi idénticos.

329
00:12:18,341 --> 00:12:19,981
Y te silbe la imagen que ya tenía

330
00:12:19,981 --> 00:12:21,981
generada de forma instantánea.

331
00:12:22,121 --> 00:12:24,421
Evitas que los algoritmos pesados de imagen se

332
00:12:24,421 --> 00:12:26,341
reactiven y gasten recursos.

333
00:12:26,241 --> 00:12:27,921
Y además de para los usuarios, a nivel

334
00:12:27,921 --> 00:12:30,581
de ingeniería esto transforma la forma de trabajar.

335
00:12:30,661 --> 00:12:32,701
Las guías insisten mucho en su uso para

336
00:12:32,701 --> 00:12:35,821
entornos de prueba, los famosos sandboxes.

337
00:12:35,541 --> 00:12:36,241
Claro.

338
00:12:36,241 --> 00:12:39,081
Al desarrollar una app conectada a la nube,

339
00:12:39,081 --> 00:12:42,121
tienes que lanzar miles de peticiones automáticas para

340
00:12:42,121 --> 00:12:44,461
ver si tu código aguanta el estrés.

341
00:12:44,101 --> 00:12:46,761
Y pagar las tarifas de los proveedores masivos

342
00:12:46,761 --> 00:12:49,201
solo para diagnosticar errores de desarrollo, pues te

343
00:12:49,201 --> 00:12:49,581
arruina.

344
00:12:50,081 --> 00:12:51,541
Totalmente.

345
00:12:51,541 --> 00:12:54,881
Con la caché simulando las respuestas, pruebas todo

346
00:12:54,881 --> 00:12:58,001
a máxima velocidad sin gastar dinero real.

347
00:12:58,221 --> 00:13:00,581
Pero volviendo al producto final, hay un mecanismo

348
00:13:00,581 --> 00:13:02,481
de control que me parece súper interesante.

349
00:13:03,501 --> 00:13:05,361
La temperatura.

350
00:13:05,501 --> 00:13:06,441
Ah, sí.

351
00:13:06,441 --> 00:13:08,461
La temperatura es la palanca que te permite

352
00:13:08,461 --> 00:13:11,161
ajustar directamente la rigidez de la caché.

353
00:13:11,181 --> 00:13:14,081
Normalmente va del 0.0 al 2.0.

354
00:13:14,101 --> 00:13:16,101
¿Y si lo configuras a cero, qué pasa

355
00:13:16,101 --> 00:13:17,101
exactamente?

356
00:13:17,321 --> 00:13:19,641
Pues que priorizas la eficiencia absoluta.

357
00:13:19,701 --> 00:13:22,041
Si la pregunta entrante supera el umbral matemático

358
00:13:22,041 --> 00:13:24,821
de similitud, te devuelve la respuesta local sí

359
00:13:24,821 --> 00:13:25,721
o sí.

360
00:13:25,521 --> 00:13:28,001
Lo cual tiene todo el sentido si buscas

361
00:13:28,001 --> 00:13:29,741
predictibilidad total.

362
00:13:29,881 --> 00:13:32,141
Por ejemplo, en un sistema de recursos humanos

363
00:13:32,141 --> 00:13:34,621
que explica cuántos días de vacaciones tienes en

364
00:13:34,621 --> 00:13:35,581
la empresa.

365
00:13:34,941 --> 00:13:36,281
Claro.

366
00:13:36,281 --> 00:13:38,801
Si 100 empleados te preguntan por las vacaciones,

367
00:13:38,801 --> 00:13:41,581
tu objetivo es dar la misma información normativa,

368
00:13:41,581 --> 00:13:42,861
rápida y barata.

369
00:13:43,041 --> 00:13:44,401
No quieres variaciones creativas.

370
00:13:44,801 --> 00:13:46,821
¿Pero qué pasa si hablamos de una herramienta

371
00:13:46,821 --> 00:13:49,861
para redacción creativa o un asistente para buscar

372
00:13:49,861 --> 00:13:52,381
nombres originales para productos nuevos?

373
00:13:52,281 --> 00:13:55,101
Ahí reciclar respuestas te destruye el producto.

374
00:13:54,121 --> 00:13:57,761
O sea, si pido cinco ideas disruptivas para

375
00:13:57,761 --> 00:13:59,641
una marca de café y me da el

376
00:13:59,641 --> 00:14:02,001
mismo listado que generó para mi competencia la

377
00:14:02,001 --> 00:14:04,581
semana pasada, pues vaya asistente.

378
00:14:04,321 --> 00:14:05,781
¿Pierde toda su utilidad?

379
00:14:06,081 --> 00:14:08,441
En esos casos elevas la temperatura al máximo,

380
00:14:08,441 --> 00:14:09,981
cerca del 2.0.

381
00:14:09,841 --> 00:14:11,941
Así el sistema ignora la caché local y

382
00:14:11,941 --> 00:14:14,161
obliga a la API a generar algo completamente

383
00:14:14,161 --> 00:14:15,001
original.

384
00:14:15,041 --> 00:14:17,021
Asumiendo el coste y el tiempo, obviamente.

385
00:14:17,881 --> 00:14:21,781
Equilibras la repetición eficiente y la creatividad bajo

386
00:14:21,781 --> 00:14:22,241
demanda.

387
00:14:22,461 --> 00:14:22,941
Exacto.

388
00:14:23,581 --> 00:14:25,941
Pero bueno, toda arquitectura basada en ángulos y

389
00:14:25,941 --> 00:14:28,441
probabilidades tiene que tener sus riesgos, ¿no?

390
00:14:29,001 --> 00:14:31,881
Las cachés tradicionales, si no encuentran la letra

391
00:14:31,881 --> 00:14:33,541
exacta, fallan y punto.

392
00:14:33,081 --> 00:14:35,661
Pero un sistema semántico se puede equivocar al

393
00:14:35,661 --> 00:14:36,521
juzgar.

394
00:14:36,281 --> 00:14:37,361
Y tanto.

395
00:14:37,361 --> 00:14:39,401
Por eso la supervisión de estas cachés exige

396
00:14:39,401 --> 00:14:41,101
un análisis muy riguroso.

397
00:14:41,721 --> 00:14:45,061
Los desarrolladores luchan principalmente contra dos cosas, los

398
00:14:45,061 --> 00:14:47,881
falsos negativos y los falsos positivos.

399
00:14:47,861 --> 00:14:50,521
Empecemos por los falsos negativos.

400
00:14:50,521 --> 00:14:53,001
Eso es una penalización económica pura y dura,

401
00:14:53,001 --> 00:14:53,741
¿verdad?

402
00:14:53,761 --> 00:14:54,901
Exacto.

403
00:14:54,901 --> 00:14:56,941
Ocurre cuando el algoritmo no se da cuenta

404
00:14:56,941 --> 00:14:59,311
de que dos frases distintas significan lo mismo.

405
00:14:59,791 --> 00:15:01,511
Así que manda la petición a la red

406
00:15:01,511 --> 00:15:04,391
externa, aunque tenía la respuesta guardada, y pagas

407
00:15:04,391 --> 00:15:05,971
de nuevo por generarla.

408
00:15:05,891 --> 00:15:06,811
Sí.

409
00:15:06,811 --> 00:15:09,711
Quien interactúa con la pantalla recibe una respuesta

410
00:15:09,711 --> 00:15:12,231
válida, pero la cuenta bancaria de la empresa

411
00:15:12,231 --> 00:15:14,391
sufre por esa ineficiencia.

412
00:15:14,391 --> 00:15:15,951
¿Y el falso positivo?

413
00:15:16,151 --> 00:15:17,771
Ese es el que te genera un fallo

414
00:15:17,771 --> 00:15:19,071
de integridad.

415
00:15:18,591 --> 00:15:21,371
Pasa cuando el sistema agrupa por error dos

416
00:15:21,371 --> 00:15:24,151
preguntas que usan palabras parecidas, pero la intención

417
00:15:24,151 --> 00:15:25,791
es totalmente distinta.

418
00:15:26,171 --> 00:15:26,491
¡Ostras!

419
00:15:27,091 --> 00:15:29,131
Y al hacer eso, rescata de la memoria

420
00:15:29,131 --> 00:15:31,811
una respuesta errónea o fuera de contexto.

421
00:15:31,751 --> 00:15:34,651
Y entregar información fuera de lugar daña irreparablemente

422
00:15:34,651 --> 00:15:36,471
la confianza en el sistema.

423
00:15:36,291 --> 00:15:38,111
Por eso entiendo que la industria evalúa esto

424
00:15:38,111 --> 00:15:40,891
con tres indicadores clave, que la documentación detalla

425
00:15:40,891 --> 00:15:41,831
muy bien.

426
00:15:41,731 --> 00:15:44,211
Sí, el primer gran indicador es la tasa

427
00:15:44,211 --> 00:15:45,891
de acierto, o hit ratio.

428
00:15:45,791 --> 00:15:47,591
Que viene a ser una métrica directa de

429
00:15:47,591 --> 00:15:48,711
cuánto estás ahorrando, ¿no?

430
00:15:49,071 --> 00:15:49,991
Eso es.

431
00:15:49,991 --> 00:15:52,931
Expresa estadísticamente el porcentaje de peticiones que has

432
00:15:52,931 --> 00:15:55,691
resuelto solo con la base de datos local,

433
00:15:55,691 --> 00:15:56,991
sin tocar la API.

434
00:15:56,991 --> 00:15:59,171
Es el termómetro principal de ahorro de costes.

435
00:15:59,531 --> 00:16:00,011
Vale.

436
00:16:00,011 --> 00:16:01,971
Y el segundo indicador he visto que es

437
00:16:01,971 --> 00:16:03,131
la latencia.

438
00:16:03,011 --> 00:16:04,871
Que se mide en milisegundos.

439
00:16:04,871 --> 00:16:06,651
Es el tiempo total de todo el proceso

440
00:16:06,651 --> 00:16:07,091
interno.

441
00:16:07,591 --> 00:16:10,471
Convertir texto a vector, buscar coordenadas, medir el

442
00:16:10,471 --> 00:16:12,031
ángulo y sacar el texto.

443
00:16:11,991 --> 00:16:13,251
Claro.

444
00:16:13,251 --> 00:16:15,591
Si todo ese papeleo interno genera un cuello

445
00:16:15,591 --> 00:16:17,831
de botella y la latencia supera el tiempo

446
00:16:17,831 --> 00:16:20,351
que tardaría el modelo externo… Pues apaga y

447
00:16:20,351 --> 00:16:22,471
vámonos, porque el propósito de la caché queda

448
00:16:22,471 --> 00:16:23,411
anulado.

449
00:16:23,391 --> 00:16:25,391
O sea que la tasa de acierto es

450
00:16:25,391 --> 00:16:27,691
el dinero que nos ahorramos y la latencia

451
00:16:27,691 --> 00:16:30,251
es lo rápido que conseguimos que desaparezca el

452
00:16:30,251 --> 00:16:32,171
ícono de cargando en la pantalla.

453
00:16:31,991 --> 00:16:33,331
Me gusta ese resumen.

454
00:16:33,371 --> 00:16:35,251
¿Y cuál sería el tercer indicador?

455
00:16:34,751 --> 00:16:37,811
El tercer pilar es la exhaustividad, lo que

456
00:16:37,811 --> 00:16:39,551
en inglés llaman recall.

457
00:16:39,551 --> 00:16:41,671
Es para evaluar la precisión general.

458
00:16:41,471 --> 00:16:43,491
¿Y cómo funciona exactamente?

459
00:16:43,591 --> 00:16:45,931
Evalúa cuántas veces el sistema sirvió la respuesta

460
00:16:45,931 --> 00:16:48,331
correcta desde su base de datos frente a

461
00:16:48,331 --> 00:16:51,591
la cantidad total de veces que, matemáticamente, debería

462
00:16:51,591 --> 00:16:52,611
haberlo hecho.

463
00:16:52,451 --> 00:16:55,351
Ah, o sea, le garantiza que el umbral

464
00:16:55,351 --> 00:16:58,031
de similitud está bien calibrado para no dejar

465
00:16:58,031 --> 00:17:01,091
escapar esos falsos negativos que decíamos antes.

466
00:17:01,151 --> 00:17:01,611
Exacto.

467
00:17:01,611 --> 00:17:04,791
Lograr atrapar y reciclar la inmensa mayoría de

468
00:17:04,791 --> 00:17:07,131
las preguntas sin gastar a lo tonto.

469
00:17:07,091 --> 00:17:09,631
Fíjate que analizando el volumen de ingeniería que

470
00:17:09,631 --> 00:17:11,771
hay detrás de todo esto, me doy cuenta

471
00:17:11,771 --> 00:17:14,051
de algo muy profundo sobre la evolución de

472
00:17:14,051 --> 00:17:14,851
la IA.

473
00:17:15,051 --> 00:17:16,091
A ver, cuéntame.

474
00:17:16,271 --> 00:17:18,091
Pues que mediáticamente todo el mundo habla de

475
00:17:18,091 --> 00:17:21,151
construir redes neuronales cada vez más inmensas para

476
00:17:21,151 --> 00:17:24,291
generar textos hipercomplejos en tiempo real.

477
00:17:24,491 --> 00:17:27,871
Pero con herramientas como GPT-Caché apuntamos a una

478
00:17:27,871 --> 00:17:30,131
estrategia totalmente opuesta.

479
00:17:29,951 --> 00:17:31,431
En no usarlas, vaya.

480
00:17:31,471 --> 00:17:32,051
Exacto.

481
00:17:32,511 --> 00:17:35,011
La máxima prioridad arquitectónica para que estos negocios

482
00:17:35,011 --> 00:17:39,011
sobrevivan es, paradójicamente, no tener que utilizar esa

483
00:17:39,011 --> 00:17:41,731
espectacular capacidad de generación en tiempo real.

484
00:17:41,711 --> 00:17:44,351
Es un desafío de diseño fascinante.

485
00:17:44,611 --> 00:17:47,671
Dedicamos capitales ingentes a entrenar el razonamiento de

486
00:17:47,671 --> 00:17:51,071
la máquina para inmediatamente destinar esfuerzos brutales a

487
00:17:51,071 --> 00:17:54,151
desarrollar engranajes que impidan que razone.

488
00:17:54,091 --> 00:17:54,631
Totalmente.

489
00:17:55,251 --> 00:17:57,131
Y a medida que estas caches semánticas a

490
00:17:57,131 --> 00:18:00,251
nivel global se sigan expandiendo y absorbiendo miles

491
00:18:00,251 --> 00:18:03,231
de millones de interacciones… Es lógico prever que

492
00:18:03,231 --> 00:18:06,831
el porcentaje de respuestas creadas verdaderamente desde cero

493
00:18:06,831 --> 00:18:09,551
en ese instante se reducirá al mínimo.

494
00:18:08,571 --> 00:18:12,071
El poder computacional puro se quedará solo para

495
00:18:12,071 --> 00:18:15,651
instrucciones muy excepcionales o preguntas súper originales.

496
00:18:15,231 --> 00:18:16,791
Sí, sí, combinaciones inéditas.

497
00:18:17,151 --> 00:18:19,631
Y esto sugiere un horizonte donde nuestra experiencia

498
00:18:19,631 --> 00:18:21,591
diaria con la IA cambiará.

499
00:18:21,771 --> 00:18:23,671
Igual ya no estamos charlando con un mecanismo

500
00:18:23,671 --> 00:18:26,251
que genera activamente ideas nuevas de la nada.

501
00:18:25,971 --> 00:18:27,631
Sino que el sistema se convierte en una

502
00:18:27,631 --> 00:18:31,291
vasta arquitectura de memoria artificial ultra optimizada.

503
00:18:31,131 --> 00:18:31,851
Exacto.

504
00:18:31,851 --> 00:18:34,331
La mayoría de las veces estaremos conversando con

505
00:18:34,331 --> 00:18:38,311
un archivo monumental que simplemente recicla, ordena y

506
00:18:38,311 --> 00:18:42,091
nos devuelve los fragmentos congelados de respuestas pasadas.

507
00:18:42,091 --> 00:18:45,471
Dejamos esta reflexión sobre el futuro del almacenamiento

508
00:18:45,471 --> 00:18:47,291
del conocimiento para que la audiencia le dé

509
00:18:47,291 --> 00:18:48,251
unas cuantas vueltas.

510
00:18:48,671 --> 00:18:50,351
Da que pensar, desde luego.

511
00:18:50,571 --> 00:18:53,071
Antes de despedirnos hasta el próximo programa os

512
00:18:53,071 --> 00:18:55,511
informamos de que las voces que oyes han

513
00:18:55,511 --> 00:18:57,931
sido generadas por la IA de Notebook LM

514
00:18:57,611 --> 00:19:00,811
y que dirigiendo el podcast se encuentra Julio

515
00:19:00,811 --> 00:19:03,431
Pablo Vázquez un humano que te envía saludos

516
00:19:03,051 --> 00:19:06,371
En caso de error probablemente sean errores humanos

517
00:19:06,211 --> 00:19:07,711
¡Nos escuchamos!

518
00:19:19,131 --> 00:19:21,531
Y hasta aquí el episodio de hoy Muchas

519
00:19:21,531 --> 00:19:34,951
gracias por tu atención Esto es BIMPRAXIS Nos

520
00:19:34,951 --> 00:19:57,891
escuchamos en el próximo episodio ¡Suscríbete al canal!