1
00:00:09,679 --> 00:00:15,660
Buenas, esto es BIMPRAXIS, el podcast donde el

2
00:00:15,660 --> 00:00:17,739
BIM se encuentra con la inteligencia artificial.

3
00:00:20,280 --> 00:00:23,480
Exploramos la ciencia, la tecnología y el futuro

4
00:00:23,480 --> 00:00:26,440
desde el enfoque de la arquitectura, ingeniería y

5
00:00:26,440 --> 00:00:27,120
construcción.

6
00:00:28,719 --> 00:00:29,420
¡Empezamos!

7
00:00:36,799 --> 00:00:40,859
Muy buenas, bienvenidas, bienvenidos a un nuevo episodio

8
00:00:40,859 --> 00:00:41,899
de BIMPRAXIS.

9
00:00:42,140 --> 00:00:45,380
Hoy os traemos la revolución de la IA

10
00:00:45,380 --> 00:00:46,140
de bolsillo.

11
00:00:46,299 --> 00:00:47,240
¿Estáis listos?

12
00:00:47,740 --> 00:00:48,700
Pues entramos en materia.

13
00:00:48,939 --> 00:00:52,780
A ver, imaginemos por un instante la infraestructura

14
00:00:52,780 --> 00:00:55,240
física que impulsa hoy en día a las

15
00:00:55,240 --> 00:00:58,159
inteligencias artificiales más avanzadas del panorama.

16
00:00:58,479 --> 00:01:01,579
Claro, la imagen mental nos lleva directamente a

17
00:01:01,579 --> 00:01:05,120
naves industriales, naves que ocupan hectáreas enteras.

18
00:01:05,519 --> 00:01:06,159
Totalmente.

19
00:01:06,500 --> 00:01:10,459
Decenas de miles de tarjetas gráficas gigantes apiladas

20
00:01:10,459 --> 00:01:13,680
en servidores, con unos sistemas de refrigeración que,

21
00:01:13,719 --> 00:01:16,599
bueno, exigen un consumo energético comparable al de

22
00:01:16,599 --> 00:01:17,239
una ciudad pequeña.

23
00:01:17,739 --> 00:01:18,439
Eso es.

24
00:01:18,459 --> 00:01:20,739
Ese es el paradigma establecido en el sector

25
00:01:20,739 --> 00:01:21,299
ahora mismo.

26
00:01:21,579 --> 00:01:24,819
La inteligencia artificial de vanguardia es un coloso

27
00:01:24,819 --> 00:01:25,439
inamovible.

28
00:01:25,579 --> 00:01:28,980
Es extremadamente caro y, por pura definición, un

29
00:01:28,980 --> 00:01:31,920
privilegio exclusivo de un puñado de megacorporaciones.

30
00:01:32,200 --> 00:01:35,079
Exacto, pero revisando las fuentes y los datos

31
00:01:35,079 --> 00:01:37,780
técnicos de hoy, nos encontramos con una anomalía

32
00:01:37,780 --> 00:01:38,200
brutal.

33
00:01:38,540 --> 00:01:41,280
Una anomalía que desafía toda la física y

34
00:01:41,280 --> 00:01:42,459
la economía de este sector.

35
00:01:42,719 --> 00:01:43,260
Sí, sí.

36
00:01:43,319 --> 00:01:47,159
Un dispositivo capaz de ejecutar modelos masivos, ojo.

37
00:01:47,739 --> 00:01:50,500
De hasta 120 .000 millones de parámetros.

38
00:01:50,739 --> 00:01:51,900
120 .000 millones.

39
00:01:52,079 --> 00:01:56,159
Y atención al dato, pesando apenas 305 gramos

40
00:01:56,159 --> 00:01:58,659
y operando totalmente desenchufado de la nube.

41
00:01:58,799 --> 00:01:59,640
Es una locura.

42
00:01:59,819 --> 00:02:02,599
El contraste con la narrativa dominante de la

43
00:02:02,599 --> 00:02:04,079
industria es abismal.

44
00:02:04,359 --> 00:02:07,500
Mientras todo el mercado avanza hacia el gigantismo

45
00:02:07,500 --> 00:02:10,280
de los centros de datos, hoy analizamos el

46
00:02:10,280 --> 00:02:12,199
Tiny AI Pocket Lab.

47
00:02:12,479 --> 00:02:14,199
Que de bolsillo tiene el nombre, pero de

48
00:02:14,199 --> 00:02:15,180
potencia va sobrado.

49
00:02:15,319 --> 00:02:17,460
A ver, vamos a desgranar esto, porque las

50
00:02:17,460 --> 00:02:19,680
cifras… Las cifras resultan casi inverosímiles.

51
00:02:19,819 --> 00:02:22,219
Hasta que analizas la ingeniería que hay detrás,

52
00:02:22,319 --> 00:02:22,479
claro.

53
00:02:23,139 --> 00:02:25,560
Físicamente, es un bloque con el tamaño de

54
00:02:25,560 --> 00:02:27,060
una batería externa convencional.

55
00:02:27,259 --> 00:02:30,560
Y como decías, ostenta el récord Guinness al

56
00:02:30,560 --> 00:02:34,280
superordenador de inteligencia artificial más pequeño del mundo.

57
00:02:34,520 --> 00:02:37,319
Fíjate, 305 gramos.

58
00:02:37,400 --> 00:02:40,400
Para poner una referencia super cotidiana, un iPhone

59
00:02:40,400 --> 00:02:43,479
moderno, si le pones una funda protectora normalita,

60
00:02:43,580 --> 00:02:46,039
ya te ronda los 230 gramos.

61
00:02:46,379 --> 00:02:46,939
Exacto.

62
00:02:48,939 --> 00:02:52,060
Es que, por una fracción mínima de peso

63
00:02:52,060 --> 00:02:55,539
adicional, este aparato promete democratizar modelos de lenguaje

64
00:02:55,539 --> 00:02:56,259
gigantes.

65
00:02:56,400 --> 00:02:58,439
Y para que esa promesa no se quede

66
00:02:58,439 --> 00:03:00,419
en puro marketing, la clave tiene que estar

67
00:03:00,419 --> 00:03:01,240
en el interior, ¿no?

68
00:03:01,439 --> 00:03:01,960
Justo.

69
00:03:02,199 --> 00:03:04,379
Porque esto no es un disco duro externo

70
00:03:04,379 --> 00:03:05,080
glorificado.

71
00:03:05,219 --> 00:03:06,379
Ni mucho menos.

72
00:03:06,759 --> 00:03:10,099
Este dispositivo viene equipado con 80 GB de

73
00:03:10,099 --> 00:03:11,159
memoria unificada.

74
00:03:11,300 --> 00:03:13,659
80 GB unificados, que se dice pronto.

75
00:03:13,939 --> 00:03:14,840
Es una barbaridad.

76
00:03:15,000 --> 00:03:18,539
En un ordenador tradicional… Sabes que el procesador

77
00:03:18,539 --> 00:03:20,819
central y la tarjeta gráfica tienen sus memorias

78
00:03:20,819 --> 00:03:21,280
separadas.

79
00:03:21,599 --> 00:03:24,340
Pierden un tiempo y una energía inmensos copiando

80
00:03:24,340 --> 00:03:25,500
datos de un lado a otro.

81
00:03:25,680 --> 00:03:27,400
¿Yendo y viniendo constantemente?

82
00:03:27,580 --> 00:03:28,099
Eso es.

83
00:03:28,539 --> 00:03:31,539
La memoria unificada crea una especie de piscina

84
00:03:31,539 --> 00:03:33,759
común a la que todos los componentes acceden

85
00:03:33,759 --> 00:03:34,319
al instante.

86
00:03:34,439 --> 00:03:36,099
Se acabó el cuello de botella.

87
00:03:36,300 --> 00:03:36,639
Claro.

88
00:03:36,740 --> 00:03:38,400
Y a eso le sumamos la unidad de

89
00:03:38,400 --> 00:03:39,039
almacenamiento.

90
00:03:39,259 --> 00:03:41,340
Sí, un SSD de un terabyte de capacidad.

91
00:03:41,800 --> 00:03:44,219
A ver, que suena a jerga impenetrable, pero

92
00:03:44,219 --> 00:03:45,219
el impacto aquí es vital.

93
00:03:45,580 --> 00:03:48,139
Básicamente, no es solo un almacén enorme… Es

94
00:03:48,139 --> 00:03:50,219
una autopista de altísima velocidad.

95
00:03:51,439 --> 00:03:52,000
Exactamente.

96
00:03:52,000 --> 00:03:54,979
Permite leer y escribir gigabytes de información por

97
00:03:54,979 --> 00:03:56,340
segundo sin atascos.

98
00:03:56,520 --> 00:03:59,340
Porque, claro, sin esa autopista, cargar un modelo

99
00:03:59,340 --> 00:04:00,919
tan bestia sería eterno.

100
00:04:00,979 --> 00:04:01,219
Vale.

101
00:04:01,319 --> 00:04:03,180
Pero aquí es donde se me plantea un

102
00:04:03,180 --> 00:04:04,759
reto analítico clarísimo.

103
00:04:05,099 --> 00:04:07,639
Planteemos un escenario de la vida real basado

104
00:04:07,639 --> 00:04:08,280
en las fuentes.

105
00:04:08,740 --> 00:04:12,020
Tú coges este pequeño bloque y lo enchufas

106
00:04:12,020 --> 00:04:14,599
por cable USB -C a tu portátil básico.

107
00:04:14,780 --> 00:04:16,100
Un portátil cualquiera, ¿sí?

108
00:04:16,199 --> 00:04:17,720
Imagínate un MacBook Air de entrada y entrada.

109
00:04:17,740 --> 00:04:19,660
De estos que no tienen ni ventiladores, con

110
00:04:19,660 --> 00:04:21,920
apenas 8 o 16 gigas de RAM.

111
00:04:22,199 --> 00:04:25,040
Si el modelo de IA pesa una tonelada

112
00:04:25,040 --> 00:04:27,459
y el portátil va justito, ¿cómo evita el

113
00:04:27,459 --> 00:04:30,000
colapso absoluto al gestionar esa carga por un

114
00:04:30,000 --> 00:04:31,199
simple puerto USB?

115
00:04:31,540 --> 00:04:33,100
Pues mira, el error de base en ese

116
00:04:33,100 --> 00:04:35,879
planteamiento es asumir que tu portátil está gestionando

117
00:04:35,879 --> 00:04:36,199
el modelo.

118
00:04:36,480 --> 00:04:37,220
Ah, no lo hace.

119
00:04:37,500 --> 00:04:37,800
No, no.

120
00:04:37,899 --> 00:04:40,500
El portátil no hace absolutamente nada a nivel

121
00:04:40,500 --> 00:04:41,139
de procesamiento.

122
00:04:41,459 --> 00:04:44,879
El Tiny Chronid actúa de forma completamente autónoma.

123
00:04:45,019 --> 00:04:46,480
O sea que el portátil es solo la

124
00:04:46,480 --> 00:04:46,819
pantalla.

125
00:04:47,199 --> 00:04:47,639
Justo.

126
00:04:47,740 --> 00:04:51,160
Ese disco SSD de 1 TB que mencionábamos

127
00:04:51,160 --> 00:04:54,040
almacena los pesos del modelo, es decir, el

128
00:04:54,040 --> 00:04:54,920
cerebro del sistema.

129
00:04:55,360 --> 00:04:57,500
Y todo el cálculo ocurre dentro de los

130
00:04:57,500 --> 00:04:59,120
procesadores del cacharro de bolsillo.

131
00:04:59,699 --> 00:05:02,639
Entonces tu ordenador se queda como un terminal

132
00:05:02,639 --> 00:05:03,100
ciego.

133
00:05:03,319 --> 00:05:06,459
Un teclado y una pantalla para mandar instrucciones

134
00:05:06,459 --> 00:05:07,000
y punto.

135
00:05:07,339 --> 00:05:07,899
Eso es.

136
00:05:08,319 --> 00:05:10,319
Así, el disco duro y la memoria de

137
00:05:10,319 --> 00:05:12,040
tu portátil se mantienen intactos.

138
00:05:12,060 --> 00:05:13,860
El espacio del usuario no se toca.

139
00:05:14,180 --> 00:05:16,500
Vale, me resuelves el cuello de botella del

140
00:05:16,500 --> 00:05:17,180
almacenamiento.

141
00:05:17,740 --> 00:05:18,720
Así caben los datos.

142
00:05:19,100 --> 00:05:21,899
Pero mover esos datos y procesarlos se exige

143
00:05:21,899 --> 00:05:23,480
superar un límite mucho peor.

144
00:05:23,680 --> 00:05:24,839
El límite térmico.

145
00:05:25,100 --> 00:05:25,560
Claro.

146
00:05:25,720 --> 00:05:28,560
Las tarjetas gráficas de escritorio que mueven estos

147
00:05:28,560 --> 00:05:31,939
modelos consumen fácilmente entre 400 y 1000 vatios.

148
00:05:32,100 --> 00:05:33,180
Son estufas.

149
00:05:33,319 --> 00:05:34,000
Literales.

150
00:05:34,160 --> 00:05:37,959
Pero este dispositivo, según las especificaciones, opera con

151
00:05:37,959 --> 00:05:40,360
un TDP de tan solo 30 vatios.

152
00:05:40,439 --> 00:05:41,500
30 vatios.

153
00:05:41,560 --> 00:05:44,139
Se alimenta con un cargador de móvil normal.

154
00:05:44,500 --> 00:05:47,279
¿Cómo no se derrite la carcasa al exigirle

155
00:05:47,279 --> 00:05:47,720
cálculos?

156
00:05:47,720 --> 00:05:51,480
Lo fascinante aquí es la división quirúrgica que

157
00:05:51,480 --> 00:05:52,899
han hecho en la arquitectura interna.

158
00:05:52,939 --> 00:05:56,199
El dispositivo alcanza un rendimiento total de 160

159
00:05:56,199 --> 00:05:57,060
TOPS.

160
00:05:57,399 --> 00:06:00,620
TOPS para clarificar trillones de operaciones por segundo,

161
00:06:00,740 --> 00:06:00,980
¿verdad?

162
00:06:01,259 --> 00:06:01,860
Exacto.

163
00:06:01,860 --> 00:06:04,160
Es la métrica estándar para medir el músculo

164
00:06:04,160 --> 00:06:04,480
en IA.

165
00:06:04,600 --> 00:06:07,939
Pues bien, para lograr esos 160 TOPS sin

166
00:06:07,939 --> 00:06:10,800
disparar el consumo eléctrico, no usan un procesador

167
00:06:10,800 --> 00:06:11,459
generalista.

168
00:06:11,600 --> 00:06:14,420
Lo dividen en dos cerebros especializados.

169
00:06:14,579 --> 00:06:16,319
¿Y cómo se reparten la carga?

170
00:06:16,319 --> 00:06:19,800
El componente principal es una NPU, una unidad

171
00:06:19,800 --> 00:06:21,560
neuronal dedicada solo a IA.

172
00:06:21,660 --> 00:06:24,699
Esta NPU acapara 48 GB de esa memoria

173
00:06:24,699 --> 00:06:27,160
RAM unificada, con un ancho de banda altísimo,

174
00:06:27,279 --> 00:06:30,000
y está enfocada en cálculos de formato FP16

175
00:06:30,000 --> 00:06:30,860
e INT8.

176
00:06:31,279 --> 00:06:31,579
Vale.

177
00:06:32,040 --> 00:06:36,279
Detengámonos en esos formatos, FP16 e INT8, porque

178
00:06:36,279 --> 00:06:38,180
requieren traducción para entender su impacto.

179
00:06:38,660 --> 00:06:41,420
O sea, una red neuronal hace miles de

180
00:06:41,420 --> 00:06:43,879
millones de multiplicaciones para adivinar la siguiente palabra,

181
00:06:44,060 --> 00:06:44,160
¿no?

182
00:06:44,279 --> 00:06:44,660
Sí.

183
00:06:45,079 --> 00:06:46,300
Matemáticas, puras ideas.

184
00:06:46,319 --> 00:06:46,600
Y duras.

185
00:06:46,639 --> 00:06:50,879
Y, tradicionalmente, esas matemáticas usan números decimales larguísimos,

186
00:06:50,899 --> 00:06:51,920
de alta precisión.

187
00:06:52,100 --> 00:06:54,220
Ocupan mucho y gastan muchísima energía.

188
00:06:54,620 --> 00:06:56,139
Una locura de energía, sí.

189
00:06:56,459 --> 00:06:59,699
Pues lo que permiten esos formatos, FP16 e

190
00:06:59,699 --> 00:07:01,579
INT8, es comprimir.

191
00:07:01,600 --> 00:07:04,879
En lugar de 10 decimales, redondea y usa

192
00:07:04,879 --> 00:07:06,399
números enteros más cortos.

193
00:07:06,879 --> 00:07:10,139
Pierde una precisión microscópica, pero… Pero a cambio

194
00:07:10,139 --> 00:07:10,800
es rapidísimo.

195
00:07:10,939 --> 00:07:13,259
Es como pagar en efectivo y redondear los

196
00:07:13,259 --> 00:07:16,120
céntimos, en lugar de hacer transferencias exactas por

197
00:07:16,120 --> 00:07:16,300
cada centímetro.

198
00:07:16,300 --> 00:07:19,839
El proceso huella, y el resultado es funcionalmente

199
00:07:19,839 --> 00:07:20,459
idéntico.

200
00:07:20,779 --> 00:07:22,000
Exactamente esa es la idea.

201
00:07:22,319 --> 00:07:26,180
Y luego, complementando a la NPU, el dispositivo

202
00:07:26,180 --> 00:07:28,899
lleva un SOC, un sistema en chip secundario,

203
00:07:28,920 --> 00:07:32,040
que administra los 32 gigas de RAM restantes

204
00:07:32,040 --> 00:07:34,220
y aporta a otros 30 TEOPS.

205
00:07:34,600 --> 00:07:36,100
Esa es la base de hardware.

206
00:07:36,519 --> 00:07:39,060
Pero las fuentes nos dicen que el hierro

207
00:07:39,060 --> 00:07:40,579
es solo la mitad del cuento.

208
00:07:40,819 --> 00:07:44,339
La verdadera magia, la brujería técnica que hace

209
00:07:44,339 --> 00:07:46,279
que esto consuma tan poco, es la verdad.

210
00:07:46,279 --> 00:07:48,220
Es el software de código abierto.

211
00:07:48,899 --> 00:07:50,540
PowerInfer y TurboSparse.

212
00:07:50,699 --> 00:07:51,199
Justo.

213
00:07:51,399 --> 00:07:54,579
A ver, para explicar cómo sincronizan la NPU

214
00:07:54,579 --> 00:07:57,319
con el SOC, introducen el concepto de la

215
00:07:57,319 --> 00:07:58,620
localidad de activación.

216
00:07:59,300 --> 00:08:02,240
Mantener neuronas calientes frente a neuronas frías.

217
00:08:02,439 --> 00:08:03,480
Es un concepto clave, sí.

218
00:08:03,639 --> 00:08:05,360
Se me ocurre una analogía con la alta

219
00:08:05,360 --> 00:08:05,779
cocina.

220
00:08:06,399 --> 00:08:08,639
Imagina que el modelo de 120 .000 millones

221
00:08:08,639 --> 00:08:11,019
de parámetros es la despensa de un restaurante

222
00:08:11,019 --> 00:08:11,519
gigante.

223
00:08:11,600 --> 00:08:14,300
En cualquier charla con la IA hay conocimientos

224
00:08:14,300 --> 00:08:17,860
básicos, lógica o gramática que se usan siempre.

225
00:08:18,019 --> 00:08:19,579
Esas serían las neuronas calientes.

226
00:08:20,000 --> 00:08:20,560
Exacto.

227
00:08:20,560 --> 00:08:22,560
Son los ingredientes críticos.

228
00:08:22,600 --> 00:08:25,240
La sal, el aceite, los cuchillos.

229
00:08:25,399 --> 00:08:27,860
Todo eso lo pones directamente en la encimera

230
00:08:27,860 --> 00:08:30,439
principal del chef, que sería la NPU, súper

231
00:08:30,439 --> 00:08:31,620
rápida y siempre lista.

232
00:08:32,000 --> 00:08:32,559
Totalmente.

233
00:08:32,779 --> 00:08:35,740
En cambio, las neuronas frías serían las especias

234
00:08:35,740 --> 00:08:37,820
raras que usas una vez al mes para

235
00:08:37,820 --> 00:08:38,799
un plato exótico.

236
00:08:38,899 --> 00:08:41,080
Esas las guardas en la despensa del fondo,

237
00:08:41,240 --> 00:08:42,740
que sería el SOC o la CPU.

238
00:08:43,080 --> 00:08:44,720
Fíjate que la analogía es perfecta.

239
00:08:44,980 --> 00:08:46,860
Y Power Infer es el chef que orquesta

240
00:08:46,860 --> 00:08:47,419
todo esto.

241
00:08:48,279 --> 00:08:50,740
Optimiza la velocidad de forma brutal sin colapsar

242
00:08:50,740 --> 00:08:51,159
el sistema.

243
00:08:51,779 --> 00:08:54,220
Porque el sistema no pierde energía yendo y

244
00:08:54,220 --> 00:08:55,820
viniendo a la despensa del fondo a cada

245
00:08:55,820 --> 00:08:56,139
segundo.

246
00:08:56,480 --> 00:08:58,480
Claro, mantiene lo crítico a mano.

247
00:08:58,600 --> 00:09:00,980
Y el por qué importa esto es brutal.

248
00:09:01,340 --> 00:09:03,419
Importa porque es lo que permite llevar computación

249
00:09:03,419 --> 00:09:06,120
de altísimo rendimiento a un enchufe estándar o

250
00:09:06,120 --> 00:09:08,059
a una batería portátil en una cafetería.

251
00:09:08,139 --> 00:09:10,179
Se acabaron los costes recurrentes.

252
00:09:10,440 --> 00:09:12,659
Eliminas el pago por tokens en la nube

253
00:09:12,659 --> 00:09:13,340
por completo.

254
00:09:13,620 --> 00:09:14,960
Y te garantiza una privacidad.

255
00:09:14,980 --> 00:09:19,259
Tu datos, tu código, tus documentos no salen

256
00:09:19,259 --> 00:09:21,320
de ese aparatito de 300 gramos.

257
00:09:21,460 --> 00:09:24,139
Pero a ver, de nada sirve una arquitectura

258
00:09:24,139 --> 00:09:27,419
innovadora si te exige un doctorado para poder

259
00:09:27,419 --> 00:09:27,940
usarla.

260
00:09:28,139 --> 00:09:30,600
Pasemos de los chips a la experiencia de

261
00:09:30,600 --> 00:09:31,059
usuario.

262
00:09:31,200 --> 00:09:34,059
Porque yo me esperaba la típica pantalla de

263
00:09:34,059 --> 00:09:38,259
terminal negra con letras verdes y comandos supercrípticos.

264
00:09:38,379 --> 00:09:40,419
Era lo habitual en IA local hasta hace

265
00:09:40,419 --> 00:09:40,919
nada, ¿sí?

266
00:09:40,980 --> 00:09:42,639
Pues aquí es donde la cosa se pone

267
00:09:42,639 --> 00:09:43,700
muy interesante.

268
00:09:44,519 --> 00:09:46,659
Entras a través de un panel de control

269
00:09:46,659 --> 00:09:50,419
llamado TinyOS y es supervisual.

270
00:09:50,580 --> 00:09:52,779
Es que democratizar el acceso es vital para

271
00:09:52,779 --> 00:09:56,559
la adopción masiva y TinyOS es totalmente transparente.

272
00:09:56,580 --> 00:09:58,639
Te monitoriza el rendimiento en tiempo real.

273
00:09:58,799 --> 00:10:01,320
Ves la carga exacta de la NPU, la

274
00:10:01,320 --> 00:10:03,779
RAM unificada, el uso de tokens histórico.

275
00:10:04,100 --> 00:10:06,059
Te da una sensación de control real.

276
00:10:06,200 --> 00:10:07,960
Pero el salto cualitativo de verdad está en

277
00:10:07,960 --> 00:10:08,899
la Agent Store.

278
00:10:09,159 --> 00:10:10,539
La tienda de aplicaciones, ¿sí?

279
00:10:10,639 --> 00:10:12,559
Es una especie de tienda de apps que

280
00:10:12,559 --> 00:10:15,960
convierte modelos supercomplejos en herramientas listas para usar.

281
00:10:16,440 --> 00:10:20,220
Incluye desde KiloCode para programar hasta interfaces completas

282
00:10:20,220 --> 00:10:21,759
de Stable Diffusion Web UI.

283
00:10:22,139 --> 00:10:25,120
O sea, para generar imágenes sin instalar 50

284
00:10:25,120 --> 00:10:27,539
dependencias de software, que es un dolor de

285
00:10:27,539 --> 00:10:27,779
cabeza.

286
00:10:28,379 --> 00:10:28,899
Exacto.

287
00:10:29,000 --> 00:10:31,860
O Silly Tavern para crear conversaciones de rol

288
00:10:31,860 --> 00:10:32,419
inmersivas.

289
00:10:32,559 --> 00:10:34,620
Lo instalas con un clic, como en el

290
00:10:34,620 --> 00:10:34,860
móvil.

291
00:10:35,039 --> 00:10:37,480
Y dentro de ese ecosistema me ha volado

292
00:10:37,480 --> 00:10:39,000
la cabeza la herramienta TinyBot.

293
00:10:39,200 --> 00:10:40,620
Ah, la integración remota.

294
00:10:40,740 --> 00:10:41,159
Sí, sí.

295
00:10:41,320 --> 00:10:43,360
Inspirada en interfaces como OpenClose.

296
00:10:43,519 --> 00:10:46,220
Te permite conectar tu pequeño servidor en casa

297
00:10:46,220 --> 00:10:48,360
a través de un bot de Telegram o

298
00:10:48,360 --> 00:10:48,740
Discord.

299
00:10:49,080 --> 00:10:50,000
Eso es fascinante.

300
00:10:50,240 --> 00:10:52,279
A ver, yo estoy fuera de casa, saco

301
00:10:52,279 --> 00:10:54,379
el móvil, abro Telegram y le pido un

302
00:10:54,379 --> 00:10:56,460
resumen de un PDF o el clima de

303
00:10:56,460 --> 00:10:57,779
Melbourne a través de una API.

304
00:10:57,940 --> 00:11:00,120
Y es mi propio dispositivo físico en mi

305
00:11:00,120 --> 00:11:01,620
escritorio procesando eso.

306
00:11:01,799 --> 00:11:02,120
Claro.

307
00:11:02,559 --> 00:11:05,139
En términos prácticos, lo que tienes ahí es

308
00:11:05,139 --> 00:11:06,899
tu propia infraestructura en la sombra.

309
00:11:07,480 --> 00:11:07,960
Literalmente.

310
00:11:08,080 --> 00:11:10,799
Es el puente perfecto entre mantener el control

311
00:11:10,799 --> 00:11:13,200
absoluto y paranoico de tus datos a nivel

312
00:11:13,200 --> 00:11:16,259
local y seguir teniendo la tremenda conveniencia de

313
00:11:16,259 --> 00:11:16,620
la nube.

314
00:11:16,759 --> 00:11:17,179
Vale.

315
00:11:17,419 --> 00:11:19,480
Pasemos de la teoría a las trincheras.

316
00:11:19,480 --> 00:11:22,200
Porque, sobre el papel, todo suena perfecto.

317
00:11:22,360 --> 00:11:25,720
¿Qué pasa cuando realmente le exigimos tareas complejas

318
00:11:25,720 --> 00:11:26,279
al cacharro?

319
00:11:26,440 --> 00:11:28,539
Que salen a la luz las peculiaridades de

320
00:11:28,539 --> 00:11:30,720
una tecnología emergente, como es normal.

321
00:11:31,000 --> 00:11:33,000
Las fuentes detallan pruebas que te dan un

322
00:11:33,000 --> 00:11:33,620
baño de realidad.

323
00:11:34,000 --> 00:11:36,080
Mira la generación de imágenes con el modelo

324
00:11:36,080 --> 00:11:37,340
Z -Image TuneWall.

325
00:11:37,419 --> 00:11:39,580
Las anécdotas de esas pruebas son muy buenas.

326
00:11:39,779 --> 00:11:40,500
Son para enmarcar.

327
00:11:40,679 --> 00:11:42,940
Le piden al modelo generar la imagen, y

328
00:11:42,940 --> 00:11:43,879
un gato con un sombrero.

329
00:11:43,960 --> 00:11:45,779
Y el resultado devuelto es...

330
00:11:45,779 --> 00:11:46,899
¿Un cuadrado rojo?

331
00:11:47,059 --> 00:11:48,779
Un cuadrado plano y rojo, sí.

332
00:11:48,860 --> 00:11:50,200
Un fallo de lógica total.

333
00:11:50,340 --> 00:11:51,799
Un colapso absoluto.

334
00:11:51,879 --> 00:11:53,860
Pero luego le piden un gato tocando la

335
00:11:53,860 --> 00:11:54,639
guitarra y...

336
00:11:54,639 --> 00:11:55,179
¡Pum!

337
00:11:55,259 --> 00:11:58,879
Genera una imagen fotorrealista perfecta al primer intento.

338
00:11:59,080 --> 00:12:01,320
A ver, es que esos saltos, entre fallo

339
00:12:01,320 --> 00:12:04,779
catastrófico y éxito perfecto, muestran la naturaleza experimental

340
00:12:04,779 --> 00:12:07,440
de comprimir modelos en ecosistemas tan cerrados.

341
00:12:07,720 --> 00:12:09,159
Y no solo con imágenes.

342
00:12:09,340 --> 00:12:11,639
Hubo un intento de programar un juego de

343
00:12:11,639 --> 00:12:14,360
vuelo en 3D, usando el asistente KiloCode.

344
00:12:14,519 --> 00:12:16,220
Ese caso es interesantísimo.

345
00:12:16,679 --> 00:12:17,519
Tela marinera.

346
00:12:17,559 --> 00:12:21,059
El programador usa el modelo GLM 4 .7

347
00:12:21,059 --> 00:12:23,480
Flash y le pide que inspeccione la pantalla

348
00:12:23,480 --> 00:12:26,019
del navegador para corregir errores visuales.

349
00:12:26,240 --> 00:12:28,100
Y falla estrepitosamente.

350
00:12:28,460 --> 00:12:30,759
Falla porque ese modelo no es multimodal.

351
00:12:30,759 --> 00:12:31,539
Es ciego.

352
00:12:31,620 --> 00:12:33,360
No puede ver píxeles en pantalla.

353
00:12:33,580 --> 00:12:34,200
Solo texto.

354
00:12:34,500 --> 00:12:36,659
Claro, el sistema no podía ver el problema

355
00:12:36,659 --> 00:12:37,379
en absoluto.

356
00:12:37,419 --> 00:12:40,679
Aunque, curiosamente, el código subyacente que escribió para

357
00:12:40,679 --> 00:12:44,019
el terreno 3D en JavaScript fue sorprendentemente bueno

358
00:12:44,019 --> 00:12:44,500
a la primera.

359
00:12:44,659 --> 00:12:46,460
Es que ahí entran los datos duros de

360
00:12:46,460 --> 00:12:48,779
rendimiento para dar contexto a estas anécdotas.

361
00:12:48,980 --> 00:12:51,059
Porque a pesar de esos tropiezos lógicos, las

362
00:12:51,059 --> 00:12:52,299
métricas son de otra liga.

363
00:12:52,480 --> 00:12:52,940
Dímelas.

364
00:12:53,200 --> 00:12:56,220
Si ejecutas un modelo generalista mastodóntico, como el

365
00:12:56,220 --> 00:12:59,279
GPTOS de 120 .000 millones, el sistema rinde

366
00:12:59,279 --> 00:13:01,240
entre 12 y 18 tokens por segundo.

367
00:13:01,500 --> 00:13:03,360
Que es una velocidad de lectura superior a

368
00:13:03,360 --> 00:13:05,679
la humana, ejecutándose en local y con 30

369
00:13:05,679 --> 00:13:06,059
vatios.

370
00:13:06,399 --> 00:13:06,879
Exacto.

371
00:13:06,879 --> 00:13:08,659
Y si te vas a modelos más ligeros

372
00:13:08,659 --> 00:13:11,379
y especializados en código, como Qen3C Coder de

373
00:13:11,379 --> 00:13:13,940
30 .000 millones, alcanza los 25 tokens por

374
00:13:13,940 --> 00:13:14,200
segundo.

375
00:13:14,460 --> 00:13:15,620
No despeinarse, vamos.

376
00:13:15,860 --> 00:13:16,100
Nada.

377
00:13:16,179 --> 00:13:16,899
Ni mutarse.

378
00:13:17,059 --> 00:13:18,740
En las pruebas fue capaz de generar una

379
00:13:18,740 --> 00:13:22,220
web educativa interactiva sobre serpientes, con 710 líneas

380
00:13:22,220 --> 00:13:25,139
de código continuo, incluyendo lógica, diseño visual y

381
00:13:25,139 --> 00:13:25,620
animaciones.

382
00:13:25,919 --> 00:13:28,299
Pues entonces, ¿qué significa todo esto al final

383
00:13:28,299 --> 00:13:28,639
del día?

384
00:13:28,820 --> 00:13:30,799
Porque hay que hacer de abogado del diablo.

385
00:13:30,919 --> 00:13:32,740
No todo es perfecto, la física existe.

386
00:13:33,100 --> 00:13:34,899
La física es la que manda.

387
00:13:35,000 --> 00:13:35,519
Siempre.

388
00:13:35,679 --> 00:13:38,179
Y concentrar esa potencia genera calor.

389
00:13:38,340 --> 00:13:41,340
Para enfriar la NPU, el dispositivo tiene un

390
00:13:41,340 --> 00:13:45,200
ventilador pensado Sí, operando a unas revoluciones altísimas.

391
00:13:45,500 --> 00:13:48,279
Y las fuentes mencionan un ruido agudo constante.

392
00:13:48,740 --> 00:13:51,440
Un zumbido que en un entorno silencioso de

393
00:13:51,440 --> 00:13:52,500
oficina se hace notar.

394
00:13:52,679 --> 00:13:55,840
Es el peaje inevitable de la miniaturización extrema,

395
00:13:55,879 --> 00:13:56,100
claro.

396
00:13:56,399 --> 00:13:58,940
Pero aparte del ruido, de momento el ecosistema

397
00:13:58,940 --> 00:14:01,159
de software es lo que llamamos un jardín

398
00:14:01,159 --> 00:14:01,620
vallado.

399
00:14:01,840 --> 00:14:04,200
Ese es el gran hándicap para los usuarios

400
00:14:04,200 --> 00:14:05,000
muy técnicos.

401
00:14:05,279 --> 00:14:07,779
O sea, los modelos están curados por Tiny

402
00:14:07,779 --> 00:14:08,039
AI.

403
00:14:08,320 --> 00:14:11,679
No puedes irte alegremente a Hugging Face, descargarte

404
00:14:11,679 --> 00:14:13,740
un archivo, un archivo libre estándar y ponerlo

405
00:14:13,740 --> 00:14:14,340
a funcionar.

406
00:14:14,679 --> 00:14:16,659
Estás limitado a lo que te dan ellos

407
00:14:16,659 --> 00:14:17,220
en su tiembla.

408
00:14:17,799 --> 00:14:20,320
Probablemente porque cada modelo exige un trabajo de

409
00:14:20,320 --> 00:14:23,600
compilación previo para exprimir esa arquitectura dual Powering

410
00:14:23,600 --> 00:14:23,700
Fair.

411
00:14:24,120 --> 00:14:25,960
Tienen que ajustar muy bien qué va a

412
00:14:25,960 --> 00:14:27,460
la NPU y qué va al SOC.

413
00:14:27,639 --> 00:14:30,519
Claro, te cambian Rilibertad por estabilidad.

414
00:14:30,860 --> 00:14:33,980
Y por último, el tema del precio, que

415
00:14:33,980 --> 00:14:34,860
no es moco de pavo.

416
00:14:35,320 --> 00:14:39,000
Salió a 1 .399 dólares en Kickstarter y

417
00:14:39,000 --> 00:14:41,240
su precio final estimado es de casi 1

418
00:14:41,240 --> 00:14:42,100
.900 dólares.

419
00:14:42,120 --> 00:14:44,460
Es una inversión seria, sí.

420
00:14:44,679 --> 00:14:47,000
Por ese dinero te montas un ordenador de

421
00:14:47,000 --> 00:14:49,000
sobremesa tradicional bastante capaz.

422
00:14:49,460 --> 00:14:51,159
¿Realmente esto lo sustituye?

423
00:14:51,440 --> 00:14:53,259
A ver, sintetizando, no.

424
00:14:53,600 --> 00:14:55,799
No reemplaza a un monstruo de estación de

425
00:14:55,799 --> 00:14:58,039
trabajo con múltiples tarjetas gráficas gigantes.

426
00:14:58,679 --> 00:15:00,980
Si vas a entrenar modelos desde cero, esto

427
00:15:00,980 --> 00:15:01,480
no es para ti.

428
00:15:02,059 --> 00:15:02,620
Lógico.

429
00:15:02,860 --> 00:15:05,340
Pero es que abre una categoría completamente nueva.

430
00:15:05,820 --> 00:15:09,340
Hablamos de IA significativa, portátil, privada y de

431
00:15:09,340 --> 00:15:10,200
muy bajo consumo.

432
00:15:10,620 --> 00:15:11,179
Totalmente.

433
00:15:11,379 --> 00:15:11,940
Totalmente.

434
00:15:12,120 --> 00:15:14,720
Lleva a un pensamiento final para dejar resonando

435
00:15:14,720 --> 00:15:15,580
a quien nos escuche.

436
00:15:16,059 --> 00:15:18,159
Si un despacho de abogados o un equipo

437
00:15:18,159 --> 00:15:21,100
de programadores puede amortizar este hardware en un

438
00:15:21,100 --> 00:15:23,480
par de meses… Porque se ahorran las suscripciones

439
00:15:23,480 --> 00:15:24,639
mensuales a la nube, claro.

440
00:15:25,080 --> 00:15:25,639
Exacto.

441
00:15:25,820 --> 00:15:30,919
Tienen una fábrica de tokens ilimitados y confidenciales

442
00:15:30,919 --> 00:15:31,580
en el bolsillo.

443
00:15:31,759 --> 00:15:34,919
A largo plazo, ¿cómo de sostenible es el

444
00:15:34,919 --> 00:15:38,259
modelo de negocio basado en suscripciones de los

445
00:15:38,259 --> 00:15:40,059
gigantes tecnológicos de la nube?

446
00:15:40,240 --> 00:15:41,240
Es la gran pregunta.

447
00:15:41,240 --> 00:15:45,059
Estamos asomándonos a una posible descentralización masiva del

448
00:15:45,059 --> 00:15:45,840
poder de cómputo.

449
00:15:46,019 --> 00:15:48,860
Una revolución desde la mochila de cada usuario,

450
00:15:48,940 --> 00:15:49,659
literalmente.

451
00:15:49,940 --> 00:15:52,779
Antes de despedirnos, hasta el próximo programa os

452
00:15:52,779 --> 00:15:54,899
informamos de que las voces que oyes han

453
00:15:54,899 --> 00:15:57,279
sido generadas por la IA de Notebook LM

454
00:15:57,279 --> 00:16:00,000
y que dirigiendo el podcast se encuentra Julio

455
00:16:00,000 --> 00:16:02,639
Pablo Vázquez, un humano que te envía saludos.

456
00:16:02,759 --> 00:16:05,460
En caso de error, probablemente sean errores humanos.

457
00:16:05,720 --> 00:16:06,519
Nos escuchamos.

458
00:16:17,539 --> 00:16:19,700
Y hasta aquí el episodio de hoy.

459
00:16:19,820 --> 00:16:20,799
Muchas gracias.

460
00:16:21,039 --> 00:16:21,720
Muchas gracias por tu atención.

461
00:16:31,169 --> 00:16:35,149
Esto es BIMPRAXIS, nos escuchamos en el próximo

462
00:16:35,149 --> 00:16:35,850
episodio.