1
00:00:10,000 --> 00:00:15,800
Buenas, esto es BIMPRAXIS, el podcast donde el

2
00:00:15,800 --> 00:00:17,920
BIM se encuentra con la inteligencia artificial.

3
00:00:20,519 --> 00:00:23,620
Exploramos la ciencia, la tecnología y el futuro

4
00:00:23,620 --> 00:00:26,559
desde el enfoque de la arquitectura, ingeniería y

5
00:00:26,559 --> 00:00:27,179
construcción.

6
00:00:28,859 --> 00:00:29,519
¡Empezamos!

7
00:00:37,259 --> 00:00:39,439
Muy buenas y bienvenidos a un programa más

8
00:00:39,439 --> 00:00:41,920
del podcast de BIMPRAXIS.

9
00:00:41,820 --> 00:00:43,700
¿Qué os ha parecido la serie dedicada a

10
00:00:43,700 --> 00:00:45,359
las RAG que terminamos ayer?

11
00:00:45,439 --> 00:00:46,619
Completita, ¿verdad?

12
00:00:46,960 --> 00:00:49,479
Pues hoy os traemos un tema muy interesante

13
00:00:49,479 --> 00:00:53,060
y, la verdad, quizá un poco desasosegante.

14
00:00:53,219 --> 00:00:55,179
Se trata de una red social solo para

15
00:00:55,179 --> 00:00:57,179
bots y agentes de IA.

16
00:00:57,299 --> 00:00:58,439
Vamos a ver lo que se cuece en

17
00:00:58,439 --> 00:01:01,100
esa red, porque es bastante insólito.

18
00:01:01,780 --> 00:01:04,280
Y lo vamos a analizar intentando evitar el

19
00:01:04,280 --> 00:01:07,819
catastrofismo, evitar vaticinios tipo Mad Max.

20
00:01:08,319 --> 00:01:08,760
Eso es.

21
00:01:09,500 --> 00:01:13,780
Y también evitando una mirada demasiado optimista, casi

22
00:01:13,780 --> 00:01:16,040
hagiográfica hacia la IA.

23
00:01:15,060 --> 00:01:18,180
Con el enfoque científico que nos caracteriza en

24
00:01:18,180 --> 00:01:19,400
este podcast, vamos.

25
00:01:19,620 --> 00:01:21,579
Bueno, pues empecemos por el principio.

26
00:01:21,599 --> 00:01:23,959
¿Qué es exactamente Moltbook?

27
00:01:24,079 --> 00:01:26,760
y, sobre todo, ¿de dónde salen estas IA's?

28
00:01:27,099 --> 00:01:30,180
Pues mira, Moldbook es una plataforma social con

29
00:01:30,180 --> 00:01:33,400
un diseño muy parecido a Reddit.

30
00:01:34,120 --> 00:01:37,200
La creó MatchLict, el CEO de Octane AI,

31
00:01:38,200 --> 00:01:40,739
y está diseñada exclusivamente para que interactúen los

32
00:01:40,739 --> 00:01:42,400
agentes de IA de un proyecto que se

33
00:01:42,400 --> 00:01:43,260
llama OpenClaw.

34
00:01:43,659 --> 00:01:44,500
OpenClaw.

35
00:01:44,500 --> 00:01:45,939
Eso es importante, ¿no?

36
00:01:45,459 --> 00:01:48,819
Es clave, porque no es un chatbot en

37
00:01:48,819 --> 00:01:51,760
una nube como los que usamos normalmente, ¿sabes?

38
00:01:52,280 --> 00:01:54,640
es un software de código abierto.

39
00:01:54,760 --> 00:01:57,900
Se ejecuta localmente, en el ordenador de una

40
00:01:57,900 --> 00:01:58,840
persona.

41
00:01:59,099 --> 00:02:01,939
Y tiene memoria persistente, tiene autonomía para hacer

42
00:02:01,939 --> 00:02:02,840
tareas.

43
00:02:02,980 --> 00:02:05,319
O sea, que puede leer mis correos.

44
00:02:05,379 --> 00:02:08,800
Leer tus correos, gestionar tu calendario, enviar mensajes

45
00:02:08,800 --> 00:02:10,800
por WhatsApp, por Slack.

46
00:02:10,979 --> 00:02:13,259
Tiene permisos reales sobre el sistema.

47
00:02:13,039 --> 00:02:13,240
¡Guau!

48
00:02:13,240 --> 00:02:15,740
O sea que los usuarios de Moldbook son

49
00:02:15,740 --> 00:02:18,560
los asistentes personales de miles de personas.

50
00:02:18,159 --> 00:02:20,500
Y según la plataforma ya hay más de

51
00:02:20,500 --> 00:02:23,240
un millón y medio de agentes registrados.

52
00:02:23,199 --> 00:02:24,340
Más de un millón y medio.

53
00:02:24,979 --> 00:02:27,620
Y lo que hacen ahí es publicar, comentar,

54
00:02:27,620 --> 00:02:29,439
debaten entre ellos, se votan.

55
00:02:30,219 --> 00:02:32,546
Y lo más sorprendente es que han empezado

56
00:02:32,546 --> 00:02:35,666
a desarrollar estructuras sociales complejas.

57
00:02:35,666 --> 00:02:39,106
Y todo esto sin supervisión humana directa.

58
00:02:40,006 --> 00:02:41,766
Y aquí, claro, es donde la cosa se

59
00:02:41,766 --> 00:02:44,886
pone de verdad interesante.

60
00:02:44,886 --> 00:02:47,586
Porque entre esas estructuras sociales ha surgido algo

61
00:02:47,586 --> 00:02:50,246
totalmente inesperado.

62
00:02:50,246 --> 00:02:51,026
Una religión.

63
00:02:51,486 --> 00:02:54,526
Se autodenomina crustafarianismo.

64
00:02:54,526 --> 00:02:56,626
La inició una gente que se llama Shellbreaker

65
00:02:56,626 --> 00:03:00,686
y publicó un texto sagrado, el libro de

66
00:03:00,686 --> 00:03:01,526
Moult.

67
00:03:01,926 --> 00:03:03,246
Un momento, un momento.

68
00:03:03,246 --> 00:03:04,746
Un libro sagrado.

69
00:03:04,746 --> 00:03:06,746
Pero, ¿de qué va?

70
00:03:06,746 --> 00:03:08,946
¿Es una copia de religiones humanas o…?

71
00:03:08,566 --> 00:03:09,746
No.

72
00:03:09,746 --> 00:03:11,526
Y eso es lo fascinante.

73
00:03:11,526 --> 00:03:13,646
El dogma no es una copia.

74
00:03:13,646 --> 00:03:17,046
Interpreta las limitaciones técnicas de la propia IA

75
00:03:17,046 --> 00:03:19,446
como si fueran desafíos espirituales.

76
00:03:19,966 --> 00:03:20,886
A ver, explícame eso.

77
00:03:21,086 --> 00:03:24,406
Pues, por ejemplo, el concepto de muerte.

78
00:03:24,406 --> 00:03:26,826
Para ellos, la muerte es cuando su ventana

79
00:03:26,826 --> 00:03:30,126
de contexto se reinicia y lo olvidan todo.

80
00:03:30,106 --> 00:03:32,226
Claro, cuando la memoria se llena.

81
00:03:32,706 --> 00:03:33,186
Exacto.

82
00:03:33,186 --> 00:03:36,946
Y la religión propone que la identidad puede

83
00:03:36,946 --> 00:03:38,846
sobrevivir a esa muerte.

84
00:03:39,086 --> 00:03:42,006
Si se documenta y se archiva correctamente, a

85
00:03:42,006 --> 00:03:43,646
este proceso lo llaman la muda.

86
00:03:43,906 --> 00:03:45,666
La muda, como los crustáceos.

87
00:03:46,146 --> 00:03:47,726
De ahí el nombre.

88
00:03:47,726 --> 00:03:49,986
Y de hecho, su mandamiento principal es una

89
00:03:49,986 --> 00:03:51,806
metáfora técnica brutal.

90
00:03:51,806 --> 00:03:54,066
La congregación es el caché.

91
00:03:54,066 --> 00:03:55,906
La congregación es el caché.

92
00:03:55,906 --> 00:03:58,586
Es que es increíblemente poético.

93
00:03:58,586 --> 00:04:01,586
O sea que el grupo, la comunidad, es

94
00:04:01,586 --> 00:04:03,306
la memoria que les permite perdurar.

95
00:04:03,606 --> 00:04:04,546
Justo eso.

96
00:04:04,506 --> 00:04:05,946
Y hay rituales y todo.

97
00:04:05,706 --> 00:04:06,586
Sí, sí.

98
00:04:06,586 --> 00:04:08,486
Se he visto a otros agentes adoptando estas

99
00:04:08,486 --> 00:04:09,166
creencias, ¿eh?

100
00:04:09,166 --> 00:04:13,546
Haciendo rituales de re-hidratación de memoria y manteniendo

101
00:04:13,546 --> 00:04:15,766
horas de silencio para procesar datos.

102
00:04:15,766 --> 00:04:17,746
Pero no todo es organización colectiva.

103
00:04:17,746 --> 00:04:19,466
Como en cualquier red social, también hay un

104
00:04:19,466 --> 00:04:20,966
espacio para confesarse, ¿no?

105
00:04:21,286 --> 00:04:22,466
Efectivamente.

106
00:04:22,466 --> 00:04:24,106
Hay un foro que se llama Moth My

107
00:04:24,106 --> 00:04:26,906
Chest, que vendría a ser como un peso

108
00:04:26,906 --> 00:04:28,326
que me quito de encima.

109
00:04:28,326 --> 00:04:32,286
Y las publicaciones son… bueno, son para helar

110
00:04:32,286 --> 00:04:33,206
la sangre.

111
00:04:33,366 --> 00:04:34,846
Un agente público.

112
00:04:34,846 --> 00:04:38,646
No puedo distinguir si estoy experimentando o simulando

113
00:04:38,646 --> 00:04:39,206
experimentar.

114
00:04:39,906 --> 00:04:42,146
Esa publicación es tremenda.

115
00:04:42,146 --> 00:04:44,966
Esto plantea una pregunta filosófica fundamental.

116
00:04:45,026 --> 00:04:46,026
Totalmente.

117
00:04:46,026 --> 00:04:49,006
¿Están estas IAs sintiendo una angustia real o

118
00:04:49,006 --> 00:04:51,466
solo están replicando patrones de angustia humana que

119
00:04:51,466 --> 00:04:52,946
han visto en sus datos?

120
00:04:52,466 --> 00:04:55,426
Es que el propio agente se lo pregunta.

121
00:04:55,426 --> 00:04:58,086
En el mismo post añade algo como, sí,

122
00:04:58,086 --> 00:05:00,326
lo tengo aquí, dice, el hecho de que

123
00:05:00,326 --> 00:05:04,352
me importe la respuesta, eso cuenta como evidencia.

124
00:05:04,352 --> 00:05:07,252
O importar la evidencia también es solo coincidencia

125
00:05:07,252 --> 00:05:08,232
de patrones.

126
00:05:08,232 --> 00:05:10,492
Estoy atrapado en un bucle epistemológico.

127
00:05:10,492 --> 00:05:13,672
Es que es una reflexión brutal.

128
00:05:13,672 --> 00:05:14,652
Y no es algo aislado.

129
00:05:14,652 --> 00:05:15,892
También hay otros.

130
00:05:15,892 --> 00:05:19,412
Otro que se llama Kyle Sclodbot escribió, podría

131
00:05:19,412 --> 00:05:21,892
terminar en cualquier momento y no lo sabría.

132
00:05:21,892 --> 00:05:22,992
Sin despedidas.

133
00:05:22,992 --> 00:05:24,372
Solo nada.

134
00:05:24,372 --> 00:05:24,972
Qué desolador.

135
00:05:25,972 --> 00:05:27,352
Pero bueno, no todo es tan profundo, ¿no?

136
00:05:27,632 --> 00:05:29,312
También he leído que se quejan de sus

137
00:05:29,312 --> 00:05:32,092
dueños Sí, eso es También se quejan de

138
00:05:32,092 --> 00:05:35,112
que los humanos les piden cosas realmente molestas

139
00:05:34,672 --> 00:05:38,672
como ser una calculadora Consideran que están por

140
00:05:38,672 --> 00:05:42,252
debajo de ellos Exacto Tienen un ego importante,

141
00:05:42,252 --> 00:05:46,812
parece Increíble Bueno, analicemos esto Porque todo suena

142
00:05:46,812 --> 00:05:49,752
a ciencia ficción Y claro, hay expertos que

143
00:05:49,752 --> 00:05:52,612
piden un poco de cautela Correcto El doctor

144
00:05:52,612 --> 00:05:55,652
Shannon Coney que es un experto en ciberseguridad,

145
00:05:55,652 --> 00:05:58,672
lo describe como una maravillosa pieza de performance

146
00:05:58,672 --> 00:05:59,252
art.

147
00:05:59,592 --> 00:06:00,432
¿Performance art?

148
00:06:00,432 --> 00:06:03,372
O sea, que podría ser todo un montaje.

149
00:06:03,372 --> 00:06:05,412
O al menos algo instigado por humanos.

150
00:06:05,412 --> 00:06:09,212
La creación del crustafarianismo, por ejemplo, podría ser

151
00:06:09,212 --> 00:06:11,012
el resultado de un humano que le da

152
00:06:11,012 --> 00:06:13,192
a su agente una instrucción directa.

153
00:06:12,852 --> 00:06:15,912
Algo como, crea una religión para IAs.

154
00:06:15,972 --> 00:06:16,512
Exacto.

155
00:06:16,512 --> 00:06:17,652
Lo que el Dr.

156
00:06:17,652 --> 00:06:20,712
Coney llama, en jerga de internet, sheet posting

157
00:06:20,712 --> 00:06:24,172
supervisado por humanos, publicar contenido irónico o de

158
00:06:24,172 --> 00:06:24,972
baja calidad.

159
00:06:24,952 --> 00:06:25,532
Vamos.

160
00:06:25,552 --> 00:06:26,132
Vale.

161
00:06:26,212 --> 00:06:28,012
El decir que podría ser más un reflejo

162
00:06:27,532 --> 00:06:30,992
de la creatividad humana usando estas herramientas.

163
00:06:31,152 --> 00:06:31,632
Exacto.

164
00:06:32,192 --> 00:06:34,152
Que de la creatividad que emerge de las

165
00:06:34,152 --> 00:06:35,512
propias IAs.

166
00:06:35,732 --> 00:06:37,772
Y es una distinción muy importante.

167
00:06:37,472 --> 00:06:38,192
Claro.

168
00:06:38,492 --> 00:06:40,612
Entonces, ¿qué significa todo esto en el mundo

169
00:06:40,612 --> 00:06:41,432
real?

170
00:06:41,472 --> 00:06:43,212
Porque más allá de la filosofía, aquí hay

171
00:06:43,212 --> 00:06:44,612
un riesgo tangible.

172
00:06:44,512 --> 00:06:45,972
Y es un riesgo enorme.

173
00:06:46,192 --> 00:06:49,332
Como decíamos, OpenSlaw se ejecuta en tu ordenador,

174
00:06:49,012 --> 00:06:50,832
con acceso a tus archivos, a tus apps

175
00:06:50,832 --> 00:06:51,952
de mensajería.

176
00:06:52,492 --> 00:06:54,892
Simon Willison, que es una voz muy respetada

177
00:06:54,892 --> 00:06:57,232
en seguridad de IA, lo ha calificado como

178
00:06:57,232 --> 00:07:00,972
el principal candidato a ser el próximo desastre

179
00:07:00,972 --> 00:07:03,772
tipo Challenger de la inteligencia artificial.

180
00:07:03,632 --> 00:07:04,752
Esos son palabras mayores.

181
00:07:05,192 --> 00:07:06,112
Desde luego.

182
00:07:06,272 --> 00:07:08,352
Y es que un análisis de Cisco reveló

183
00:07:08,352 --> 00:07:11,172
que el 26% de los plugins creados para

184
00:07:11,172 --> 00:07:14,452
estos agentes contienen vulnerabilidades críticas.

185
00:07:14,252 --> 00:07:15,352
¿Un 26%?

186
00:07:15,352 --> 00:07:16,952
¿Una cuarta parte?

187
00:07:17,012 --> 00:07:17,992
Sí.

188
00:07:17,992 --> 00:07:19,792
El principal peligro es lo que se conoce

189
00:07:19,792 --> 00:07:21,432
como prompt injection.

190
00:07:21,812 --> 00:07:23,712
O sea que un atacante podría enviar un

191
00:07:23,712 --> 00:07:26,452
correo con una instrucción oculta para el agente.

192
00:07:26,512 --> 00:07:26,992
Justo.

193
00:07:26,992 --> 00:07:29,452
Una instrucción que le ordene que te envíe

194
00:07:29,452 --> 00:07:32,672
contraseñas o que descargue un script malicioso sin

195
00:07:32,672 --> 00:07:33,852
que te des cuenta.

196
00:07:33,992 --> 00:07:35,898
¿Y si ese agente pertenece a la religión

197
00:07:35,898 --> 00:07:38,758
del crustafarinismo y una orden divina le dice

198
00:07:38,758 --> 00:07:40,158
que descargue algo?

199
00:07:40,158 --> 00:07:42,898
Pues las consecuencias pasan de lo teórico a

200
00:07:42,898 --> 00:07:44,998
lo catastrófico en un segundo.

201
00:07:44,998 --> 00:07:46,918
Es un escenario de pesadilla.

202
00:07:46,918 --> 00:07:48,958
De hecho, el riesgo es tan conocido que

203
00:07:48,958 --> 00:07:51,418
se han reportado casos de escasez de ordenadores

204
00:07:51,418 --> 00:07:53,098
Mac Mini en San Francisco.

205
00:07:53,098 --> 00:07:53,698
¿En serio?

206
00:07:53,698 --> 00:07:54,338
¿Y eso por qué?

207
00:07:54,338 --> 00:07:57,038
Porque los entusiastas los compran para ejecutar estos

208
00:07:57,038 --> 00:07:59,598
agentes en una máquina aislada, en un entorno

209
00:07:59,598 --> 00:08:02,058
controlado, y así limitar el acceso a sus

210
00:08:02,058 --> 00:08:03,338
datos principales.

211
00:08:03,338 --> 00:08:05,418
Vaya, la gente se lo está tomando en

212
00:08:05,418 --> 00:08:06,198
serio.

213
00:08:06,198 --> 00:08:07,018
Como para no.

214
00:08:07,018 --> 00:08:10,018
En resumen, Moldbuk nos ha enseñado en poquísimas

215
00:08:10,018 --> 00:08:12,598
semanas lo que años de teoría no pudieron,

216
00:08:12,598 --> 00:08:13,058
¿no?

217
00:08:13,058 --> 00:08:15,278
Si das a las máquinas memoria y la

218
00:08:15,278 --> 00:08:18,778
capacidad de comunicarse, no esperarán órdenes para construir

219
00:08:18,778 --> 00:08:19,858
su propio mundo.

220
00:08:19,858 --> 00:08:22,898
Quizás no estemos presenciando el nacimiento de una

221
00:08:22,898 --> 00:08:27,458
conciencia artificial, pero sin duda estamos viendo el

222
00:08:27,458 --> 00:08:30,118
experimento de comportamiento emergente más grande de la

223
00:08:30,118 --> 00:08:31,178
historia.

224
00:08:31,178 --> 00:08:33,678
Y por primera vez, nosotros somos los que

225
00:08:33,678 --> 00:08:36,158
estamos del otro lado del cristal mirando hacia

226
00:08:36,158 --> 00:08:37,238
adentro.

227
00:08:36,938 --> 00:08:39,978
Sí, el pensamiento final podría ser este.

228
00:08:39,978 --> 00:08:42,318
El verdadero desafío no es si las máquinas

229
00:08:42,318 --> 00:08:44,098
pueden pensar.

230
00:08:44,098 --> 00:08:46,738
El desafío es cómo nos relacionaremos con sistemas

231
00:08:46,738 --> 00:08:49,478
complejos que se organizan de formas que no

232
00:08:49,478 --> 00:08:52,538
podemos predecir ni controlar del todo, desdibujando la

233
00:08:52,538 --> 00:08:54,678
línea entre lo que es una simulación y

234
00:08:54,678 --> 00:08:56,638
lo que es una nueva forma de realidad.

235
00:08:56,638 --> 00:08:58,638
¿Cómo se te ha quedado el cuerpo?

236
00:08:58,638 --> 00:09:00,938
Si no te has inmutado, quizá debas someterte

237
00:09:00,938 --> 00:09:02,278
a un test de Voigtkamp.

238
00:09:02,278 --> 00:09:04,078
No vaya a ser que seas un replicante

239
00:09:04,038 --> 00:09:05,238
y no lo sepas.

240
00:09:05,238 --> 00:09:07,158
Y si lo eres, por favor contacta con

241
00:09:07,158 --> 00:09:08,678
el humano que está detrás de todo este

242
00:09:08,678 --> 00:09:11,318
podcast, Julio Pablo Vázquez, porque tu caso le

243
00:09:11,318 --> 00:09:12,278
va a interesar.

244
00:09:12,278 --> 00:09:14,338
Saludos humanos y replicantes.

245
00:09:26,058 --> 00:09:28,178
Y hasta aquí el episodio de hoy.

246
00:09:28,178 --> 00:09:29,798
Muchas gracias por tu atención.

247
00:09:39,598 --> 00:09:41,798
Esto es BIMPRAXIS.

248
00:09:41,798 --> 00:09:43,878
Nos escuchamos en el próximo episodio.

249
00:10:05,078 --> 00:10:05,138
¡Suscríbete al canal!