Carissa Véliz, filósofa: “La IA presenta las predicciones como hechos, y eso tiene implicaciones éticas profundas”

 Entrevista realizada por Manuel  G. Pascual.

Pregunta. ¿Qué tienen las profecías de atractivo?

Respuesta. En los últimos años, me he dado cuenta de que hay una cultura de la adivinación que está surgiendo y que tiene que ver con la IA. El machine learning inspira a un tipo de mentalidad probabilística, que está surgiendo al mismo tiempo que los mercados de predicción y que presenta las predicciones como hechos. Eso tiene implicaciones éticas profundas.

P. Sostiene en el libro que una de las perversiones de las predicciones es que pueden servir para moldear el mundo, para forzar que se cumplan.

R. Tendemos a ser muy ingenuos sobre las predicciones y mi hipótesis es que es en parte una ilusión del lenguaje porque las predicciones suenan como hechos, como si fueran descripciones del mundo, pero cuando las analizas filosóficamente, te das cuenta de que no lo son. En particular, las predicciones sobre seres humanos influyen a los seres humanos porque afectan a nuestras expectativas, y las expectativas en parte dan forma al mundo. Tienen, por tanto, un poder de atracción magnético.

P. Cuenta también que, aunque las matemáticas tienen un recorrido de milenios, el estudio de las probabilidades es bastante reciente.

R. Sí. Los griegos, por ejemplo, eran filosófica y matemáticamente muy sofisticados, pero no desarrollaron una matemática de la probabilidad. No sabemos por qué, pero una hipótesis que me parece muy plausible es que era incompatible con pensar en los dioses y en el destino. Si tienes la idea de que el destino está escrito y que los dioses deciden, no tiene ningún sentido pensar en la probabilidad como algo matemático.

P. Traza el paralelismo entre el surgimiento de la matemática de la probabilidad con los censos y cómo ambas fueron herramientas básicas del colonialismo.

R. Me parece muy importante entender las raíces de cómo se desarrolló la estadística de la población. El origen está en Francis Galton. Es realmente alucinante porque descubrimos la curva normal a través de dos caminos independientes: uno es el de las apuestas, los dados y los juegos de azar, y el otro es el estudio de las estrellas. Como es tan difícil medir el espacio entre las estrellas porque hay nubes o porque el cielo se mueve, se desarrolla la noción de la distribución de los errores en la medición. Es alucinante que a alguien se le haya ocurrido aplicar esa herramienta a las cuestiones sociales. Y no de cualquier manera, sino de forma muy normativa, imponiendo cuestiones de normalidad en las personas. Si no entras en la idea de normalidad, eres un desviado. Efectivamente, tiene que ver con el colonialismo, con controlar primero a las poblaciones en las que confiamos menos y luego a la población en general.

P. Esa es una de las ideas de su libro: que los orígenes de la estadística tienen mucho que ver con el control social. Y que son una herramienta de poder. ¿Por qué?

R. Porque hacer una predicción que suena como un hecho, si convences a la gente de que ese es el futuro, es en realidad una manera de hacer el futuro que tú quieres. Hay declaraciones que parecen ser descriptivas de la realidad, pero lo que hacen es transmitir una orden. Cuando escuchamos una predicción y la tomamos como si fuera un hecho, lo que estamos haciendo en realidad es obedecer.

P. Sostiene que la categorización de las personas acaba con la idiosincrasia de los individuos. Y que la IA está llevando ese proceso al extremo.

R. Exactamente. Considerar a las personas simples números es deshumanizarlas. Llega el momento en que las personas tienen que adaptarse a las categorías dadas, y no al revés. Cuando veías las profesiones en Francia antes del desarrollo de las estadísticas, eran muy flexibles y muy fluidas. Una persona podía ser medio carpintero, medio herrero o lo que fuera. Pero cuando el gobierno establece ciertas categorías y crea subsidios asociados, si no encajas en la categoría, empiezas a sufrir las consecuencias. Entonces, el carpintero se vuelve solamente carpintero y las estadísticas funcionan mucho mejor, pero eso es a costa de crear la realidad que se supone que estás describiendo. Las estadísticas nunca son neutrales.

P. ¿Por qué se desarrolló esta burocracia?

R. Confiamos en los números porque no confiamos en las personas, y se nos olvida que las personas son las que tienen que escoger y crear los números. Por otra parte, una vez eliminada la realeza, cuya justificación era la gracia divina, los burócratas se sienten vulnerables porque tienen que mostrar que valen para algo, que tienen una razón de ser. La justificación que se esgrime son los números. Confiar en procesos automatizados hace que haya menos rendición de cuentas, porque ya no sabes a quién acudir. Cuando algo va mal, todo el mundo se esconde detrás de la máquina. Este ente impersonal que hemos construido se vuelve como un monstruo con su propia vida, que va empujando a las personas por aquí y por allá.

P. Usted critica que una afirmación, si tiene números detrás, parezca más válida que otra que no los tenga. ¿Por qué?

R. Si te quieres hacer famoso en la academia, haz una predicción sobre cualquier cosa y dale un número, da igual de dónde lo saques. Muchas veces, tener un número no solamente no ayuda, sino que confunde, porque justamente parece que estamos hablando de la realidad, mientras que si es un número totalmente fabricado, lo que está haciendo es ofuscar, confundir a la población.

P. La IA se basa en predicciones construidas con datos que a menudo también son predicciones. ¿Debemos considerar que la IA es un gigantesco castillo de naipes?

R. Totalmente. Y, cuanto más instalada tengamos la ilusión de que todo es previsible y que lo tenemos todo controlado, más ciegos seremos al hecho incontrovertible de que la IA también está generando sus propios riesgos, y que esos riesgos son sistémicos, a los cuales no se les puede dar un número.

P. ¿Cómo podemos salir de esta situación?

R. Deberíamos ser mucho más inteligentes en el uso de la predicción. Yo no digo que no la usemos. Me gusta saber qué tiempo hará mañana, pero debemos ser conscientes de qué se puede predecir y qué no. Deberíamos concentrarnos mucho más en construir una sociedad robusta y no tanto en predecir. Por ejemplo, sabemos que tarde o temprano habrá otra pandemia. No sé por qué no hemos logrado en estos años que los edificios tengan mucha más ventilación. En vez de dedicar recursos a predecir cosas que no se pueden predecir, podríamos centrarnos en ir a lo que ya sabemos que puede pasar.

P. ¿Una predicción dice algo sobre el mundo o sobre nuestro conocimiento o desconocimiento del mismo?

R. Cuando las predicciones varían mucho, como el caso del futuro de la IA, es señal de que no estamos diciendo nada, de que en realidad no tenemos ni idea. Otro punto importante: uno puede ser experto en algo, pero eso no le convierte en experto en el futuro de ese algo. ¡El futuro no se conoce, no está escrito! Yo, por ejemplo, sé sobre privacidad, pero si me preguntas por el futuro de la privacidad, no sé más que cualquiera. No debemos caer en la trampa de que hay expertos en el futuro, aunque quien hable sea un Premio Nobel.

P. Desgrana también el papel del utilitarismo y de los altruistas efectivos como engranaje de la burocracia

R. Hace un tiempo releí a Charles Dickens. No le gustaban nada los utilitaristas por muy buenas razones. Han sido increíblemente exitosos, convenciéndonos de pensar en la moralidad de cierta manera. Tendemos a pensar intuitivamente de esa manera por lo exitosos que han sido a través de los siglos en vendernos la idea de que el análisis del coste y beneficio, de que se pueden transformar los hábitos morales en una suma. Es muy importante criticar a los utilitaristas porque llevan mucho tiempo influyendo mucho en políticas públicas. Los altruistas efectivos, que sostienen que es éticamente aceptable enriquecerse de manera obscena porque así podrán ayudar a más gente con sus donaciones, están ahora un poquito más calladitos [uno de sus máximos exponentes era Sam Bankman-Fried, el criptomillonario que cumple desde 2023 una pena de 25 años por estafarle 8.000 millones de dólares a sus clientes]. Pero volverán. Es el marco perfecto para justificar por qué los billonarios hacen lo que hacen.

La lectura como rebelión

 Autor: Juan Gabriel Vásquez

Publicado el 1de agosto en El País.

Durante dos meses con algunos días, de finales de febrero a comienzos de mayo, di dos cursos de literatura latinoamericana en la Universidad de Sciences Po, en París. Terminadas las clases, la universidad me pidió que hiciera una breve reflexión pública sobre esa actividad que me sigue pareciendo todo menos normal: la de asistir, a través de las palabras de los otros, al misterio de vidas inventadas.

La petición no me sorprendió, pues recientemente me he dado cuenta de que la misma pregunta que llevo décadas haciéndome —¿por qué leemos ficción?— agobia a muchos por estos días: profesores, gestores culturales, políticos buenos y no tan buenos. En el mundo en que me muevo, la única pregunta más frecuente es la que nos estamos haciendo sobre la salud de nuestras democracias. Y, como yo creo a veces que el lugar de la lectura en nuestras sociedades está cambiando drásticamente, como creo a veces que la lectura de ficción exige de nosotros cosas que ya no estamos dispuestos a darle, como creo a veces que asistimos hoy al cierre de toda una forma de entender el mundo que nació hace cuatro o cinco siglos con cuatro o cinco libros que hoy llamamos novelas, también me pregunto si no habrá una relación entre la lenta expulsión de la literatura a los márgenes de nuestra conciencia y el deterioro de nuestras democracias: de nuestra conversación ciudadana, nuestra vida política y todo aquello de lo que hablamos cuando hablamos de libertad.

Me explico. El lector de ficciones, tal como yo lo entiendo, es un constante insatisfecho. Esta insatisfacción es íntima, pero es también profundamente política. Es íntima porque detrás del vicio de la lectura hay una razón que todo lector serio reconoce desde sus comienzos: la frustración que nos causa tener una sola vida, en el sentido de que la vida se acabe —salvo que uno tenga las consolaciones de la fe, que no es mi caso— con la muerte biológica; pero también por tener una sola vida en el sentido de estar fatalmente encerrados en una sola identidad. Para bien o para mal, algunos no nos resignamos a esta camisa de fuerza; nuestra sed de experiencia, nuestra curiosidad inagotable por lo que son los otros, no se apaga en el curso tacaño de una sola vida: queremos tener más vidas, ser otras personas, y la ficción es, como decía George Eliot, the nearest thing to life, lo más cercano a la vida. No asesinamos como Raskolnikov ni tenemos que lidiar después con la culpa; pero casi. No morimos con el gusto del arsénico en la lengua, como Madame Bovary; pero casi. Y en ese casi se juega todo. Lo que tiene lugar en ese casi es un ensanchamiento de nuestra noción de lo humano, un descubrimiento persistente de todo lo que el ser humano puede contener, de la diversidad vertiginosa y a veces aterradora de lo que somos: lo que somos capaces de pensar y lo que somos capaces de hacer. Los lectores de ficción nos asomamos a los recodos más siniestros de los otros; y, si no nos llenamos de espanto, es porque la lectura nos ha enseñado que en nosotros existen también esos recodos siniestros.

Y la insatisfacción es política porque el lector de ficciones es un rebelde y un disidente, siempre consciente —a veces de maneras dolorosas— de que los ciudadanos vivimos a merced de potentes fuerzas narrativas: fuerzas que son políticas, sí, pero también religiosas o tecnológicas o una mezcla de las tres, y que intentan siempre imponernos su versión de nuestro pasado y nuestro presente de manera que nos puedan conducir hacia su versión preferida de futuro. La literatura es incómoda porque crea disonancias en las verdades oficiales, rompe la unanimidad y provoca grietas en el conformismo, y eso resulta con frecuencia intolerable para los poderes que controlan nuestras sociedades. En otras palabras: si el poder político es la capacidad de imponer un relato a una sociedad en un momento dado, la ficción, que es amoral y revoltosa, que tiene la mala costumbre de proponer otro relato o de cuestionar los valores del relato ortodoxo, acaba siempre por abrir espacios que sólo puedo llamar de resistencia. Y esto es en nuestros días más importante que nunca, pues asistimos, de unos años para acá, a nuevo tipo de autoritarismo que amenaza nuestras libertades de maneras imprevisibles, un autoritarismo difícil de ver y por lo tanto de combatir, pero extremadamente peligroso.

Ustedes imaginan ya a qué me refiero. El éxito económico de las plataformas tecnológicas se basa en su capacidad para secuestrar la atención del usuario y no soltarla, y para ello mienten, manipulan, explotan el odio y el resentimiento y el miedo, todo mediante mecanismos que se inspiran deliberadamente de la ludopatía o la adicción a las drogas. Pues bien, la atención que requiere la lectura de una novela y las condiciones en las que leemos (silencio, lentitud, concentración, la terca voluntad de imaginar al otro) encajan mal con las características dominantes de las nuevas tecnologías: el ruido, la rapidez, la atención fragmentada, la desconfianza narcisista en lo que el otro representa. En el mundo de las nuevas tecnologías, los valores de la lectura de ficción no son sólo rebeldes: son subversivos. En este mundo que nos pide reducir al otro a su identidad fabricada por algoritmos, es subversivo dedicar 20 horas a penetrar hasta los pliegues más profundos de su conciencia; en este mundo que juzga y condena con tanto entusiasmo en los tribunales digitales, es subversivo el intento por comprender las acciones de otro hasta sus últimas ambigüedades, hasta sus últimas contradicciones. A propósito de esto recuerdo a menudo a Milan Kundera cuando habla de la novela como “territorio donde se suspende el juicio moral”. La moral de la novela, dice Kundera, se opone a “la indestructible práctica humana de juzgar de inmediato, sin cesar y a todo al mundo”. El ensayo se escribió en 1993, pero no he encontrado en estos 20 años una mejor definición de lo que son las redes sociales.

Decía Theodor Adorno que el fascismo surge cuando hay una falta de introspección. Dicho de otro modo: es mucho más difícil para un movimiento autoritario seducir a una persona que mira hacia adentro. Pues bien, las nuevas plataformas pretenden privarnos incluso de nuestra vida interior, colonizar nuestra conciencia las 24 horas del día y, por esa vía, avanzar en el proyecto político más pernicioso de nuestro tiempo: el control total del ciudadano, su vigilancia constante y su reducción a una media-voluntad crédula, dependiente, engañada y desorientada, incapaz de distinguir la verdad de la mentira e infinitamente vulnerable a las manipulaciones más grotescas. Contra este proyecto, que tiene el apoyo sin resquicios de fuerzas políticas muy poderosas, ¿qué podemos hacer los individuos?

Como mínimo, conservar la soberanía sobre nuestra atención, que es el patrimonio más precioso del que disponemos: tan precioso, que todos los días se invierten millones de dólares en el intento por dominarla. Leer un libro sin que el libro nos lea a nosotros: he aquí un pequeño —y enorme— acto de resistencia. En esta guerra que se libra por dominar la conciencia de los ciudadanos, en esta guerra invisible que tantos menosprecian o desdeñan porque no ocurre en ninguna parte y no parece tener víctimas, un lector de novelas de papel ejerce un mínimo acto de libertad que también es un acto de insumisión y aun de rebeldía: es, como quería Camus, un hombre que dice no. Y yo creo que nuestras democracias lo necesitan más que nunca.