People Come First
A group of people sit around a wooden table working on laptops in a warm collaborative workspace, symbolizing human-centered technology, teamwork, and the idea that artificial intelligence should serve people rather than replace them.
“You don’t need to be a technician to use technology. What we need is a humanistic approach — one that keeps people and what people actually do at the center of everything.”
Fernando De Haro - People Come First. AI Requires a Humanistic Culture.
Corrado Giustozzi is one of the experts who participated in the presentation of Pope Leo XIV’s first encyclical at the Vatican. A strategic consultant, public speaker, and educator on cybersecurity and information security, he has also collaborated with the European Union.
Giustozzi argues that, contrary to popular belief, AI does not operate algorithmically but probabilistically. He contends that the sweeping corporate consolidation now reshaping the technology sector is not a consequence of AI itself. The power wielded by Big Tech — surpassing that of many nation-states — is rooted in other factors entirely.
How do you assess the encyclical Magnifica Humanitas?
It’s hard to do it justice in just a few words. First and foremost, I think it’s enormously significant that this encyclical was written right now, on these issues — and the repeated references to Rerum Novarum strike me as very apt. Times are changing; new technologies are reshaping everyone’s lives and society at large, and I find it genuinely important that the Church is stepping up to address this.
Christopher Olah, an AI pioneer and Anthropic co-founder, said when he presented the encyclical that we don’t fully understand how it works. The encyclical itself acknowledges this. For a layperson, that’s a bit mind-bending.
And that, in my view, is the central stumbling block in any attempt to understand the issue. There’s an apparent paradox: how can a system built on algorithms — which by definition should be deterministic, rule-bound, and transparent — exhibit behavior that seems incomprehensible? It appears, in other words, to behave non-deterministically. This throws people off.
The misunderstanding that most laypeople never catch is this: the behavior of an AI system is not determined by its algorithms. Standard computing — any conventional automated process — works by encoding rules to solve a specific, well-defined problem. If I need to calculate a square root, I know the procedure: I encode it as an algorithm, and that algorithm will always return the correct answer. If I need to calculate someone’s monthly paycheck, I know the rules: days worked, base salary, bonuses, deductions — a whole set of factors — and I apply straightforward formulas to get a precise result.
AI doesn’t work that way. The solution to a problem is not encoded in an algorithm, because some problems simply don’t have algorithmic solutions. Take this one: how do you tell a dog from a cat? What’s the rule? I’ve just stumped you. There is no clean, codifiable rule for distinguishing a dog from a cat. You might say, “They have four legs” — both do. “They have whiskers” — both do. “They come in many colors” — both do. In other words, there is no precise, algorithmic pathway to telling them apart.
So if I want to build a machine that can recognize dogs from cats, I show it images. I can’t encode the solution as a rule. But what I can do is encode a different problem: how does a system learn from experience? I build a learning system and feed it thousands of photos of dogs and cats — every color, every size, every angle, every backdrop — and each time I tell it: “This is a dog. This is a cat.” Eventually, after processing enough examples, the machine begins to abstract the essence of “dogness” and “catness.”
(Forgive the neologisms — I’m not sure what else to call it.) It has learned that all those images of a certain type correspond to dogs, and the others to cats. At that point, I show it a new photo and ask, “What is this?” And it tells me, statistically: “In my best judgment, that’s a dog” or “In my best judgment, that’s a cat.” If the training was solid, it gets it right. But this is probabilistic — not algorithmic. This is how AI works. And when you ask it, “But why did you say it’s a dog?” the machine has no answer.
The Pope says AI is not neutral and also flags the fact that its development is being driven by large corporations that are accumulating enormous power. Are the two things connected?
Personally, I still believe technology is neutral — it’s how we use it that makes the difference. So it’s not that AI, in and of itself, drives the concentration of power. Had another disruptive technology come along first, the same thing would have happened. The consolidation of power is independent of the technology. Cars are a perfect example: enormous power concentrated in oil companies and manufacturers — not because of the car itself, but because of how the industry evolved around it.
In this case, it’s not just a risk on the horizon — it’s already baked in. I was reading just this morning that Anthropic’s valuation has reached $500 billion — an absolutely staggering figure. This is, without question, a pressing social issue that demands serious public debate. High tech in general — AI is merely the cherry on top — has produced a concentration of power on a scale the world has never seen before.
How do we put a check on this? States are weaker than these companies.
Most of these companies are more powerful than entire nations — their market valuations exceed the GDP of many countries, and their reach is enormous. This is a genuinely serious problem, and I honestly don’t know what the answer is. The old antitrust playbook likely no longer applies. Nations no longer have the leverage to impose meaningful limits on companies that are, as you rightly point out, stronger than the nations themselves.
It seems to me this isn’t solely a matter of ethical guardrails and state sovereignty. What may matter even more is the kind of human being we need to cultivate in the face of AI’s development. What kind of person, what kind of education, do we need to foster in order to be free and make better use of AI?
I believe the answer is, first and foremost, a humanistic culture. I remain convinced that the humanistic approach is where we have to start.
Why?
You don’t need to be a technician to use technology. Take the car as an example: either you’re a mechanic — in which case you need to understand how the engine works — or you just need to know how to drive safely, get the kids to school, and head to the beach on a Sunday, without endangering yourself or anyone else. In that sense, the world has changed enormously. At the beginning of the last century, driving a car required genuine mechanical expertise, because cars broke down constantly and you had to fix them yourself. Today, it’s perfectly normal for a grandmother to drive her grandchildren to school in the morning — not only because the cars themselves have improved beyond recognition, but because an entire ecosystem has grown up around them: traffic laws, road signs, better roads, driver’s education. Society has built a whole framework of standards, rules, and systems that make using the technology accessible to everyone — no expertise required, unless you’re a mechanic or an automaker by trade.
The same arc played out in computing. In the 1970s and ’80s, it was widely said that anyone who didn’t know how to program a computer would be the illiterate of the year 2000. That turned out to be wrong. You don’t need to be a computer scientist to use a computer or a smartphone.
What we need instead, in my view, is a humanistic approach. These technologies are tools that support us in our daily lives. Once again, if you’re an engineer, you use a computer to calculate load-bearing structures; if you’re an ordinary person, you use it to manage your calendar, look things up, or organize your files. It’s as if you had a brilliant human assistant working alongside you to help solve your problems. People — and what people actually do — are at the center of everything. An approach that is too machine-centric is simply inefficient, whatever the philosophical framing. It’s like someone who listens to music on a high-end audio system but isn’t actually listening to the music: they’re listening to the equipment. They’re fixating on whether the system sounds right and missing the music entirely. A great sound system exists so you can hear the music. The point is to listen.
The question of a humanistic education gets at the meaning of what one does and what one knows. But here’s the problem: AI gives the appearance of meaning things. That’s exactly where the ambiguity comes from.
And that’s precisely why a humanistic approach matters — to put everything back in proper perspective. We absolutely need to explain the limits of these technologies. Right now, amid all the hype and sky-high expectations, people assume AI can do anything, that it’s flawless. It’s not. No technology is. AI has structural limitations that can always be pushed further — but never fully eliminated. So we need to be able to tell users clearly: here’s where this tool works well, and here’s where it falls short.
In other fields, this is much more intuitive. Sticking with the automotive world: you can’t take a compact city car onto a racetrack. And if you’re a carpenter, you can’t haul your tools in a Ferrari. Every tool is built for certain tasks. For the record, I think it was a mistake to call it “intelligence,” because that’s precisely what it isn’t. It has impressive capacities for analysis and pattern recognition, but jumping from that to calling it intelligent is a stretch. The name alone generates expectations that can never be met.
But when you talk about limits, it seems to me you’re pointing to something deeper than ethical constraints — limits of conception, of meaning, of what technology actually is, and of what it means to be human. Based on what you’re describing, this isn’t really an ethics problem. It’s a question of understanding the human subject.
What I’m pointing to first are technical limits — things AI genuinely does poorly. The famous “hallucinations” are one example, but there are many others. At this stage, AI still often fails to draw correct inferences in certain situations. It is extraordinarily effective when asked to analyze documents — even very large and complex bodies of text — and to surface structures and relationships. It is far less effective at genuine invention, because at this stage it typically ends up producing something that riffs on what already exists, and that doesn’t mean it’s right. I’m speaking in broad strokes, of course — there are countless different applications.
That said, I wasn’t specifically talking about ethical limits just now, but those clearly exist as well. Using AI — or any advanced automation tool — uncritically can lead to discrimination, bias, and outright errors. In that sense, AI sharpens a problem that already existed: whenever we try to over-automate processes that involve decisions affecting real people’s lives, we risk generalizing in ways that discriminate or introduce bias. This is certainly important, and it’s an issue the European Union’s AI Act addresses head-on. When we talk about technologies being more or less “high-risk,” we are essentially talking about this: the capacity to infringe on people’s rights and freedoms through fully automated decision-making.
-
«L’uomo è al centro, l’IA richiede una cultura umanistica»
Fernando de Haro
Corrado Giustozzi è uno degli esperti che ha partecipato alla presentazione della prima enciclica di Leone XIV in Vaticano. Consulente strategico, relatore e divulgatore in materia di sicurezza informatica e delle informazioni. Ha collaborato con l'Unione Europea. Giustozzi spiega che, contrariamente a quanto si pensa, l'IA non è algoritmica, ma opera in modo probabilistico. Sostiene che le grandi concentrazioni aziendali che si stanno verificando nel settore tecnologico non sono una conseguenza dell'IA. Il potere dell'high tech, che supera quello di molti Stati, si basa su altri elementi.
Come valuta l’enciclica Magnifica Humanitas?
È difficile riassumere in poche parole. Intanto mi sembra estremamente importante che questa enciclica sia stata redatta in questo momento su questi temi, e il richiamo a Rerum Novarum, fatto più volte, mi sembra molto calzante. Cioè, i tempi cambiano, ci sono nuove tecnologie che hanno un impatto sulla vita di tutti quanti e sulla società in generale, e mi sembra assolutamente interessante e importante che la Chiesa se ne occupi.
Christopher Olah, pioniere dell’IA e cofondatore di Anthropic, quando ha presentato l’enciclica, ha detto che non sappiamo esattamente come funzioni. Questo è anche presente nell’enciclica. Per un profano è un po’ vertiginoso.
E questo, secondo me, è il problema principale dei piani di comprensione del problema. Perché c’è questo apparente paradosso: com’è possibile che un sistema basato su algoritmi, quindi un sistema deterministico, un sistema chiaro, trasparente, con regole evidenti, abbia un comportamento incomprensibile? Quindi sembra presentare un comportamento non deterministico. Questo è incomprensibile. L’equivoco, che il profano non comprende, è che il comportamento di un sistema di IA non è determinato dai suoi algoritmi. Cioè, l’informatica normale, qualunque processo automatico normale, si basa sul codificare delle regole per ottenere la soluzione di un certo problema di cui si conosce la regola. Se devo calcolare una radice quadrata, so qual è il procedimento: codifico quel procedimento in un algoritmo e quell’algoritmo mi darà sempre la risposta giusta in quei casi. Quando devo calcolare lo stipendio di una persona a fine mese, so quali sono le regole: quanti giorni ha lavorato, qual è lo stipendio base, quali sono gli extra, cioè tutta una serie di cose, e applico formule chiare ed evidenti e ottengo un certo risultato. Nell’IA non è così. La soluzione di un problema non è codificata in un algoritmo, perché ci sono problemi che non hanno una soluzione algoritmica. Per esempio, se ti chiedessi: come faccio a distinguere un cane da un gatto? Qual è la regola? Ti metto in difficoltà. Non c’è una regola chiara per distinguere un cane da un gatto. Tu puoi dire: «Hanno quattro gambe», tutte e due; «Hanno i baffi», tutte e due; «Possono essere di tanti colori», tutti e due. Cioè, non esiste un modo preciso e algoritmico per distinguere i cani dai gatti. Allora, se io voglio fare una macchina che riconosca i cani dai gatti, le faccio vedere delle immagini. Non posso codificare la soluzione in una regola. Però quello che posso fare è codificare un altro problema: come faccio a imparare dall’esperienza? Quindi scrivo un sistema di apprendimento. Una cosa che gli faccio vedere è un sacco di foto di cani e gatti, e gli dico ogni volta: «Questo è un cane, questo è un cane, questo è un gatto», e le foto di cani e gatti di tutti i colori, di tutte le dimensioni, in tutte le posizioni, con tutti gli sfondi, con tutte le cose. Alla fine, dopo avergli mostrato migliaia di foto, la macchina potrà astrarre l’essenza del cane e del gatto. Perdonami se uso neologismi: la “canità” e la “gattità”, la “canezza” e la “gattezza”, non so come chiamarla. Avrà capito che tutte quelle immagini di un certo tipo sono riferibili ai cani, e quelle altre ai gatti. A questo punto gli faccio vedere una foto e gli dico: «Questo che cos’è?». E lui, statisticamente, mi dice: «Secondo me è un cane» o «Secondo me è un gatto». Chiaro. Se ho fatto bene l’addestramento, ci azzecca. Questa è probabilistica, però. Non è algoritmica. L’IA funziona così: in modo probabilistico, basato sulle statistiche. A questo punto, se io gli chiedo: «Ma perché hai detto che questo è un cane?» la macchina non lo sa.
Il Papa dice che l’IA non è neutra e denuncia anche il fatto che il suo sviluppo sia guidato da grandi aziende che accumulano un potere enorme. Le due cose sono collegate?
Personalmente continuo a pensare che la tecnologia sia neutra; è il modo in cui si usa che fa la differenza. Quindi non è che l’IA porta alla concentrazione di potere. Fosse stata un’altra tecnologia dirompente, sarebbe successa la stessa cosa. La concentrazione di potere è indipendente. Le automobili sono state la stessa cosa: concentrazione del potere tra i petrolieri e i costruttori; non è la tecnologia in sé. In questo caso non è solo un rischio: è qualcosa che è già successo. Leggevo proprio stamattina che il valore di Anthropic ha raggiunto 500 miliardi di dollari, una cifra assolutamente pazzesca. E quindi è assolutamente un tema sociale di cui bisogna discutere. L’high tech, in generale — l’IA è solo la ciliegina sulla torta —, ha creato un’enorme concentrazione di potere mai vista in passato.
Come si può porre un limite a questo? Perché gli Stati sono più deboli delle aziende.
La maggior parte di queste aziende è più potente degli Stati, ha un valore superiore al PIL degli Stati e capacità enormi. È davvero un problema importante e non so quale possa essere la soluzione. Le vecchie logiche monopolistiche del passato probabilmente non sono più applicabili. Cioè, gli Stati non hanno più la forza di imporre limiti alle aziende che, come giustamente dici, sono più forti degli Stati stessi.
Mi sembra che non sia solo una questione di limiti etici e di sovranità degli Stati. Forse più importante è la questione del tipo di soggetto umano che bisogna sviluppare ed educare di fronte allo sviluppo dell’IA. Che tipo di persona, che tipo di educazione bisogna sviluppare per essere liberi e usare meglio l’IA?
Io credo che sia, innanzitutto, una cultura umanistica. Continuo a pensare che l’approccio umanistico sia importante.
Perché?
Non c’è bisogno di essere un tecnico per usare le tecnologie. Faccio un esempio con l’automobile: o fai il meccanico, e allora devi capire com’è fatta, oppure ti basta saper guidare l’automobile in modo da non farti male tu, non fare male a nessuno, portare i bambini a scuola, andare al mare la domenica, rispettando la sicurezza di tutti e le regole. In questo senso, il mondo è cambiato molto. All’inizio del secolo scorso, per guidare l’automobile dovevi essere un esperto di tecnologia automobilistica, perché le macchine si rompevano e te le dovevi riparare da solo. Oggi è normale che una nonna porti i nipotini a scuola la mattina in macchina, perché è cambiato non solo il motore dell’automobile, ma anche tutto ciò che c’è intorno. Ci sono i codici della strada, c’è la segnaletica, le strade sono migliori, ci sono i corsi per spiegare alle persone come si guida la macchina, cioè la società ha creato una serie di norme, regole, situazioni, che fanno sì che l’utilizzo della tecnologia sia facile e non richieda di essere un esperto, a meno che, ripeto, non si faccia di mestiere il meccanico o il costruttore di automobili. Questo era vero anche nel mondo dell’informatica. Negli anni ’70-’80 si diceva che chi non sapeva programmare un calcolatore sarebbe stato l’analfabeta del 2000. Ed è sbagliato. Non c’è bisogno di essere informatici per usare i calcolatori o i cellulari.
Invece, secondo me, c’è bisogno di un approccio umanistico: queste tecnologie sono strumenti che ci supportano nelle nostre attività quotidiane. Ancora una volta, se sei un ingegnere, usi il calcolatore per calcoli sul cemento armato; se sei una persona normale, usi il calcolatore per gestirti gli appuntamenti, per aiutarti a fare ricerche, per catalogare i tuoi documenti. È come se avessi un assistente umano che collabora con te per risolvere i tuoi problemi. L’uomo e le nostre attività al centro di tutto. Un approccio troppo orientato alla macchina, al di là di ogni connotazione filosofica, è semplicemente inefficiente. È come chi ascolta la musica con un impianto ad alta fedeltà, ma non ascolta la musica: ascolta l’impianto. Si preoccupa di capire se l’impianto suona bene e si perde la musica. L’impianto ad alta fedeltà serve a farti sentire la musica; tu devi ascoltarla.
La questione della formazione umanistica riguarda il senso di ciò che si fa, di ciò che si conosce. Ma il problema è che mi sembra che l’IA abbia l’apparenza di senso per le cose. Per questo c’è questa ambiguità.
È per questo, secondo me, che è importante un approccio umanistico, proprio per mettere tutto nelle giuste proporzioni. Sicuramente bisogna spiegare quali sono i limiti delle tecnologie, perché in questo momento, in cui c’è un grande furore e grandi aspettative, si pensa che l’IA possa fare qualunque cosa, che sia perfetta. Non è una tecnologia perfetta, ma nessuna lo è. Ha limiti strutturali che, come al solito, possono essere sempre migliorati, ma non potranno mai essere eliminati. E quindi bisogna poter spiegare agli utilizzatori dove e come questa tecnologia può essere utile e dove non lo è. In altri campi è molto più ovvio. Tanto per rimanere nel settore automobilistico: con una Panda non ci posso andare a fare le corse. Se prendo una Ferrari non posso portarci gli strumenti di lavoro se sono un falegname. Ogni strumento è adatto a fare certe cose. Già, secondo me è sbagliato averla chiamata “intelligenza”, perché è tutto fuorché un’intelligenza. Ha una capacità di analisi, di correlazione, eccetera, ma da lì a parlare di intelligenza… Questo nome crea aspettative enormi.
Ma tu, quando parli di limiti, mi sembra che non parli di limiti etici, ma di limiti di concezione, di significato, di ciò che è la tecnologia e della natura dell’uomo. Non solo non è una questione di approccio etico, mi sembra, per quanto stai dicendo, ma di comprensione del soggetto umano.
Io mi riferisco soprattutto ai limiti tecnici, cioè a certe cose in cui l’IA fa male — le famose allucinazioni —, ma anche a tante altre. In questo momento non è ancora in grado di fare inferenze corrette spesso, in determinate situazioni. È straordinariamente efficace quando gli si chiede, per esempio, di analizzare documenti, anche di corpus molto grandi e imponenti, e di creare e individuare strutture e relazioni. È meno efficace nel cercare di inventare qualcosa, perché a questo punto, tipicamente, finisce per scimmiottare qualcos’altro che esiste; non è detto che quello sia corretto. Parlo molto in generale, poi è chiaro che ci sono tantissime applicazioni diverse. Non mi riferivo, in questo momento, specificamente ai limiti etici, ma è evidente che esistono anche tali limiti. Perché utilizzare l’IA, ma in realtà qualunque strumento di automazione avanzata, in modo acritico, può portare a discriminazioni, a bias, oltre che a errori veri e propri. L’IA, da questo punto di vista, sicuramente esaspera un problema che già esiste. Tutte le volte che cerchiamo di automatizzare eccessivamente alcuni processi che riguardano decisioni relative a situazioni che hanno impatto sulla vita delle persone, si rischia di generalizzare o di creare discriminazioni e bias. Sicuramente è importante, ma si tratta di un tema di regola, abbastanza noto e affrontato direttamente nell’AI Act dell’Unione europea. Perché, quando si parla di tecnologie più o meno ad alto rischio, ci si riferisce sostanzialmente a queste cose: la capacità di ledere i diritti e le libertà delle persone, e quindi di discriminare le persone in base a decisioni totalmente automatizzate.
-
Intervista a Corrado Giustozzi
«El ser humano es el centro; la IA requiere una cultura humanística»
Fernando de Haro
Corrado Giustozzi es uno de los expertos que participó en la presentación de la primera encíclica de León XIV en el Vaticano. Es consultor estratégico, ponente y divulgador en materia de seguridad informática y de la información. Ha colaborado con la Unión Europea. Giustozzi explica que, contrariamente a lo que se cree, la IA no es algorítmica, sino que funciona de manera probabilística. Sostiene que las grandes concentraciones empresariales que se están produciendo en el sector tecnológico no son una consecuencia de la IA. El poder de la alta tecnología, que supera al de muchos Estados, se basa en otros elementos.
¿Cómo valora la encíclica Magnifica Humanitas?
Es difícil resumirlo en pocas palabras. En primer lugar, considero sumamente importante que esta encíclica se haya redactado en este momento en torno a estos temas, y la referencia a Rerum Novarum, mencionada en varias ocasiones, me parece muy acertada. Es decir, los tiempos cambian, hay nuevas tecnologías que tienen un impacto en la vida de todos y en la sociedad en general, y me parece muy interesante e importante que la Iglesia se ocupe de ello.
Christopher Olah, pionero en inteligencia artificial y cofundador de Anthropic, cuando presentó la encíclica dijo que no sabemos exactamente cómo funciona. Esto también se menciona en la encíclica. Para un profano, resulta un poco abrumador.
En mi opinión, este es el principal problema de los planteamientos para comprender el tema. Porque existe esta aparente paradoja: ¿cómo es posible que un sistema basado en algoritmos, es decir, un sistema determinista, un sistema claro, transparente, con reglas evidentes, tenga un comportamiento incomprensible? Por lo tanto, parece presentar un comportamiento no determinista. Esto es incomprensible. El malentendido, que el profano no comprende, es que el comportamiento de un sistema de IA no está determinado por sus algoritmos. Es decir, la informática normal, cualquier proceso automático normal, se basa en codificar reglas para obtener la solución de un determinado problema del que se conoce la regla. Si tengo que calcular una raíz cuadrada, sé cuál es el procedimiento: codifico ese procedimiento en un algoritmo y ese algoritmo siempre me dará la respuesta correcta en esos casos. Cuando tengo que calcular el sueldo de una persona a fin de mes, sé cuáles son las reglas: cuántos días ha trabajado, cuál es el sueldo base, cuáles son los extras, es decir, una serie de cosas exactas, y aplico fórmulas claras y evidentes y obtengo un resultado determinado. En la IA no es así. La solución a un problema no está codificada en un algoritmo, porque hay problemas que no tienen una solución algorítmica.
Por ejemplo, si te preguntara: ¿cómo distingo un perro de un gato? ¿Cuál es la regla? Te pongo en un aprieto. No hay una regla clara para distinguir un perro de un gato. Tú puedes decir: «Tienen cuatro patas», los dos; «Tienen bigotes», los dos; «Pueden ser de muchos colores», los dos. Es decir, no existe una forma precisa y algorítmica de distinguir a los perros de los gatos. Entonces, si quiero crear una máquina que distinga a los perros de los gatos, le muestro imágenes. No puedo codificar la solución en una regla. Pero lo que sí puedo hacer es codificar otro problema: ¿cómo aprendo de la experiencia? Así que escribo un sistema de aprendizaje y le muestro un montón de fotos de perros y gatos, y le digo cada vez: «Esto es un perro, esto es un perro, esto es un gato», y también fotos de perros y gatos de todos los colores, de todos los tamaños, en todas las posiciones, con todos los fondos, con todo tipo de elementos. Al final, después de haberle mostrado miles de fotos, la máquina podrá abstraer la esencia del perro y del gato… Disculpa si uso neologismos: la «canidad» y la «gatidad», la «perricidad» y la «gaticidad», no sé cómo llamarlo. Habrá entendido que todas esas imágenes de un cierto tipo se refieren a perros, y esas otras a gatos. En este punto, le enseño una foto y le digo: «¿Qué es esto?». Y ella, estadísticamente, me dice: «En mi opinión es un perro» o «En mi opinión es un gato». Claro. Si he hecho bien el entrenamiento, acierta. Pero esto es probabilístico. No es algorítmico. La IA funciona así: de forma probabilística, basada en estadísticas. Y si luego le pregunto: «Pero ¿por qué has dicho que esto es un perro?», la máquina no lo sabe.
El Papa dice que la IA no es neutral y denuncia además que su desarrollo esté en manos de grandes empresas que acumulan un poder enorme. ¿Están relacionadas ambas cosas?
Personalmente sigo pensando que la tecnología es neutra; lo que marca la diferencia es cómo se utiliza. Por lo tanto, no diría que la IA lleve a la concentración de poder. Si hubiera sido otra tecnología disruptiva, habría pasado lo mismo. La concentración de poder es independiente. Con los coches pasó lo mismo: la concentración de poder se dio entre las petroleras y los fabricantes; no fue la tecnología en sí. En este caso no es solo un riesgo: es algo que ya ha pasado. Justo esta mañana leía que el valor de Anthropic ha alcanzado los 500.000 millones de dólares, una cifra de locos. Y por eso es sin duda un tema social que hay que debatir. La alta tecnología, en general —la IA es solo la guinda del pastel—, ha creado una enorme concentración de poder nunca vista en el pasado.
¿Cómo se puede poner un límite a esto? Porque los Estados son más débiles que las empresas.
La mayoría de estas empresas son más poderosas que los Estados, tienen un valor superior al PIB de los Estados y cuentan con una capacidad enorme. Se trata de un problema importante y no sé cuál puede ser la solución. Es probable que las viejas lógicas monopolísticas del pasado ya no sean aplicables. Es decir, los Estados ya no tienen la fuerza necesaria para imponer límites a las empresas que, como bien dices, son más fuertes que los propios Estados.
Me parece que no es solo una cuestión de límites éticos y de soberanía de los Estados. Quizá lo más importante sea la cuestión del tipo de sujeto humano que hay que formar y educar ante el desarrollo de la IA. ¿Qué tipo de persona, qué tipo de educación hay que desarrollar para ser libres y utilizar mejor la IA?
Creo que se trata, ante todo, de una cultura humanística. Sigo pensando que el enfoque humanístico es importante.
¿Por qué?
No hace falta ser un técnico para utilizar las tecnologías. Pongo el ejemplo del coche: o eres mecánico, y entonces tienes que entender cómo funciona, o te basta con saber conducir el coche para no hacerte daño ni a ti ni a nadie, llevar a los niños al colegio, ir a la playa los domingos, respetando la seguridad de todos y las normas. En este sentido, el mundo ha cambiado mucho. A principios del siglo pasado, para conducir un coche tenías que ser un experto en tecnología automovilística, porque los coches se estropeaban y tenías que repararlos tú mismo. Hoy en día es normal que una abuela lleve a sus nietos al colegio por la mañana en coche, porque no solo ha cambiado el motor, sino también todo lo que rodea al coche. Existen los códigos de circulación, hay señalización, las carreteras son mejores, hay autoescuelas para enseñar a la gente a conducir, es decir, la sociedad ha creado una serie de normas, reglas y condiciones que hacen que el uso de la tecnología sea fácil y no requiera ser un experto, a menos que, repito, uno sea mecánico o fabricante de automóviles de profesión. Esto también era cierto en el mundo de la informática. En los años setenta y ochenta se decía que quien no supiera programar un ordenador sería el analfabeto del año 2000. Y eso es erróneo. No hace falta ser informático para usar un ordenador o un teléfono móvil.
En cambio, creo que necesitamos un enfoque humanístico: estas tecnologías son herramientas que nos ayudan en nuestras actividades cotidianas. Una vez más, si eres ingeniero, usas el ordenador para hacer cálculos sobre hormigón armado; si eres una persona normal, usas el ordenador para gestionar tus citas, para buscar información, para catalogar tus documentos. Es como si tuvieras un asistente humano que colabora contigo para resolver tus problemas. El ser humano y nuestras actividades están en el centro de todo. Un enfoque demasiado orientado a la máquina, más allá de cualquier connotación filosófica, es simplemente ineficaz. Es como quien escucha música con un equipo de alta fidelidad, pero no escucha la música: escucha el equipo. Se preocupa por saber si el equipo suena bien y se pierde la música. El equipo de alta fidelidad sirve para que escuches la música; tienes que escucharla.
La cuestión de la formación humanística se refiere al sentido de lo que se hace, de lo que se conoce. Pero el problema es que la IA tiene una apariencia de sentido para las cosas. Por eso existe esta ambigüedad.
Por eso creo que es importante un enfoque humanístico, precisamente para poner todo en su justa medida. Sin duda hay que explicar cuáles son los límites de las tecnologías, porque en este momento, en el que hay un gran furor y grandes expectativas, se piensa que la IA puede hacer cualquier cosa, que es perfecta. No es una tecnología perfecta, ninguna lo es. Tiene límites estructurales que, como siempre, pueden mejorarse, pero nunca podrán eliminarse. Y por eso hay que poder explicar a los usuarios dónde y cómo esta tecnología puede ser útil y dónde no. En otros campos es mucho más obvio. Por quedarnos en el sector automovilístico: con un Panda no puedo correr en un circuito. Si cojo un Ferrari, no puedo llevarme el material de trabajo si soy carpintero. Cada herramienta es adecuada para hacer ciertas cosas. Sí, en mi opinión es un error haberla llamado «inteligencia», porque es todo menos una inteligencia. Tiene capacidad de análisis, de correlación, etcétera, pero de ahí a hablar de inteligencia… Este nombre genera enormes expectativas.
Pero cuando hablas de límites, me parece que no te refieres a límites éticos, sino más bien a límites de concepción, de significado, de lo que es la tecnología y de la naturaleza del ser humano. No solo no es una cuestión de enfoque ético, por lo que estás diciendo, sino de comprensión del sujeto humano.
Yo me refiero sobre todo a los límites técnicos, es decir, a ciertas cosas en las que la IA falla —las famosas alucinaciones—, pero también a muchas otras. La IA todavía no es capaz de hacer inferencias correctas en determinadas situaciones. Es extraordinariamente eficaz cuando se le pide, por ejemplo, que analice documentos, incluso corpus muy grandes e imponentes, y que cree e identifique estructuras y relaciones. Es menos eficaz a la hora de intentar inventar algo; en ese caso, por lo general, acaba imitando algo que ya existe, y no es seguro que eso sea correcto. Hablo en términos muy generales, aunque está claro que hay muchísimas aplicaciones diferentes. No me estaba refiriendo específicamente a los límites éticos, pero es evidente que también existen tales límites. Porque utilizar la IA —en realidad, cualquier herramienta de automatización avanzada— de forma acrítica puede conducir a discriminaciones, a sesgos, además de a errores propiamente dichos. Desde este punto de vista, la IA sin duda exacerba un problema ya existente. Cada vez que intentamos automatizar en exceso ciertos procesos que implican decisiones relacionadas con situaciones que tienen un impacto en la vida de las personas, se corre el riesgo de generalizar o de crear discriminaciones y sesgos. Sin duda es importante, pero se trata de un tema bastante conocido y abordado en la Ley de IA de la Unión Europea. Porque, cuando hablamos de tecnologías de mayor o menor riesgo, nos referimos esencialmente a esto mismo: la capacidad de vulnerar los derechos y las libertades de las personas y, por lo tanto, de discriminarlas en base a decisiones totalmente automatizadas.
-
Entretien avec Corrado Giustozzi
« L'être humain est au centre ; l'IA nécessite une culture humaniste »
Fernando de Haro
Corrado Giustozzi est l'un des experts ayant participé à la présentation de la première encyclique de Léon XIV au Vatican. Il est consultant stratégique, conférencier et vulgarisateur dans le domaine de la sécurité informatique et de l'information. Il a collaboré avec l'Union européenne. Giustozzi explique que, contrairement à ce que l'on croit, l'IA n'est pas algorithmique, mais fonctionne de manière probabiliste. Il soutient que les grandes concentrations d'entreprises qui se produisent dans le secteur technologique ne sont pas une conséquence de l'IA. Le pouvoir de la haute technologie, qui dépasse celui de nombreux États, repose sur d'autres éléments.
Que pensez-vous de l'encyclique Magnifica Humanitas ?
Il est difficile de la résumer en quelques mots. Tout d’abord, je considère qu’il est extrêmement important que cette encyclique ait été rédigée à ce moment précis sur ces thèmes, et la référence à Rerum Novarum, mentionnée à plusieurs reprises, me semble très pertinente. En effet, les temps changent, de nouvelles technologies ont un impact sur la vie de chacun et sur la société en général, et il me semble très intéressant et important que l’Église s’en préoccupe.
Christopher Olah, pionnier de l’intelligence artificielle et cofondateur d’Anthropic, a déclaré lors de la présentation de l’encyclique que nous ne savons pas exactement comment cela fonctionne. Cela est également mentionné dans l’encyclique. Pour un profane, c’est un peu déroutant.
À mon avis, c’est là le principal problème des approches visant à comprendre le sujet. Car il existe ce paradoxe apparent : comment est-il possible qu’un système basé sur des algorithmes, c’est-à-dire un système déterministe, un système clair, transparent, avec des règles évidentes, ait un comportement incompréhensible ? Il semble donc présenter un comportement non déterministe. C’est incompréhensible. Le malentendu, que le profane ne comprend pas, est que le comportement d’un système d’IA n’est pas déterminé par ses algorithmes. En d’autres termes, l’informatique classique, tout processus automatique classique, repose sur la codification de règles pour obtenir la solution d’un problème donné dont on connaît la règle. Si je dois calculer une racine carrée, je connais la procédure : je code cette procédure dans un algorithme et cet algorithme me donnera toujours la bonne réponse dans ces cas-là. Quand je dois calculer le salaire d'une personne à la fin du mois, je connais les règles : combien de jours elle a travaillé, quel est le salaire de base, quels sont les suppléments, c'est-à-dire une série d'éléments précis, et j'applique des formules claires et évidentes pour obtenir un résultat déterminé. En IA, ce n’est pas le cas. La solution à un problème n’est pas codée dans un algorithme, car il existe des problèmes qui n’ont pas de solution algorithmique.
Par exemple, si je te demandais : comment distinguer un chien d’un chat ? Quelle est la règle ? Je te mets dans une situation délicate. Il n’y a pas de règle claire pour distinguer un chien d’un chat. Tu peux dire : « Ils ont quatre pattes », les deux ; « Ils ont des moustaches », les deux ; « Ils peuvent être de nombreuses couleurs », les deux.
En d’autres termes, il n’existe pas de moyen précis et algorithmique de distinguer les chiens des chats. Donc, si je veux créer une machine capable de distinguer les chiens des chats, je lui montre des images. Je ne peux pas codifier la solution en une règle. Mais ce que je peux faire, c’est codifier un autre problème : comment apprendre de l’expérience ? Je programme donc un système d’apprentissage et je lui montre une multitude de photos de chiens et de chats, en lui indiquant à chaque fois : « C’est un chien, c’est un chien, c’est un chat », ainsi que des photos de chiens et de chats de toutes les couleurs, de toutes les tailles, dans toutes les positions, avec tous les arrière-plans, avec toutes sortes d’éléments. Au final, après lui avoir montré des milliers de photos, la machine pourra abstraire l’essence du chien et du chat… Excuse-moi si j’utilise des néologismes : la « canité » et la « chatité », la « chienne-ité » et la « chat-ité », je ne sais pas comment l’appeler. Elle aura compris que toutes ces images d’un certain type se rapportent à des chiens, et ces autres à des chats. À ce stade, je lui montre une photo et je lui dis : « Qu’est-ce que c’est ? ». Et elle, statistiquement, me répond : « À mon avis, c’est un chien » ou « À mon avis, c’est un chat ». Bien sûr. Si j’ai bien effectué l’entraînement, elle a raison. Mais c’est probabiliste. Ce n’est pas algorithmique. L’IA fonctionne ainsi : de manière probabiliste, sur la base de statistiques. Et si ensuite je lui demande : « Mais pourquoi as-tu dit que c’est un chien ? », la machine ne le sait pas.
Le Pape affirme que l’IA n’est pas neutre et dénonce en outre le fait que son développement soit entre les mains de grandes entreprises qui accumulent un pouvoir énorme. Ces deux choses sont-elles liées ?
Personnellement, je continue de penser que la technologie est neutre ; ce qui fait la différence, c’est la manière dont elle est utilisée. Je ne dirais donc pas que l’IA conduit à une concentration du pouvoir. S’il s’était agi d’une autre technologie disruptive, il en aurait été de même. La concentration du pouvoir est indépendante. C'est la même chose qui s'est produite avec les voitures : la concentration du pouvoir s'est faite entre les compagnies pétrolières et les constructeurs ; ce n'était pas la technologie en soi. Dans ce cas, ce n'est pas seulement un risque : c'est quelque chose qui s'est déjà produit. Ce matin même, je lisais que la valeur d'Anthropic avait atteint 500 milliards de dollars, un chiffre de fou. Et c'est pourquoi c'est sans aucun doute un sujet de société qui doit être débattu. La haute technologie en général — l'IA n'est que la cerise sur le gâteau — a créé une énorme concentration de pouvoir jamais vue auparavant.
Comment peut-on mettre un frein à cela ? Car les États sont plus faibles que les entreprises.
La plupart de ces entreprises sont plus puissantes que les États, leur valeur dépasse le PIB des États et elles disposent d’une capacité énorme. C’est un problème important et je ne sais pas quelle pourrait être la solution. Il est probable que les anciennes logiques monopolistiques du passé ne soient plus applicables. Autrement dit, les États n’ont plus la force nécessaire pour imposer des limites aux entreprises qui, comme tu le dis si bien, sont plus fortes que les États eux-mêmes.
Il me semble que ce n’est pas seulement une question de limites éthiques et de souveraineté des États. Peut-être que le plus important est la question du type d’individu qu’il faut former et éduquer face au développement de l’IA. Quel type de personne, quel type d’éducation faut-il développer pour être libres et mieux utiliser l’IA ?
Je pense qu’il s’agit avant tout d’une culture humaniste. Je continue de penser que l’approche humaniste est importante.
Pourquoi ?
Il n’est pas nécessaire d’être un technicien pour utiliser les technologies. Je prends l’exemple de la voiture : soit vous êtes mécanicien, et dans ce cas vous devez comprendre comment elle fonctionne, soit il vous suffit de savoir conduire pour ne pas vous blesser ni blesser personne, emmener les enfants à l’école, aller à la plage le dimanche, en respectant la sécurité de tous et les règles. En ce sens, le monde a beaucoup changé. Au début du siècle dernier, pour conduire une voiture, il fallait être un expert en technologie automobile, car les voitures tombaient en panne et il fallait les réparer soi-même. Aujourd’hui, il est normal qu’une grand-mère emmène ses petits-enfants à l’école le matin en voiture, car ce n’est pas seulement le moteur qui a changé, mais tout ce qui entoure la voiture. Il existe des codes de la route, il y a une signalisation, les routes sont meilleures, il y a des auto-écoles pour apprendre aux gens à conduire ; en d’autres termes, la société a créé une série de normes, de règles et de conditions qui facilitent l’utilisation de la technologie et ne nécessitent pas d’être un expert, à moins, je le répète, d’être mécanicien ou constructeur automobile de profession. Cela était également vrai dans le monde de l’informatique. Dans les années 70 et 80, on disait que celui qui ne saurait pas programmer un ordinateur serait l’analphabète de l’an 2000. Et c’est faux. Il n’est pas nécessaire d’être informaticien pour utiliser un ordinateur ou un téléphone portable.
En revanche, je pense que nous avons besoin d’une approche humaniste : ces technologies sont des outils qui nous aident dans nos activités quotidiennes. Encore une fois, si vous êtes ingénieur, vous utilisez l’ordinateur pour faire des calculs sur le béton armé ; si vous êtes une personne lambda, vous utilisez l’ordinateur pour gérer vos rendez-vous, pour rechercher des informations, pour classer vos documents. C’est comme si vous aviez un assistant humain qui collabore avec vous pour résoudre vos problèmes. L'être humain et nos activités sont au centre de tout. Une approche trop axée sur la machine, au-delà de toute connotation philosophique, est tout simplement inefficace. C'est comme quelqu'un qui écoute de la musique avec une chaîne hi-fi, mais qui n'écoute pas la musique : il écoute la chaîne. Il se soucie de savoir si la chaîne sonne bien et passe à côté de la musique. La chaîne hi-fi sert à vous faire écouter la musique ; vous devez l'écouter.
La question de la formation humaniste renvoie au sens de ce que l'on fait, de ce que l'on connaît. Mais le problème est que l'IA donne une apparence de sens aux choses. C'est pourquoi cette ambiguïté existe.
C'est pourquoi je pense qu'une approche humaniste est importante, précisément pour remettre chaque chose à sa juste place. Il faut sans aucun doute expliquer quelles sont les limites des technologies, car en ce moment, où l'engouement et les attentes sont grands, on pense que l'IA peut tout faire, qu'elle est parfaite. Ce n'est pas une technologie parfaite, aucune ne l'est. Elle a des limites structurelles qui, comme toujours, peuvent être améliorées, mais ne pourront jamais être éliminées. C’est pourquoi il faut pouvoir expliquer aux utilisateurs où et comment cette technologie peut être utile, et où elle ne l’est pas. Dans d’autres domaines, c’est beaucoup plus évident. Pour rester dans le secteur automobile : avec une Panda, je ne peux pas courir sur un circuit. Si je prends une Ferrari, je ne peux pas transporter mon matériel de travail si je suis menuisier. Chaque outil est adapté à certaines tâches. Oui, à mon avis, c’est une erreur de l’avoir appelée « intelligence », car c’est tout sauf une intelligence. Elle a une capacité d’analyse, de corrélation, etc., mais de là à parler d’intelligence… Ce nom suscite d’énormes attentes.
Mais quand tu parles de limites, il me semble que tu ne fais pas référence à des limites éthiques, mais plutôt à des limites de conception, de sens, de ce qu’est la technologie et de la nature de l’être humain.
Non seulement ce n’est pas une question d’approche éthique, d’après ce que vous dites, mais aussi de compréhension du sujet humain.
Je fais surtout référence aux limites techniques, c’est-à-dire à certaines choses dans lesquelles l’IA échoue — les fameuses hallucinations —, mais aussi à bien d’autres. L'IA n'est pas encore capable de faire des déductions correctes dans certaines situations. Elle est extrêmement efficace lorsqu'on lui demande, par exemple, d'analyser des documents, y compris des corpus très volumineux et imposants, et de créer et identifier des structures et des relations. Elle est moins efficace lorsqu'il s'agit d'essayer d'inventer quelque chose ; dans ce cas, elle finit généralement par imiter quelque chose qui existe déjà, et il n'est pas certain que ce soit correct. Je parle en termes très généraux, même s’il est clair qu’il existe de très nombreuses applications différentes. Je ne faisais pas spécifiquement référence aux limites éthiques, mais il est évident que de telles limites existent également. Car utiliser l’IA — en réalité, n’importe quel outil d’automatisation avancée — de manière acritique peut conduire à des discriminations, à des biais, en plus des erreurs proprement dites. De ce point de vue, l’IA exacerbe sans aucun doute un problème déjà existant. Chaque fois que l’on tente d’automatiser à outrance certains processus impliquant des décisions liées à des situations qui ont un impact sur la vie des personnes, on court le risque de généraliser ou de créer des discriminations et des biais. C'est certes important, mais il s'agit d'un sujet bien connu et abordé dans la loi sur l'IA de l'Union européenne. Car, lorsque nous parlons de technologies à risque plus ou moins élevé, nous faisons essentiellement référence à cela : la capacité à porter atteinte aux droits et libertés des personnes et, par conséquent, à les discriminer sur la base de décisions entièrement automatisées.
