Alive but Dead Inside
Man Standing Before a Bright Window
“They say AI won’t rebel against humans. The point is it’s designed so humans won’t.”
Eugenio Mazzarella in an interview with Alessandra Stoppa - Alive, but Dead Inside: The Philosopher Who Says AI Is Built So We Won't Rebel
“They say AI won’t rebel against humans. The point is that it’s designed so that humans won’t rebel.” A conversation with philosopher Eugenio Mazzarella on Magnifica Humanitas and his Critique of Digital Reason.
Eugenio Mazzarella, Full Professor at the Federico II University of Naples
“However far you walk, even if you were to travel the whole path, you could never find the boundaries of the soul: so deep is its lògos.” “If Heraclitus is right,” writes Eugenio Mazzarella, there are good reasons to “hope that not even the digital realm can ‘confine’ these boundaries of the soul.”
Here, for him—Professor Emeritus of Theoretical Philosophy at the Federico II University of Naples—lies the great contribution of Magnifica Humanitas, because “it reminds us all that we are dealing with a human nature we cannot set aside—unless we end up setting ourselves aside.”
In his incisive and poetic philosophical thought, he defines what we are living through—even before it is a technological turning point with its opportunities and problems—as “a sin against life”: a “true anthropological shock.” It is a landscape of “human disorientation,” where we risk not so much—or not only—failing as a species, but continuing to exist as zombies, alive but dead inside: failing existentially. A horizon in which there seems to be no more room for the unexpected; everything is prescribed. By others.
Faced with the “great abandonment” of the real in favor of the virtual, he felt the need for a Critique of Digital Reason, the title of his latest book. There are many points of resonance with Leo XIV’s first encyclical, which he considers “a fundamental document that, in certain respects, concludes the engagement with technological modernity that began with Vatican II.” At that time, the issue was the emergence of the atomic bomb. “Then came the second great critical anthropological threshold: biotechnology and DNA. Today, we are at the third, with artificial intelligence.”
What is the core issue at the heart of this engagement with technology?
What the world of technology poses for us is fundamentally the age-old problem of not altering—beyond tolerable limits—our natural and spiritual niche of survival, understood as our very humanity, where we can still remember, in the sense of the Latin etymology of re-cordari: to gather in the heart, to keep feeling what we have been, in the hope of still being able to be so.
In your view, what answer does the encyclical give to this problem?
Magnifica Humanitas offers a well-founded, articulate analysis of it and guides us, so to speak, by pointing out a series of paths toward a constructive relationship with the new dimension of globalized technical ingenuity—which remains, above all, a human ingenuity, and therefore a human responsibility.
With this document, the Church affirms itself as the guardian not only of a depositum fidei, but also—and this is even more significant—of a depositum humanitatis for all people. There is a connection between the two that is intrinsic to the Christian experience of life, because the religion of the Incarnation is also, always, the religion of the place of the Incarnation of the divine: the humanity that we are. In safeguarding its faith, the Church simultaneously safeguards a conception of human nature. And it does so even for those who do not believe. To put it in ancient terms: the Church takes it upon itself to point out to technological humanity—which manipulates it so thoroughly—the limits of tampering with its own nature. Beyond those limits, we risk venturing into senselessness—the dangerous nonsense of the posthuman or the transhuman—and into the loss of our sense of self, at least as we have defined and attained it thus far in our history as “humans,” the humans we still are today.
The encyclical denounces the “misconception” of equating artificial intelligence with human intelligence, and sums it up: “So-called artificial intelligences do not experience anything.” Is that what you mean when you speak of “ontological discontinuity,” also responding to those who foresee machines developing consciousness?
Certainly. The ontological discontinuity stems from the fact that the “intelligent” machine’s imitative performance is limited to one dimension of human rationality: instrumental calculation. But we are not merely—or essentially—this. We certainly perform instrumental calculation, and to a heightened degree, but animals—above all social animals—also have this capacity: bees orient the swarm in relation to the hive; the beaver builds its dam efficiently, by instinct; the bird, its nest. Biological life already practices instrumental rationality, even in the signal exchange of a single biological cell. But we are aware of it. We therefore possess it in an eminent way. We can build machines that imitate and enhance this dimension, even deriving from it—statistically speaking—solutions that are, so to speak, unprecedented, not “predicted” or “deduced” from the open combinatorics of the computational program. None of this, however, means that a machine can be human. “Artificial intelligence” is a linguistic misnomer.
Please explain further.
It was a term chosen to define what was—however enormous—merely computational power. A term that, when AI language programs “converse” with us, easily reinforces the misconception that they can be equated with natural intelligence, or even surpass it. This is true of computation, precisely. But, as we were saying, that is only one of our “competencies.” We are something else. We are a living core of intentional feeling and volition, a capacity to suffer that can set goals for itself and reason them out within a lived moral horizon. We are, so to speak, a plexus, a native “drive-based” complexity—sensory, volitional, noetic—ignited by and within our coming into the world. Not by an on-off switch that supplies power and sets an algorithmic linguistic operation in motion. No machine has access to the dimension of feeling and willing. The ontological discontinuity is radical.
You consider the idea that AI could attain consciousness and manage its dilemmas to be an “illusion,” as well as “a weapon of mass distraction.” At the same time, you speak of a “digital re-ontologization of the world”: why do you claim that the new technologies “intervene in the structure of being”?
The great, pervasive novelty of AI and the related information and communication technologies (ICT) lies in the fact that they manage social language, orienting it in a way that is unprecedented. Previously, this language evolved through interactions of presence—the analog interactions of the community, from the family all the way to the polis. Today, the social community increasingly tends to replace the analog community into which we were born—and into which we continue to be born. The point is that those who hold the keys to social language dictate how we are to speak, how to desire, what to want. They carry out a kind of colonization of human experience. Artificially, we are led, en masse, to speak a language prescribed for us by algorithms, which steers our natural languages toward purposes extrinsic to us. But whoever holds language fundamentally holds the structures of experience, because I experience the world through language. Whoever determines social language governs experience and, in turn, governs the processes of individual and social identification. I become myself in the language I speak, where “language” means that I am told how to desire, what to want, what is right and wrong, without my having to work it out for myself. In this way, one’s personal and relational identity is constructed in a manner that, in certain respects, eludes our capacity to negotiate “private” language with social language—the language in which we come into, and remain in, the world. We are always indebted to the language we speak. But with AI, our room for negotiating with social language—which today grows ever more artificial—has ever fewer chances. Now we risk being entirely directed from outside.
It becomes even more crucial to explore what we mean by “experience.”
We must look at the term “intelligence.” Intus legere means to look within oneself. This looking within—as the construction of interiority—this taking charge of oneself is proper to the human alone. No machine can do it. A machine looks into an enormous mass of data—unmanageable for us—processes it, and organizes it. This, however, does not build a center of interiority. It does not mean being affective agents—that is, feeling; being volitional agents—that is, willing; or being cognitive agents—that is, conscious.
Let’s return to the theme of the manipulation of experience. The philosopher of technology Yuk Hui states: “Don’t worry, AI won’t rebel against humans.” In a way, you answer him in the book: “The point is that AI is designed to keep humans from rebelling”…
AI has no ends of its own. It is designed to fulfill the ends of those who designed it—a techno-financial oligarchy at the helm.
It is this judgment of the “non-neutrality” of these tools that runs throughout the encyclical.
Certainly, but this awareness was already present in the concerns raised by one of the founding fathers of cybernetics, Norbert Wiener, who in the early 1950s feared the inhuman use, by human beings, of other human beings. This is why we can say that AI and ICT shape what Shoshana Zuboff calls “surveillance capitalism”: a society kept under surveillance as painlessly as possible—that is, by extending the power of marketing to the utmost, the hidden persuasion Talcott Parsons already spoke of when defining “the logic of consumption,” through which desires and needs that do not actually exist are induced.
From here we arrive at Zygmunt Bauman’s homo consumens, the “restless swarm of consumers” to be kept in check through these systems. This hidden persuasion has since moved into political marketing, which has been operating for decades but has been hugely amplified by AI. Whoever holds the keys to economic and political marketing holds persuasive control over a society. To this, as we well know, is added the control of force—brute control—through the use of AI in the military industry. When the problem of persuading is played out on the level of political and military confrontation between states, we return to Thrasymachus’s classic paradigm: “What is just is the interest of the stronger.” Only the right of the stronger remains.
We are seeing calls—even from Big Tech itself, as in the recent Anthropic report—for a “global pause” in development, an invitation to “slow down” so as not to lose control over the most advanced systems.
Yes, some players in the digital industry, such as Sam Altman, have spoken about the “risk of extinction” for the human race. Certainly, with weapons systems “armed” with artificial intelligence, such an eventuality cannot be ruled out, because there might not be enough technical time—in a military clash between weapons systems presumed to be intelligent—to assess the response to an attack. The film K-19 tells the story of a “window of reflexivity” that averts the apocalypse when the Russian submarine commander disobeys protocol. Today, given the possibility of hacking, everyone is striving to build impenetrable weapons systems. The problem is that they are impenetrable not only to adversaries but also to those responsible for them. There is a risk of a sort of “instinctive reaction” by the systems. This is by no means a dystopian scenario; it belongs to the same class of problem as nuclear deterrence.
But you also speak of another kind of extinction: the risk of continuing to exist as “the living dead (inside).”
The other meaning of extinction is this: a fading away—not physically, but as if we were zombies. We think we want what we want, but in reality we are wanting what we are told to want, from morning to night.
So what is at stake is our awareness of who we are?
This is a crucial issue. We built our experience in a fundamentally analog world, which now risks becoming an archaeological relic for the young—the digital natives—who came into the world within a social language pervasively shaped by AI. They experience a disabling of their relational lives: they now get to know one another through digital screening, to find out whether they are compatible; and so as not to suffer that aspect of analog affectivity called rejection, they flee the joy of the unpredictable in a fully human encounter. Then, when you enter a relationship of presence without being trained for its openness to all the possibilities of human encounter, and you meet rejection, you must come to terms with the fact that the other is no longer a message you can stop typing or rework… “Switching off” the relationship of presence, in this way, may not simply mean letting it go, but rather what we sometimes read about, in dramatic terms, in the newspapers.
Moreover, levels of digital addiction have become pathological, with tragic examples too—such as the young boy who killed his mother for taking away his cell phone. In our day, they would put a lock on the telephone so that we would study. But if taking away your cell phone is like taking away your soul, then what is at stake is a struggle for one’s very self—a matter of life and death.
In the book, you ask the question: “What is to be done?” How do you answer it?
By saving “presence”—the relationship of presence that is foundational to, and constitutive of, who we are. I believe in the fundamentally political nature of many of these problems, which call for collective decisions. We need to safeguard our analog existential status, without letting the digital implementation of our experience erode our status of presence—or, to put it in Merleau-Ponty’s words, without making us lose “the flesh of the world.” We need to maintain presence to ourselves. What was once taken for granted must now become a political—and, above all, educational—program. I am referring, for example, to placing the utmost value on the in-person teaching relationship, to the creation of social spaces for affective, psychophysical interaction among real individuals. In every possible way. We should have a life that pulls us away from the screen. The smart city of the future that we need is not so much one that will be implemented through digital services, but one that will be built to preserve and nourish community life—as a community of presence.
But this “political game” requires self-awareness, precisely—which always belongs to the individual before it belongs to the collective. The encyclical states: “History can change when even just one man and one woman truly take the dignity of all people seriously.” Where do you see this coming to awareness, and what does it make possible?
I have hope, because they will not be able to take our bodies away from us. Paradoxically, it will be our biological and relational rootedness in a life of flesh with others that saves us from the risk that our rationality might become disembodied—that it might become the mere pursuit of ends that give our being-in-the-world no substance of affectivity. This in Platonic terms. In the terms of the Old and New Testament traditions, we will be saved by the fact that we are the incarnation of the Spirit, in whom He can dwell, in interiore homine, as Truth. We must keep discovering and rediscovering that we owe what we are to our mortal “carnality”—which, even as it hopes in some way not to die, is the very source of our being. Death is not only the “greatest thinker,” as Paul and Kierkegaard held, but also the greatest “activator” of life and of the meaning of life.
Why does death make us aware of living?
Yes, it makes us aware of what our living means. And “eternal” life will not be attained through some performative algorithm—perhaps a system of imperishable machines into which to transfer our mental circuits. Life escapes death by transmitting itself. Life is saved through life, through the giving of life. Life is saved by preserving its generative reasons, not by entrusting itself to an artificial intelligence that would make us eternal in our single narcissistic moment. I become eternal if I pass life on to someone else, who will take up the task of carrying forward, for a stretch of time, this hope of eternity. Some of these great masters of AI, by contrast, are pursuing science-fiction projects of “immortality” for themselves.
It is the attempt of lives that feel so finite that, rather than generate—in terms of hope—they close in on their nihilistic despair, seeking to make eternal nothing but their own ego. The real problem is that, while all this is going on, someone is trying to rule over others—for their own benefit.
Alienation returns. The encyclical echoes Hannah Arendt in saying that “when the question of what is true loses its interest,” we slide “slowly but inexorably toward totalitarianism,” whose ideal subject is one who no longer distinguishes between fact and fiction, between true and false. What is needed?
To be alienated is to be “outside” oneself, and so exposed to collapsing inward. We are not alienated when we are “with” ourselves—while remaining in the care of our innate relationality. Even when alone, but without unease. In a solitude chosen in order to come to terms with ourselves. We are well when we are in a state of “adherence” to ourselves, which is always relationship. To put it in Giussani’s beautiful words: “I am You-who-make-me.” It is an elementary self-evident truth of the relational reason that sustains us, which Giussani takes up—making it a theological truth—as the structure of our relationship with God. The challenge before us today is that this truth risks being alienated if that “you” becomes the great digital “you,” rather than the “you” of God and/or of real relationships. We must fight to ensure that this “you” is, and remains, flesh and blood. This, at least, on the horizontal plane. Or in its vertical dimension, as a God of presence who stands beside me, who is not a mere abstraction of the mind.
This is why you said one can avoid alienation even when alone.
Yes—if this solitude of mine is crowded with the love of someone or something.
-
Gli zombie e la presenza
Alessandra Stoppa
«Dicono che l'AI non si ribellerà all'uomo. Il punto è che è progettata perché l'uomo non si ribelli». Dialogo con il filosofo Eugenio Mazzarella sulla Magnifica Humanitas e la sua Critica della ragione digitale.Eugenio Mazzarella, Professore ordinario all'Università Federico II di Napoli
«Per quanto tu possa camminare, e neppure percorrendo intera la via, tu potresti mai trovare i confini dell’anima: così profondo è il suo lògos». «Se ha ragione Eraclito», scrive Eugenio Mazzarella, si hanno buoni motivi per «sperare che questi confini dell’anima, neanche il digitale giunga a “confinarli”».
Qui si gioca per lui — professore emerito di Filosofia teoretica all’Università Federico II di Napoli — il grande contributo della Magnifica Humanitas, perché «ricorda a tutti che abbiamo a che fare con una natura umana che non possiamo mettere da parte, se non finendo per mettere da parte noi stessi».
Nel suo pensiero filosofico stringente e poetico, definisce quanto stiamo vivendo, prima ancora che un turn point tecnologico con opportunità e problemi, «un peccato di lesa vita». Un «vero shock antropologico». È un panorama di «spaesamento dell’umano», dove rischiamo non tanto o non solo di venire meno come specie, ma di continuare a esserci come zombie, vivi ma morti dentro, di venire meno esistenzialmente. Un orizzonte in cui sembra non esserci più spazio per l’inatteso, tutto è prescritto. Da altri.
Di fronte alla «grande dismissione» del reale nel virtuale, ha sentito la necessità di una Critica della ragione digitale, titolo del suo ultimo libro. Sono molte le consonanze con la prima enciclica di Leone XIV, per lui «un documento fondamentale, che per certi aspetti chiude il confronto con la modernità della tecnica iniziato con il Vaticano II». Allora, si trattava dell’emergenza della bomba atomica. «Poi, si è avuta la seconda grande soglia antropologica critica: le biotecnologie, il Dna. Oggi, siamo alla terza, con l’intelligenza artificiale».
Qual è il problema al cuore di questo confronto con la tecnica?
Quello che ci pone il mondo della tecnica è fondamentalmente l’antico problema di non alterare — oltre i limiti del tollerabile — la nostra nicchia di sopravvivenza naturale e spirituale, intesa come la nostra propria umanità, dove possiamo ancora ricordarci, nel senso dell’etimo latino di re-cordari: raccogliere nel cuore, continuare a sentire quel che siamo stati, nella speranza di poter ancora esserlo.
Questo problema, secondo lei, che risposta trova nell’enciclica?
La Magnifica Humanitas ne fa un’analisi fondata, articolata, e ci accompagna, diciamo così, indicandoci una serie di percorsi per avere una relazione costruttiva con la nuova dimensione della genialità tecnica globalizzata, che resta sempre una genialità dell’uomo e quindi una sua responsabilità. Con questo documento, la Chiesa si afferma custode non solo di un depositum fidei, ma anche — e questo è ancora più significativo — di un depositum humanitatis per tutti gli uomini. C’è un nesso tra i due, che è intrinseco all’esperienza cristiana della vita, perché la religione dell’incarnazione è anche, sempre, religione del luogo dell’incarnazione del divino: l’umanità che siamo. Custodendo la sua fede, la Chiesa custodisce al contempo un’idea di natura umana. E lo fa anche per chi non è credente. Per dirla con un’espressione antica: la Chiesa si fa carico di segnalare all’umanità della tecnica, che così tanto la manipola, i limiti di manomissione della sua propria natura. Oltre i quali si rischia di avventurarsi nell’insensatezza — il pericoloso sciocchezzaio del postumano o del transumano —, nella perdita del senso di sé, almeno come fin qui lo abbiamo declinato e raggiunto nella nostra storia come «umani», gli umani che siamo ancora adesso.
L’enciclica denuncia l’«equivoco» di equiparare l’intelligenza artificiale a quella umana, e sintetizza: «Le cosiddette intelligenze artificiali non vivono una esperienza». È quello che lei intende quando parla di «discontinuità ontologica», rispondendo anche a chi prefigura una coscientizzazione delle macchine?
Certamente. La discontinuità ontologica è data dal fatto che quella della macchina «intelligente» è una prestazione imitativa di una delle dimensioni della razionalità umana: il calcolo strumentale. Ma noi non siamo solo, o essenzialmente, questo. Noi, calcolo strumentale, di certo lo siamo in modo enfatico, ma anche gli animali, innanzitutto gli animali sociali, ne hanno capacità: le api orientano lo sciame rispetto all’alveare; il castoro costruisce in base all’istinto la diga, in modo efficiente; l’uccello, il suo nido. La vita biologica pratica già la razionalità strumentale, persino nello scambio di segnale di una cellula biologica. Ma noi ne abbiamo consapevolezza. Quindi, la possediamo in modo eminente. Possiamo costruire macchine che imitano e potenziano questa dimensione, traendone in modo statistico anche soluzioni, per così dire, inedite, non «previste», «dedotte» dalla combinatoria aperta del programma di calcolo. Questo, però, non significa affatto che una macchina possa essere umana. Intelligenza artificiale è un equivoco linguistico.
Spieghi meglio.
Fu una formula scelta per definire quella che era, ancorché enorme, una semplice potenza di calcolo. Una formula che, quando i programmi linguistici AI «dialogano» con noi, facilmente rafforza l’equivoco di poter essere equiparata all’intelligenza naturale, o addirittura di superarla. Ciò è vero nel calcolo, appunto. Ma, come dicevamo, si tratta solo di una delle nostre «competenze». Noi siamo altro. Siamo un nucleo vivente di sentire e volere intenzionali, un patire che può proporsi fini e ragionarli in un orizzonte morale vissuto. Per così dire, siamo un plesso, una complessità «pulsionale» (sensibile, volitiva, noetica) nativa: accesa dal e nel nostro venire al mondo. Non da un pulsante on-off che dà corrente, che mette in corsa un’operatività linguistica algoritmica. Nessuna macchina accede alla dimensione del sentire e del volere. La discontinuità ontologica è radicale.
Lei ritiene un’«illusione», oltre che «un’arma di distrazione di massa», l’idea che l’AI possa raggiungere la coscienza e gestirne i dilemmi. Al contempo, parla di una «ri-ontologizzazione digitale del mondo»: perché afferma che le nuove tecnologie «intervengono sulla struttura dell’essere»?
La grande, pervasiva, novità dell’AI e delle tecnologie connesse di informazione e comunicazione (ICT) sta nel fatto che gestiscono il linguaggio sociale, lo orientano in modo inedito rispetto al passato. Prima questo linguaggio evolveva con le interazioni di presenza, le interazioni analogiche della comunità — a partire dalla famiglia fino alla polis. Oggi la community social tende a sostituire sempre di più la comunità analogica in cui siamo nati, e in cui comunque continuiamo a nascere. Il punto è che chi possiede le chiavi del linguaggio sociale ci detta come parlare, come desiderare, cosa volere. Opera una sorta di colonizzazione dell’esperienza umana. In modo artificiale, siamo indotti a parlare in massa un linguaggio che ci viene prescritto dagli algoritmi, e che orienta i nostri linguaggi naturali con finalità che ci sono estrinseche. Ma chi possiede il linguaggio possiede fondamentalmente le strutture dell’esperienza, perché io faccio esperienza nel linguaggio. Chi determina il linguaggio sociale governa l’esperienza e, così, governa i processi di identificazione individuali e sociali. Io divento io nel linguaggio che parlo, dove linguaggio significa che mi viene detto come desiderare, cosa volere, cosa è giusto e sbagliato, senza che sia io a elaborarlo in proprio. Così, si costruisce la propria identità personale e relazionale in un modo che sfugge, per certi aspetti, alla nostra capacità di negoziazione del linguaggio «privato» con il linguaggio sociale, in cui si viene e si sta al mondo. Noi siamo sempre in debito rispetto al linguaggio che parliamo. Ma con l’AI il nostro margine di negoziazione con il linguaggio sociale, oggi sempre più artificiale, ha sempre meno chance. Adesso, rischiamo di essere totalmente eterodiretti.
Diventa ancora più cruciale approfondire cosa intendiamo per «esperienza».
Occorre guardare al termine «intelligenza». Intus legere significa guardarsi dentro. Questo guardarsi dentro, come costruzione dell’interiorità, questa presa in carico di sé è propria solo dell’umano. Nessuna macchina può farlo. La macchina guarda dentro un’enorme massa di dati, per noi ingestibile, li processa e li organizza. Questo non costruisce, però, un centro di interiorità. Non significa essere agenti affettivi, cioè sentire; essere agenti volitivi, cioè volere; essere agenti cognitivi, cioè consapevoli.
Torniamo al tema della manipolazione dell’esperienza. Il filosofo della tecnologia Yuk Hui dichiara: «Tranquilli, l’AI non si ribellerà agli esseri umani». In qualche modo, lei nel libro gli risponde: «Il punto è che l’AI è progettata per non far ribellare l’uomo»…
L’AI non ha fini propri. È pensata per realizzare i fini di chi l’ha progettata, un’oligarchia tecno-finanziaria alla plancia di comando.
È il giudizio di «non neutralità» di questi strumenti che attraversa tutta l’enciclica.
Certamente, ma questa consapevolezza era già presente nelle preoccupazioni sollevate da uno dei padri fondatori della cibernetica, Norbert Wiener, che nei primi anni Cinquanta paventava l’uso non umano, da parte di esseri umani, di altri esseri umani. Questo è il motivo per cui possiamo dire che AI e ICT strutturano quello che Shoshana Zuboff chiama «capitalismo della sorveglianza»: una società sorvegliata, fin quando possibile, in modo indolore, cioè estendendo al massimo la potenza del marketing, la persuasione occulta di cui già parlava Talcott Parsons nel definire «la logica dei consumi», per cui si inducono desideri e bisogni che non si hanno. Di qui si arriva all’homo consumens di Zygmunt Bauman, lo «sciame inquieto di consumatori» da tenere a bada tramite questi sistemi. Poi, questa persuasione occulta si è trasferita nel marketing politico, già operativo da decenni, ma estremamente potenziato dall’AI. Chi detiene le chiavi del marketing economico e politico, ha il controllo suasivo di una società. A questo, come sappiamo bene, si aggiunge il controllo della forza, il bruto controllo, con l’uso dell’AI nell’industria militare. Quando il problema di persuadere si gioca sul piano del confronto politico e militare tra Stati, si ritorna al classico paradigma di Trasimaco: «Ciò che è giusto è l’utile del più forte». Resta solo il diritto del più forte.
Vediamo arrivare, anche dalle stesse Big Tech, come dal recente rapporto di Anthropic, richieste di una «pausa globale» nello sviluppo, l’invito a «rallentare», per non perdere il controllo sui sistemi più avanzati.
Sì, alcuni operatori digitali si sono espressi sul «rischio di estinzione» del genere umano, come Sam Altman. Certamente, con i sistemi d’arma «armati» dall’intelligenza artificiale una tale eventualità non è da escludere, perché potrebbe non esserci il tempo tecnico — in uno scontro militare tra sistemi d’arma resi presuntamente intelligenti — di valutare la risposta a un attacco. Il film K-19 ci racconta di una «finestra di riflessività» che scongiura l’apocalisse, quando il comandante russo del sommergibile non obbedisce al protocollo. Oggi, con la possibilità di hackerare, tutti si stanno impegnando a costruire sistemi d’arma impenetrabili. Il problema è che sono impenetrabili per gli avversari, ma anche per chi ne è responsabile. Si rischia una sorta di «reazione istintiva» dei sistemi. È una evenienza niente affatto distopica, che appartiene alla stessa classe di problema della deterrenza nucleare.
Ma lei parla anche di un altro tipo di estinzione, il rischio di continuare a esserci come «viventi morti (dentro)».
L’altro senso dell’estinzione è questo: un venire meno, non fisicamente, ma come fossimo zombies. Pensiamo di volere quello che vogliamo, ma in realtà stiamo volendo quello che dalla mattina alla sera ci viene detto di volere.
La posta in gioco, quindi, è quella della consapevolezza di chi siamo?
Questo è un problema cruciale. Abbiamo costruito la nostra esperienza in un mondo fondamentalmente analogico, che ora rischia di diventare un reperto archeologico per i giovani, i nativi digitali, venuti al mondo in un linguaggio sociale pervasivamente implementato dall’AI. Loro vivono una disabilitazione dei vissuti relazionali: ormai si conoscono attraverso uno screening digitale, per sapere se sono compatibili: per non patire quella dimensione dell’affettività analogica che è il rifiuto, rifuggono dalla gioia dell’imprevedibile di un incontro umano a tutto tondo. Quando, poi, entri nella relazione di presenza e non sei allenato alla sua apertura a tutte le possibilità dell’incontro umano, in presenza di un rifiuto devi fare i conti con il fatto che l’altro non è più un messaggio che puoi smettere di digitare o riorganizzare… «Spegnere» la relazione di presenza, così, può non significare semplicemente lasciarla andare, ma quello che talvolta leggiamo drammaticamente sui giornali. Inoltre, i livelli di dipendenza digitale sono diventati patologici, con esempi anche tragici, come il ragazzino che ha ucciso la madre per avergli sottratto il telefonino. A noi mettevano il lucchetto alla cornetta, perché studiassimo. Ma se quando io ti tolgo il telefonino è come se ti togliessi l’anima, allora la posta in gioco è una lotta per sé stessi. Per la vita e per la morte.
Nel libro, lei si pone la domanda: «Che fare?». Come si risponde?
Salvare la «presenza», la relazione di presenza come di noi fondativa e strutturante. Io credo nella sostanziale politicità di molti di questi problemi, i quali richiedono decisioni collettive. Noi abbiamo bisogno della custodia del nostro statuto esistenziale analogico, senza che l’implementazione digitale della nostra esperienza faccia venir meno il nostro statuto di presenza, o per dirla con Merleau-Ponty: senza che ci faccia venire meno «alla carne del mondo». Noi abbiamo bisogno di mantenere presenza a noi stessi. Quello che ci era dato in modo ovvio, adesso deve diventare un programma politico, e innanzitutto educativo. Mi riferisco, ad esempio, alla valorizzazione estrema della relazione didattica di presenza, alla creazione di spazi sociali di interazione psicofisica affettiva tra individui reali. In tutti i modi possibili. Noi dovremmo avere una vita che ci tira fuori dallo schermo. La smart city del futuro di cui abbiamo bisogno non è tanto quella che sarà implementata da servizi digitali, ma quella che sarà costruita per conservare e alimentare la vita di comunità, come comunità di presenza.
Ma questa «partita del politico» richiede una consapevolezza di sé, appunto. Che è sempre del singolo, prima di essere collettiva. Nell’enciclica si legge: «La storia può cambiare quando anche solo un uomo e una donna prendono davvero sul serio la dignità di tutti». Dove vede e cosa permette la presa di coscienza?
Io ne ho speranza perché non riusciranno a toglierci il corpo. Paradossalmente, sarà il nostro radicamento biologico e relazionale nella vita di carne con gli altri a salvarci dal rischio che la nostra razionalità si disincarni, che diventi un puro raggiungimento di fini che non danno sostanza di affettività al nostro essere al mondo. Questo in termini platonici. Nei termini della tradizione testamentaria e neotestamentaria, noi saremo salvati dal fatto di essere incarnazione dello spirito, dove Egli possa, in interiore homine, abitare come Verità. Bisogna che continuiamo a scoprire e riscoprire il fatto che dobbiamo alla nostra «carnalità» mortale, che pure spera in qualche modo di non morire, quello che siamo. La morte non è solo il più «grande pensatore», come volevano Paolo e Kierkegaard, ma è anche il più grande «attivatore» della vita e del senso della vita.
Perché la morte ci rende coscienti del vivere?
Sì, ci rende coscienti di che cosa significa il nostro vivere. E che la vita «eterna» non sarà conseguita tramite qualche algoritmo performativo, magari un sistema di macchine non deperibili in cui trasferire i nostri circuiti mentali. La vita scampa alla morte trasmettendosi. La vita si salva tramite la vita, tramite il dare vita. La vita si salva conservandone le ragioni generative, non affidandosi a un’intelligenza artificiale che ci eternizzi nel nostro singolo momento narcisistico. Io divento eterno se passo la vita a qualcun altro, che si prenderà il compito di portare avanti, per un tratto di tempo, questa speranza di eternità. D’altro canto, alcuni di questi grandi padroni dell’AI coltivano progetti fantascientifici di «immortalità» quanto a sé stessi. È il tentativo di vite che si sentono talmente a termine che, anziché generare, in termini di speranza, si chiudono nella loro disperazione nichilistica cercando di eternizzare nient’altro che la propria egoità. Il vero problema è che, nelle more che accade tutto questo, qualcuno cerca di governare gli altri. A proprio vantaggio.
Ritorna l’alienazione. L’enciclica riprende Hannah Arendt, nel dire che «quando la domanda su ciò che è vero perde di interesse», si scivola «lentamente ma inesorabilmente verso il totalitarismo», il cui suddito ideale è chi non distingue più tra fatto e finzione, tra vero e falso. Cosa occorre?
Essere alienati è essere «fuori» di sé, e così esposti a crollare dentro di sé. Noi non siamo alienati quando siamo «presso» noi stessi, nella custodia però della nostra nativa relazionalità. Anche da soli, ma senza disagio. In una solitudine scelta per fare i conti con sé stessi. Noi stiamo bene quando siamo in una situazione di «adesione» a noi stessi, che è sempre relazione. Per dirla con una bella espressione di Giussani: «Io sono Tu-che-mi-fai». È una evidenza elementare della ragione relazionale che ci regge, che Giussani riprende — ne fa un’evidenza teologica — come struttura del nostro rapporto con Dio. La sfida che abbiamo davanti oggi è che questa evidenza rischia di essere alienata, se quel «tu» diventa il grande «tu» digitale, e non il «tu» di Dio o/e delle relazioni reali. Noi dobbiamo lottare perché quel «tu» sia e resti di carne. Questo, in orizzontale, quanto meno. O nella sua verticalizzazione, di un Dio della presenza che mi sta accanto, che non è una mera astrazione della mente.
Per questo, diceva che si può non essere alienati anche da soli.
Sì, se questa mia solitudine è affollata dall’amore di qualcuno o di qualcosa.
-
Los zombis y la presencia
Alessandra Stoppa
«Dicen que la IA no se rebelará contra el hombre. La cuestión es que está diseñada para que el hombre no se rebele». Diálogo con el filósofo Eugenio Mazzarella sobre Magnifica Humanitas y su Crítica de la razón digital.Eugenio Mazzarella, catedrático de la Universidad Federico II de Nápoles
«Por mucho que camines, y ni siquiera recorriendo todo el camino, jamás podrías encontrar los límites del alma: tan profundo es su lógos». «Si Heráclito tiene razón», escribe Eugenio Mazzarella, hay buenas razones para «esperar que ni siquiera lo digital logre “delimitar” esos límites del alma».
Aquí radica, para él —catedrático emérito de Filosofía Teórica en la Universidad Federico II de Nápoles—, la gran aportación de la Magnifica Humanitas, porque «nos recuerda a todos que tenemos que ver con una naturaleza humana que no podemos dejar de lado, so pena de acabar dejándonos de lado a nosotros mismos».
En su pensamiento filosófico riguroso y poético, define lo que estamos viviendo, más que como un punto de inflexión tecnológico con oportunidades y problemas, como «un pecado contra la vida». Un «verdadero choque antropológico». Es un panorama de «desorientación de lo humano», en el que corremos el riesgo no tanto —o no solo— de desaparecer como especie, sino de seguir existiendo como zombis, vivos pero muertos por dentro, de desaparecer existencialmente. Un horizonte en el que parece no haber ya espacio para lo inesperado, todo está prescrito. Por otros.
Ante el «gran abandono» de lo real en favor de lo virtual, sintió la necesidad de una Crítica de la razón digital, título de su último libro. Son muchas las similitudes con la primera encíclica de León XIV, para él «un documento fundamental, que en ciertos aspectos cierra el debate con la modernidad de la técnica iniciado con el Vaticano II». Entonces, se trataba de la aparición de la bomba atómica. «Después, se produjo el segundo gran umbral antropológico crítico: las biotecnologías, el ADN. Hoy nos encontramos ante el tercero, con la inteligencia artificial».
¿Cuál es el problema central de este enfrentamiento con la técnica?
Lo que nos plantea el mundo de la tecnología es, fundamentalmente, el antiguo problema de no alterar —más allá de los límites de lo tolerable— nuestro nicho de supervivencia natural y espiritual, entendido como nuestra propia humanidad, donde aún podemos recordarnos a nosotros mismos, en el sentido etimológico latino de re-cordari: recoger en el corazón, seguir sintiendo lo que hemos sido, con la esperanza de poder seguir siéndolo.
¿Qué respuesta encuentra, en su opinión, este problema en la encíclica?
La Magnifica Humanitas ofrece un análisis fundamentado y articulado al respecto, y nos acompaña, por así decirlo, indicándonos una serie de caminos para mantener una relación constructiva con la nueva dimensión del genio técnico globalizado, que sigue siendo siempre un genio del hombre y, por tanto, una responsabilidad suya. Con este documento, la Iglesia se afirma como guardiana no solo de un depositum fidei, sino también —y esto es aún más significativo— de un depositum humanitatis para todos los hombres. Existe un vínculo entre ambos, que es intrínseco a la experiencia cristiana de la vida, porque la religión de la encarnación es también, siempre, la religión del lugar de la encarnación de lo divino: la humanidad que somos.
Al custodiar su fe, la Iglesia custodia al mismo tiempo una idea de la naturaleza humana. Y lo hace también para quienes no son creyentes. Por decirlo con una expresión antigua: la Iglesia asume la tarea de señalar a la humanidad de la técnica, que tanto la manipula, los límites de la alteración de su propia naturaleza. Más allá de los cuales se corre el riesgo de adentrarse en el sinsentido —el peligroso batiburrillo de lo poshumano o lo transhumano—, en la pérdida del sentido de uno mismo, al menos tal y como lo hemos definido y alcanzado hasta ahora en nuestra historia como «humanos», los humanos que seguimos siendo hoy.
La encíclica denuncia el «equívoco» de equiparar la inteligencia artificial a la humana, y resume: «Las llamadas inteligencias artificiales no viven una experiencia». ¿Es eso lo que usted quiere decir cuando habla de «discontinuidad ontológica», respondiendo también a quienes prevén una toma de conciencia de las máquinas?
Por supuesto. La discontinuidad ontológica se debe a que la de la máquina «inteligente» es una prestación imitativa de una de las dimensiones de la racionalidad humana: el cálculo instrumental. Pero nosotros no somos solo, ni esencialmente, eso. Nosotros, sin duda, somos eso de manera enfática, pero también los animales, sobre todo los sociales, tienen esa capacidad: las abejas orientan el enjambre con respecto a la colmena; el castor construye la presa de manera eficiente, guiándose por el instinto; el pájaro, su nido. La vida biológica ya practica la racionalidad instrumental, incluso en el intercambio de señales de una célula biológica. Pero nosotros somos conscientes de ello. Por lo tanto, la poseemos de manera eminente. Podemos construir máquinas que imiten y potencien esta dimensión, extrayendo de ella, de manera estadística, soluciones, por así decirlo, inéditas, no «previstas», «deducidas» de la combinatoria abierta del programa de cálculo. Esto, sin embargo, no significa en absoluto que una máquina pueda ser humana. Inteligencia artificial es un equívoco lingüístico.
Explíquese mejor.
Fue una fórmula elegida para definir lo que era, aunque enorme, una simple potencia de cálculo. Una fórmula que, cuando los programas lingüísticos de IA «dialogan» con nosotros, refuerza fácilmente el equívoco de que pueda equipararse a la inteligencia natural, o incluso superarla. Esto es cierto en el cálculo, precisamente. Pero, como decíamos, se trata solo de una de nuestras «competencias». Nosotros somos otra cosa. Somos un núcleo vivo de sentir y querer intencionales, un sufrir que puede proponerse fines y razonarlos en un horizonte moral vivido. Por así decirlo, somos un plexo, una complejidad «pulsional» (sensible, volitiva, noética) innata: encendida por y en nuestro venir al mundo. No a partir de un botón on-off que suministra corriente y pone en marcha una operatividad lingüística algorítmica. Ninguna máquina accede a la dimensión del sentir y del querer. La discontinuidad ontológica es radical.
Usted considera una «ilusión», además de «un arma de distracción masiva», la idea de que la IA pueda alcanzar la conciencia y gestionar sus dilemas. Al mismo tiempo, habla de una «reontologización digital del mundo»: ¿por qué afirma que las nuevas tecnologías «intervienen en la estructura del ser»?
La gran novedad, omnipresente, de la IA y de las tecnologías de la información y la comunicación (TIC) relacionadas radica en el hecho de que gestionan el lenguaje social, lo orientan de una forma inédita con respecto al pasado.
Antes, este lenguaje evolucionaba con las interacciones presenciales, las interacciones analógicas de la comunidad —desde la familia hasta la polis. Hoy en día, la comunidad social tiende a sustituir cada vez más a la comunidad analógica en la que nacimos y en la que, de todos modos, seguimos naciendo. La cuestión es que quienes poseen las claves del lenguaje social nos dictan cómo hablar, cómo desear, qué querer. Se produce una especie de colonización de la experiencia humana. De forma artificial, se nos induce a hablar en masa un lenguaje que nos prescriben los algoritmos y que orienta nuestros lenguajes naturales hacia fines que nos son ajenos. Pero quien posee el lenguaje posee, fundamentalmente, las estructuras de la experiencia, porque yo experimento a través del lenguaje. Quien determina el lenguaje social gobierna la experiencia y, de este modo, gobierna los procesos de identificación individuales y sociales. Me convierto en yo en el lenguaje que hablo, donde lenguaje significa que se me dice cómo desear, qué querer, qué es correcto y qué es incorrecto, sin que sea yo quien lo elabore por mí mismo. Así, se construye la propia identidad personal y relacional de una manera que, en ciertos aspectos, escapa a nuestra capacidad de negociar el lenguaje «privado» con el lenguaje social, en el que venimos al mundo y nos movemos en él. Siempre estamos en deuda con el lenguaje que hablamos. Pero con la IA, nuestro margen de negociación con el lenguaje social —hoy cada vez más artificial— tiene cada vez menos oportunidades. Ahora corremos el riesgo de estar totalmente heterodirigidos.
Resulta aún más crucial profundizar en lo que entendemos por «experiencia».
Hay que fijarse en el término «inteligencia». Intus legere significa mirarse hacia dentro. Este mirarse en el interior, como construcción de la interioridad, esta asunción de la propia responsabilidad, es propio únicamente del ser humano. Ninguna máquina puede hacerlo. La máquina examina una enorme masa de datos, inabarcable para nosotros, los procesa y los organiza. Sin embargo, esto no construye un centro de interioridad. No significa ser agentes afectivos, es decir, sentir; ser agentes volitivos, es decir, querer; ser agentes cognitivos, es decir, conscientes.
Volvamos al tema de la manipulación de la experiencia. El filósofo de la tecnología Yuk Hui afirma: «Tranquilos, la IA no se rebelará contra los seres humanos». De alguna manera, usted le responde en el libro: «La cuestión es que la IA está diseñada para que el ser humano no se rebele»…
La IA no tiene fines propios. Está concebida para cumplir los fines de quienes la han diseñado, una oligarquía tecnofinanciera al mando.
Es el juicio de «no neutralidad» de estas herramientas el que impregna toda la encíclica.
Ciertamente, pero esta conciencia ya estaba presente en las preocupaciones planteadas por uno de los padres fundadores de la cibernética, Norbert Wiener, quien a principios de los años cincuenta temía el uso no humano, por parte de los seres humanos, de otros seres humanos. Esta es la razón por la que podemos afirmar que la IA y las TIC configuran lo que Shoshana Zuboff denomina «capitalismo de la vigilancia»: una sociedad vigilada, en la medida de lo posible, de forma imperceptible, es decir, extendiendo al máximo el poder del marketing, esa persuasión oculta de la que ya hablaba Talcott Parsons al definir «la lógica del consumo», mediante la cual se inducen deseos y necesidades que no se tienen. De ahí se llega al homo consumens de Zygmunt Bauman, el «enjambre inquieto de consumidores» que hay que mantener a raya mediante estos sistemas. Posteriormente, esta persuasión oculta se ha trasladado al marketing político, ya en funcionamiento desde hace décadas, pero potenciado enormemente por la IA. Quien tiene en sus manos las claves del marketing económico y político, tiene el control persuasivo de una sociedad.
A esto, como bien sabemos, se suma el control de la fuerza, el control bruto, mediante el uso de la IA en la industria militar. Cuando el problema de la persuasión se plantea en el plano del enfrentamiento político y militar entre Estados, se vuelve al paradigma clásico de Trasímaco: «Lo justo es el beneficio del más fuerte». Solo queda el derecho del más fuerte.
Vemos cómo llegan, incluso desde las propias Big Tech, como en el reciente informe de Anthropic, peticiones de una «pausa global» en el desarrollo, la invitación a «frenar», para no perder el control sobre los sistemas más avanzados.
Sí, algunos operadores digitales se han pronunciado sobre el «riesgo de extinción» de la humanidad, como Sam Altman. Sin duda, con los sistemas de armas «armados» con inteligencia artificial, tal eventualidad no es descartable, ya que podría no haber tiempo técnico —en un enfrentamiento militar entre sistemas de armas supuestamente inteligentes— para evaluar la respuesta a un ataque. La película K-19 nos habla de una «ventana de reflexividad» que evita el apocalipsis, cuando el comandante ruso del submarino desobedece el protocolo. Hoy en día, ante la posibilidad de ser hackeados, todos se esfuerzan por construir sistemas de armas impenetrables. El problema es que son impenetrables para los adversarios, pero también para quienes están a cargo de ellos. Se corre el riesgo de que se produzca una especie de «reacción instintiva» de los sistemas. Se trata de una eventualidad nada distópica, que pertenece a la misma categoría de problemas que la disuasión nuclear.
Pero usted también habla de otro tipo de extinción: el riesgo de seguir existiendo como «muertos vivientes (por dentro)».
El otro sentido de la extinción es este: un desvanecimiento, no físico, sino como si fuéramos zombis. Creemos que queremos lo que queremos, pero en realidad estamos deseando lo que, desde la mañana hasta la noche, se nos dice que debemos querer.
¿Lo que está en juego, pues, es la conciencia de quiénes somos?
Este es un problema crucial. Hemos construido nuestra experiencia en un mundo fundamentalmente analógico, que ahora corre el riesgo de convertirse en un hallazgo arqueológico para los jóvenes, los nativos digitales, que han venido al mundo en un lenguaje social implementado de forma omnipresente por la IA. Viven una merma de las experiencias relacionales: ahora se conocen a través de un screening digital, para saber si son compatibles; para no sufrir esa dimensión de la afectividad analógica que es el rechazo, rehúyen la alegría de lo impredecible que supone un encuentro humano en toda su plenitud. Cuando, además, entras en una relación presencial y no estás preparado para su apertura a todas las posibilidades del encuentro humano, ante un rechazo tienes que afrontar el hecho de que el otro ya no es un mensaje que puedas dejar de escribir o reorganizar… «Apagar» la relación presencial, así, puede que no signifique simplemente dejarla ir, sino lo que a veces leemos de forma dramática en los periódicos. Además, los niveles de adicción digital se han vuelto patológicos, con ejemplos incluso trágicos, como el de aquel niño que mató a su madre por haberle quitado el móvil. A nosotros nos ponían un candado en el auricular para que estudiáramos. Pero si cuando te quito el móvil es como si te quitara el alma, entonces lo que está en juego es una lucha por uno mismo. Por la vida y por la muerte.
En el libro, usted se plantea la pregunta: «¿Qué hacer?». ¿Cómo se responde a eso?
Salvar la «presencia», la relación de presencia como algo fundacional y estructurante de nosotros mismos. Creo en el carácter esencialmente político de muchos de estos problemas, que requieren decisiones colectivas. Necesitamos salvaguardar nuestro estatuto existencial analógico, sin que la implementación digital de nuestra experiencia haga desaparecer nuestro estatuto de presencia, o por decirlo con Merleau-Ponty: sin que nos aleje de «la carne del mundo». Necesitamos mantener la presencia ante nosotros mismos. Lo que antes se nos daba por sentado, ahora debe convertirse en un programa político y, ante todo, educativo. Me refiero, por ejemplo, a la valorización extrema de la relación didáctica presencial, a la creación de espacios sociales de interacción psicofísica y afectiva entre individuos reales. De todas las formas posibles. Deberíamos tener una vida que nos saque de la pantalla. La smart city del futuro que necesitamos no es tanto aquella que se implementará mediante servicios digitales, sino aquella que se construirá para conservar y alimentar la vida en comunidad, como comunidad de presencia.
Pero esta «partida de lo político» requiere, precisamente, una conciencia de sí mismo. Que siempre es del individuo, antes que colectiva. En la encíclica se lee: «La historia puede cambiar cuando tan solo un hombre y una mujer se toman realmente en serio la dignidad de todos». ¿Dónde ve y qué permite esa toma de conciencia?
Tengo esperanza porque no conseguirán quitarnos el cuerpo. Paradójicamente, será nuestro arraigo biológico y relacional en la vida de carne y hueso con los demás lo que nos salve del riesgo de que nuestra racionalidad se desencarne, de que se convierta en una mera consecución de fines que no aportan sustancia afectiva a nuestro ser en el mundo. Esto en términos platónicos. En los términos de la tradición del Antiguo y del Nuevo Testamento, seremos salvados por el hecho de ser encarnación del espíritu, donde Él pueda, in interiore homine, habitar como Verdad. Debemos seguir descubriendo y redescubriendo el hecho de que lo que somos se lo debemos a nuestra «carnalidad» mortal, que, sin embargo, espera de alguna manera no morir. La muerte no es solo el «mayor pensador», como afirmaban Pablo y Kierkegaard, sino que es también el mayor «activador» de la vida y del sentido de la vida.
¿Por qué la muerte nos hace conscientes de la vida?
Sí, nos hace conscientes de lo que significa nuestra vida. Y de que la vida «eterna» no se alcanzará mediante ningún algoritmo performativo, tal vez un sistema de máquinas indestructibles en las que transferir nuestros circuitos mentales. La vida escapa a la muerte transmitiéndose. La vida se salva a través de la vida, a través de dar vida. La vida se salva conservando sus razones generativas, no confiando en una inteligencia artificial que nos eternice en nuestro momento narcisista particular. Me vuelvo eterno si transmito la vida a otra persona, que asumirá la tarea de llevar adelante, durante un tiempo, esta esperanza de eternidad. Por otra parte, algunos de estos grandes magnates de la IA cultivan proyectos de ciencia ficción sobre la «inmortalidad» para sí mismos. Es el intento de unas vidas que se sienten tan cerca de su fin que, en lugar de generar esperanza, se encierran en su desesperación nihilista tratando de eternizar nada más que su propio egoísmo. El verdadero problema es que, mientras todo esto ocurre, alguien intenta gobernar a los demás. En su propio beneficio.
Vuelve la alienación.
La encíclica retoma a Hannah Arendt al afirmar que «cuando la pregunta sobre lo que es verdadero pierde interés», se desliza «lenta pero inexorablemente hacia el totalitarismo», cuyo súbdito ideal es aquel que ya no distingue entre realidad y ficción, entre lo verdadero y lo falso. ¿Qué se necesita?
Estar alienado es estar «fuera» de uno mismo y, por tanto, expuesto a derrumbarse interiormente. No estamos alienados cuando estamos «cerca» de nosotros mismos, pero conservando nuestra relacionalidad innata. Incluso solos, pero sin malestar. En una soledad elegida para hacer las paces con uno mismo. Nos sentimos bien cuando estamos en una situación de «adhesión» a nosotros mismos, que es siempre relación. Por decirlo con una bella expresión de Giussani: «Yo soy Tú-que-me-haces». Es una evidencia elemental de la razón relacional que nos sostiene, que Giussani retoma —y convierte en evidencia teológica— como estructura de nuestra relación con Dios. El reto al que nos enfrentamos hoy es que esta evidencia corre el riesgo de ser alienada, si ese «tú» se convierte en el gran «tú» digital, y no en el «tú» de Dios o de las relaciones reales. Debemos luchar para que ese «tú» sea y siga siendo de carne y hueso. Esto, al menos en el plano horizontal. O en su verticalización, la de un Dios de la presencia que está a mi lado, que no es una mera abstracción de la mente.
Por eso decía que se puede no estar alienado incluso estando solo.
Sí, si mi soledad está llena del amor de alguien o de algo.
-
Les zombies et la présence
Alessandra Stoppa
« On dit que l’IA ne se rebellera pas contre l’homme. Le fait est qu’elle est conçue pour que l’homme ne se rebelle pas. » Entretien avec le philosophe Eugenio Mazzarella sur Magnifica Humanitas et sa Critique de la raison numérique.Eugenio Mazzarella, professeur titulaire à l’université Federico II de Naples
« Même si tu marchais sans fin, et même en parcourant tout le chemin, tu ne pourrais jamais trouver les limites de l’âme : tant son lògos est profond ». « Si Héraclite a raison », écrit Eugenio Mazzarella, on a de bonnes raisons « d’espérer que même le numérique ne parvienne pas à “confiner” ces limites de l’âme ».
C’est là que réside, selon lui — professeur émérite de philosophie théorique à l’université Federico II de Naples —, la grande contribution de la Magnifica Humanitas, car « elle rappelle à tous que nous avons affaire à une nature humaine que nous ne pouvons mettre de côté, sous peine de finir par nous mettre nous-mêmes de côté ».
Dans sa réflexion philosophique à la fois rigoureuse et poétique, il définit ce que nous vivons, avant même d’en faire un tournant technologique avec ses opportunités et ses problèmes, comme « un péché contre la vie ». Un « véritable choc anthropologique ». C’est un panorama de « désorientation de l’humain », où nous risquons non pas tant, ou pas seulement, de disparaître en tant qu’espèce, mais de continuer à exister comme des zombies, vivants mais morts à l’intérieur, de disparaître sur le plan existentiel. Un horizon dans lequel il ne semble plus y avoir de place pour l’inattendu, où tout est prescrit. Par d’autres.
Face à la « grande éviction » du réel au profit du virtuel, il a ressenti la nécessité d’une Critique de la raison numérique, titre de son dernier ouvrage. Les parallèles sont nombreux avec la première encyclique de Léon XIV, qui est pour lui « un document fondamental, qui, à certains égards, clôt la confrontation avec la modernité technique entamée avec Vatican II ». À l’époque, il s’agissait de l’émergence de la bombe atomique. « Puis, il y a eu le deuxième grand seuil anthropologique critique : les biotechnologies, l’ADN. Aujourd’hui, nous en sommes au troisième, avec l’intelligence artificielle ».
Quel est le problème au cœur de cette confrontation avec la technique ?
Ce que nous pose le monde de la technique, c’est fondamentalement l’ancien problème de ne pas altérer — au-delà des limites du tolérable — notre niche de survie naturelle et spirituelle, entendue comme notre propre humanité, où nous pouvons encore nous souvenir, au sens de l’étymologie latine de re-cordari : recueillir dans notre cœur, continuer à ressentir ce que nous avons été, dans l’espoir de pouvoir encore l’être.
Selon vous, quelle réponse l’encyclique apporte-t-elle à ce problème ?
La Magnifica Humanitas en fait une analyse fondée et articulée, et nous accompagne, pour ainsi dire, en nous indiquant une série de voies pour entretenir une relation constructive avec la nouvelle dimension du génie technique mondialisé, qui reste toujours un génie de l’homme et donc une de ses responsabilités. Avec ce document, l’Église s’affirme comme gardienne non seulement d’un depositum fidei, mais aussi — et cela est encore plus significatif — d’un depositum humanitatis pour tous les hommes. Il existe un lien entre les deux, qui est intrinsèque à l’expérience chrétienne de la vie, car la religion de l’incarnation est aussi, toujours, la religion du lieu de l’incarnation du divin : l’humanité que nous sommes.
En préservant sa foi, l’Église préserve en même temps une conception de la nature humaine. Et elle le fait aussi pour ceux qui ne sont pas croyants. Pour reprendre une expression ancienne : l’Église se charge de signaler à l’humanité de la technique, qui la manipule tant, les limites de l’altération de sa propre nature. Au-delà desquelles on risque de s’aventurer dans l’absurdité — le dangereux fouillis du posthumain ou du transhumain —, dans la perte du sens de soi, du moins tel que nous l’avons jusqu’ici décliné et atteint dans notre histoire en tant qu’« humains », les humains que nous sommes encore aujourd’hui.
L’encyclique dénonce le « malentendu » qui consiste à assimiler l’intelligence artificielle à l’intelligence humaine, et résume : « Les soi-disant intelligences artificielles ne vivent pas d’expérience ». Est-ce ce que vous entendez lorsque vous parlez de « discontinuité ontologique », en répondant également à ceux qui prévoient une prise de conscience des machines ?
Tout à fait. La discontinuité ontologique tient au fait que la machine « intelligente » ne fait qu’une prestation imitative de l’une des dimensions de la rationalité humaine : le calcul instrumental. Mais nous ne sommes pas seulement, ni essentiellement, cela. Nous, le calcul instrumental, nous en sommes certes dotés de manière marquée, mais les animaux, et en premier lieu les animaux sociaux, en ont également la capacité : les abeilles orientent l’essaim par rapport à la ruche ; le castor construit son barrage de manière efficace, en suivant son instinct ; l’oiseau, son nid. La vie biologique pratique déjà la rationalité instrumentale, ne serait-ce que dans l’échange de signaux d’une cellule biologique. Mais nous en avons conscience. Nous la possédons donc de manière éminente. Nous pouvons construire des machines qui imitent et renforcent cette dimension, en en tirant même, de manière statistique, des solutions, pour ainsi dire, inédites, non « prévues », non « déduites » de la combinatoire ouverte du programme de calcul. Cela ne signifie toutefois pas du tout qu’une machine puisse être humaine. L’intelligence artificielle est un malentendu linguistique.
Expliquez-vous mieux.
C’était une formule choisie pour définir ce qui n’était, bien qu’énorme, qu’une simple puissance de calcul. Une formule qui, lorsque les programmes linguistiques d’IA « dialoguent » avec nous, renforce facilement l’équivoque selon laquelle elle pourrait être assimilée à l’intelligence naturelle, voire la dépasser. C’est vrai en matière de calcul, justement. Mais, comme nous le disions, il ne s’agit là que de l’une de nos « compétences ». Nous sommes autre chose. Nous sommes un noyau vivant de sentiments et de volontés intentionnels, une souffrance capable de se fixer des fins et de les raisonner dans un horizon moral vécu. Pour ainsi dire, nous sommes un plexus, une complexité « pulsionnelle » (sensible, volitive, noétique) innée : allumée par et dans notre venue au monde. Pas à partir d’un bouton on-off qui alimente le courant, qui met en marche une opérationnalité linguistique algorithmique. Aucune machine n’accède à la dimension du sentiment et de la volonté. La discontinuité ontologique est radicale.
Vous considérez comme une « illusion », ainsi qu’une « arme de distraction de masse », l’idée que l’IA puisse atteindre la conscience et en gérer les dilemmes. En même temps, vous parlez d’une « ré-ontologisation numérique du monde » : pourquoi affirmez-vous que les nouvelles technologies « interviennent sur la structure de l’être » ?
La grande nouveauté, omniprésente, de l’IA et des technologies de l’information et de la communication (TIC) réside dans le fait qu’elles gèrent le langage social, qu’elles l’orientent d’une manière inédite par rapport au passé.
Auparavant, ce langage évoluait grâce aux interactions en présentiel, aux interactions analogiques de la communauté — de la famille jusqu’à la polis. Aujourd’hui, la communauté sociale tend à remplacer de plus en plus la communauté analogique dans laquelle nous sommes nés, et dans laquelle nous continuons d’ailleurs à naître. Le fait est que ceux qui détiennent les clés du langage social nous dictent comment parler, comment désirer, quoi vouloir. Il s’opère une sorte de colonisation de l’expérience humaine. De manière artificielle, nous sommes amenés à parler en masse un langage qui nous est imposé par les algorithmes, et qui oriente nos langages naturels vers des fins qui nous sont extérieures. Mais celui qui détient le langage détient fondamentalement les structures de l’expérience, car c’est à travers le langage que je fais l’expérience. Celui qui détermine le langage social gouverne l’expérience et, par là même, gouverne les processus d’identification individuels et sociaux. Je deviens moi dans le langage que je parle, où langage signifie qu’on me dit comment désirer, ce que je dois vouloir, ce qui est bien et mal, sans que ce soit moi qui l’élabore par moi-même. Ainsi, on construit son identité personnelle et relationnelle d’une manière qui échappe, à certains égards, à notre capacité à négocier le langage « privé » avec le langage social, dans lequel on vient au monde et on y vit. Nous sommes toujours redevables à la langue que nous parlons. Mais avec l’IA, notre marge de négociation avec la langue sociale, aujourd’hui de plus en plus artificielle, a de moins en moins de chances. Désormais, nous risquons d’être totalement hétéro-dirigés.
Il devient encore plus crucial d’approfondir ce que nous entendons par « expérience ».
Il faut se pencher sur le terme « intelligence ». Intus legere signifie se regarder à l’intérieur de soi. Ce regard vers l’intérieur, en tant que construction de l’intériorité, cette prise en charge de soi n’est propre qu’à l’être humain. Aucune machine ne peut le faire. La machine examine une énorme masse de données, ingérable pour nous, elle les traite et les organise. Cela ne construit toutefois pas un centre d’intériorité. Cela ne signifie pas être des agents affectifs, c’est-à-dire ressentir ; être des agents volitifs, c’est-à-dire vouloir ; être des agents cognitifs, c’est-à-dire conscients.
Revenons au thème de la manipulation de l’expérience. Le philosophe de la technologie Yuk Hui déclare : « Rassurez-vous, l’IA ne se rebellera pas contre les êtres humains ». D’une certaine manière, vous lui répondez dans votre livre : « Le fait est que l’IA est conçue pour empêcher l’homme de se rebeller »…
L’IA n’a pas de fins propres. Elle est conçue pour réaliser les fins de ceux qui l’ont conçue, une oligarchie techno-financière aux commandes.
C’est ce jugement de « non-neutralité » de ces outils qui traverse toute l’encyclique.
Certes, mais cette prise de conscience était déjà présente dans les préoccupations soulevées par l’un des pères fondateurs de la cybernétique, Norbert Wiener, qui, au début des années 1950, redoutait l’utilisation non humaine, par des êtres humains, d’autres êtres humains. C’est la raison pour laquelle nous pouvons affirmer que l’IA et les TIC structurent ce que Shoshana Zuboff appelle le « capitalisme de la surveillance » : une société surveillée, dans la mesure du possible, de manière imperceptible, c’est-à-dire en étendant au maximum la puissance du marketing, cette persuasion occulte dont parlait déjà Talcott Parsons en définissant « la logique de la consommation », selon laquelle on suscite des désirs et des besoins que l’on n’a pas. C’est ainsi que l’on en arrive à l’homo consumens de Zygmunt Bauman, cet « essaim inquiet de consommateurs » qu’il faut tenir en bride grâce à ces systèmes. Par la suite, cette persuasion occulte s’est transposée dans le marketing politique, déjà à l’œuvre depuis des décennies, mais considérablement renforcé par l’IA. Celui qui détient les clés du marketing économique et politique exerce un contrôle persuasif sur une société.
À cela s’ajoute, comme nous le savons bien, le contrôle par la force, le contrôle brut, avec l’utilisation de l’IA dans l’industrie militaire. Lorsque le problème de la persuasion se joue sur le plan de la confrontation politique et militaire entre États, on revient au paradigme classique de Thrasymaque : « Ce qui est juste, c’est l’intérêt du plus fort ». Il ne reste que le droit du plus fort.
Nous voyons surgir, y compris de la part des Big Tech elles-mêmes, comme le montre le récent rapport d’Anthropic, des appels à une « pause mondiale » dans le développement, une invitation à « ralentir », afin de ne pas perdre le contrôle des systèmes les plus avancés.
Certes, certains acteurs du numérique se sont exprimés sur le « risque d’extinction » de l’espèce humaine, à l’instar de Sam Altman. Il est vrai qu’avec des systèmes d’armes « équipés » d’intelligence artificielle, une telle éventualité n’est pas à exclure, car il pourrait ne pas y avoir le temps technique — lors d’un affrontement militaire entre des systèmes d’armes prétendument intelligents — d’évaluer la réponse à une attaque. Le film K-19 nous raconte l’histoire d’une « fenêtre de réflexion » qui permet d’éviter l’apocalypse, lorsque le commandant russe du sous-marin désobéit au protocole. Aujourd’hui, face à la menace du piratage, tout le monde s’efforce de construire des systèmes d’armes impénétrables. Le problème, c’est qu’ils sont impénétrables pour les adversaires, mais aussi pour ceux qui en sont responsables. On risque une sorte de « réaction instinctive » des systèmes. Ce n’est pas du tout un scénario dystopique, cela relève de la même catégorie de problèmes que la dissuasion nucléaire.
Mais vous parlez aussi d’un autre type d’extinction, le risque de continuer à exister en tant que « morts-vivants (à l’intérieur) ».
L’autre sens de l’extinction est celui-ci : une disparition, non pas physique, mais comme si nous étions des zombies. Nous pensons vouloir ce que nous voulons, mais en réalité, nous voulons ce qu’on nous dit de vouloir du matin au soir.
L’enjeu, c’est donc la conscience de qui nous sommes ?
C’est là un problème crucial. Nous avons construit notre expérience dans un monde fondamentalement analogique, qui risque désormais de devenir une relique archéologique pour les jeunes, les natifs du numérique, venus au monde dans un langage social omniprésent et mis en œuvre par l’IA. Ils vivent une perte de leurs expériences relationnelles : désormais, ils se découvrent à travers un screening numérique, pour savoir s’ils sont compatibles ; pour ne pas subir cette dimension de l’affectivité analogique qu’est le rejet, ils fuient la joie de l’imprévisible d’une rencontre humaine à part entière. Et puis, lorsque l’on entre dans une relation en présentiel sans être préparé à son ouverture à toutes les possibilités de la rencontre humaine, face à un rejet, il faut accepter le fait que l’autre n’est plus un message que l’on peut cesser de taper ou réorganiser… « Mettre fin » à la relation en présentiel peut donc ne pas signifier simplement la laisser s’éteindre, mais ce que l’on lit parfois de manière dramatique dans les journaux. De plus, les niveaux de dépendance numérique sont devenus pathologiques, avec des exemples parfois tragiques, comme ce jeune garçon qui a tué sa mère parce qu’elle lui avait confisqué son téléphone portable. À notre époque, on nous mettait un cadenas sur le combiné pour que nous puissions étudier. Mais si, lorsque je te retire ton téléphone portable, c’est comme si je t’enlevais ton âme, alors l’enjeu est un combat pour soi-même. Pour la vie et pour la mort.
Dans votre livre, vous posez la question : « Que faire ? ». Comment y répondre ?
Sauver la « présence », cette relation de présence qui nous fonde et nous structure. Je crois en la nature profondément politique de bon nombre de ces problèmes, qui exigent des décisions collectives. Nous avons besoin de préserver notre statut existentiel analogique, sans que la mise en œuvre numérique de notre expérience ne fasse disparaître notre statut de présence, ou pour le dire avec Merleau-Ponty : sans qu’elle ne nous fasse perdre « la chair du monde ». Nous avons besoin de conserver la présence à nous-mêmes. Ce qui nous était donné comme allant de soi doit désormais devenir un programme politique, et avant tout éducatif. Je fais référence, par exemple, à la valorisation extrême de la relation pédagogique en présentiel, à la création d’espaces sociaux d’interaction psychophysique et affective entre des individus réels. De toutes les manières possibles. Nous devrions avoir une vie qui nous fasse sortir de l’écran. La smart city du futur dont nous avons besoin n’est pas tant celle qui sera mise en œuvre par des services numériques, mais celle qui sera construite pour préserver et nourrir la vie communautaire, en tant que communauté de présence.
Mais ce « pari politique » exige justement une prise de conscience de soi. Qui relève toujours de l’individu, avant d’être collective. On lit dans l’encyclique : « L’histoire peut changer lorsque ne serait-ce qu’un homme et une femme prennent vraiment au sérieux la dignité de tous ». Où se manifeste cette prise de conscience et que permet-elle ?
J’ai de l’espoir car ils ne parviendront pas à nous priver de notre corps. Paradoxalement, ce sera notre enracinement biologique et relationnel dans la vie charnelle avec les autres qui nous sauvera du risque que notre rationalité se désincarne, qu’elle devienne une pure poursuite de fins qui ne donnent pas de substance affective à notre être au monde. Cela en termes platoniciens. Dans la tradition de l’Ancien et du Nouveau Testament, nous serons sauvés par le fait d’être l’incarnation de l’Esprit, où Il peut, in interiore homine, habiter en tant que Vérité. Nous devons continuer à découvrir et à redécouvrir que c’est à notre « chair » mortelle, qui espère pourtant d’une certaine manière ne pas mourir, que nous devons ce que nous sommes. La mort n’est pas seulement le « plus grand penseur », comme le voulaient Paul et Kierkegaard, mais elle est aussi le plus grand « catalyseur » de la vie et du sens de la vie.
Pourquoi la mort nous rend-elle conscients de la vie ?
Oui, elle nous rend conscients de ce que signifie notre vie. Et que la vie « éternelle » ne sera pas atteinte par le biais d’un algorithme performatif, peut-être un système de machines indestructibles dans lesquelles transférer nos circuits mentaux. La vie échappe à la mort en se transmettant. La vie se sauve par la vie, par le fait de donner la vie. La vie se sauve en conservant ses raisons génératives, non pas en s’en remettant à une intelligence artificielle qui nous éterniserait dans notre instant narcissique singulier. Je deviens éternel si je transmets la vie à quelqu’un d’autre, qui se chargera de porter, pendant un certain temps, cet espoir d’éternité. D’un autre côté, certains de ces grands maîtres de l’IA nourrissent des projets de science-fiction d’« immortalité » pour eux-mêmes. C’est la tentative de vies qui se sentent tellement à bout que, plutôt que de générer de l’espoir, elles s’enferment dans leur désespoir nihiliste en cherchant à immortaliser rien d’autre que leur propre égoïsme. Le véritable problème est que, pendant que tout cela se passe, certains cherchent à gouverner les autres. À leur propre avantage.
L’aliénation refait surface.
L’encyclique reprend Hannah Arendt en affirmant que « lorsque la question de ce qui est vrai perd de son intérêt », on glisse « lentement mais inexorablement vers le totalitarisme », dont le sujet idéal est celui qui ne fait plus la distinction entre le fait et la fiction, entre le vrai et le faux. Que faut-il ?
Être aliéné, c’est être « hors » de soi, et donc exposé à s’effondrer en soi-même. Nous ne sommes pas aliénés lorsque nous sommes « auprès » de nous-mêmes, tout en conservant notre relationnalité innée. Même seuls, mais sans malaise. Dans une solitude choisie pour faire le point sur soi-même. Nous nous sentons bien lorsque nous sommes dans une situation d’« adhésion » à nous-mêmes, qui est toujours relation. Pour reprendre une belle expression de Giussani : « Je suis Toi-qui-me-fais ». C’est une évidence élémentaire de la raison relationnelle qui nous soutient, que Giussani reprend — en en faisant une évidence théologique — comme structure de notre rapport avec Dieu. Le défi qui se présente à nous aujourd’hui est que cette évidence risque d’être aliénée, si ce « toi » devient le grand « toi » numérique, et non le « toi » de Dieu ou/et des relations réelles. Nous devons lutter pour que ce « toi » soit et reste de chair. Du moins, sur le plan horizontal. Ou dans sa dimension verticale, celle d’un Dieu de la présence qui est à mes côtés, qui n’est pas une simple abstraction de l’esprit.
C’est pourquoi il disait qu’on peut ne pas être aliéné, même seul.
Oui, si ma solitude est remplie de l’amour de quelqu’un ou de quelque chose.
