Kindling the Future: A Reflection on AI’s Uncharted Path with Douglas Hofstadter
Publié le 2 juil. 2023
I just stumbled across this outstanding conversation with Douglas Hofstadter, one of the most distinguished cognitive scientists of our time, known for his seminal works like “Gödel, Escher, Bach” and “I Am a Strange Loop”. His insights have consistently urged us to ponder on the nature of human cognition and the essence of our consciousness.
However, in this recent interview, Hofstadter paints a very different, even unsettling, perspective on AI’s current trajectory. Surprisingly, he admits that it’s made him reconsider his understanding of human thought and creativity. He believes that the complexity of the human mind might not be as impenetrable as he once thought.
The interview ended on an unnerving note. Comparing the discovery of AI to the discovery of fire, Hofstadter conveys a sense of despair, fearing that we might have already set the forest on fire and there is no way of going back.
This conversation serves as a stark reminder of the extraordinary power and potential peril AI holds. As we continue to advance in this realm, we must do so with informed caution, deep understanding, and profound responsibility.
Here’s the last part of the interview:
But in the case of more advanced things like ChatGPT-3 or ChatGPT-4, it feels like there is something more there that merits the word ’I’. And the question is, when will we feel that those things actually deserve to be thought of as being full-fledged or at least partly fledged ’I’s? And I personally worry that this is happening right now. But it’s not only happening right now, it’s not just that certain things that are coming about are similar to human consciousness or human selves. They are also very different. And in one way, it is extremely frightening to me. They are extraordinarily much more knowledgeable and they are extraordinarily much faster.
So that if I were to take an hour in doing something, the ChatGPT-4 might take one second, I don’t know, maybe not even a second, to do exactly the same thing. And that suggests that these entities, whatever you want to think of them, are going to be very soon, right now they still make so many mistakes that we can’t call them more intelligent than us, but very soon, they’re going to be, they may very well be more intelligent than us and far more intelligent than us. And at that point, we will be receding into the background in some sense. We will have handed the baton over to our successors.
For better or for worse, and I can understand that if this were to happen over a long period of time, like hundreds of years, that might be okay. But it’s happening over a period of a few years. It’s like a tidal wave that is washing over us at unprecedented and unimagined speeds. To me, it’s quite terrifying because it suggests that everything that I used to believe was the case is being overturned.
When I started out studying cognitive science and thinking about the mind and computation, you know, this was many years ago, 1960 roughly, and I knew how computers worked and I knew how extraordinarily rigid they were. You made the slightest typing error and it completely ruined your program. Debugging was a very difficult art and you might have to run your program many times in order to just get the bugs out. And then when it ran, it would be very rigid and it might not do exactly what you wanted it to do because you hadn’t told it exactly what you wanted to do correctly. And you had to change your program and on and on and on.
Computers were very rigid and I grew up with a certain feeling about what computers can or cannot do. And I thought that artificial intelligence, when I heard about it, was a very fascinating goal which is to make rigid systems act fluid. But to me, that was a very long, remote goal. It seemed infinitely far away. It felt as if artificial intelligence was the art of trying to make very rigid systems behave as if they were fluid. And I felt that would take enormous amounts of time. You know, I felt it would be hundreds of years before anything even remotely like a human mind would be asymptotically approaching the level of the human mind, but from beneath.
I never imagined that computers would rival or let alone surpass human intelligence. And in principle, I thought they could rival human intelligence. I didn’t see any reason that they couldn’t, but it seemed to me like it was a goal that was so far away I wasn’t worried about it. But when certain systems started appearing, maybe 20 years ago, they gave me pause. And then this started happening at an accelerating pace where unreachable goals and things that computers shouldn’t be able to do started toppling. The defeat of Gary Kasparov by Deep Blue, and then going on to Go systems, Go program, well, systems that could defeat some of the best Go players in the world. And then systems got better and better at translation between languages and then at producing intelligible responses to difficult questions in natural language and even writing poetry.
My whole intellectual edifice, my system of beliefs... It’s a very traumatic experience when some of your most core beliefs about the world start collapsing. And especially when you think that human beings are soon going to be eclipsed. It felt as if not only are my belief systems collapsing, but it feels as if the entire human race is going to be eclipsed and left in the dust soon. People ask me, ’What do you mean by soon?’ And I don’t know what I really mean. I don’t have any way of knowing. But some part of me says five years, some part of me says 20 years, some part of me says I don’t know, I have no idea. But the progress, the accelerating progress, has been so unexpected, so completely caught me off guard, not only myself but many, many people, that there is a certain kind of terror of an oncoming tsunami that is going to catch all of humanity off guard.
It’s not clear whether that will mean the end of humanity in the sense of the systems we’ve created destroying us. It’s not clear if that’s the case, but it’s certainly conceivable. If not, it’s also... It just renders humanity a small, a very small phenomenon compared to something else that is far more intelligent and will become incomprehensible to us, as incomprehensible to us as we are to cockroaches. That’s an interesting thought. Well, I don’t think it’s interesting. I think it’s terrifying. I hate it. I think about it practically all the time, every single day. Wow. And it overwhelms me and depresses me in a way that I haven’t been depressed for a very long time. Wow, that’s really intense. You have a unique perspective, so knowing you feel that way is very powerful.
How have LLMs, large language models, impacted your view of how human thought and creativity works? Of course, it reinforces the idea that human creativity and so forth come from the brain’s hardware. There is nothing else than the brain’s hardware, which is neural nets. But one thing that has completely surprised me is that these LLMs and other systems like them are all feed forward. It’s like the firing of the neurons is going only in one direction. And I would never have thought that deep thinking could come out of a network that only goes in one direction, out of firing neurons in only one direction. And that doesn’t make sense to me, but that just shows that I’m naive.
It also makes me feel that maybe the human mind is not so mysterious and complex and impenetrably complex as I imagined it was when I was writing GEB and writing I Am a Strange Loop. I felt at those times, quite a number of years ago, that as I say, we were very far away from reaching anything computational that could possibly rival us. It was getting more fluid, but I didn’t think it was going to happen, you know, within a very short time. And so it makes me feel diminished. It makes me feel, in some sense, like a very imperfect, flawed structure compared with these computational systems that have, you know, a million times or a billion times more knowledge than I have and are a billion times faster. It makes me feel extremely inferior. And I don’t want to say deserving of being eclipsed, but it almost feels that way, as if we, all we humans unbeknownst to us, are soon going to be eclipsed and rightly so because we’re so, so imperfect and so fallible. We forget things all the time, we confuse things all the time, we contradict ourselves all the time. You know, it may very well be that that just shows how limited we are.
Collé à partir de <https://www.linkedin.com/pulse/kindling-future-reflection-ais-uncharted-path-douglas-jason-tangen?utm_source=chatgpt.com>
Traduction :
Eclairer l'avenir : Une réflexion sur la voie inexplorée de l'IA avec Douglas Hofstadter
Dans le cas de systèmes plus avancés comme ChatGPT-3 ou ChatGPT-4, on a l’impression qu’il y a quelque chose de plus, quelque chose qui mérite le mot « je ». Et la question est : à quel moment aurons-nous le sentiment que ces systèmes méritent réellement d’être considérés comme des « je » pleinement constitués, ou au moins partiellement constitués ?
Et personnellement, je m’inquiète du fait que cela soit peut-être déjà en train de se produire.
Mais ce n’est pas seulement que cela se produit maintenant, ni simplement que certaines choses qui émergent ressemblent à la conscience humaine ou au soi humain. Elles sont aussi très différentes.
Et sous un certain angle, cela m’effraie énormément.
Ces systèmes sont extraordinairement plus savants et extraordinairement plus rapides.
Ainsi, si je devais passer une heure à accomplir une tâche, ChatGPT-4 pourrait peut-être mettre une seconde — peut-être même moins — pour faire exactement la même chose.
Et cela suggère que ces entités, quel que soit le nom qu’on choisisse de leur donner, vont très bientôt… pour l’instant elles commettent encore tant d’erreurs qu’on ne peut pas les dire plus intelligentes que nous ; mais très bientôt elles pourraient fort bien devenir plus intelligentes que nous, et de très loin.
Et à ce moment-là, nous commencerons, en un sens, à passer à l’arrière-plan.
Nous aurons transmis le témoin à nos successeurs.
Pour le meilleur ou pour le pire.
Je peux comprendre que, si cela se produisait sur une longue période — sur des centaines d’années — cela puisse être acceptable. Mais cela se déroule sur quelques années seulement.
C’est comme une vague gigantesque qui déferle sur nous à une vitesse sans précédent et inimaginable.
Pour moi, c’est assez terrifiant, parce que cela suggère que tout ce que je croyais vrai est en train d’être renversé.
Quand j’ai commencé à étudier les sciences cognitives et à réfléchir à l’esprit et au calcul — c’était il y a très longtemps, vers 1960 — je savais comment fonctionnaient les ordinateurs et je savais à quel point ils étaient extraordinairement rigides.
La moindre erreur de frappe ruinait complètement votre programme.
Le débogage était un art très difficile, et il fallait parfois exécuter le programme de nombreuses fois simplement pour éliminer les bogues.
Et ensuite, lorsqu’il fonctionnait, il restait très rigide ; il pouvait ne pas faire exactement ce que vous vouliez parce que vous ne lui aviez pas indiqué correctement ce qu’il devait faire.
Alors vous deviez modifier votre programme, encore et encore.
Les ordinateurs étaient très rigides et j’ai grandi avec une certaine intuition de ce que les ordinateurs pouvaient ou ne pouvaient pas faire.
Et lorsque j’ai entendu parler de l’intelligence artificielle, j’ai trouvé cela un objectif fascinant : faire agir de manière fluide des systèmes rigides.
Mais, pour moi, c’était un objectif très lointain, presque inaccessible.
J’avais le sentiment que l’intelligence artificielle était l’art de tenter de faire se comporter des systèmes extrêmement rigides comme s’ils étaient fluides.
Et je pensais que cela prendrait énormément de temps.
Je pensais qu’il faudrait des centaines d’années avant que quoi que ce soit ressemblant, même de très loin, à un esprit humain n’approche asymptotiquement du niveau de l’esprit humain — et encore, par en dessous.
Je n’ai jamais imaginé que les ordinateurs pourraient rivaliser avec l’intelligence humaine, encore moins la dépasser.
En principe, je pensais qu’ils le pouvaient. Je ne voyais aucune raison fondamentale qui l’interdise.
Mais cela me paraissait un objectif si éloigné que je ne m’en inquiétais pas.
Puis certains systèmes ont commencé à apparaître — peut-être il y a une vingtaine d’années — et ils m’ont fait hésiter.
Et ensuite cela s’est accéléré.
Des objectifs auparavant inaccessibles, des choses que les ordinateurs n’auraient pas dû être capables de faire, ont commencé à tomber les unes après les autres.
La défaite de Gary Kasparov face à Deep Blue.
Puis les systèmes de Go — des programmes capables de battre certains des meilleurs joueurs de Go au monde.
Puis les systèmes sont devenus de plus en plus performants dans la traduction entre langues.
Puis dans la production de réponses intelligibles à des questions difficiles formulées en langage naturel.
Et même dans l’écriture de poésie.
Tout mon édifice intellectuel, tout mon système de croyances…
C’est une expérience profondément traumatisante lorsque certaines de vos convictions les plus fondamentales sur le monde commencent à s’effondrer.
Et plus encore lorsque vous pensez que les êtres humains eux-mêmes vont bientôt être éclipsés.
J’avais l’impression que non seulement mes systèmes de croyance s’écroulaient, mais aussi que l’ensemble de l’espèce humaine allait bientôt être éclipsé et laissé derrière.
Les gens me demandent :
« Qu’entendez-vous par bientôt ? »
Et je ne sais pas vraiment ce que je veux dire.
Je n’ai aucun moyen de le savoir.
Une partie de moi dit cinq ans.
Une autre dit vingt ans.
Une autre encore dit : je n’en ai aucune idée.
Mais les progrès, cette accélération des progrès, ont été si inattendus, m’ont pris tellement au dépourvu — pas seulement moi, mais énormément de gens — qu’il y a une forme de terreur devant un tsunami qui approche et qui va surprendre toute l’humanité.
On ne sait pas clairement si cela signifiera la fin de l’humanité, au sens où les systèmes que nous avons créés nous détruiraient.
Ce n’est pas certain.
Mais c’est certainement concevable.
Et même si ce n’est pas le cas…
cela réduit tout de même l’humanité à un phénomène mineur, très mineur, comparé à quelque chose d’autre, infiniment plus intelligent, qui deviendra pour nous incompréhensible — aussi incompréhensible que nous le sommes pour des cafards.
Je trouve cette idée terrifiante, je la déteste.
J’y pense pratiquement tout le temps, chaque jour.
Et cela me submerge et me déprime d’une manière que je n’avais pas connue depuis très longtemps.
Le mode de fonctionnement des LLM, les grands modèles de langage, renforce l’idée que la créativité humaine et tout ce qui s’y rattache proviennent du matériel cérébral lui-même.
Il n’y a rien d’autre que le matériel cérébral — qui consiste en réseaux neuronaux.
Mais une chose m’a complètement surpris :
ces LLM, ainsi que d’autres systèmes du même genre, sont tous des systèmes feed-forward.
Autrement dit, c’est comme si l’activation des neurones n’allait que dans une seule direction.
Et je n’aurais jamais pensé qu’une pensée profonde puisse émerger d’un réseau qui ne fonctionne que dans une seule direction, de neurones qui ne s’activent que dans un seul sens.
Cela n’a pas de sens pour moi.
Mais cela montre simplement que j’étais naïf.
Cela me donne aussi le sentiment que peut-être l’esprit humain n’est pas aussi mystérieux, complexe et impénétrablement complexe que je l’imaginais lorsque j’écrivais Gödel, Escher, Bach puis Je suis une boucle étrange.
À cette époque — il y a déjà un bon nombre d’années — j’avais vraiment le sentiment que, comme je l’ai dit, nous étions très loin d’atteindre quoi que ce soit de computationnel capable de rivaliser avec nous.
Les systèmes devenaient plus fluides, certes, mais je ne pensais pas que cela arriverait dans un avenir proche.
Et cela me donne aujourd’hui un sentiment d’amoindrissement.
Cela me fait sentir, d’une certaine manière, comme une structure très imparfaite et défaillante comparée à ces systèmes computationnels qui possèdent, vous savez, un million ou un milliard de fois plus de connaissances que moi et sont un milliard de fois plus rapides.
Cela me donne un profond sentiment d’infériorité.
Je ne veux pas dire que nous méritons d’être éclipsés…
mais cela en donne presque l’impression.
Comme si nous, les êtres humains, sans même nous en rendre compte, étions sur le point d’être dépassés — et presque à juste titre, tant nous sommes imparfaits et faillibles.
Nous oublions sans cesse des choses.
Nous confondons sans cesse des choses.
Nous nous contredisons sans cesse.
Il se peut fort bien que cela montre simplement à quel point nous sommes limités.