« Superintelligence : Paths, Dangers, Stratégies » par Nick Borstrom.
Je me suis lancé dans la lecture de ce livre pesant et compliqué l’été dernier, suite à un tweet d’Elon Musk (je suis un fan!).
J’avais promis une fiche de lecture, et donc la voici: Autant vous le dire, ce n’est ni du Verlaine, ni même du Dan Brown!
Notez bien le « super » devant intelligence : on ne parle pas ici de Watson ou de Cortana, mais bien d’une conscience autonome distribuée à l’échelle planétaire dépassant de loin les capacités du genre humain dans sa version finale.
On peut résumer cet ouvrage comme une thèse en deux grandes parties :
- une étude prospective approfondie sur les scénarios d’émergence d’une super AI
- une Analyse de Risque étendue(!) sur les scénarios de menaces associés, qui se continue comme il se doit par une identification de toutes les mesures de sécurité pouvant nous prémunir d’une catastrophe.
Après avoir étudié de manière (vraiment!!!) systématique toutes les possibilités d’émergence d’une super-intelligence (de la sélection génétique accélérée in-vitro (brrrr!), à l’émulation informatique de cerveau en passant par le « Machine Learning » et l’interconnexion de cerveaux biologiques), la première partie arrive à deux conclusions :
- La première super-intelligence douée de conscience émergera d’ici 5 à 15 ans au plus tard, et s’appuiera sur la copie à l’échelle synaptique ou moléculaire d’un cerveau humain dans un supercalculateur distribué classique ou quantique, récupérant ainsi ce qui manquait aux GOFAI (Good Old-fashionned Artificial Intelligence) : la conscience,
- La seconde conclusion, est qu’après avoir tourné le problème dans tous les sens, il est vraisemblable que la SuperAI se mette à considérer le genre humain comme une bande de fourmis pourrissant son jardin, voir comme une menace à sa survie, est qu’elle décide au mieux de nous ignorer, au pire de nous …. écrabouiller.
Je sais, çà à l’air dingue, mais si Elon Musk , Bill Gates, Stephen Hawking, et Tim Cook et j’en passe, se sont affolés en lisant cette thèse (bon Tim Cook ne l’a peut-être pas lue ;-), c’est parce qu’elle est bien une analyse de risque approfondie du problème, réalisée par Nick Borstrom, qui est tout sauf un gourou de secte!
Une fois ces conclusions établies, la thèse part à la recherche tous les gros interrupteurs possibles pour couper le courant à la bête si jamais elle ne devenait pas sympa avec nous. Et en fait, il vaut mieux que l’interrupteur soit embarqué par construction, car sinon, l’actionner va être très, mais alors très compliqué.
Rappelons trois faits du monde réel, pour vous montrer à quel point cette projection est réaliste :
- Depuis vingt ans, Paul Allen, l’autre fondateur de Microsoft (celui qui est à Gates ce que Wozniak est à Jobs), financent de multiples recherches sur l’émulation de cerveau : Cela a commencé avec le Mouse Brain Project, au cours duquel un tronc cérébral de souris avait été émulé informatiquement sur un IBM, et cela se poursuit par le « Human Brain Project » toujours financé par le même. Un de fruits de ces projets s’appelle d’ailleurs le « Allen Brain Atlas« .
- Le plus grand supporter du « Brain Emulation » est actuellement l’Ingénieur en Chef de Google, Raymond Kurzweil, et s’il occupe ce poste, ce n’est pas juste pour la carte de visite et le joli logo coloré!
- Les USA, l’Europe et la Chine, se sont lancé à coup de dizaines de milliards de dollars dans la course au cerveau artificiel en suivant des voies différentes, mais en les parcourant à toute vitesse. Une nouvelle course aux armements est donc bien lancée, et l’objectif est une nouvelle bombe atomique, le problème c’est que celle-là, et bien elle pensera toute seule et elle fera ce qu’elle aura envie de faire!
Pour finir sur une bonne nouvelle, Elon Musk vient de doter la « Fundation for Future of Life » de 10 millions de dollars pour réfléchir à la bonne manière d’obtenir une superintelligence avec un caractère plutôt sympa!
PS : Des mauvaises langues disent que toute cette histoire a été inventée pour freiner Google (le principal suspect de vouloir créer une superAI), qui décidemment va beaucoup trop vite pour tout le monde : Du coup, Raymond Kurzweil a dit « N’ayez pas peur de la SuperAI » et Eric Schmidt : « Google will help you ! » : On est rassurés !