L’induction de Solomonoff est une forme d’induction mathématiquement rigoureuse et idéalisée, c’est-à-dire prédisant ce qui se passera dans le futur sur la base d’expériences antérieures. Cela fait partie de la théorie algorithmique de l’information. Ce schéma d’induction est théoriquement optimal, c’est-à-dire qu’avec suffisamment de données, il sera toujours en mesure d’attribuer des probabilités à des événements futurs avec la précision maximale autorisée. Le seul problème avec l’induction de Solomonoff est qu’elle est incalculable, c’est-à-dire qu’elle nécessiterait un ordinateur avec une puissance de traitement infinie pour fonctionner. Cependant, tous les schémas et machines inductifs réussis – y compris les animaux et les humains – sont des approximations de l’induction de Solomonoff.
Chaque argument verbal contenant des conseils pour une meilleure induction, dans la mesure où il fonctionne réellement, fonctionne en incitant l’auditeur à modifier sa stratégie inductive de manière à mieux se rapprocher de la théorie. L’idée que l’induction peut être formalisée mathématiquement de cette manière est assez profonde, et de nombreuses générations de logiciens et de philosophes ont dit que cela ne pouvait pas être fait. La théorie est née des travaux de Ray Solomonoff, Andrey Kolmolgorov et Gregory Chaitin dans les années 1960. Leur motivation sous-jacente était de formaliser la théorie des probabilités et l’induction à l’aide d’axiomes, de la même manière que l’algèbre et la géométrie ont été formalisées. La théorie est basée sur une règle inductive appelée théorème de Bayes, qui décrit une manière mathématique précise de mettre à jour les croyances en fonction des données entrantes.
Une faiblesse du théorème de Bayes est qu’il dépend d’une probabilité a priori pour un certain événement. Par exemple, la probabilité qu’un astéroïde heurte la Terre au cours des 10 prochaines années peut être donnée sur la base de données historiques sur les impacts d’astéroïdes. Cependant, lorsque la taille de l’échantillon d’événements antérieurs est faible, comme le nombre de fois qu’un neutrino a été détecté dans un piège à neutrinos, il devient très difficile de prédire la probabilité que l’événement se reproduise en se basant uniquement sur l’expérience passée.
C’est là qu’intervient l’induction de Solomonoff. En utilisant une mesure objective de la complexité appelée complexité de Kolmogorov, la théorie peut faire une supposition éclairée sur la probabilité qu’un événement futur se produise. La complexité de Kolmogorov est basée sur un principe appelé Longueur minimale de description (MDL), qui évalue la complexité d’une chaîne de bits sur la base de l’algorithme le plus court pouvant produire cette chaîne. Bien que la complexité de Kolmogorov ne s’appliquait initialement qu’aux chaînes de bits, elle peut être traduite pour décrire la complexité des événements et des objets.
L’induction de Solomonoff intègre la complexité de Kolmogorov dans le raisonnement bayésien, nous donnant des a priori justifiés pour des événements qui ne se sont peut-être même jamais produits. La probabilité antérieure d’un événement arbitraire est jugée sur la base de sa complexité et de sa spécificité globales. Par exemple, la probabilité que deux gouttes de pluie aléatoires dans une tempête frappent le même mètre carré est assez faible, mais beaucoup plus élevée que la probabilité de dix ou cent gouttes de pluie aléatoires frappant ce mètre carré.
Certains scientifiques ont étudié la théorie dans le contexte de la neuroanatomie, montrant comment l’induction optimale est un principe organisateur de l’évolution des animaux qui ont besoin d’une induction précise pour survivre. Lorsqu’une véritable Intelligence Artificielle sera créée, les principes seront probablement une inspiration sous-jacente à sa construction.