Title: "Scaling Neuro-symbolic Problem Solving: Solver-Free Learning of Constraints and Objectives" ( Effie-Reas : une architecture Neuro-symbolique² qui (apprend vite) & (raisonne bien))

Abstract (Anglais)

Background: In the ongoing quest for hybridizing discrete reasoning with neural nets, there is an increasing interest in neural architectures that can learn how to solve discrete reasoning or optimisation problems from natural inputs, a task that Large Language Models seem to struggle with.

Objectives: We introduce a differentiable neuro-symbolic architecture and a loss function dedicated to learning how to solve NP-hard reasoning problems.

Methods: Our new probabilistic loss allows for learning both the constraints and the objective – possibly non-linear – of acombinatorial problem. Thus, it delivers a complete model that can be scrutinized and completed with side constraints. By pushing the combinatorial solver out of the training loop, our architecture also offers scalable training while exact inference gives access to maximum accuracy.

Results: We empirically show that it can efficiently learn how to solve NP-hard reasoning problems from natural inputs. On three variants of the Sudoku benchmark – symbolic, visual, and many-solution –, our approach requires a fraction of data and training time of other hybrid methods. On a visual Min-Cut/Max-cut task, it optimizes the regret as well as a Decision-Focused-Learning regret-dedicated loss. Finally, it efficiently learns the energy optimisation formulation of the large real-world problem of designing proteins.

Résumé (Français): L’apprentissage profond a permis de construire des outils capables de répondre, de façon souvent très convaincante, à des requêtes complexes exprimées sous des formes très variées, y compris en langage naturel (LLM). Mais ces « LLM » ont bien du mal à montrer qu’ils sont réellement capables de raisonner logiquement. Depuis plus de 25 ans, l’IA symbolique a, indépendamment, produit des outils de raisonnement automatique et d'optimisation discrète exacts, de plus en plus efficaces et sophistiqués. Pour obtenir le meilleur des deux mondes, il est tentant d’essayer d'assembler un système neuronal intuitif, rapide et apprenant et un système logique, rigoureux et nécessairement plus lent. Dans cette présentation, je décrirai et illustrerai une architecture que nous avons récemment proposée et qui est un pas dans cette direction. Capable, à partir d’exemples, d’apprendre à jouer au Sudoku, à résoudre des problèmes d’optimisation combinatoires complexes (ou non) ou à concevoir des molécules, cette architecture combine deux propriétés jusqu’ici difficiles à conjuguer : elle apprend vite et raisonne bien, permettant d’aboutir à des performances qui dépassent, sur ces mêmes problèmes, celles d’outils d’apprentissage profond purs très récents.