Présentation d’Apertus et du cadre du projet
Après plusieurs semaines d’attente, l’Ecole polytechnique fédérale de Zurich (EPFZ) et l’EPFL ont dévoilé Apertus, un grand modèle de langage développé au niveau national. Swissinfo a procédé à une évaluation du système en sollicitant les développeurs et d’autres spécialistes de l’IA pour distinguer les faits des conjectures et mettre en évidence les points forts et les limites observés.
Un outil destiné à des usages professionnels, pas au grand public
Contrairement à un assistant personnel comme ChatGPT, Apertus n’est pas conçu pour un usage individuel. Il s’agit d’un modèle d’IA de base, pensé pour être adapté à diverses applications et services, notamment dans l’économie et la recherche. Il pourrait être employé dans le commerce électronique ou dans le domaine médical pour extraire des informations clés à partir de données multilingues. « Le grand public n’est pas notre cible principale », affirme Imanol Schlag, chercheur à l’EPFZ qui a dirigé le volet technique.
Concurrence et positionnement par rapport aux LLM les plus répandus
A ce stade, Apertus est présenté comme le LLM entièrement ouvert le plus puissant disponible. Néanmoins, il ne se situe pas dans la même catégorie que les modèles brevetés tels que GPT-4, Gemini ou Claude, entraînés sur des ensembles de données bien plus vastes et bénéficiant d’une puissance de calcul considérable. « Comparer Apertus aux IA des grandes entreprises américaines, c’est comme comparer un petit agriculteur du Valais à un grand producteur de bœuf », commente El Mahdi El Mhamdi, professeur à l’EPF de Paris.
Des versions plus modestes peuvent toutefois être plus productives et davantage accessibles pour les petites et moyennes entreprises (PME), tout en exigeant moins d’énergie. « On est en train de prendre conscience que la qualité des données est plus importante que leur quantité », souligne Mete Ismayilzada, chercheur à l’EFPL et à l’Université de la Suisse italienne.
Éthique, transparence et conformité réglementaire
Apertus est présenté comme le premier grand modèle de langage conçu pour répondre aux exigences clés de l’European AI Act, entré en vigueur en 2024. Ces critères couvrent la transparence, la traçabilité des données ainsi que le respect de la propriété intellectuelle et de la vie privée. Les jeux de données utilisés pour l’entraînement proviennent de sources publiques et légales et n’incluent pas de contenus protégés par le droit d’auteur ou issus de sites qui ont choisi de ne pas être intégrés dans les bases d’entraînement.
En contraste, les géants de la tech exploitent depuis longtemps les données de milliards d’utilisateurs sans leur consentement, y compris des contenus protégés par le droit d’auteur. Apertus est donc particulièrement attractif pour les entreprises, les instituts de recherche et les organismes publics qui souhaitent développer des applications IA de manière éthique et en conformité avec les réglementations. « Nous montrons qu’il est possible d’entraîner une IA de manière responsable, sans piller la propriété intellectuelle d’autrui », affirme Imanol Schlag.
Capacités multilingues et limites
Les développeurs indiquent qu’Apertus est entraîné sur un vaste ensemble de langues, « plus de 1800 », y compris des langues minoritaires et des dialectes souvent négligés par d’autres grands modèles, tels que le romanche et le suisse allemand. Cependant, parler une langue et la maîtriser correctement ne vont pas de pair : des erreurs persistent, notamment en italien. En romanche, Apertus a parfois donné une traduction incorrecte du mot « grand-père ». Le directeur du développement reconnaît que les capacités conversationnelles doivent encore être améliorées, tout en soulignant que le système surpasse déjà certains concurrents sur des tâches spécifiques, comme la traduction de l’allemand vers le romanche, selon le dernier rapport technique.
Portée internationale et éléments spécifiques à la Suisse
Contrairement à une application limitée à la Suisse, Apertus vise une portée plus étendue: la majorité des données d’entraînement proviennent de sources internationales. Des exceptions existent toutefois, notamment des contenus en romanche et en suisse allemand, de même qu’une « charte de valeurs suisses » qui vise à fixer des principes tels que la neutralité et la diversité linguistique. « Mis à part ces aspects, notre modèle n’a rien de spécifiquement suisse », précise Imanol Schlag. L’équipe espère que d’autres pays s’intéresseront au projet et apporteront ressources humaines, infrastructures et moyens financiers pour le faire progresser au niveau européen, voire mondial, selon Maria Grazia Giuffreda, du centre de calcul de Lugano.
Actualisations et perspectives de financement
Contrairement à une idée répandue, Apertus ne peut pas se mettre à jour en temps réel tant qu’il reste déconnecté d’Internet. Après l’entraînement initial, les ajustements nécessitent un nouveau processus d’entraînement, coûteux et nécessitant des ressources importantes. Pour son prochain cycle, Apertus bénéficiera d’un financement fédéral de 20 millions de francs et du supercalculateur Swiss Alps, alimenté uniquement par l’énergie hydroélectrique pour limiter l’impact environnemental. À long terme, les responsables estiment qu’il faudra davantage de sources de financement. « Je voudrais voir des investissements accrus dans cette technologie, cruciale pour notre souveraineté numérique », conclut Imanol Schlag.