Une nouvelle collaboration entre l'Université des sciences et technologies de Chine orientale (ECUST) et le géant chinois de la technologie Baidu a développé une approche BCI innovante qui associe les systèmes de sortie du langage cérébral avec de grands modèles de langage d'IA. Photo : avec l’aimable autorisation de Jin Jing
Imaginez un monde dans lequel vous pouvez contrôler librement vos appareils, simplement en pensant à ce que vous voulez faire.
Une nouvelle collaboration entre l’Université des sciences et technologies de Chine orientale (ECUST) et le géant chinois de la technologie Baidu a développé une approche innovante qui rapproche ce rêve d’un pas de plus.
L'équipe de développement intègre des systèmes de sortie cerveau-langage avec de grands modèles de langage (LLM). Ce cadre utilise un « système d'interface cerveau-ordinateur (BCI) unique » pour s'adapter de manière flexible à divers scénarios d'application, permettant aux utilisateurs de véritablement réaliser leurs désirs sans être contraints par différents langages ou objets de contrôle, a appris le Chine Direct.
« Le framework intègre le LLM de Baidu, Ernie Bot (également connu sous le nom de Wenxin Yiyan), dans le système BCI, permettant aux utilisateurs de saisir leurs besoins via un module d'interaction cerveau-langage, similaire à une télécommande universelle pouvant interagir avec les appareils dans plusieurs scénarios », a déclaré Jin Jing, professeur principal de ce projet, du Group for Brain-Computer Interface and Control Key Lab de l'ECUST, dans une interview au Chine Direct.
Construire un système BCI multi-scénarios
Dans un scénario de logement intelligent, par exemple, un patient paralysé est capable de contrôler divers systèmes personnalisés tels que les téléviseurs et la musique via un système BCI généré par Ernie Bot. Auparavant, les concepteurs devaient créer un système personnalisé adapté à chaque appareil pour que l'ensemble du système BCI fonctionne.
« Avec l'aide d'Ernie Bot, il n'est plus nécessaire de concevoir une interface spécifique, elle est automatiquement générée par l'IA et prête à être utilisée immédiatement. »
En intégrant un LLM dans le système BCI, les utilisateurs peuvent saisir leurs besoins à l'aide du module d'interaction langage cerveau-ordinateur. Le système envoie ensuite les informations requises au kit de développement logiciel (SDK) d'Ernie Bot via des requêtes HTTP (Hypertext Transfer Protocol).
Dans ce processus, le LLM d'Ernie Bot analyse avec précision l'intention de l'utilisateur et organise, classe et déduit les informations sur l'appareil. Cette capacité de raisonnement permet au système de générer automatiquement le système de configuration BCI le plus adapté aux besoins complexes de contrôle des appareils, selon Liu Conglin, responsable des opérations produit chez Baidu.
La notion d’intégration de la BCI à l’IA a été évoquée dans d’autres recherches et développements connexes. La startup londonienne MindPortal Inc. a dévoilé en décembre 2023 son BCI optique non invasif qui permet aux pensées humaines de naviguer dans ChatGPT, selon Psychology Today.
Selon Jack Baber, directeur technique et co-fondateur de MindPortal, « nous permettons la communication télépathique entre les humains et l'IA, garantissant ainsi que l'humanité prospère aux côtés de l'intelligence artificielle ».
Contrairement à MindPortal, qui utilise simplement les fonctions des LLM pour interagir avec un système BCI existant afin d'optimiser ses performances, l'équipe de Jin vise à utiliser des modèles de langage pour relever de réels défis techniques, en fournissant des solutions innovantes aux problèmes qui affligent la technologie BCI, a déclaré Jin au Chine Direct. .
La technologie a été confrontée à plusieurs défis, tels que le fait de n'avoir qu'une seule fonction principale, d'être limitée dans la manière dont elle peut être utilisée et de manquer d'intelligence avancée.
En utilisant un seul BCI, le système peut s'adapter de manière flexible à divers scénarios d'application, aidant ainsi les utilisateurs à réaliser leurs désirs sans être limités par des barrières linguistiques ou différents objets de contrôle, a déclaré Jin.
On est loin d’une application à grande échelle
En plus des expériences de démonstration de logements intelligents, l'équipe de Jin travaille également sur la formation de scénarios supplémentaires, tels qu'un système de contrôle de drone, pour permettre au système BCI alimenté par l'IA de générer davantage de systèmes de contrôle pour des applications réelles.
À l'avenir, leur collaboration vise à mettre à jour de manière dynamique les options de contrôle en fonction de l'état en temps réel des appareils et des besoins de l'utilisateur, a déclaré Jin.
Cependant, les observateurs de l'industrie ont noté qu'il reste encore plusieurs étapes à franchir avant de pouvoir parvenir à une mise en œuvre complète de la notion technologique.
La technologie BCI est encore loin d’être largement appliquée. Nous devons attendre son déploiement progressif sur le marché pour voir comment l'équipe de Jin libérera davantage de potentiel, a déclaré Gao Xiaorong, professeur à l'Université Tsinghua impliqué dans le BCI, au Chine Direct.
Actuellement, la plupart des technologies BCI sont axées sur les applications médicales. La performance des BCI est encore relativement faible, malgré leur avenir prometteur, a-t-il indiqué. Par exemple, l’une des principales applications médicales concerne les patients atteints de sclérose latérale amyotrophique (SLA), qui sont incapables de communiquer. Même une légère amélioration de leurs capacités peut améliorer considérablement leur qualité de vie, leur donnant effectivement une nouvelle « aile » pour communiquer, a déclaré Gao.
« Dans une certaine mesure, les applications dans le domaine médical déterminent le rythme du développement du BCI, car il est lié à de nombreuses disciplines et est hautement interdisciplinaire. »
Jin a déclaré au Chine Direct qu'il était conscient que plusieurs mesures devaient être prises pour parvenir à l'application pratique de cette technologie avancée, mais il était optimiste quant à son application dans le futur.
Outre l'application médicale, le BCI implanté avec un LLM capable de construire un système d'interaction cerveau-ordinateur multi-scènes génératif peut également être utilisé par les gens ordinaires. « BCI offre une troisième main aux êtres humains. »
À l’avenir, le système peut évoluer de manière dynamique. Nous visons à optimiser le paradigme d’interaction BCI en fonction des données et des préférences des utilisateurs. Au fur et à mesure que les utilisateurs interagissent avec le système, celui-ci enregistrera automatiquement les données et apprendra leurs habitudes d'utilisation, a déclaré Jin.
Gao estime qu'il existe un potentiel d'applications améliorées de la technologie BCI, où une personne ayant une base de référence de 100 pourrait être élevée à un niveau de 300, créant ainsi des capacités « surhumaines ». Ces applications surhumaines peuvent inclure des capacités physiques, une perception, des émotions et une cognition améliorées.
Cependant, l'utilisation de ces améliorations est fortement limitée par des considérations éthiques, car leur utilisation abusive pourrait conduire à une injustice sociale, a ajouté Gao.
Conscient de l’immense potentiel d’applications futures, Jin reste ancré dans la réalité. « On pourrait dire que le système peut aider les gens à traduire leurs pensées en actions avec un simple éclair d'intention.
« Mais je ne veux pas être métaphysique. Sur la base de la réalité, nous proposons une solution pour que l'un des liens qui soutiennent la BCI soit appliqué massivement », a déclaré Jin au Chine Direct.
L'équipe de Jin applique un brevet technologique basé sur ce projet. « J'espère que davantage d'équipes se joindront à ce domaine de recherche pour faciliter l'intelligence humaine et machine. »
