Le domaine en plein essor de l’intelligence artificielle, et notamment les grands modèles de langage (LLM), ouvre des perspectives inédites pour la santé mentale. Accès facilité à un premier soutien, à des informations de meilleure qualité, à l’accompagnement thérapeutique, et réduction des charges administratives : les avantages potentiels sont considérables. Mais quand il s’agit de santé mentale, une exigence s’impose avant toute chose : garantir la confidentialité, la sécurité des données et un déploiement éthique. C’est cette exigence qui a guidé la création de Joy, notre IA au service de la santé mentale.
Cet article explore le processus de création d’un système LLM sécurisé pour la santé mentale, et plus particulièrement les choix éthiques, réglementaires et techniques qui ont structuré son développement. En quoi la réglementation européenne est-elle un socle essentiel ? Quels sont les risques inhérents au recours à des fournisseurs de LLM tiers ? Et pourquoi opter pour un déploiement interne basé sur des solutions open source ? Nous expliquons comment notre outil garantit que les données restent là où elles doivent être : en toute sécurité, au plus près de l’utilisateur.
Cadre réglementaire : protéger les données et encadrer l’IA
Ce que dit le RGPD
Le RGPD (Règlement Général sur la Protection des Données) est obligatoire pour tout système traitant des données personnelles au sein de l’Union Européenne (UE). Concernant les données de santé mentale relevant des « catégories particulières de données personnelles », celles-ci exigent une protection encore plus élevée.
- Licéité, équité et transparence : Tout traitement de données, y compris celui effectué par un LLM, doit reposer sur une base juridique claire (par exemple, un consentement explicite pour les données de santé), être équitable et totalement transparent pour la personne concernée. Les utilisateurs doivent comprendre quelles données sont collectées, comment elles sont utilisées et par qui.
- Limitation des finalités et minimisation des données : Les données personnelles doivent être collectées à des fins spécifiques, explicites et légitimes, et ne pas être traitées ultérieurement d’une manière incompatible avec ces finalités. Seules les données strictement nécessaires à la fonction prévue du LLM doivent être collectées. Cela encourage l’utilisation de données anonymisées ou pseudonymisées autant que possible, qui ne sont pas considérées comme des données personnelles au sens du RGPD.
- Limitation de la conservation : Les données ne doivent pas être conservées plus longtemps que nécessaire aux fins pour lesquelles elles sont traitées. Une preuve de destruction peut ainsi être demandée.
- Exactitude : Les données personnelles doivent être exactes et, si nécessaire, mises à jour. Cela représente un défi pour les LLM, car leurs données d’apprentissage peuvent contenir des inexactitudes et les modèles eux-mêmes peuvent « halluciner » des informations erronées.
- Intégrité et confidentialité (sécurité) : Des mesures techniques et organisationnelles appropriées doivent être mises en place pour garantir la sécurité des données personnelles, notamment la protection contre tout traitement non autorisé ou illicite et contre toute perte, destruction ou dommage accidentels. Le chiffrement, le stockage sécurisé et le contrôle des accès sont essentiels.
- Droits de la personne concernée : Le RGPD accorde aux individus des droits importants, notamment le droit d’accéder à leurs données, le droit de rectification (correction) et le droit à l’effacement (le « droit à l’oubli »). La nature des LLM, où les informations sont profondément ancrées dans les pondérations des modèles, rend l’exercice de ces droits particulièrement complexe. Par exemple, le « désapprentissage automatique » visant à effacer des points de données spécifiques d’un modèle volumineux nécessite des calculs intensifs et est souvent difficile à mettre en œuvre avec les technologies actuelles.
- Analyses d’impact relatives à la protection des données (AIPD) : Pour les activités de traitement à haut risque, une AIPD est obligatoire afin d’évaluer et d’atténuer les risques pour les droits et libertés des personnes. Le recours à une AIPD à des fins de santé mentale nécessiterait presque certainement une AIPD.
- Responsabilité : les organisations doivent être en mesure de démontrer leur conformité aux principes du RGPD.
Ce que dit l’AI Act
La loi européenne sur l’IA, entrée en vigueur en août 2024, catégorise les systèmes d’IA en fonction de leur niveau de risque, les systèmes « à haut risque » étant soumis à des exigences strictes. Les systèmes d’IA destinés à être utilisés comme dispositifs médicaux ou dans des infrastructures critiques, ou à des fins portant atteinte aux droits fondamentaux, sont généralement considérés comme à haut risque. Les applications de santé mentale, notamment celles offrant une aide au diagnostic, un accompagnement thérapeutique ou un suivi des patients, relèveront très probablement de cette catégorie.
Les obligations prévues pour tout système d’IA dit « à haut risque » :
- Systèmes de gestion des risques robustes : Identification, évaluation et atténuation continues des risques tout au long du cycle de vie du système d’IA.
- Ensembles de données de haute qualité : Les données d’entraînement, de validation et de test doivent répondre à des normes strictes de qualité, de pertinence et de représentativité afin de minimiser les biais et de garantir l’exactitude.
- Documentation technique et tenue de registres : Une documentation détaillée doit être conservée pour démontrer la conformité.
- Transparence et information des utilisateurs : Les utilisateurs doivent être informés qu’ils interagissent avec un système d’IA. Les systèmes à haut risque doivent fournir des instructions d’utilisation claires et complètes, décrivant leurs capacités et leurs limites. Pour les applications de santé mentale, il est crucial d’empêcher les utilisateurs de croire qu’ils parlent à un humain.
- Supervision humaine : Les systèmes d’IA à haut risque doivent être conçus pour permettre une supervision humaine significative, permettant une intervention et une correction humaines si nécessaire.
- Précision, robustesse et cybersécurité : des normes élevées pour ces aspects sont requises pour garantir la fiabilité du système et sa résilience aux attaques.
- Évaluation de la conformité : avant d’être mis sur le marché ou mis en service, les systèmes d’IA à haut risque doivent faire l’objet d’une évaluation de la conformité.
Comme nous venons de le voir, le RGPD et l’IA Act posent un cadre strict, mais encore faut-il pouvoir le garantir dans la pratique. C’est ce qui a motivé notre choix d’un déploiement interne, pour maîtriser pleinement les risques, la sécurité des données et le respect des principes éthiques.
Stratégie : pourquoi nous avons choisi un déploiement interne
Pourquoi exclure le recours à une plateforme cloud d’IA tiers ?
L’utilisation de plateformes cloud d’IA telles que ChatGPT contrevient à plusieurs critères rappelés du RGPD ou de l’IA Act, notamment :
- Limitation de la conservation : Lorsqu’un service tiers accède à des données non structurées via une API, des données pouvant de facto contenir des informations personnelles, sensibles et confidentielles, il est impossible de garantir le respect des délais de conservation ou d’obtenir une preuve de destruction.
- Intégrité et confidentialité (sécurité) : En cas de recours à une plateforme d’IA tierce, la sécurité repose sur des clauses contractuelles plutôt que sur un contrôle opérationnel effectif, observable en temps et démontrable.
- Responsabilité : La majorité des fournisseurs cloud excluent, dans leurs conditions générales, toute responsabilité en cas de fuite ou d’incident.
- Systèmes de gestion des risques robustes : Dans le cas d’un service de santé ou de santé mentale, les risques encourus par les plateformes telles que teale ne sont pas les mêmes que ceux encourus par ChatGPT car l’usage explicite de certaines informations pour le domaine de la santé impose de nouveaux critères qui ne sont pas intégrés dans les solutions tout public ou accessibles via les APIs.
- Ensembles de données de haute qualité : Les jeux de données utilisés pour l’entraînement des modèles tiers ne sont pas publics, ce qui empêche de vérifier la qualité, la pertinence ou les biais des réponses générées. Or, dans le domaine de la santé mentale, il est essentiel de pouvoir contrôler ces réponses à partir d’un corpus certifié et validé par des experts du sujet. Chez teale, le modèle est nourri exclusivement du contenu ultra-spécialisé et validé depuis plusieurs années de notre plateforme.
- Évaluation de la conformité : Lorsqu’un modèle est mis à jour, il est impératif de vérifier la qualité de ses réponses et son bon fonctionnement avant tout déploiement. Avec les plateformes cloud, ces mises à jour sont continues et opérées unilatéralement par le fournisseur, sans possibilité de contrôle préalable. Cela expose à des modifications majeures du comportement du modèle, à des failles potentielles de sécurité ou à des dégradations de la qualité des réponses.
D’autres raisons nous ont poussés vers une stratégie de déploiement en interne mais celles-ci ne concernent ni la Data Privacy ni la Cybersecurity : nous ne les exposerons donc pas dans cet article. Ces raisons concernent davantage le contrôle des systèmes et leurs mises à jour, la maîtrise des coûts ou encore l’opportunité d’ajustement spécifique pour le domaine de la santé mentale.
Isolation réseau : des LLM déployés sur un réseau interne sécurisé
Manipuler des données non structurées — et susceptibles, par nature, de contenir des données personnelles — implique une très grande responsabilité.
Afin de limiter les accès et de maîtriser les flux de données, nous avons fait le choix de déployer nos services LLM sur le réseau interne privé de teale, sans accès à Internet.
Un LLM peut en effet, dans certaines conditions, interroger des ressources externes pour enrichir son contexte. Dans le cadre de l’utilisation d’un service cloud, il est donc impossible de garantir qu’aucune requête ne soit envoyée vers Internet.
Chez teale, nos services LLM sont configurés comme des points de terminaison du réseau isolés : aucune requête extérieure n’est autorisée.
Chiffrement : sécuriser l’historique des interactions
« Les LLM ont une capacité de mémorisation. » C’est faux.
Les LLM sont basés sur la technologie des réseaux de neurones. Un réseau de neurones (ou LLM) n’est généralement entraîné qu’une seule fois car c’est un processus extrêmement coûteux en ressources. Lorsqu’il génère une réponse, il le fait par inférence : le texte d’entrée va suivre le même chemin que les milliards d’autres données d’entraînement. Ce procédé, dit stateless (sans état), signifie qu’un LLM ne retient rien des requêtes qu’il traite : produire une réponse via un LLM ne modifie pas son état, il ne peut donc pas mémoriser quoi que ce soit.
La notion de « mémoire » dans les LLM est un artifice technologique : l’historique des interactions de l’utilisateur est réinjecté dans le prompt pour enrichir le contexte. Plus cet historique est long, plus les réponses sont pertinentes. La question à présent est donc de savoir où et surtout comment est stocké l’historique de ces interactions, sachant que celui-ci contient nécessairement des données personnelles.
Chez teale, cet historique est stocké dans une base de données dédiée, isolée, et chiffrée.
- Les requêtes et réponses sont chiffrées à l’aide du protocole
aes-256-gcm
. - À chaque écriture, la clé de chiffrement est tirée aléatoirement parmi trois clés disponibles.
- Ces clés font également l’objet d’une rotation automatique.
- Le déchiffrement n’a lieu qu’au moment de la reconstitution du contexte, avant l’appel au LLM.
- Chaque accès en clair à une donnée chiffrée est autorisé de manière unique et laisse une trace dans nos systèmes, permettant d’identifier le processus à l’origine de la demande.
Oubli : limiter la conservation des données non structurées
Il n’y a pas de donnée plus sensible que la donnée non structurée, c’est-à-dire non contrainte par un schéma précis, saisie librement dans un champ texte.
Les interactions avec les services Internet se font via des APIs et des interfaces graphiques (web ou native) contextualisant très fortement la donnée transmise. Par exemple, renseigner son âge sur un formulaire en ligne conduit à l’insertion, dans une base de données, de la valeur numérique renseignée dans la colonne age
correspondante. L’inventaire des données sensibles peut ainsi être maintenu grâce à ce contexte et ces bases de données.
Dans le cas d’un LLM, l’utilisateur a en face de lui un champ texte sans contexte. Il peut écrire ce qu’il veut. Il appartient alors au système de “comprendre” sa demande et de lui fournir la réponse. Ce changement de paradigme est fondamental car il détruit la notion d’inventaire et de catégorisation des données par la plateforme proposant le service. Ainsi, et par voie de conséquence, ne pouvant plus catégoriser l’information via un contexte contractualisé, le plus haut niveau de criticité doit être apposé à la requête reçue (Principe de moindre privilège).
Chez teale, nous avons choisi une politique stricte d’oubli, en complément du chiffrement que nous avons expliqué précédemment :
- L’historique des interactions est automatiquement supprimé après 24 heures.
- Nos systèmes ne disposent donc que d’un historique limité à 24 heures d’échanges avec les LLM, ce qui réduit significativement le volume de données à sécuriser, et donc les risques d’attaque sur ces systèmes.
Cela ne remet pas en cause la gestion des données explicitement catégorisées comme les scores du Wellbeing Tracker ou les activités réalisées sur notre plateforme : ces informations sont stockées de manière sécurisée, avec des niveaux d’accès et de protection adaptés.
Cache sémantique : optimiser les performances sans compromettre la confidentialité
Effectuer une inférence sur un LLM prend du temps : de quelques secondes à plusieurs minutes. Lors de ce calcul, une grande quantité de mémoire doit être allouée sur les GPUs du serveur. Cette allocation limite la capacité du serveur à traiter d’autres requêtes et l’empreinte mémoire reste élevée pendant toute la durée de l’inférence (avec des variations possibles).
Pour limiter cette charge, il est courant d’utiliser un cache, qui stocke les réponses générées pour pouvoir les réutiliser si une requête identique ou très proche est soumise à nouveau.
Pour réduire le temps de calcul et limiter cette charge, il est courant de mettre en place une stratégie de cache : le cache stocke les réponses générées pour pouvoir les réutiliser dans le cas où la même requête serait effectuée. Mais comment interroger ce cache pour retrouver la bonne réponse lorsque la requête est non structurée ?
La solution classique consiste à utiliser une recherche de similarité sémantique : on stocke une représentation vectorielle de la requête, appelée « embedding », calculée par le LLM lui-même. La même approche est généralement utilisée pour enrichir le contexte d’un prompt dans un process de Retrieval Augmented Generation (RAG).
Un embedding encode la signification d’une phrase sous forme numérique. Ainsi, les deux phrases « Mon chat est paresseux » et « Mon chien est paresseux » auront des embeddings très proches, éloignés de « J’aimerais apprendre à jouer de la guitare ». Voilà comment stocker la réponse produite par un LLM dans un cache pour le retrouver facilement plus tard. Génial !
Mais il y a un problème.
Si l’embedding est un encodage de la requête envoyée par l’utilisateur, alors il est théoriquement possible de le décoder et, ainsi, d’accéder à la requête originale de l’utilisateur. Or, nous avons expliqué précédemment avoir fait le choix d’une politique stricte d’oubli des requêtes au bout de 24 heures. Si nous appliquons cette même contrainte au cache, celui-ci ne présente plus beaucoup d’intérêt. Que faire ?
Nous avons développé, chez teale, une méthode mathématique qui nous permet de conserver la recherche sémantique sur la base vectorielle (qui contient les résultats du cache) tout en empêchant toute possibilité de décoder les embeddings sans la clé de chiffrement associée. Ainsi, même si un attaquant parvenait à accéder à la base du cache, il ne pourrait pas en extraire les requêtes d’origine ni les éventuelles données personnelles qu’elles contiennent.
Conclusion
Naviguer dans le paysage complexe de l’IA et de la santé mentale exige une approche non seulement innovante mais surtout rigoureusement conforme aux régulations existantes et émergentes.
Comme nous l’avons exploré, le RGPD et l’IA Act de l’UE imposent des exigences strictes en matière de protection des données et de sécurité, particulièrement lorsque des données sensibles comme celles de la santé mentale sont en jeu.
Si la tentation d’opter pour des plateformes cloud d’IA prêtes à l’emploi est forte, notre analyse démontre qu’elles ne peuvent pas garantir le niveau de maîtrise, de transparence et de responsabilité nécessaire dans ce domaine critique. Les risques liés à la conservation des données, à leur intégrité, à la responsabilité et à l’évaluation continue de la conformité en font des solutions inadaptées à nos exigences.
Chez teale, notre stratégie de déploiement de Joy en interne n’est pas seulement un choix technique : c’est une nécessité dictée par la primauté de la sécurité et de la confidentialité des données de nos utilisateurs.
L’isolation réseau de nos services LLM, le chiffrement sophistiqué de l’historique des interactions avec rotation des clés, et notre mécanisme d’« oubli » automatique des données après 24 heures sont autant de mesures concrètes qui traduisent notre engagement. Nous avons même repensé la gestion du cache sémantique pour allier performance et respect absolu de la vie privée, en rendant impossible le décodage des requêtes utilisateurs sans clé de chiffrement.
Ces choix architecturaux et opérationnels ne sont pas de simples « bonnes pratiques » : ils sont au cœur de notre proposition de valeur et de notre responsabilité. Ils nous permettent d’offrir à nos utilisateurs un accompagnement qui respecte leur intimité, en garantissant un niveau de protection des données à la hauteur des enjeux de la santé mentale.
L’innovation responsable est notre boussole, et la sécurité de vos données, notre priorité. Comme depuis le premier jour chez teale.
Si vous voulez tester Joy, c’est par ici.