Comment Pippa utilise l'intelligence artificielle

1. Comment fonctionnent les modèles de reconnaissance d'images

Un système moderne de reconnaissance d'images reçoit une grille de pixels et la transforme en une représentation numérique compacte. Les systèmes antérieurs utilisaient couramment des réseaux de neurones convolutifs. Beaucoup de systèmes actuels utilisent des transformeurs de vision ou des modèles multimodaux vision-langage. Ces modèles apprennent des motifs visuels lors du pré-entraînement, puis peuvent transférer ces motifs vers une tâche plus étroite comme la reconnaissance d'aliments.

Des pixels à un aliment candidat

1. 1

   Capture et contrôle de qualité

   Vérifier que la photo est exploitable. Noter le flou, l'obscurité, les occultations et si l'assiette est entièrement visible.

2. 2

   Localiser les zones pertinentes

   Séparer les aliments de l'assiette, de la table, des couverts, de l'emballage et de l'arrière-plan. Un repas composé de plusieurs éléments peut nécessiter plusieurs zones.

3. 3

   Encoder les caractéristiques visuelles

   Le modèle transforme couleur, texture, contours, formes et contexte général en une représentation de caractéristiques.

4. 4

   Comparer aux étiquettes possibles

   Le système produit des candidats tels que poulet grillé, tofu ou paneer, avec des scores relatifs.

5. 5

   Appliquer un seuil de confiance

   Les candidats à forte confiance peuvent être proposés pour une confirmation rapide. Les aliments ambigus ou inhabituels déclenchent une clarification, une recherche externe ou une abstention.

Reconnaître des aliments est plus difficile que reconnaître beaucoup d'objets du quotidien. Un même plat peut varier selon la cuisine, la recette, l'éclairage, le dressage et la préparation, tandis que des aliments visuellement proches peuvent contenir des ingrédients très différents. Food-101 est un jeu de référence largement utilisé qui illustre cette variabilité, mais un score sur un jeu de référence n'établit pas à lui seul les performances dans la population réelle de patients de Pippa.

2. Le traitement des images de repas chez Pippa

La valeur de Pippa ne tient pas à un seul appel au modèle. Elle tient à la suite de vérifications qui l'entourent : signaux de taille, recherche externe, consultation nutritionnelle, correction par l'utilisateur et visibilité côté clinicien.

Le déroulé est conçu pour clarifier ou s'abstenir plutôt que pour fabriquer de la précision.

Recoupement sur le web : ce que cela doit et ne doit pas signifier

Lorsque le modèle de vision est incertain, Pippa peut rechercher des informations pour réduire l'ensemble des candidats. Elle peut par exemple comparer les noms candidats à une base d'aliments approuvée, à l'étiquette d'un fabricant ou à la carte d'un restaurant. La recherche est une corroboration, pas une preuve. Un résultat de recherche peut être obsolète, incomplet, culturellement inadapté ou fondé sur une autre recette.

• Sources privilégiées: Données structurées de composition des aliments, pages nutritionnelles des fabricants, et pages de restaurants ou de cartes rattachées à l'aliment confirmé par l'utilisateur.
• Garde-fou de confidentialité: N'utiliser que des termes candidats sous forme de texte chaque fois que possible. Ne jamais envoyer la photo, le nom, le cabinet, la localisation ou d'autres métadonnées identifiantes d'un patient à un moteur de recherche public généraliste.
• Règle de décision: Si la corroboration reste faible, demander à l'utilisateur ou au clinicien de sélectionner l'élément le plus proche. « Inconnu » est une sortie acceptable, et souvent plus sûre.

3. Estimer la taille des portions et l'apport énergétique

La classification d'images répond à la question de ce que cela pourrait être. L'estimation de portion demande quelle quantité est présente, et ce second problème est souvent plus difficile. Des systèmes de recherche comme Im2Calories et Nutrition5k associent la reconnaissance des aliments à la segmentation, à la géométrie, à la profondeur, à la masse des composants et à des annotations de nutriments.

Signaux de la caméra et de la réalité augmentée

Sur les téléphones compatibles, les cadres de réalité augmentée peuvent fournir la pose de la caméra, des plans estimés, la profondeur de la scène et une carte de confiance associée à ces valeurs de profondeur. Pippa peut combiner ces signaux avec une taille d'assiette connue ou une autre référence pour estimer la hauteur et le volume des aliments. Les appareils dépourvus de données de profondeur exploitables peuvent recourir à des méthodes de perspective et d'échelle de référence, mais le résultat doit alors porter davantage d'incertitude.

• La segmentation estime l'emprise de chaque zone d'aliment sur l'assiette.
• La profondeur ou plusieurs points de vue estiment la hauteur et le volume en trois dimensions.
• Une hypothèse de densité de l'aliment convertit le volume en masse approximative.
• L'entrée de dictionnaire confirmée convertit la masse en apport énergétique et en nutriments estimés.

Le dictionnaire nutritionnel

Le modèle ne doit pas inventer de valeurs caloriques ou nutritionnelles. Une fois l'aliment et la portion établis, Pippa les rattache à une entrée de dictionnaire sélectionnée. USDA FoodData Central fournit des enregistrements structurés pour les aliments de base, les aliments d'enquête, les aliments historiques et les produits de marque. Pippa peut aussi tenir à jour une couche de synonymes révisée, afin que des termes comme rajma, curry de haricots rouges ou un produit emballé donné se rattachent de façon cohérente.

• Identifiant canonique de l'aliment et synonymes.
• État de préparation et hypothèses de recette.
• Nutriments pour 100 grammes et par portion documentée.
• Densité ou information de portion habituelle utilisée pour la conversion des portions.
• Source, version et date de dernière révision.

Une correction doit mettre à jour immédiatement l'enregistrement du repas concerné. Les corrections ne doivent pas réentraîner automatiquement un modèle de base. Toute utilisation ultérieure à des fins d'évaluation ou d'amélioration du modèle exige un processus distinct, encadré et dépourvu d'éléments identifiants.

4. PippaChat : une conversation de soutien avec des limites

PippaChat s'appuie sur un grand modèle de langage, une famille de systèmes dérivés de l'architecture transformeur. Un modèle de langage prédit des continuations utiles à partir de la conversation et des instructions système. Il peut paraître fluide sans posséder de jugement clinique ni de garantie d'exactitude factuelle.

Orientation de sécurité

Avant et après la génération d'une réponse, Pippa peut appliquer une combinaison de règles, de classifieurs spécialisés et d'instructions contraintes. Les conversations ordinaires de soutien au rétablissement suivent le circuit normal. Des propos préoccupants peuvent déclencher un bilan et une invitation à contacter l'équipe soignante. Des propos évoquant un danger immédiat doivent produire une réponse de crise brève et directe et faire apparaître des ressources concrètes, comme le 988 aux États-Unis, ou les services d'urgence en cas de danger imminent.

Transparence et accès aux transcriptions

Pippa indique que la conversation relève d'une IA. Dans le circuit de Pippa relié au clinicien, les transcriptions peuvent être consultées par l'équipe soignante selon les réglages de consentement du patient. Le produit explique qui peut voir chaque conversation, quand le partage est actif, combien de temps les données sont conservées et comment l'accès peut être révoqué. Les vues des proches et des personnes de soutien conservent un périmètre distinct.

5. Repérer quand un patient peut avoir besoin de plus d'aide

La couche de vigilance précoce de Pippa s'entend au mieux comme une détection longitudinale de tendances, et non comme un diagnostic. Les travaux sur l'évaluation écologique momentanée montrent l'intérêt de recueillir symptômes, contexte et déclencheurs au plus près du moment où ils surviennent, tandis que les études sur les applications d'auto-observation dans les troubles alimentaires illustrent le rôle pratique des rappels et du lien avec le clinicien. Ces résultats étayent l'approche générale. Ils ne valident pas une règle d'alerte particulière de Pippa.

Familles de signaux possibles

• Tendance des repas: Des repas programmés marqués comme sautés à répétition, des intervalles plus longs entre les enregistrements, ou une baisse durable du taux de complétion par rapport à l'habitude de la personne elle-même.
• Tendance des bilans: Détresse, envies, culpabilité, peur ou évitement croissants après les repas, lorsque le patient choisit de renseigner ces éléments.
• Tendance au changement: Un basculement brusque des horaires de repas, de l'usage de l'application ou du style de réponse, inhabituel pour cette personne.
• Tendance du langage: Des références répétées à la restriction, aux vomissements provoqués, aux comportements compensatoires, aux malaises ou à une instabilité médicale, à l'automutilation, au désespoir ou à l'incapacité de rester en sécurité.
• Corroboration: Plusieurs signaux faibles survenant ensemble devraient peser davantage qu'une donnée isolée.

Réponses données à titre d'illustration uniquement. Les seuils réels doivent être encadrés cliniquement, testés et configurables.

Rendre chaque signal explicable

Le clinicien doit voir pourquoi un signal est apparu, par exemple : trois repas programmés ont été marqués comme sautés en 48 heures et la détresse déclarée après les repas a augmenté. Pippa évite une étiquette opaque du type « risque élevé » sans élément à l'appui. Le clinicien peut confirmer, écarter ou corriger un signal, et le dossier du patient conserve cette interprétation.

6. Garde-fous cliniques et validation

Parce que Pippa intervient dans un contexte de santé sensible, la performance utile d'une IA dépasse la seule exactitude au premier rang. Le système doit être évalué sur l'incertitude, l'équité, la sécurité et les conséquences pratiques des alertes manquées comme des alertes inutiles. Les recommandations de l'APA et du NICE restent les repères cliniques. L'application soutient les soins mais ne remplace ni l'évaluation, ni la surveillance, ni l'élaboration du plan de traitement.

Questions de validation minimales

Principes de gouvernance

Les cadres du NIST et de l'OMS insistent sur un usage prévu documenté, des rôles humains définis, une mesure continue et une gestion des risques tout au long du cycle de vie de l'IA. Pour Pippa, cela signifie versionner les modèles et les données nutritionnelles, tester avant la mise en production, surveiller après la mise en production, examiner les incidents de sécurité et associer aux décisions produit des personnes concernées et des cliniciens spécialisés dans les troubles alimentaires.

Le statut réglementaire dépend de l'usage prévu, de la population d'utilisateurs, des allégations et des fonctionnalités. Le positionnement de Pippa et ses fonctions d'aide à la décision destinées aux cliniciens sont réexaminés à mesure que le produit évolue. Les recommandations actuelles de la FDA sur l'aide à la décision clinique constituent un point de départ utile, mais ce document ne constitue pas un avis juridique.

7. Ce qu'un diététicien devrait attendre

• Un enregistrement côté patient pouvant rester dépourvu de chiffres caloriques tout en prenant en charge des plans alimentaires structurés et des bilans.
• Une vue clinicien qui distingue une estimation de l'IA, un aliment confirmé par le patient et une valeur saisie par le clinicien.
• Des fourchettes d'incertitude et la provenance des sources pour les estimations de portion et d'apport énergétique, plutôt qu'une fausse précision.
• Des vues de tendance qui privilégient les évolutions dans le temps et l'habitude propre au patient.
• Des signaux de vigilance à motif codé qui invitent à l'examen, et non des conclusions automatisées.
• Un partage et une visibilité configurables, avec une séparation nette entre les rôles patient, clinicien et proche ou personne de soutien.
• Un chemin clair pour corriger les étiquettes d'aliments, les portions, les interprétations de la conversation et les signalements.

Références et lectures complémentaires

Ces quatre articles constituent les points de départ les plus directement pertinents pour l'analyse des images de repas de Pippa, le traitement de la confiance et l'approche d'auto-observation reliée au clinicien.

1. 1

   Im2Calories: Towards an Automated Mobile Vision Food Diary

   Meyers et al., ICCV 2015. Travaux précurseurs associant reconnaissance des aliments, estimation du volume et prédiction nutritionnelle à partir de l'image d'un repas.

2. 2

   Nutrition5k: Towards Automatic Nutritional Understanding of Generic Food

   Thames et al., CVPR 2021. Un jeu de données alimentaire avec imagerie RGB-D, poids des ingrédients, masse totale, calories et macronutriments.

3. 3

   On Calibration of Modern Neural Networks

   Guo et al., ICML 2017. Montre pourquoi les scores de confiance des réseaux de neurones doivent être calibrés avant d'orienter des décisions produit.

4. 4

   Patient Experiences Using a Self-Monitoring App in Eating Disorder Treatment

   Lindgreen et al., JMIR mHealth and uHealth 2018. Une étude qualitative d'une application d'auto-observation des troubles alimentaires reliée à des cliniciens.

Vous préférez la version courte ? Lisez comment l'IA s'intègre aux soins diététiques sur le blog.