白皮书 · 临床 AI 概览

Pippa 如何使用人工智能

食物图像分析、支持性对话与基于模式的照护信号。为营养师与饮食失调临床医生编写，2026 年 8 月。

一句话概括： Pippa 把既有的视觉与语言模型，与手机摄像头及 AR 信号、一套经过筛选的食物营养字典、明确的不确定性处理和临床医生的监督结合起来，以减轻记录负担，并呈现两次会谈之间有价值的模式。

本文以平实的临床语言说明该方法，并链接到其背后的技术与临床文献。它是一份产品概览，而不是独立的验证研究、临床方案或监管认定。

下载文档全部白皮书

内容摘要

Pippa 不从零训练通用基础模型。它在既有的计算机视觉与语言模型之上，构建一层以康复为核心的应用层。这一应用层提供工作流程、领域词汇、安全规则、同意控制，以及面向临床医生的解读。

食物识别

模型把一张用餐图像转换为候选食物，每一项都带有置信度分数。置信度决定是接受一个可能的标签、提出澄清性问题、查询经批准的外部来源，还是放弃作答。

分量估算

摄像头几何关系、参照物、餐盘尺寸，以及设备的深度或 AR 数据，都可以改善对实际尺寸的估算。分量仍然只是估算，尤其是混合菜肴、酱汁、汤品和密度不一的食物。

营养映射

已确认的食物身份与估算质量，会被映射到经过筛选的营养字典，例如 USDA FoodData Central。能量估算可以对患者隐藏，仅在临床医生获授权的视图中可见。

支持性对话

语言模型在一个狭窄的范围内生成以康复为导向的对话。独立的规则与分类器负责寻找危机语言，并把用户导向真实的人与资源。

模式信号

Pippa 关注随时间发生的变化，例如反复缺失的用餐记录、逐渐变差的检查回应、相对患者自身基线的突然偏离，或对话中令人担忧的表述，并可呈现带原因编码的信号供临床审阅。

以康复为先的设计

消费级营养应用中常见的热量与减重反馈，在饮食失调照护中可能有害或反治疗。Pippa 的患者端体验经过设计，使数字化的能量估算可以保持隐藏，同时临床医生可在符合照护方案的情况下使用底层信息。

1. 图像识别模型如何运作

现代图像识别系统接收一格格像素，并将其转换为紧凑的数值表示。较早的系统通常使用卷积神经网络；当前许多系统使用视觉 Transformer 或多模态的视觉—语言模型。这些模型在预训练阶段学习视觉模式，随后可以把这些模式迁移到更具体的任务上，例如识别食物。

从像素到候选食物

1
采集与质量检查
确认照片可用。记录模糊、光线过暗、遮挡，以及餐盘是否完整可见。
2
定位相关区域
把食物与餐盘、桌面、餐具、包装和背景区分开。含多种食物的一餐可能需要划分多个区域。
3
编码视觉特征
模型把颜色、纹理、边缘、形状与更大范围的上下文，转换成一种特征表示。
4
与可能的标签比对
系统给出诸如烤鸡、豆腐或印式奶酪等候选项，并附相对分数。
5
应用置信度门槛
高置信度的候选项可以直接展示以便快速确认。含糊或不常见的食物则触发澄清、外部查询或放弃作答。

识别食物比识别许多日常物品更难。同一道菜会因菜系、配方、光线、摆盘与做法而不同，而外观相似的食物成分却可能相差很大。Food-101 是一个被广泛使用的基准，正说明了这种差异；但基准分数本身并不能说明模型在 Pippa 真实患者群体中的表现。

置信度意味着什么

置信度分数反映的是模型在候选项之间的内部偏好强度，并不保证答案正确。现代神经网络可能过度自信，因此分数应在具代表性的 Pippa 数据上进行校准，并与确认、澄清或放弃作答等明确动作挂钩。

2. Pippa 的食物图像处理流程

Pippa 的价值不在于一次模型调用，而在于围绕模型的一系列检查，包括尺寸信号、外部查询、营养数据检索、用户更正，以及对临床医生的可见性。

步骤	发生了什么	不确定时	临床医生看到什么
1. 采集	收集一张用餐照片，以及可获取的设备与摄像头元数据。	请对方重拍一张更清晰的照片，或改为手动输入。	用餐记录与用户的描述。
2. 识别	返回若干合理的食物标签，而不是强行给出唯一答案。	提出一个简短的澄清性问题。	已确认的标签与不确定性。
3. 尺寸	使用分割、参照尺度、相机位姿，以及可用时的 AR 或深度数据。	给出一个区间，或让用户手动选择分量。	分量估算与不确定性。
4. 交叉核对	查询经批准的食物定义、配料表或餐厅信息。	绝不让泛泛的网络搜索结果覆盖既有的不确定性。	来源与尚未解决的歧义。
5. 映射	把已确认的食物解析到营养字典中的规范条目。	使用复合条目或按配料拆分。	给临床医生的估算值，同时患者视图保持无数字。

整个流程的设计目标是澄清或放弃作答，而不是制造出精确的假象。

网络交叉核对：它应当意味着什么，不应当意味着什么

当视觉模型不确定时，Pippa 可以检索信息以缩小候选范围。例如，把候选名称与经批准的食物数据库、厂商标签或餐厅菜单进行比对。检索是佐证，而不是证明。搜索结果可能过时、不完整、与当地饮食文化不符，或基于另一种配方。

优先来源: 结构化的食物成分数据、厂商的营养信息页面，以及与用户已确认食物相对应的餐厅或菜单页面。
隐私护栏: 尽可能只使用纯文本的候选词。不得把患者的照片、姓名、就诊机构、位置或其他可识别的元数据发送给面向公众的通用搜索服务。
决策规则: 如果佐证仍然薄弱，就请用户或临床医生选择最接近的条目。「未知」是可以接受的输出，而且往往更安全。

3. 估算分量与能量

图像分类回答的是「这可能是什么」。分量估算问的是「有多少」，而后一个问题往往更难。Im2Calories 和 Nutrition5k 等研究系统，把食物识别与分割、几何、深度、成分质量以及营养标注结合起来。

摄像头与 AR 信号

在兼容的手机上，AR 框架可以提供相机位姿、估计平面、场景深度，以及这些深度值的置信度图。Pippa 可以把这些信号与已知的餐盘尺寸或其他参照物结合，估算食物的高度与体积。没有可用深度数据的设备仍可采用透视与参照尺度的方法，但结果应带有更大的不确定性。

分割估算每个食物区域在餐盘上所占的面积。
深度信息或多个视角用于估算高度与三维体积。
食物密度假设把体积换算为近似质量。
已确认的字典条目把质量换算为估算的能量与营养素。

一个简单的计算

估算能量 =（估算的分量质量，单位克）×（所匹配食物每 100 克的千卡数）÷ 100，再对各项求和。对于混合菜肴，可在已知配料时使用标准化的复合条目或按配料拆分来计算。

营养字典

模型不应自行编造热量或营养素数值。食物与分量确定之后，Pippa 会把它们映射到经过筛选的字典条目。USDA FoodData Central 为基础食物、调查食物、历史食物与品牌产品提供结构化记录。Pippa 还可以维护一层经过审核的别名，使诸如 rajma、红芸豆咖喱，以及某一特定包装产品等说法能够一致地解析。

规范的食物标识与别名。
加工状态与配方假设。
每 100 克及每份（有据可依的份量）的营养素。
分量换算所用的密度或常见份量信息。
来源、版本与最近审核日期。

一次更正应立即更新当前这条用餐记录。更正不应自动用于重新训练基础模型。日后若要将其用于模型评估或改进，需要一套单独的、有治理的、去标识化的流程。

4. PippaChat：有边界的支持性对话

PippaChat 使用大语言模型，这是一类源自 Transformer 架构的系统。语言模型依据对话内容与系统指令，预测有用的后续内容。它可能表达流畅，却并不具备临床判断力，也不保证事实准确。

对话层的用途

提供有共情、不带评判的用餐支持与反思引导。
引导用户使用产品中已获批准的稳定情绪或应对工具。
帮助用户说出感受、为照护团队准备问题，或梳理他们想讨论的内容。
当对话超出聊天机器人的职责范围时，鼓励用户联系其临床医生、支持者或安全计划中的联系人。

对话层不适用的场景

诊断饮食失调、复发、自杀倾向或其他心理健康状况。
给出个体化的餐食处方、更改临床医生的方案，或建议减重、催吐、禁食或代偿性运动。
充当治疗师、紧急救援人员，或治疗团队的替代品。
保证所有高风险表述都会被检测到。

安全分流

在生成回应之前与之后，Pippa 都可以应用规则、专用分类器与受限指令的组合。普通的康复支持对话走常规路径。令人担忧的表述可以触发一次检查，并提示联系照护团队。若表述显示可能存在即时危险，则应给出简短、直接的危机回应，并呈现现实世界的资源，例如美国的 988；在危险迫在眉睫时则指向紧急服务。

重要局限

危机语言筛查只在用户与系统互动时才会发生。它不能证明有人正在实时关注，不能观察 Pippa 之外的行为，并且可能产生误报和漏报。Pippa 绝不应成为患者安全计划中的唯一一环。

透明度与对话记录的访问

Pippa 会明示该对话由 AI 进行。在 Pippa 与临床医生连接的流程中，照护团队可依据患者的同意设置查阅对话记录。产品会说明谁可以看到每一段对话、共享在何时开启、数据保存多久，以及如何撤回访问权限。家属与支持者的视图则另有独立的权限范围。

5. 识别患者何时可能需要更多帮助

Pippa 的早期关注层，最好理解为纵向的模式检测，而不是诊断。生态瞬时评估研究显示，在症状、情境与诱因发生的当下就近记录是有价值的；而针对饮食失调自我记录应用的研究，则说明了提醒与临床连接在实际中的作用。这些发现支持的是总体思路，并不能验证 Pippa 的某一条具体告警规则。

可能的信号类别

用餐模式: 计划中的餐食被反复标记为跳过、记录之间的间隔变长，或相对本人基线出现持续下降的完成率。
检查回应模式: 当患者选择填报这些内容时，餐后的痛苦、冲动、内疚、恐惧或回避呈上升趋势。
变化模式: 用餐时间、应用使用情况或回应风格出现对该个体而言不寻常的突然转变。
语言模式: 反复提及限制进食、催吐、代偿行为、晕厥或身体状况不稳、自我伤害、绝望感，或无法保证自身安全。
相互印证: 多个弱信号同时出现，其分量应重于单个孤立的数据点。

Pippa 观察到什么	这可能意味着什么	恰当的回应
一次漏记或迟记	这可能与日程安排、隐私顾虑、遗忘，或某一餐比较艰难有关。	使用温和、不带羞辱感的提醒。不要据此生成诊断或自动贴上高风险标签。
反复漏记，且痛苦程度上升	这是相对患者本人近期模式的持续性偏离。	提供一次检查，并在面板上显示带原因编码的信号，供临床医生审阅。
突然变化，并伴有令人担忧的表述	多个渠道都提示，可能需要更多支持。	生成优先级更高的审阅提示，并鼓励与照护团队或安全计划联系人取得联系。
可能存在迫在眉睫的自我伤害或危险	相关表述可能提示急性危机，但自动化解读也可能出错。	启用即时危机通道，并遵循当地的紧急处置指引。绝不能仅仅等待应用发出告警。

以上回应仅作示例。实际阈值应由临床把关、经过测试，并可配置。

让每一个信号都可解释

临床医生应当看到信号出现的原因，例如：48 小时内有三餐计划中的餐食被标记为跳过，且填报的餐后痛苦程度上升。Pippa 避免在没有依据的情况下给出「高风险」这类不透明标签。临床医生可以确认、忽略或更正一个信号，患者的记录会保留这一判断。

更可取的措辞

「需要审阅」或「相对基线的变化」比「检测到复发」更准确。一个标记是提示去查看、去询问，并运用临床判断。

6. 临床保障与验证

由于 Pippa 运作在敏感的健康场景中，有意义的 AI 表现不止于首选答案的准确率。系统还应就不确定性、公平性、安全性，以及漏报与不必要告警各自带来的实际后果接受评估。APA 与 NICE 的指南仍是临床参照。该应用支持照护，但不替代评估、监测或治疗计划的制定。

最低限度的验证问题

识别

在不同菜系、混合菜肴、光照条件、相机类型与烹饪方式下，正确的食物有多大比例出现在首选候选集中？

校准

当模型称自己有 80% 的把握时，在具代表性的 Pippa 数据上，它是否大约有 80% 的时候是正确的？

放弃作答

当遇到不熟悉或质量欠佳的用餐图像时，系统能否可靠地表示自己没有把握？

分量误差

在有和没有可用深度数据的情况下，估算质量与能量的中位误差，以及具有临床意义的最坏情况误差分别是多少？

模式信号

误报率与漏报率分别是多少？当出现任一类错误时，患者会经历什么？

分组表现

在不同菜系、入镜的肤色与手部、年龄、设备类型、社会经济背景与无障碍需求之间，是否存在表现差距？

人因

患者是否明白对话由 AI 进行、谁能看到自己的数据，以及一个标记并不等于诊断？临床医生能否快速理解系统并推翻其判断？

漂移

模型、提示词、数据库与阈值的版本是否都有记录，以便在更新之后重新核查表现？

治理原则

NIST 与世界卫生组织的框架强调：记录在案的预期用途、明确的人员职责、持续的度量，以及贯穿 AI 生命周期的风险管理。对 Pippa 而言，这意味着为模型与营养数据做版本管理、发布前测试、发布后监测、复盘安全事件，并让有亲身经历的人士与饮食失调临床医生参与产品决策。

监管状态取决于预期用途、用户人群、所作声明与功能本身。随着产品变化，Pippa 的定位及其面向临床医生的决策支持功能都会被重新审视。FDA 现行的临床决策支持指南是一个有用的起点，但本概览不构成法律意见。

7. 营养师应有的预期

面向患者的记录方式可以完全不出现热量数字，同时仍支持结构化的餐食计划与检查。
临床医生视图能够区分 AI 估算值、患者确认的食物，以及临床医生手动录入的数值。
分量与能量估算附带不确定性区间与来源出处，而不是虚假的精确。
趋势视图优先呈现随时间的变化，以及患者自身的基线。
带原因编码的关注信号，用以邀请审阅，而不是给出自动化结论。
可配置的共享与可见性，并在患者、临床医生、家属或支持者等角色之间有清晰划分。
有明确途径可以更正食物标签、分量、对话解读与关注标记。

Pippa 欢迎临床医生提出的问题

目前哪些估算功能已上线、处于试点，或仍在规划中？
某一具体结果是由哪个版本的模型与数据库产生的？
在混合餐食与多元文化食物上，表现是如何测试的？
哪些阈值会触发澄清、放弃作答、面向患者的检查，或面向临床医生的信号？
在每一种同意设置下，谁可以看到照片、检查回应与对话？
更正、投诉与安全事件是如何复核的？
诊所如何针对某位患者的照护方案，关闭热量估算、对话功能或特定告警？

预约 15 分钟演示临床医生中心

参考文献与延伸阅读

对于 Pippa 的食物图像分析、置信度处理，以及与临床医生连接的自我记录方法而言，以下四篇论文是最直接相关的入门材料。

1
Im2Calories: Towards an Automated Mobile Vision Food Diary
Meyers 等，ICCV 2015。早期工作，把食物识别、体积估算与营养预测结合在一张用餐图像上。
2
Nutrition5k: Towards Automatic Nutritional Understanding of Generic Food
Thames 等，CVPR 2021。一个食物数据集，包含 RGB-D 图像、配料重量、总质量、热量与宏量营养素。
3
On Calibration of Modern Neural Networks
Guo 等，ICML 2017。说明为什么神经网络的置信度分数在驱动产品决策之前需要校准。
4
Patient Experiences Using a Self-Monitoring App in Eating Disorder Treatment
Lindgreen 等，JMIR mHealth and uHealth 2018。一项关于与临床医生连接的饮食失调自我记录应用的质性研究。

想看更简短的版本？可以在博客上阅读AI 如何融入营养照护。