科睿观察

【科技观察】当人工智能误导你的医生时,后果谁来买单?
日期:2024-03-30 作者/来源:

1.jpg


科睿科技观察

这是科睿研究院第153篇原创内容。

字数4191字,阅读全文大约需要9分钟。



在美国,使用新的人工智能工具来帮助诊断和治疗患者的医生们很困惑。


他们希望国会能够澄清一个悬而未决的大问题:如果人工智能犯了错误,谁来买单?


美国医学协会表示,人工智能的进步有望改善护理,但前提是医生信任这些系统,并免受责任保护。


协会主席杰西·埃伦菲尔德 (Jesse Ehrenfeld) 在最近一次关于医生游说优先事项的会议上表示:“我们已经看到了诉讼。


他形象地形容,到目前为止,这个问题“有点像在驾驶飞机时建造飞机”。


十几位健康、法律和技术领导人在接受politico采访时表示,这不仅仅涉及数百万美元的医疗事故赔偿,还包含法官、立法者和监管机构正在制定人工智能医疗系统对患者的义务,包括优质护理和出现问题时获得赔偿的权利。


健康科技公司和一些医院表示,做出最终护理决定的医生对他们的决定负有最终责任。


2.jpg


美国医学协会在某种程度上强化了这一点。该组织将人工智能称为“增强智能”,并表示医生绝不能完全依赖它。


人工智能工具在医疗保健领域的爆炸式增长正在重新引发关于医疗事故的激烈争论。


但目前尚不清楚,医生和共和党推动责任限制、民主党和原告律师反对的旧战线是否会持续下去。自从“医疗事故”辩论陷入休眠状态以来, 医生的政治倾向偏向民主党,而开发这些工具的科技巨头与两党都发生了冲突。这表明可能有机会为医生提供他们想要的东西。


目前还没有立法这样做,但立法者已经开始对此进行研究。众议员格雷格·墨菲(RN.C.) 是一位泌尿科医生,也是众议院共和党医生核心小组的联合主席,他最近写信给美国食品和药物管理局局长罗伯特·卡利夫,询问卡利夫的看法并提出一种方法。


筹款健康小组委员会主席、佛罗里达州共和党众议员弗恩·布坎南 (Vern Buchanan ) 告诉美国医学会,他认为国会可以发挥作用。


“我们将对此进行研究,看看是否能产生重大影响,”他在谈到责任改革时说道。


法律专家表示,在国会这样做之前,法官将设定新系统的参数。


“法院需要改进一些现有的规则和原则,”曾就此事在国会作证的斯坦福大学健康法学者米歇尔·梅洛(Michelle Mello)表示。


与此同时,护理提供者、科技公司和患者发现自己处于不确定甚至危险的境地。


安全与赦免

医疗事故辩论过去主要集中在共和党的“侵权改革”提案清单上,这些提案旨在限制损害赔偿额、限制原告的律师费并缩短患者提起诉讼的窗口。


现在,关于人工智能责任的政策决定不再是关于患者获得多少赔偿,而是由谁承担错误的责任。


众议员格雷格·墨菲(RN.C.)表示,人工智能可能会重塑华盛顿关于医疗事故的争论,他正在尽早尝试引导它。


3.jpg


在给卡利夫的信中,他提出了一个“安全港”,如果医生和他们使用的人工智能产品都加入跟踪患者结果的监测计划,则适用于他们,“这将在国家层面上树立伟大的先例。”


但墨菲尚未提出法案,卡利夫也没有回应他的询问。


出庭律师表示,如果墨菲继续审理,他们将进行抗争。


“当我们免除人们的责任时,这意味着普通人首当其冲,”代表审判律师的组织美国司法协会主席肖恩·多姆尼克说。


梅洛表示,政府对新人工智能工具的监管采取了缓慢的态度,这增加了法律的不确定性。


目前,FDA 对一些人工智能医疗设备进行监管,但其最新版本技术的方法仍在形成中。


不受监管的工具可能更容易受到诉讼,因为它们不受“先发制人原则”的保护,该原则禁止针对受监管设备提出一些索赔,理由是这些设备已知足够安全、足够有效,可以获得 FDA 许可。


因此,FDA 等联邦机构如何决定监管最新的人工智能工具,可能会在确定软件制造商何时对错误承担责任方面发挥作用。


它还可能促使一些人工智能产品制造商寻求监管部门的批准。


“如果你明确地说,‘我绝对不是医疗设备’,那么,你就无法从抢占原则中受益。”梅洛表示。




法律格局




美国现行的判例法表明,医生不太可能有类似的途径来避免诉讼。


当患者因为摄入表格不完整、医学文献不正确或制药商没有充分警告其风险而获得不合格的护理时,法院很少会让医生逃脱责任。


在某些情况下,医生会遵循据称错误的软件建议来开出哪些药物以及如何治疗患者,原告称这对他们造成了伤害。当被起诉时,法院仍然受理案件,尽管医生努力指责该工具。


“我最担心的群体是医生,”梅洛说。 “医生才是承担责任的人。”


一些健康科技公司表示,这种情况是有原因的。在他们看来,诊断软件就像 GPS:无论给出什么指令,是否留在路上取决于驾驶员。


“那个房间里只有一位获得许可的医疗保健提供者,”致力于推进人工智能模型的健康数据公司 COTA 的首席医疗官 CK Wang 博士说。 “我对根据我的许可做出的决定负责。因此,我确实建议临床医生真正了解他们正在使用的技术。”


4.jpg


让医生的处境尤其棘手的是,如果他们避开人工智能,他们还可能面临诉讼。


法律学者预计原告会辩称医生存在疏忽,因为他们没有使用可用的最佳工具。


医生们也在考虑许多其他问题:如果患者想要遵循算法而不是医生的建议,医生应该怎么做?


在什么情况下医生应该相信自己,而不是机器?





为未知事物提供保障





答案涉及到巨额资金,并且对医生采用人工智能工具的速度、他们选择的专业以及他们决定居住的地方产生影响。


根据国家从业者数据库收集的统计数据,在新冠病毒大流行期间大幅下降之后,医疗事故赔偿金大幅上升,并于 2022 年恢复到 30 亿美元以上。


美国医学协会去年表示,许多医生的医疗事故保险费连续四年出现两位数百分比的增长。如果保费继续呈上升趋势,可能会对医生选择执业地点和专业选择产生影响。


5.jpg


不同专业的保费差异很大。在费城,内科医生 2022 年的年度保单支付了 31,909 美元,而普通外科医生支付了 105,013 美元,妇产科医生支付了 185,565 美元。


费用因地区而异,部分原因是州法律会影响高成本诉讼的风险。例如,洛杉矶的妇产科医生支付了 49,804 美元,而迈阿密的妇产科医生则支付了 226,224 美元。


保险公司正在关注人工智能革命,但没有预测它将如何影响保费。


“这是一个未知的领域,”CAC Specialty 医疗保健部门执行副总裁梅丽莎·梅娜德(Melissa Menard)说,“保险公司需要考虑人工智能带来的风险,其中可能包括更多偏见、更少隐私和新的网络安全威胁。


但如果这项技术总体上改善了护理,它还可以减少医生因医疗事故被起诉的机会,并可能降低保险费用。


律师、健康领袖和科技公司一致认为,在不确定的情况下,负责任地行医的核心原则应该成为首要和中心。


但法律和医学专家承认,这一标准可能会随着人工智能而改变,特别是随着人工智能的采用不断增长。


即便如此,一些卫生系统仍打算使用人工智能作为支持和改进当前标准的工具。


佛罗里达健康科学中心总裁兼首席执行官强·克里斯(John Couris)表示:“我们像听诊器一样使用人工智能。”


他强调需要平衡对这项技术的兴奋与冷静, “这是一个帮助加强他们提供的护理的工具,但我们的医生和护士是对病人做什么或不做什么的最终权威。”


AI在医学领域的应用仍有限


美国医疗大数据平台Athenahealth发布的一份报告揭示了一个惊人的事实:在美国,超过九成的医生表示他们经常感到身心俱疲。在这群疲惫的医者中,有高达83%的人认为人工智能(AI)可能是他们走出困境的希望——AI能简化行政任务、提升诊断精准度,甚至协助识别患者数据。


然而,尽管AI带来了无限可能,仍有许多医生对其保持警惕,担心AI的崛起会导致医疗界人性化的消逝。


6.jpg


头颈部外科肿瘤学和AI的跨界研究者、意大利胡曼尼塔斯大学的阿尔贝托·帕德诺(Alberto Paderno)教授认为,繁重的工作负担是医生们普遍面临的问题,随着职业倦怠感和不满情绪的上升,AI作为一个得力助手,能够极大地减轻医生在文书和重复性任务上的负担,让他们能够更专注于临床工作。


尽管帕德诺坦承目前AI在医学领域的应用还相对有限,但他预测,随着AI算法自主性的不断提高,其角色将从简单的辅助者逐渐演变为医疗领域的核心力量。他预计,在未来的五年内,我们将会看到AI在临床医学中的广泛应用,而在十年之后,AI有可能彻底颠覆我们对医疗行业的认知。


然而,这场变革并非毫无风险。在AI带来的便利与效率背后,其潜在的风险也不容忽视。作为决策者和从业者,我们都需要深思:在追求技术革新的同时,如何确保医疗的人文关怀不会被遗忘?


“AI将在临床医疗实践中大放异彩,但关键在于我们如何安全、持续地将其融入日常操作。”帕德诺医生这样说道。他进一步指出,尽管AI在头颈部肿瘤学等医学领域已有初步应用,例如放射学中的计算机视觉模型,这是首批获得FDA批准的AI医疗产品,但距离广泛应用仍有距离。


帕德诺解释说,AI在医疗领域的应用与自动驾驶相似,都需要极高的精确度和安全性。在其他领域,如电影或广告,即使AI生成的图像有1%的错误率,我们也许可以轻易接受。但在医疗和自动驾驶领域,这1%的错误可能导致严重的后果。因此,我们需要建立强大的监管系统来预防并识别这些错误。


然而,目前医疗领域还缺乏这样的监管设施。这意味着在医疗实践中应用AI时,我们必须格外注意安全性和环境适用性。


7.jpg


帕德诺医生表示:“开发一个AI模型并不困难,但要让它通过严格认证,确保其在各种环境下都能安全、有效地运行,这才是真正的挑战。”他强调,一个理想的医疗AI模型应该能够适用于所有类型的患者,否则它就不能算是完美的。


目前存在的两大风险

在医疗领域,AI的应用正展现出巨大的潜力和机会,但与此同时,也面临着一系列复杂的挑战。除了安全性和通用性外,跨学科的知识融合成为了一个不可忽视的议题。


技术人员、工程师和科学家正热衷于将AI作为一把瑞士军刀,试图解决各种医疗问题。传统上,生物型工作设计法倡导的是发现问题并选择最佳解决方案。但现状却是,技术人员往往不清楚当前的临床痛点,而试图用技术手段去填补这些空白;另一方面,临床医生面对的实际问题,又往往缺乏对应的技术解决方案。


这种工程师、科学家与医生之间的鸿沟,似乎成为了AI在医疗领域进一步发展的瓶颈。那么,如何缩小这一差距呢?帕德诺认为,关键在于加强临床医生对AI技术的理解与应用能力,同时,也要提高技术人员对医疗领域的认知深度。


8.jpg


值得一提的是,帕德诺所在的大学已经开始行动。他们在医学院的教育中融入了工程与编程的学习内容,力求培养出既懂医学又懂技术的复合型人才。帕德诺本人就是一个完美的例证,他不仅在医学院获得了博士学位,而且他的研究背景深深地扎根于计算机科学。


然而,即使在这样的努力下,AI在医疗领域的应用仍面临着两大风险。首先,医生可能因过度依赖AI而忽视了自身的医学知识储备,导致在真正需要的时候出现技术短板。其次,AI模型的微小错误可能会在全球范围内迅速放大,其潜在的风险远超一个人犯错的情况。


因此,如何在确保AI为医疗领域带来福祉的同时,避免其潜在的风险,成为了每一个从业人员都需要深思的问题。而跨学科知识的融合,或许正是我们找到答案的关键所在。


--

https://www.politico.com/news/2024/03/24/who-pays-when-your-doctors-ai-goes-rogue-00148447



Copyright © 科睿研究院