對于許多患者來說，互聯網是進行醫(yī)學主題自我教育的強大工具。隨著ChatGPT現已觸手可及，麻省總醫(yī)院布萊根婦女醫(yī)院(麻省總醫(yī)院布萊根醫(yī)療保健系統的創(chuàng)始成員)的研究人員評估了人工智能聊天機器人提供的癌癥治療建議是否符合國家綜合癌癥網絡(NCCN)指南的一致性。

他們發(fā)表在《JAMAOncology》上的研究結果表明，在大約三分之一的情況下，ChatGPT3.5提供了不適當的(“不一致”)建議，強調需要認識到該技術的局限性。

“患者應該感到自己有權了解自己的醫(yī)療狀況，但他們應該始終與臨床醫(yī)生討論，并且不應孤立地查閱互聯網上的資源，”放射腫瘤科和醫(yī)學博士DanielleBitterman說。麻省總醫(yī)院布里格姆分校的醫(yī)學人工智能(AIM)項目。

(相關資料圖)

“ChatGPT的反應聽起來很像人類，并且非常有說服力。但是，在臨床決策方面，每個患者的獨特情況都有很多微妙之處。正確的答案可能非常微妙，而且不一定是某些東西ChatGPT或其他大型語言模型可以提供?！?/p>

人工智能工具在健康領域的出現具有開創(chuàng)性，有可能積極重塑護理的連續(xù)性。麻省布里格姆總醫(yī)院作為美國頂尖的綜合學術衛(wèi)生系統和最大的創(chuàng)新企業(yè)之一，在對新興技術進行嚴格研究方面處于領先地位，以告知將人工智能負責任地納入醫(yī)療服務、勞動力支持和行政流程。

盡管醫(yī)療決策可能受到許多因素的影響，但Bitterman和同事選擇評估ChatGPT的建議與NCCN指南的一致程度，NCCN指南被全國各地機構的醫(yī)生所使用。

他們專注于三種最常見的癌癥(乳腺癌、前列腺癌和肺癌)，并促使ChatGPT根據疾病的嚴重程度為每種癌癥提供治療方法。研究人員總共納入了26條獨特的診斷描述，并使用了4條略有不同的提示來要求ChatGPT提供治療方法，總共生成了104條提示。

幾乎所有答復(98%)都包括至少一種符合NCCN指南的治療方法。然而，研究人員發(fā)現，其中34%的回復還包含一項或多項不一致的建議，這些建議有時很難在其他合理的指導中被發(fā)現。

不一致的治療建議被定義為僅部分正確的治療建議;例如，對于局部晚期乳腺癌，僅建議進行手術，而不提及其他治療方式。值得注意的是，僅62%的案例評分完全一致，這凸顯了NCCN指南本身的復雜性以及ChatGPT的輸出可能模糊或難以解釋的程度。

在12.5%的病例中，ChatGPT產生了“幻覺”，即NCCN指南中完全沒有的治療建議。其中包括新療法或非治愈性癌癥的治愈性療法的建議。作者強調，這種形式的錯誤信息可能會錯誤地設定患者對治療的期望，并可能影響臨床醫(yī)患關系。

展望未來，研究人員正在探索患者和臨床醫(yī)生如何區(qū)分臨床醫(yī)生撰寫的醫(yī)療建議與ChatGPT等大型語言模型(LLM)。他們還向ChatGPT提供更詳細的臨床案例，以進一步評估其臨床知識。

作者使用了GPT-3.5-turbo-0301，這是他們進行研究時可用的最大模型之一，也是目前在ChatGPT的開放訪問版本(較新版本GPT-4)中使用的模型類。僅適用于付費訂閱)。他們還使用了2021年NCCN指南，因為GPT-3.5-turbo-0301是使用截至2021年9月的數據開發(fā)的。雖然如果使用其他法學碩士和/或臨床指南，結果可能會有所不同，但研究人員強調，許多法學碩士在它們的構建方式以及它們所具有的局限性。

AIM項目的第一作者ShanChen女士表示：“法學碩士在多大程度上能夠提供一致的邏輯反應，因為經常觀察到‘幻覺’，這是一個開放的研究問題?！薄坝脩艨赡軙蚍▽W碩士尋求答案，以對健康相關主題進行自我教育——類似于谷歌搜索的使用方式。同時，我們需要提高認識，法學碩士并不等同于訓練有素的醫(yī)療專業(yè)人員?！?/p>

關鍵詞：