系統(tǒng)生物學(xué)研究所 (ISB) 的研究人員對使用人工智能 (AI) 從電子健康記錄中識別健康社會決定因素的優(yōu)勢和局限性有了新的認識。他們的研究結(jié)果發(fā)表在《醫(yī)學(xué)互聯(lián)網(wǎng)研究雜志》上。

ISB 團隊與 Providence 合作，利用了由生成式預(yù)訓(xùn)練轉(zhuǎn)換器 (GPT) 開發(fā)的大型語言模型(LLM)。他們的研究完全在安全的 Providence 內(nèi)部環(huán)境中進行。

這項研究旨在檢測住房不穩(wěn)定情況，對795 名孕婦的25,000 多份臨床記錄進行了分析，并評估了兩種大型語言模型(GPT-4 和 GPT-3.5)、一個命名實體識別模型、正則表達式和人工審查。

這項研究在兩個重要方面超越了以前的研究。首先，研究人員測量了人工智能發(fā)現(xiàn)住房問題、區(qū)分當(dāng)前和過去住房不穩(wěn)定情況以及提供臨床記錄直接證據(jù)的能力。其次，他們測量了如果記錄被去識別化，人工智能的表現(xiàn)是否會有所不同。

GPT-4 是所測試的四種技術(shù)中最有效的，并且在發(fā)現(xiàn)住房不穩(wěn)定的案例(召回率)方面比人類更好。然而，人類更善于理解人們何時沒有住房不穩(wěn)定(精確度)。人類也更善于從臨床記錄中提供正確的證據(jù)。

“這些結(jié)果表明，LLM 為初步尋找可能受益于外展的患者提供了一種可擴展、經(jīng)濟有效的解決方案，”該論文的通訊作者、ISB 副教授 Jennifer Hadlock 醫(yī)學(xué)博士說。