全球每年2000萬(wàn)新增癌癥患者中,僅1%能獲得多學(xué)科膽瘤委員會(huì)的精準(zhǔn)診療。微軟醫(yī)療智能體協(xié)調(diào)器現(xiàn)可通過(guò)Microsoft Azure Al Foundry(國(guó)際版)智能體目錄獲取,它將影像、病理、基因組數(shù)據(jù)與電子健康記錄整合,通過(guò)多智能體協(xié)同編排功能將癌癥決策流程從數(shù)小時(shí)壓縮至分鐘級(jí),并能夠直接嵌入Microsoft Teams、Microsoft Worcd等工具,賦能開(kāi)發(fā)者加速臨床醫(yī)療創(chuàng)新進(jìn)程。
每年,全球約有2000萬(wàn)新增癌癥確診病例[1]。每位患者的腫瘤特征都具有獨(dú)特性,數(shù)百種不同的亞型意味著需要量身定制包含新藥聯(lián)用、臨床試驗(yàn)和設(shè)備治療在內(nèi)的綜合方案。為應(yīng)對(duì)這一挑戰(zhàn),國(guó)際頂級(jí)癌癥中心普遍采用多學(xué)科腫瘤委員會(huì)模式:由放射科、病理科、外科、腫瘤內(nèi)科、遺傳咨詢等領(lǐng)域的專家組成核心團(tuán)隊(duì),通過(guò)系統(tǒng)性分析海量臨床數(shù)據(jù)與前沿醫(yī)學(xué)知識(shí),為患者制定精準(zhǔn)的個(gè)體化治療方案。
然而,由于前期準(zhǔn)備復(fù)雜且專業(yè)門檻極高,目前僅有不足1%的患者能受益于這種已被臨床驗(yàn)證能顯著改善預(yù)后的個(gè)性化診療服務(wù)。
美國(guó)臨床腫瘤學(xué)會(huì)(ASCO)最新研究顯示,臨床醫(yī)生平均需為每位患者耗費(fèi)1.5-2.5小時(shí),對(duì)影像學(xué)資料、病理切片、基因組數(shù)據(jù)和病程記錄進(jìn)行交叉驗(yàn)證與分析[2]。這反映出癌癥診療僅是醫(yī)療領(lǐng)域復(fù)雜數(shù)據(jù)處理的冰山一角,而智能體AI的出現(xiàn),正為突破行政效率瓶頸、重塑醫(yī)療服務(wù)范式提供全新可能。
醫(yī)療智能體協(xié)調(diào)器現(xiàn)已可通過(guò) Microsoft Azure AI Foundry (國(guó)際版) 的智能體目錄獲取。它具備預(yù)配置的智能體、多智能體協(xié)同編排功能以及開(kāi)源定制選項(xiàng),允許開(kāi)發(fā)者和研究人員構(gòu)建智能體,來(lái)協(xié)調(diào)例如腫瘤委員會(huì)這種多學(xué)科、多模態(tài)的醫(yī)療健康數(shù)據(jù)工作流,并簡(jiǎn)化其向例如 Microsoft Teams 和 Word 等醫(yī)療健康企業(yè)生產(chǎn)力工具的部署。模塊化通用推理引擎與專業(yè)化多模態(tài) AI 智能體的協(xié)同運(yùn)作,可高效完成傳統(tǒng)需耗費(fèi)數(shù)小時(shí)的人工診療任務(wù),其核心目標(biāo)在于借助高度定制化的前沿智能體 AI 技術(shù),為臨床專科醫(yī)生提供精準(zhǔn)的能力賦能與決策支持。
通過(guò)整合微軟最新技術(shù)能力,醫(yī)療智能體協(xié)調(diào)器能夠管理和分析多種類型的醫(yī)療健康數(shù)據(jù),涵蓋影像(DICOM 文件)、病理(全切片圖像)、基因組學(xué)數(shù)據(jù)以及來(lái)自電子健康記錄(EHR)的臨床記錄。每個(gè)智能體都配備了來(lái)自 Microsoft Azure AI Foundry (國(guó)際版) 的先進(jìn) AI 技術(shù)模型,通過(guò)有機(jī)融合通用推理引擎與專業(yè)醫(yī)療模態(tài)模型,實(shí)現(xiàn)對(duì)多維度臨床數(shù)據(jù)的深度挖掘與轉(zhuǎn)化,最終輸出具有直接臨床指導(dǎo)價(jià)值的決策洞見(jiàn)。
01醫(yī)療智能體協(xié)調(diào)器的關(guān)鍵功能
?協(xié)調(diào)具備復(fù)雜 HER 數(shù)據(jù)推理能力的智能體功能,輔助臨床醫(yī)生完成耗時(shí)的任務(wù),包括:構(gòu)建按時(shí)間順序排列的患者時(shí)間線、確定癌癥分期、使用特定的參考指南、審閱放射學(xué)和病理學(xué)圖像、整合當(dāng)前醫(yī)學(xué)文獻(xiàn)、參考治療指南、篩選相關(guān)臨床試驗(yàn)以及生成定制化報(bào)告。
?提供通過(guò) Microsoft Fabric (國(guó)際版)和快速醫(yī)療健康互操作性資源(FHIR)數(shù)據(jù)服務(wù),連接企業(yè)醫(yī)療健康數(shù)據(jù)的工具。
?支持開(kāi)發(fā)者使用自己的模型、工具、指令和數(shù)據(jù)源創(chuàng)建、定制和微調(diào)每個(gè)智能體;在引導(dǎo)式體驗(yàn)環(huán)境中測(cè)試性能;并可以通過(guò)設(shè)置使用 Microsoft Copilot Studio 來(lái)擴(kuò)展智能體,將模型上下文協(xié)議(MCP)服務(wù)器與提供的示例實(shí)現(xiàn)集成。
?確保與現(xiàn)有醫(yī)療工作流的無(wú)縫集成,包括分發(fā)至大多數(shù)醫(yī)療健康組織已在使用的熟悉工具,例如 Microsoft Teams、Word、PowerPoint 和智能 Microsoft 365 Copilot 副駕駛等,用戶可以在這些工具中與 AI 智能體交互。
?在智能體 AI 生成的輸出中,提供強(qiáng)大的可解釋性功能,例如將響應(yīng)錨定至原始EHR數(shù)據(jù)源,這對(duì)于在高風(fēng)險(xiǎn)醫(yī)療環(huán)境中獲得驗(yàn)證、信任和采用至關(guān)重要。
包括斯坦福大學(xué)、約翰霍普金斯大學(xué)、Providence Genomics、麻省總院布列根醫(yī)院、威斯康星大學(xué)麥迪遜分校醫(yī)學(xué)與公共衛(wèi)生學(xué)院在內(nèi)的領(lǐng)先癌癥診療機(jī)構(gòu)的研究人員和開(kāi)發(fā)者,目前正在探索醫(yī)療智能體協(xié)調(diào)器,研究 AI 智能體如何為癌癥診療等復(fù)雜臨床任務(wù)創(chuàng)造價(jià)值。
“斯坦福醫(yī)學(xué)院每年為4000例癌癥患者提供多學(xué)科診療服務(wù)。目前,我們的臨床團(tuán)隊(duì)已在腫瘤委員會(huì)會(huì)議中采用基于 Microsoft Azure 平臺(tái)(國(guó)際版)、符合患者隱私保護(hù)規(guī)范的 GPT 實(shí)例生成臨床摘要。新型醫(yī)療智能體協(xié)調(diào)器將顯著優(yōu)化現(xiàn)有工作流程:通過(guò)消除數(shù)據(jù)復(fù)制粘貼等碎片化操作來(lái)提升效率,更可深度挖掘傳統(tǒng)檢索困難的關(guān)鍵臨床數(shù)據(jù)價(jià)值,包括但不限于臨床試驗(yàn)入組標(biāo)準(zhǔn)、循證治療指南及真實(shí)世界證據(jù)等維度。斯坦福醫(yī)療保健體系正積極推進(jìn)該協(xié)調(diào)器的臨床應(yīng)用研究,致力于打造全球首個(gè)投入實(shí)際癌癥診療場(chǎng)景的生成式 AI 智能體解決方案。”——邁克·普法伊弗博士,斯坦福醫(yī)療保健和斯坦福大學(xué)醫(yī)學(xué)院首席信息官
“醫(yī)療智能體協(xié)調(diào)器的愿景是,實(shí)現(xiàn)復(fù)雜癌癥病例的多模態(tài)醫(yī)療信息快速篩選與智能匯總,將原本需要數(shù)小時(shí)的專業(yè)審閱過(guò)程優(yōu)化至幾分鐘內(nèi)完成。這一創(chuàng)新技術(shù)讓我們通過(guò)與微軟的合作,得以深入探索其在腫瘤委員會(huì)等多場(chǎng)景中的臨床應(yīng)用價(jià)值。”——約書亞·華納博士,威斯康星大學(xué)衛(wèi)生系統(tǒng)放射科醫(yī)生,威斯康星大學(xué)麥迪遜分校醫(yī)學(xué)與公共衛(wèi)生學(xué)院放射學(xué)助理教授
在早期開(kāi)發(fā)階段,研究團(tuán)隊(duì)成功將多智能體工作流整合至 Microsoft Teams 聊天中。例如,通過(guò)群組對(duì)話功能,醫(yī)療專家可與接入專業(yè)醫(yī)療數(shù)據(jù)庫(kù)的 AI 智能體進(jìn)行實(shí)時(shí)交互。實(shí)踐表明,這種集成方案能有效提升醫(yī)療團(tuán)隊(duì)的工作效率與協(xié)作水平。
目前,臨床醫(yī)生與開(kāi)發(fā)人員正基于此技術(shù)架構(gòu)共同研發(fā)新一代醫(yī)療智能體應(yīng)用,其技術(shù)核心在于將基于通用推理模型和多模態(tài)醫(yī)療基礎(chǔ)模型開(kāi)發(fā)的專用智能體,與 Microsoft Teams 平臺(tái)的無(wú)縫交互能力進(jìn)行有機(jī)結(jié)合。
例如,約翰霍普金斯大學(xué)的腫瘤學(xué)家瓦桑·耶格納蘇布拉馬尼安(Vasan Yegnasubramanian)博士、埃爾莎·安娜格諾斯托(Elsa Anagnostou)博士和塔克西阿奇斯·博特西斯(Taxiarchis Botsis)博士,以及他們?cè)诩s翰霍普金斯 inHealth 精準(zhǔn)醫(yī)療項(xiàng)目和分子腫瘤委員會(huì)的開(kāi)發(fā)團(tuán)隊(duì),正在貢獻(xiàn)他們的專業(yè)知識(shí),以完善和測(cè)試該系統(tǒng),確保其在他們的臨床和精準(zhǔn)醫(yī)療應(yīng)用場(chǎng)景中具有高度實(shí)用性。
02協(xié)調(diào)專業(yè)智能體的協(xié)作
醫(yī)療智能體協(xié)調(diào)器基于微軟研究院與合作伙伴的前沿研究成果構(gòu)建,專門用于協(xié)調(diào)為癌癥診療等跨學(xué)科復(fù)雜臨床工作流程量身定制的專業(yè)智能體系統(tǒng)。
協(xié)調(diào)器利用 Semantic Kernel 和 Magentic-One 來(lái)協(xié)調(diào)智能體、維護(hù)共享記憶并在人機(jī)協(xié)同工作流中發(fā)揮作用。
患者歷史智能體利用 Universal Medical Abstraction 按時(shí)間線組織患者數(shù)據(jù)[3]。原本需要專家花費(fèi)三個(gè)多小時(shí)的手動(dòng)工作,幾分鐘內(nèi)即可完成。
放射學(xué)智能體利用客戶微調(diào)模型(如 CXRRepotGen/MAIRA-2)來(lái)分析放射影像,進(jìn)行二次判讀[4]。
病理學(xué)智能體演示如何連接到外部智能體,如 Paige.ai 的 Alba 病理智能體,以處理與病理圖像相關(guān)的復(fù)雜查詢(預(yù)覽版可用)[5]。
癌癥分期智能體參考美國(guó)癌癥聯(lián)合委員會(huì)(AJCC)臨床指南,來(lái)支持準(zhǔn)確的癌癥分期。
臨床指南智能體參考美國(guó)國(guó)家綜合癌癥網(wǎng)絡(luò)(NCCN)臨床指南以建議推薦的治療方案。
臨床試驗(yàn)智能體通過(guò)將患者檔案與 ClinicalTrials.gov 等數(shù)據(jù)庫(kù)進(jìn)行匹配,來(lái)識(shí)別符合條件的臨床試驗(yàn)。與公開(kāi)的 Critera2Query 基線相比,其召回率提升可超過(guò)一倍[6]。
醫(yī)學(xué)研究智能體基于可信醫(yī)學(xué)期刊的知識(shí)圖譜,提供可操作的循證指導(dǎo)。
報(bào)告創(chuàng)建智能體自動(dòng)化生成全面、集成、格式豐富的報(bào)告,作為多學(xué)科會(huì)議期間的可信參考。
“在推進(jìn)多智能體系統(tǒng)臨床常規(guī)化應(yīng)用的進(jìn)程中,醫(yī)療智能體協(xié)調(diào)器展現(xiàn)了卓越的系統(tǒng)集成能力,它能將各類 AI 技術(shù)模型和智能體無(wú)縫對(duì)接至臨床醫(yī)生日常使用的生產(chǎn)力工具。這一靈活的智能體協(xié)同編排框架,使 Paige 團(tuán)隊(duì)得以持續(xù)深耕病理智能體的研發(fā),同時(shí)確保我們的解決方案能夠融入到整體癌癥診療流程中,并充分發(fā)揮多模態(tài)醫(yī)療數(shù)據(jù)的協(xié)同價(jià)值。”——拉齊克·尤斯菲,Paige.ai 首席執(zhí)行官
醫(yī)療智能體協(xié)調(diào)器采用開(kāi)放式架構(gòu)設(shè)計(jì),包括第三方解決方案在內(nèi)的任何通過(guò)認(rèn)證的智能體,只需提供 API 接口、工具封裝或 MCP 協(xié)議端點(diǎn),即可無(wú)縫接入 Microsoft Teams 的會(huì)話流程。作為首個(gè)成功對(duì)接的第三方智能體,Paige.ai 正式推出了 Alba 智能體預(yù)覽版。
這種解決方案深度融合了 Paige 自主研發(fā)的基礎(chǔ)視覺(jué)大模型與對(duì)話式 LLM 交互界面,能夠基于全切片數(shù)字病理圖像,實(shí)時(shí)輸出包括腫瘤分級(jí)、組織形態(tài)學(xué)特征及生物標(biāo)志物狀態(tài)等關(guān)鍵指標(biāo)的智能化病理分析結(jié)果。
“Providence 臨床研究團(tuán)隊(duì)已經(jīng)開(kāi)始運(yùn)用醫(yī)療智能體協(xié)調(diào)器提供的先進(jìn) AI 技術(shù)能力,這讓我們能夠快速高效地分析大量醫(yī)學(xué)文獻(xiàn)、臨床試驗(yàn)和電子健康記錄。我們特別看好這項(xiàng)技術(shù)在分子腫瘤委員會(huì)中的應(yīng)用前景,它不僅能提升我們解讀基因組學(xué)數(shù)據(jù)和匹配臨床試驗(yàn)的能力,更重要的是能為患者提供更精準(zhǔn)、更及時(shí)的治療選擇。
這個(gè)系統(tǒng)與現(xiàn)有工作流程的整合,還將顯著改善臨床團(tuán)隊(duì)之間的溝通效率,確保重要醫(yī)療信息得到及時(shí)準(zhǔn)確的共享。在我們持續(xù)探索癌癥生物學(xué)機(jī)制的過(guò)程中,這項(xiàng)技術(shù)必將成為推動(dòng)醫(yī)學(xué)發(fā)現(xiàn)和提升癌癥治療效果的關(guān)鍵助力。”——拉齊克·尤斯菲,Paige.ai 首席執(zhí)行官
03賦能開(kāi)發(fā)者,加速臨床醫(yī)療
創(chuàng)新進(jìn)程
隨著臨床診療復(fù)雜度的提升,醫(yī)療智能體協(xié)調(diào)器將持續(xù)為開(kāi)發(fā)者提供關(guān)鍵支持,使其能夠從容應(yīng)對(duì)智能體 AI 技術(shù)的快速發(fā)展浪潮。平臺(tái)致力于搭建臨床醫(yī)生與開(kāi)發(fā)者之間的協(xié)作橋梁,通過(guò)將先進(jìn)能力整合至現(xiàn)有醫(yī)療工作流,推動(dòng)精準(zhǔn)醫(yī)療技術(shù)的大規(guī)模臨床應(yīng)用。
該框架最初著眼于探索腫瘤委員會(huì)輔助場(chǎng)景的創(chuàng)新機(jī)遇,其長(zhǎng)遠(yuǎn)發(fā)展愿景是全方位賦能醫(yī)療健康與生命科學(xué)領(lǐng)域的開(kāi)發(fā)者群體,通過(guò)為整個(gè)醫(yī)療生態(tài)系統(tǒng)中的多學(xué)科診療團(tuán)隊(duì)提供實(shí)時(shí)智能化支持,研究智能體 AI 技術(shù)對(duì)臨床醫(yī)生工作模式和患者診療體驗(yàn)的深遠(yuǎn)影響。
我們誠(chéng)摯邀請(qǐng)醫(yī)療健康領(lǐng)域的開(kāi)發(fā)者和臨床機(jī)構(gòu),通過(guò)Microsoft Azure AI Foundry(國(guó)際版)智能體目錄來(lái)應(yīng)用醫(yī)療智能體協(xié)調(diào)器,共同探索新一代 AI 技術(shù)賦能的醫(yī)療健康智能體解決方案,攜手開(kāi)創(chuàng)智能醫(yī)療的新未來(lái)。
-
微軟
+關(guān)注
關(guān)注
4文章
6679瀏覽量
105586 -
醫(yī)療
+關(guān)注
關(guān)注
8文章
1899瀏覽量
59766 -
智能體
+關(guān)注
關(guān)注
1文章
292瀏覽量
11031
原文標(biāo)題:全球僅1%癌癥患者可獲得精準(zhǔn)診療?看醫(yī)療智能體如何打破困局
文章出處:【微信號(hào):mstech2014,微信公眾號(hào):微軟科技】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
涂鴉智能重磅發(fā)布四大AIoT技術(shù)引擎,賦能開(kāi)發(fā)者以AI重構(gòu)物理世界

涂鴉智能重磅發(fā)布四大AIoT技術(shù)引擎,賦能開(kāi)發(fā)者以AI重構(gòu)物理世界

Apex平臺(tái):簡(jiǎn)化AI API開(kāi)發(fā),賦能開(kāi)發(fā)者
HarmonyOS 應(yīng)用開(kāi)發(fā)賦能套件:鴻蒙原生應(yīng)用開(kāi)發(fā)的 “神助攻”
微軟AI開(kāi)發(fā)者挑戰(zhàn)賽即將開(kāi)啟
AI開(kāi)發(fā)平臺(tái)如何賦能開(kāi)發(fā)者
《HarmonyOS第一課》煥新升級(jí),賦能開(kāi)發(fā)者快速掌握鴻蒙應(yīng)用開(kāi)發(fā)
醫(yī)療電源,電力電子
AI行業(yè)大咖云集 2024邊緣智能開(kāi)發(fā)者生態(tài)大會(huì)圓滿落幕

NVIDIA助力西門子醫(yī)療加速醫(yī)學(xué)影像AI部署
美格智能亮相2024邊緣智能開(kāi)發(fā)者生態(tài)大會(huì),攜手邁向邊緣智算新時(shí)代

商湯醫(yī)療與上海臨床創(chuàng)新轉(zhuǎn)化研究院簽署戰(zhàn)略合作協(xié)議
從芯片到系統(tǒng)賦能創(chuàng)新:2024新思科技開(kāi)發(fā)者大會(huì)共創(chuàng)萬(wàn)物智能未來(lái)

GE醫(yī)療與亞馬遜云科技達(dá)成戰(zhàn)略合作,通過(guò)生成式AI加速醫(yī)療健康領(lǐng)域轉(zhuǎn)型
XREAL Air 2 ULTRA開(kāi)售,NRSDK開(kāi)放能力 賦能開(kāi)發(fā)者實(shí)現(xiàn)全功能AR訴求

評(píng)論