資料介紹
描述
化療期間過敏性皮膚反應檢測
由 Nvidia 提供技術支持的化療期間的過敏性皮膚反應檢測
介紹:
如今,我們在醫(yī)療保健方面存在嚴重問題。盡管其中許多問題已經(jīng)用技術解決了,但很多時候該行業(yè)不愿意改變和采用新技術。
例如,癌癥患者可能必須不斷接受化療,但這個過程并不簡單或愉快。最糟糕的是,可能對化療過敏。大約 17% 接受化療的患者對其有過敏反應,這會引發(fā)從簡單的臉紅到死亡的癥狀。這是一個經(jīng)過深入研究的現(xiàn)象,它有幾個癥狀和階段。

在這種治療中嚴重過敏反應之前的主要癥狀之一(1)是面部潮紅或臉紅,之后可能會出現(xiàn)以下癥狀:

如果可以更快地檢測到潮紅、臉紅和面部發(fā)紅等最初癥狀,我們可以通過及時進行治療來避免大多數(shù)更嚴重的癥狀。
幫助解決此問題的技術類型并不存在。當生命體征監(jiān)測儀開始檢測到呼吸異常時,醫(yī)院環(huán)境中的第一反應就會發(fā)生。并且如果未分配與患者相關的患者,一旦患者開始感到不適,就會在患者呼叫護士時做出反應(可能有點太晚了)。
有一些技術可以預防過敏反應,例如:
自動注射器
- https://wyss.harvard.edu/technology/project-abbie/
- https://snacksafely.com/2018/10/project-abbie-promises-wearable-auto-injector-with-automatic-anaphylaxis-detection-and-activation/
然而,這些解決方案是最后的資源,不推薦使用。
該解決方案在此類環(huán)境中將非常有用,因為這是一個沒有人解決的問題,并且會極大地影響患者的健康。這種反應很容易導致并發(fā)癥,如果在嚴重癥狀出現(xiàn)之前進行治療,甚至可以挽救患者的生命。
意圖
出于這些原因,我將建立一個 CV 系統(tǒng),實時分析患者的面部,并能夠確定該人是否正在或開始對化療藥物產(chǎn)生過敏反應。反過來,可以向護士發(fā)出緊急呼叫。根據(jù)醫(yī)院幾位護士的經(jīng)驗,在出現(xiàn)發(fā)紅的第一個癥狀后,患者開始出現(xiàn)非常嚴重的過敏反應,護士很難察覺到這一點。
該解決方案將通過 1080p 攝像頭分析患者的實時圖像。圖像捕獲完成后,它將使用模型對其進行分析。如果患者出現(xiàn)過敏反應,或者如果他有過敏反應,通知將通過 AWSIoT 發(fā)送到與 AWS-SDK 集成的漸進式 Web 應用程序。該網(wǎng)頁將使用 ReactJS 設計。
該系統(tǒng)將具有以下特點和特點:
- 實時分析患者的過敏反應狀態(tài)。
- 每當發(fā)生過敏反應時通知。
- 數(shù)據(jù)分析的云集成。
要使用的模型將是 TensorFlow 模型,我將使用幾張具有過敏反應(面部發(fā)紅)的患者和健康患者的圖像對其進行訓練。
這種類型的模型可以與 Keras(TensorFlow 2.0 子模塊)和 OpenCV 一起使用,以執(zhí)行圖像預處理、訓練和分析(使用模型進行預測)。該模型的訓練將在 Jupyter 筆記本中完成,并將在 NVIDIA Jetson Nano 上運行。為了能夠生成越來越精確的模型,使用系統(tǒng)隨時間收集的新圖像,進而重新訓練現(xiàn)有模型。因此,我希望生成一個模型,該模型可以在看到更多患者時進行學習。
連接圖:
這是系統(tǒng)的連接圖:

杰森設置:
Jetson 源設置:
因為我們通過帶有插孔連接器的外部 5 伏電源為 Jetson Nano 供電,所以我們必須在 Jetson 的 J48 連接器上放置一個跳線,如圖所示。

Jetson SD 卡設置:
這是關于如何在 SD 卡上安裝 Jetson SDK 操作系統(tǒng)映像的說明。您將需要一臺帶有 SD 讀卡器的計算機來安裝圖像。
我們建議下載最新版本的 SDK,在本指南中我使用的是 4.3.0 版(最新版)。
官方鏈接:https ://developer.nvidia.com/embedded/jetpack
您需要解壓縮文件以獲取要寫入 SD 卡的圖像文件 (.img)。如果您沒有要解壓縮的程序,我會根據(jù)您的操作系統(tǒng)(在我的例子中是 Windows)推薦以下任何一種。
7-Zip(視窗):
解壓器(Mac):
解壓縮(Linux):
https://linuxize.com/post/how-to-unzip-files-in-linux/

格式化你的 SD。
Windows 和 Mac:
https://www.sdcard.org/downloads/formatter/index.html
Linux:
https://www.pcworld.com/article/3176712/how-to-format-an-sd-card-in-linux.html
我的電腦沒有 SD 卡讀卡器,所以我使用這個外部讀卡器(任何讀卡器都可以)。
這是SD卡格式化程序的軟件。我特別喜歡這個程序,因為這種類型的操作系統(tǒng)會在 SD 內(nèi)存中創(chuàng)建多個分區(qū),如果我們以后要重新格式化,它們的格式可能會很復雜,但是這個程序會自動完成所有操作。

用操作系統(tǒng)刷寫 SD 卡
您需要使用鏡像寫入工具來安裝您下載到 SD 卡上的鏡像。我推薦 balenaEtcher,因為它適用于所有操作系統(tǒng),并且無需解壓縮 .zip 即可執(zhí)行操作系統(tǒng)閃存。
下載鏈接:https ://www.balena.io/etcher/

正確完成該過程后,我們會看到以下消息。

Jetson 操作系統(tǒng)設置:
將 SD 插入 Jetson Nano 的 SD 插槽。

使用HDMI線將Jetson Nano連接到屏幕,連接無線鍵盤接收器,連接網(wǎng)卡并連接電源。

我們將配置操作系統(tǒng),非常簡單。
- 接受條款。

- 選擇你的語言。

- 選擇您的鍵盤布局。

- 配置您的無線網(wǎng)絡。

- 選擇您的地區(qū)。

- 選擇您的憑據(jù)。
超級重要的注意事項:選中“自動登錄”選項

- 單擊確定以擴展您的分區(qū)大小。

- 等幾分鐘。

- 如果一切正常,您將看到這樣的屏幕。

- 。
- 有了這個,您應該已經(jīng)配置好了一切,從現(xiàn)在開始不再需要 HDMI 電纜和無線鍵盤。所有編程和最終設置都將通過 SSH 完成。
SSH 設置:
對于此步驟,我們將創(chuàng)建與 Jetson 的 ssh 連接,如果您的 Mac 或 Linux 已經(jīng)預配置了 OpenSSH 庫,那么您可以使用以下命令從終端啟動連接。
ssh -L 8000:localhost:8888 youruser@yourip
在我的例子中,命令是:
ssh -L 8000:localhost:8888 vic@192.168.0.28
注意:也可以在 Windows 中激活此庫,但我建議使用接下來將向您展示的說明。
如果您是 Windows 用戶,我建議您使用以下程序:
該動畫展示了如何完全按照上一個命令配置 Putty。
以Putty控制臺為例,點擊connect會出現(xiàn)如下信息。

點擊“Yes”會彈出如下窗口,只要不格式化Jetson OS就不會再出現(xiàn),此時會要求輸入我們在上一節(jié)定義的密碼。

在命令控制臺輸入密碼后,會出現(xiàn)這個窗口,說明我們已經(jīng)連接上Jetson Nano了。

庫設置:
建立與控制臺的無線連接后,我們必須將以下命令復制并粘貼到其中并執(zhí)行它們。
下載項目并獲取項目所有必需文件的命令。
git clone https://github.com/altaga/Anaphylactic-Skin-Reaction-Detection-during-Chemotherapy
命令進入下載的文件夾。
cd Anaphylactic-Skin-Reaction-Detection-during-Chemotherapy/Installer
此命令將安裝正確設置項目所需的所有庫和配置。為了便于安裝,我將制作一個自動執(zhí)行所有這些操作的 .sh 文件,但是我還在附錄 A 中單獨附加了命令。此外,該文件可以通過任何文本編輯器查看,例如記事本、Atom、VSCode 等。 .
注意:去喝杯咖啡,吃點餅干,看看你最喜歡的系列的下一章,因為這個過程可能需要 45 分鐘到 2 小時才能完成,具體取決于你的互聯(lián)網(wǎng)連接。
sudo bash Install.sh
通過這個過程,我們將正確安裝所有庫:
- 張量流 2.0
- Awscli(我們還沒有完成這個庫的設置)
- 麻木的
- 木星筆記本
- 帕霍MQTT
- OpenCV(無貢獻版)
一旦這個過程結束,我們必須檢查 Jupyter notebook 是否正常工作,因為它將成為本教程其余部分的 UI。接下來,編寫以下命令:
jupyter notebook
你應該在終端中看到類似這樣的東西:

復制出現(xiàn)的令牌,在不關閉窗口的情況下轉(zhuǎn)到瀏覽器并在地址欄輸入:
localhost:8000
你應該得到一個這樣的窗口:

粘貼您之前復制的令牌:

如果令牌有效,我們應該在瀏覽器中打開 Jetson 文件,這很重要,因為此窗口將使我們能夠輕松管理文件,并允許我們執(zhí)行項目文件。
AWS Jetson 設置:
首先,我們訪問我們的 AWS 控制臺并查找 IoT 核心服務:

獲取您的 AWS 端點,保存它,因為我們將使用它來設置 JEtson 和網(wǎng)頁。

在橫向面板中選擇“Onboard”選項,然后選擇“Get started”。

選擇“開始”。

在“Choose a platform”中選擇“Linux/OSX”,在AWS IoT DEvice SDK中選擇“Python”,然后點擊“Next”。

在名稱中寫下您想要的任何名稱,然后單擊“下一步”。

在“下載連接工具包”部分中,按“Linux/OSX”按鈕下載憑證包(我們稍后會用到),然后單擊“下一步”。

單擊“完成”。

單擊“完成”。

在橫向欄中,在 Manage/Things 部分,我們可以看到我們已經(jīng)創(chuàng)建的東西。現(xiàn)在我們必須設置那個東西的策略,讓它在 AWS 中不受限制地工作。

在側(cè)邊欄中,在 Secure/Policies 部分我們可以看到我們的 thing-policy,點擊它進行修改:

單擊“編輯策略文件”。

將以下文本復制粘貼到文檔中并保存。
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": "iot:*",
"Resource": "*"
}
]
}

完成此操作后,我們將轉(zhuǎn)到我們的電腦并轉(zhuǎn)到包含先前下載的憑據(jù)的文件夾并將其解壓縮。

我們進入解壓后的文件夾,我們將按照以下方式重命名文件:
ThingNAME.cert.pem -> ThingCert.cert.pem
ThingNAME.private.key -> PrivateCert.private.key

現(xiàn)在,文件已經(jīng)重命名,我們將通過以下路徑轉(zhuǎn)到我們的 Jupyter Notebook:

在右上角有一個按鈕,上面寫著“上傳”

通過單擊它,我們可以將我們的兩個證書上傳到該文件夾??。

單擊每個藍色“上傳”按鈕以完成文件上傳。

至此,我們應該擁有所有必要的憑據(jù)。
AWSCLI 設置:
這是通過 Python for Cloud 管理和執(zhí)行操作的 AWS 庫,所以我們必須像這樣設置它:
在控制臺,我們轉(zhuǎn)到 IAM 服務。

在訪問管理/用戶部分,我們單擊添加用戶。

我們輸入任何用戶名,然后單擊“下一步:權限”

單擊“直接附加現(xiàn)有策略”,在搜索欄中我們輸入“S3”并選擇“AmazonS3FullAccess”策略。

我們單擊“下一步”,直到到達成功屏幕,我們將在其中看到訪問密鑰 ID 和秘密訪問密鑰,我們必須保存這兩個密鑰才能設置 Awscli。

從我們的 Jupyter notebook UI 的“新建”按鈕打開一個新終端。

在上面輸入以下命令。
aws configure

通過以下方式配置憑據(jù):
AWS Access Key ID [None]: YOUR ACCESS KEY ID
AWS Secret Access Key [None]: YOUR SECRET ACCESS KEY
Default region name [None]: us-east-1
Default output format [None]: json
準備好!我們現(xiàn)在已經(jīng)配置了 Jetson Nano。
網(wǎng)頁設置:
Aws 憑證設置:
進入 AWS 控制臺并搜索“Cognito”服務。

輸入“管理身份池”

輸入“管理身份池”

輸入“創(chuàng)建新的身份池”

在池中鍵入任何名稱并選中“啟用對未經(jīng)身份驗證的身份的訪問”,然后單擊“創(chuàng)建池”

只需單擊“允許”。

我們剛剛得到我們的 POOLID,保存它,因為我們以后會用到它。

轉(zhuǎn)到 AWS 控制臺并輸入“IAM”。

在控制臺中進入角色部分,在搜索欄中輸入“web”并輸入“Cognito_WebPagePoolUnauth_Role”。

在 Role 中,我們單擊 Attach policies 按鈕以添加我們的 webapp 所需的服務。

在該窗口中,我們需要添加三個服務:
- AmazonS3 完全訪問
- AWSIoTFullAccess
- AmazonDynamoDBFullAccess

現(xiàn)在我們擁有了所需的權限,我們分道揚鑣來配置我們將擁有患者信息的數(shù)據(jù)庫。我們將從 AWS 搜索 DynamoDB。

選擇創(chuàng)建表。

使用以下參數(shù)創(chuàng)建一個表,重要的是名稱與我們在圖像中顯示的名稱相同。
名稱:HacksterDB 分區(qū)鍵:PartKey 排序鍵:SortKey

創(chuàng)建表格后,我們可以在其上生成關于患者的登記簿,我們將能夠在我們的平臺上可視化這些登記簿,登記簿必須遵循以下結構。
{
"Age": "56",
"App": " 03/03/2020",
"Cancer": "Sarcoma",
"Comments": "Entrepreneur, if you don't have at least one TitanRTX on your computer, don't talk with him",
"Incidents": "1",
"Medicine": "Carboplatin",
"PartKey": "dev1",
"SortKey": "Jen-Hsun Huang"
}
寄存器說明:
- 年齡:人的年齡
- 應用程序:他下一次約會的日期
- 癌癥:癌癥類型
- 評論:專家的任何評論
- 事件:迄今為止的事件數(shù)。
- 醫(yī)學:藥物治療
- PartKey:獲取寄存器的設備
- SortKey:患者姓名
最后我們將創(chuàng)建一個 S3 存儲桶,它允許我們存儲我們需要的任何文件或圖像。從 AWS 控制臺查找 S3 服務。

在 S3 上單擊按鈕以創(chuàng)建存儲桶。

為存儲桶鍵入任何名稱,但請記住它,因為我們稍后會調(diào)用它。

取消選中圖像中的所有塊選項:

完成所有這些后,我們就可以準備好設置我們的 web 應用程序了。

取消選中所有要阻止的選項,如圖所示:。

完成后,我們創(chuàng)建了具有以下 URL 的存儲桶。
https://yourbucketname.s3.amazonaws.com/
將憑據(jù)添加到網(wǎng)頁
將 Github 文件下載到您的 PC。

在項目文件夾中轉(zhuǎn)到:ReactAPP\src\views\examples。

使用您喜歡的編輯器打開以下文件:
- aws-configuration.js
- MyCard.jsx
- 卡片.jsx
- 配置文件.jsx
在“aws-configuration.js”中粘貼我們的 POOLID 和我們的 AWS 端點。

在“MyCard.jsx”中粘貼您的存儲桶 URL。

在“Card.jsx”中粘貼您的存儲桶 URL。

在“Profile.jsx”中粘貼數(shù)據(jù)庫的名稱,如果您將其命名為“HacksterDB”,則無需執(zhí)行任何其他操作。

要在導航器中可視化數(shù)據(jù)庫,您需要在計算機中安裝 NodeJS。
安裝后,進入名為“ReactAPP”的項目文件夾。

在那里,操作終端或在 Windows cmd 的情況下。
注意:如果您使用的是 Windows,只需在搜索欄中鍵入 cmd。
在 cmd 或終端中寫入下一個命令。
npm install

安裝所有依賴項后,在控制臺寫入:
npm start
木星筆記本:
最終設置:
從瀏覽器中的“l(fā)ocalhost:8000”輸入 Jupyter notebook UI。不再需要令牌。

進入“化療期間過敏性皮膚反應檢測\Jupyter Notebook\化療期間過敏性皮膚反應檢測.ipynb”文件夾

設置好所有內(nèi)容后,我們現(xiàn)在進入瀏覽器,然后再執(zhí)行代碼修訂,我們需要粘貼我們的存儲桶名稱和 AWS IoT 端點。

最終產(chǎn)品:
產(chǎn)品:


基本組件:

用戶界面:
- 實時模型性能

- 實時緊急通知

- 患者數(shù)據(jù)庫搜索工具

史詩演示:
評論未來推出:
總之,在這個項目中,我們有:
- 針對特定問題開發(fā)了我們自己的機器學習算法和程序,在 Tensorflow 上實施計算機視覺。
- 使用 Nvidia Jetson Nano 的全部功能。
- 完整記錄了整個過程,并確保所有現(xiàn)有文檔都可以在任何 Jetson nano 中隨時運行,并帶有這樣的設置。
但是,最重要的部分是它解決了一個實際問題。當我開始這個項目時,我不想只做一個周末項目或一個非常酷的機器人。我想要的是從問題開始倒退,然后查看我需要什么硬件來解決它。值得慶幸的是,由于我接受過生物醫(yī)學工程師的教育,并且與醫(yī)院、診所和醫(yī)療保健機構合作,所以我對某些領域的某些問題有了很好的了解。這個特殊的問題(對化療的過敏反應和快速反應)確實是我被要求制定適當解決方案的問題。它符合聯(lián)合國的一項 SDG(可持續(xù)發(fā)展目標),這一事實使其變得更好。

我實際上認為該項目(用于原型)幾乎已準備好進行測試,甚至可以超越它。我能提到的改進只是在美學方面(我在考慮 IP 攝像機類型的外殼)。這也意味著開發(fā)更加商業(yè)化的產(chǎn)品。
感謝您閱讀并繼續(xù)黑客攻擊!
參考:
鏈接:
(2) https://www.ncbi.nlm.nih.gov/books/NBK333506/table/ch04.sec1.table1/
(3) https://medium.com/@alexrachnog/using-caffe-with-your-own-dataset-b0ade5d71233
(4) https://www.pyimagesearch.com/2017/08/21/deep-learning-with-opencv/
附錄 A:
安裝.sh內(nèi)容:
export PATH=$PATH:~/.local/bin
sudo apt-get update
sudo apt-get upgrade -y
sudo apt-get install libhdf5-serial-dev hdf5-tools libhdf5-dev zlib1g-dev zip libjpeg8-dev -y
sudo apt-get install python3-pip -y
sudo pip3 install -U pip testresources setuptools
sudo pip3 install -U numpy==1.16.1 future==0.17.1 mock==3.0.5 h5py==2.9.0 keras_preprocessing==1.0.5 keras_applications==1.0.8 gast==0.2.2 enum34 futures protobuf
sudo pip3 install --pre --extra-index-url https://developer.download.nvidia.com/compute/redist/jp/v43 tensorflow-gpu
sudo pip3 install notebook awscli paho-mqtt
sudo apt-get install python3-matplotlib python3-opencv python3-scipy -y
- 基于層次值的皮膚創(chuàng)面形態(tài)學展開方法綜述 6次下載
- 融合生成對抗網(wǎng)絡等的皮膚病診斷技術 12次下載
- 基于全時序CNN的視頻顯著性檢測方法 0次下載
- 基于層次值的皮膚創(chuàng)面形態(tài)學展開方法 31次下載
- 基于超圖的種子傳播的協(xié)同顯著性檢測框架 0次下載
- 可檢測實時系統(tǒng)的正確性的符號化模型 6次下載
- 結合背景與前景的RGB-D圖像顯著性檢測模型 0次下載
- 基于深度學習的顯著性目標檢測的數(shù)據(jù)集和評估準則 0次下載
- 如何使用深度卷積神經(jīng)網(wǎng)絡進行色素性皮膚病的識別分類 7次下載
- 關于紅外檢測技術的解釋性論文 2次下載
- 皮膚老化分析中的皮溝檢測方法研究 0次下載
- 腫瘤標志物(TM)的含義與檢測原理的分析及案例解析 2次下載
- 基于UC_OS-II的腹腔灌注熱化療儀的優(yōu)化設計
- 基于DSP的人體皮膚測量儀的設計
- 一種基于人臉皮膚圖像的色斑檢測算法
- 手機氣密性檢測儀沒有反應的原因是什么 326次閱讀
- 氣密性檢測的重要性 931次閱讀
- 電子皮膚是一項前沿技術,具有廣闊的應用前景 3380次閱讀
- 如何在電源故障期間保存數(shù)據(jù)而不會損壞數(shù)據(jù) 740次閱讀
- 基于MEMS工藝的電極型免疫微傳感器檢測系統(tǒng)設計 1949次閱讀
- 手機屏幕為什么要用皮膚接觸才能滑動 9041次閱讀
- 紫外線傳感器在皮膚醫(yī)療方面中的應用介紹 1206次閱讀
- 電子皮膚的應用_電子皮膚未來 9212次閱讀
- 利用3D生物打印技術腫瘤芯片可檢測放療化療反應 4344次閱讀
- ADI開發(fā)了一個稱為AD594x系列的新型阻抗測量芯片 1.4w次閱讀
- 微流控技術如何有效提高腫瘤化療效果 2483次閱讀
- 電子皮膚研發(fā)歷史與電子皮膚的作用 7213次閱讀
- 基于DSP的人體皮膚測量儀設計與實現(xiàn)方案[圖] 1271次閱讀
- 基于FPGA的反應堆控制保護系統(tǒng)的設計 1049次閱讀
- 人體接觸應用中的電容檢測 2476次閱讀
下載排行
本周
- 1DD3118電路圖紙資料
- 0.08 MB | 1次下載 | 免費
- 2AD庫封裝庫安裝教程
- 0.49 MB | 1次下載 | 免費
- 3PC6206 300mA低功耗低壓差線性穩(wěn)壓器中文資料
- 1.12 MB | 1次下載 | 免費
- 4網(wǎng)絡安全從業(yè)者入門指南
- 2.91 MB | 1次下載 | 免費
- 5DS-CS3A P00-CN-V3
- 618.05 KB | 1次下載 | 免費
- 6海川SM5701規(guī)格書
- 1.48 MB | 次下載 | 免費
- 7H20PR5電磁爐IGBT功率管規(guī)格書
- 1.68 MB | 次下載 | 1 積分
- 8IP防護等級說明
- 0.08 MB | 次下載 | 免費
本月
- 1貼片三極管上的印字與真實名稱的對照表詳細說明
- 0.50 MB | 103次下載 | 1 積分
- 2涂鴉各WiFi模塊原理圖加PCB封裝
- 11.75 MB | 89次下載 | 1 積分
- 3錦銳科技CA51F2 SDK開發(fā)包
- 24.06 MB | 43次下載 | 1 積分
- 4錦銳CA51F005 SDK開發(fā)包
- 19.47 MB | 19次下載 | 1 積分
- 5PCB的EMC設計指南
- 2.47 MB | 16次下載 | 1 積分
- 6HC05藍牙原理圖加PCB
- 15.76 MB | 13次下載 | 1 積分
- 7802.11_Wireless_Networks
- 4.17 MB | 12次下載 | 免費
- 8蘋果iphone 11電路原理圖
- 4.98 MB | 6次下載 | 2 積分
總榜
- 1matlab軟件下載入口
- 未知 | 935127次下載 | 10 積分
- 2開源硬件-PMP21529.1-4 開關降壓/升壓雙向直流/直流轉(zhuǎn)換器 PCB layout 設計
- 1.48MB | 420064次下載 | 10 積分
- 3Altium DXP2002下載入口
- 未知 | 233089次下載 | 10 積分
- 4電路仿真軟件multisim 10.0免費下載
- 340992 | 191390次下載 | 10 積分
- 5十天學會AVR單片機與C語言視頻教程 下載
- 158M | 183342次下載 | 10 積分
- 6labview8.5下載
- 未知 | 81588次下載 | 10 積分
- 7Keil工具MDK-Arm免費下載
- 0.02 MB | 73815次下載 | 10 積分
- 8LabVIEW 8.6下載
- 未知 | 65989次下載 | 10 積分
評論