描述

化療期間過敏性皮膚反應(yīng)檢測(cè)

由 Nvidia 提供技術(shù)支持的化療期間的過敏性皮膚反應(yīng)檢測(cè)

介紹：

如今，我們?cè)卺t(yī)療保健方面存在嚴(yán)重問題。盡管其中許多問題已經(jīng)用技術(shù)解決了，但很多時(shí)候該行業(yè)不愿意改變和采用新技術(shù)。

例如，癌癥患者可能必須不斷接受化療，但這個(gè)過程并不簡單或愉快。最糟糕的是，可能對(duì)化療過敏。大約 17% 接受化療的患者對(duì)其有過敏反應(yīng)，這會(huì)引發(fā)從簡單的臉紅到死亡的癥狀。這是一個(gè)經(jīng)過深入研究的現(xiàn)象，它有幾個(gè)癥狀和階段。

在這種治療中嚴(yán)重過敏反應(yīng)之前的主要癥狀之一（1）是面部潮紅或臉紅，之后可能會(huì)出現(xiàn)以下癥狀：

如果可以更快地檢測(cè)到潮紅、臉紅和面部發(fā)紅等最初癥狀，我們可以通過及時(shí)進(jìn)行治療來避免大多數(shù)更嚴(yán)重的癥狀。

幫助解決此問題的技術(shù)類型并不存在。當(dāng)生命體征監(jiān)測(cè)儀開始檢測(cè)到呼吸異常時(shí)，醫(yī)院環(huán)境中的第一反應(yīng)就會(huì)發(fā)生。并且如果未分配與患者相關(guān)的患者，一旦患者開始感到不適，就會(huì)在患者呼叫護(hù)士時(shí)做出反應(yīng)（可能有點(diǎn)太晚了）。

有一些技術(shù)可以預(yù)防過敏反應(yīng)，例如：

自動(dòng)注射器

• https://wyss.harvard.edu/technology/project-abbie/
• https://snacksafely.com/2018/10/project-abbie-promises-wearable-auto-injector-with-automatic-anaphylaxis-detection-and-activation/

然而，這些解決方案是最后的資源，不推薦使用。

該解決方案在此類環(huán)境中將非常有用，因?yàn)檫@是一個(gè)沒有人解決的問題，并且會(huì)極大地影響患者的健康。這種反應(yīng)很容易導(dǎo)致并發(fā)癥，如果在嚴(yán)重癥狀出現(xiàn)之前進(jìn)行治療，甚至可以挽救患者的生命。

意圖

出于這些原因，我將建立一個(gè) CV 系統(tǒng)，實(shí)時(shí)分析患者的面部，并能夠確定該人是否正在或開始對(duì)化療藥物產(chǎn)生過敏反應(yīng)。反過來，可以向護(hù)士發(fā)出緊急呼叫。根據(jù)醫(yī)院幾位護(hù)士的經(jīng)驗(yàn)，在出現(xiàn)發(fā)紅的第一個(gè)癥狀后，患者開始出現(xiàn)非常嚴(yán)重的過敏反應(yīng)，護(hù)士很難察覺到這一點(diǎn)。

該解決方案將通過 1080p 攝像頭分析患者的實(shí)時(shí)圖像。圖像捕獲完成后，它將使用模型對(duì)其進(jìn)行分析。如果患者出現(xiàn)過敏反應(yīng)，或者如果他有過敏反應(yīng)，通知將通過 AWSIoT 發(fā)送到與 AWS-SDK 集成的漸進(jìn)式 Web 應(yīng)用程序。該網(wǎng)頁將使用 ReactJS 設(shè)計(jì)。

該系統(tǒng)將具有以下特點(diǎn)和特點(diǎn)：

• 實(shí)時(shí)分析患者的過敏反應(yīng)狀態(tài)。
• 每當(dāng)發(fā)生過敏反應(yīng)時(shí)通知。
• 數(shù)據(jù)分析的云集成。

要使用的模型將是 TensorFlow 模型，我將使用幾張具有過敏反應(yīng)（面部發(fā)紅）的患者和健康患者的圖像對(duì)其進(jìn)行訓(xùn)練。

這種類型的模型可以與 Keras（TensorFlow 2.0 子模塊）和 OpenCV 一起使用，以執(zhí)行圖像預(yù)處理、訓(xùn)練和分析（使用模型進(jìn)行預(yù)測(cè)）。該模型的訓(xùn)練將在 Jupyter 筆記本中完成，并將在 NVIDIA Jetson Nano 上運(yùn)行。為了能夠生成越來越精確的模型，使用系統(tǒng)隨時(shí)間收集的新圖像，進(jìn)而重新訓(xùn)練現(xiàn)有模型。因此，我希望生成一個(gè)模型，該模型可以在看到更多患者時(shí)進(jìn)行學(xué)習(xí)。

連接圖：

這是系統(tǒng)的連接圖：

杰森設(shè)置：

Jetson 源設(shè)置：

因?yàn)槲覀兺ㄟ^帶有插孔連接器的外部 5 伏電源為 Jetson Nano 供電，所以我們必須在 Jetson 的 J48 連接器上放置一個(gè)跳線，如圖所示。

Jetson SD 卡設(shè)置：

這是關(guān)于如何在 SD 卡上安裝 Jetson SDK 操作系統(tǒng)映像的說明。您將需要一臺(tái)帶有 SD 讀卡器的計(jì)算機(jī)來安裝圖像。

我們建議下載最新版本的 SDK，在本指南中我使用的是 4.3.0 版（最新版）。

官方鏈接：https ://developer.nvidia.com/embedded/jetpack

您需要解壓縮文件以獲取要寫入 SD 卡的圖像文件 (.img)。如果您沒有要解壓縮的程序，我會(huì)根據(jù)您的操作系統(tǒng)（在我的例子中是 Windows）推薦以下任何一種。

7-Zip（視窗）：

https://www.7-zip.org/

解壓器（Mac）：

https://theunarchiver.com/

解壓縮（Linux）：

https://linuxize.com/post/how-to-unzip-files-in-linux/

格式化你的 SD。

Windows 和 Mac：

https://www.sdcard.org/downloads/formatter/index.html

Linux：

https://www.pcworld.com/article/3176712/how-to-format-an-sd-card-in-linux.html

我的電腦沒有 SD 卡讀卡器，所以我使用這個(gè)外部讀卡器（任何讀卡器都可以）。

這是SD卡格式化程序的軟件。我特別喜歡這個(gè)程序，因?yàn)檫@種類型的操作系統(tǒng)會(huì)在 SD 內(nèi)存中創(chuàng)建多個(gè)分區(qū)，如果我們以后要重新格式化，它們的格式可能會(huì)很復(fù)雜，但是這個(gè)程序會(huì)自動(dòng)完成所有操作。

用操作系統(tǒng)刷寫 SD 卡

您需要使用鏡像寫入工具來安裝您下載到 SD 卡上的鏡像。我推薦 balenaEtcher，因?yàn)樗m用于所有操作系統(tǒng)，并且無需解壓縮 .zip 即可執(zhí)行操作系統(tǒng)閃存。

下載鏈接：https ://www.balena.io/etcher/

正確完成該過程后，我們會(huì)看到以下消息。

Jetson 操作系統(tǒng)設(shè)置：

將 SD 插入 Jetson Nano 的 SD 插槽。

使用HDMI線將Jetson Nano連接到屏幕，連接無線鍵盤接收器，連接網(wǎng)卡并連接電源。

我們將配置操作系統(tǒng)，非常簡單。

• 接受條款。

• 選擇你的語言。

• 選擇您的鍵盤布局。

• 配置您的無線網(wǎng)絡(luò)。

• 選擇您的地區(qū)。

• 選擇您的憑據(jù)。

超級(jí)重要的注意事項(xiàng)：選中“自動(dòng)登錄”選項(xiàng)

• 單擊確定以擴(kuò)展您的分區(qū)大小。

• 等幾分鐘。

• 如果一切正常，您將看到這樣的屏幕。

• 。

• 有了這個(gè)，您應(yīng)該已經(jīng)配置好了一切，從現(xiàn)在開始不再需要 HDMI 電纜和無線鍵盤。所有編程和最終設(shè)置都將通過 SSH 完成。

SSH 設(shè)置：

對(duì)于此步驟，我們將創(chuàng)建與 Jetson 的 ssh 連接，如果您的 Mac 或 Linux 已經(jīng)預(yù)配置了 OpenSSH 庫，那么您可以使用以下命令從終端啟動(dòng)連接。

ssh -L 8000:localhost:8888 youruser@yourip

在我的例子中，命令是：

ssh -L 8000:localhost:8888 vic@192.168.0.28

注意：也可以在 Windows 中激活此庫，但我建議使用接下來將向您展示的說明。

如果您是 Windows 用戶，我建議您使用以下程序：

https://www.putty.org/

該動(dòng)畫展示了如何完全按照上一個(gè)命令配置 Putty。

以Putty控制臺(tái)為例，點(diǎn)擊connect會(huì)出現(xiàn)如下信息。

點(diǎn)擊“Yes”會(huì)彈出如下窗口，只要不格式化Jetson OS就不會(huì)再出現(xiàn)，此時(shí)會(huì)要求輸入我們?cè)谏弦还?jié)定義的密碼。

在命令控制臺(tái)輸入密碼后，會(huì)出現(xiàn)這個(gè)窗口，說明我們已經(jīng)連接上Jetson Nano了。

庫設(shè)置：

建立與控制臺(tái)的無線連接后，我們必須將以下命令復(fù)制并粘貼到其中并執(zhí)行它們。

下載項(xiàng)目并獲取項(xiàng)目所有必需文件的命令。

git clone https://github.com/altaga/Anaphylactic-Skin-Reaction-Detection-during-Chemotherapy

命令進(jìn)入下載的文件夾。

cd Anaphylactic-Skin-Reaction-Detection-during-Chemotherapy/Installer

此命令將安裝正確設(shè)置項(xiàng)目所需的所有庫和配置。為了便于安裝，我將制作一個(gè)自動(dòng)執(zhí)行所有這些操作的 .sh 文件，但是我還在附錄 A 中單獨(dú)附加了命令。此外，該文件可以通過任何文本編輯器查看，例如記事本、Atom、VSCode 等。 .

注意：去喝杯咖啡，吃點(diǎn)餅干，看看你最喜歡的系列的下一章，因?yàn)檫@個(gè)過程可能需要 45 分鐘到 2 小時(shí)才能完成，具體取決于你的互聯(lián)網(wǎng)連接。

sudo bash Install.sh

通過這個(gè)過程，我們將正確安裝所有庫：

• 張量流 2.0
• Awscli（我們還沒有完成這個(gè)庫的設(shè)置）
• 麻木的
• 木星筆記本
• 帕霍MQTT
• OpenCV（無貢獻(xiàn)版）

一旦這個(gè)過程結(jié)束，我們必須檢查 Jupyter notebook 是否正常工作，因?yàn)樗鼘⒊蔀楸?a href='http://m.xsypw.cn/v/' target='_blank' class='arckwlink_none'>教程其余部分的 UI。接下來，編寫以下命令：

jupyter notebook

你應(yīng)該在終端中看到類似這樣的東西：

復(fù)制出現(xiàn)的令牌，在不關(guān)閉窗口的情況下轉(zhuǎn)到瀏覽器并在地址欄輸入：

localhost:8000

你應(yīng)該得到一個(gè)這樣的窗口：

粘貼您之前復(fù)制的令牌：

如果令牌有效，我們應(yīng)該在瀏覽器中打開 Jetson 文件，這很重要，因?yàn)榇舜翱趯⑹刮覀兡軌蜉p松管理文件，并允許我們執(zhí)行項(xiàng)目文件。

AWS Jetson 設(shè)置：

首先，我們?cè)L問我們的 AWS 控制臺(tái)并查找 IoT 核心服務(wù)：

獲取您的 AWS 端點(diǎn)，保存它，因?yàn)槲覀儗⑹褂盟鼇碓O(shè)置 JEtson 和網(wǎng)頁。

在橫向面板中選擇“Onboard”選項(xiàng)，然后選擇“Get started”。

選擇“開始”。

在“Choose a platform”中選擇“Linux/OSX”，在AWS IoT DEvice SDK中選擇“Python”，然后點(diǎn)擊“Next”。

在名稱中寫下您想要的任何名稱，然后單擊“下一步”。

在“下載連接工具包”部分中，按“Linux/OSX”按鈕下載憑證包（我們稍后會(huì)用到），然后單擊“下一步”。

單擊“完成”。

單擊“完成”。

在橫向欄中，在 Manage/Things 部分，我們可以看到我們已經(jīng)創(chuàng)建的東西。現(xiàn)在我們必須設(shè)置那個(gè)東西的策略，讓它在 AWS 中不受限制地工作。

在側(cè)邊欄中，在 Secure/Policies 部分我們可以看到我們的 thing-policy，點(diǎn)擊它進(jìn)行修改：

單擊“編輯策略文件”。

將以下文本復(fù)制粘貼到文檔中并保存。

{
"Version": "2012-10-17",
"Statement": [
    {
    "Effect": "Allow",
    "Action": "iot:*",
    "Resource": "*"
    }
]
}

完成此操作后，我們將轉(zhuǎn)到我們的電腦并轉(zhuǎn)到包含先前下載的憑據(jù)的文件夾并將其解壓縮。

我們進(jìn)入解壓后的文件夾，我們將按照以下方式重命名文件：

ThingNAME.cert.pem -> ThingCert.cert.pem

ThingNAME.private.key -> PrivateCert.private.key

現(xiàn)在，文件已經(jīng)重命名，我們將通過以下路徑轉(zhuǎn)到我們的 Jupyter Notebook：

在右上角有一個(gè)按鈕，上面寫著“上傳”

通過單擊它，我們可以將我們的兩個(gè)證書上傳到該文件夾??。

單擊每個(gè)藍(lán)色“上傳”按鈕以完成文件上傳。

至此，我們應(yīng)該擁有所有必要的憑據(jù)。

AWSCLI 設(shè)置：

這是通過 Python for Cloud 管理和執(zhí)行操作的 AWS 庫，所以我們必須像這樣設(shè)置它：

在控制臺(tái)，我們轉(zhuǎn)到 IAM 服務(wù)。

在訪問管理/用戶部分，我們單擊添加用戶。

我們輸入任何用戶名，然后單擊“下一步：權(quán)限”

單擊“直接附加現(xiàn)有策略”，在搜索欄中我們輸入“S3”并選擇“AmazonS3FullAccess”策略。

我們單擊“下一步”，直到到達(dá)成功屏幕，我們將在其中看到訪問密鑰 ID 和秘密訪問密鑰，我們必須保存這兩個(gè)密鑰才能設(shè)置 Awscli。

從我們的 Jupyter notebook UI 的“新建”按鈕打開一個(gè)新終端。

在上面輸入以下命令。

aws configure

通過以下方式配置憑據(jù)：

AWS Access Key ID [None]: YOUR ACCESS KEY ID
AWS Secret Access Key [None]: YOUR SECRET ACCESS KEY
Default region name [None]: us-east-1
Default output format [None]: json

準(zhǔn)備好！我們現(xiàn)在已經(jīng)配置了 Jetson Nano。

網(wǎng)頁設(shè)置：

Aws 憑證設(shè)置：

進(jìn)入 AWS 控制臺(tái)并搜索“Cognito”服務(wù)。

輸入“管理身份池”

輸入“管理身份池”

輸入“創(chuàng)建新的身份池”

在池中鍵入任何名稱并選中“啟用對(duì)未經(jīng)身份驗(yàn)證的身份的訪問”，然后單擊“創(chuàng)建池”

只需單擊“允許”。

我們剛剛得到我們的 POOLID，保存它，因?yàn)槲覀円院髸?huì)用到它。

轉(zhuǎn)到 AWS 控制臺(tái)并輸入“IAM”。

在控制臺(tái)中進(jìn)入角色部分，在搜索欄中輸入“web”并輸入“Cognito_WebPagePoolUnauth_Role”。

在 Role 中，我們單擊 Attach policies 按鈕以添加我們的 webapp 所需的服務(wù)。

在該窗口中，我們需要添加三個(gè)服務(wù)：

• AmazonS3 完全訪問
• AWSIoTFullAccess
• AmazonDynamoDBFullAccess

現(xiàn)在我們擁有了所需的權(quán)限，我們分道揚(yáng)鑣來配置我們將擁有患者信息的數(shù)據(jù)庫。我們將從 AWS 搜索 DynamoDB。

選擇創(chuàng)建表。

使用以下參數(shù)創(chuàng)建一個(gè)表，重要的是名稱與我們?cè)趫D像中顯示的名稱相同。

名稱：HacksterDB 分區(qū)鍵：PartKey 排序鍵：SortKey

創(chuàng)建表格后，我們可以在其上生成關(guān)于患者的登記簿，我們將能夠在我們的平臺(tái)上可視化這些登記簿，登記簿必須遵循以下結(jié)構(gòu)。

{
"Age": "56",
"App": " 03/03/2020",
"Cancer": "Sarcoma",
"Comments": "Entrepreneur, if you don't have at least one TitanRTX on your computer, don't talk with him",
"Incidents": "1",
"Medicine": "Carboplatin",
"PartKey": "dev1",
"SortKey": "Jen-Hsun Huang"
}

寄存器說明：

• 年齡：人的年齡
• 應(yīng)用程序：他下一次約會(huì)的日期
• 癌癥：癌癥類型
• 評(píng)論：專家的任何評(píng)論
• 事件：迄今為止的事件數(shù)。
• 醫(yī)學(xué)：藥物治療
• PartKey：獲取寄存器的設(shè)備
• SortKey：患者姓名

最后我們將創(chuàng)建一個(gè) S3 存儲(chǔ)桶，它允許我們存儲(chǔ)我們需要的任何文件或圖像。從 AWS 控制臺(tái)查找 S3 服務(wù)。

在 S3 上單擊按鈕以創(chuàng)建存儲(chǔ)桶。

為存儲(chǔ)桶鍵入任何名稱，但請(qǐng)記住它，因?yàn)槲覀兩院髸?huì)調(diào)用它。

取消選中圖像中的所有塊選項(xiàng)：

完成所有這些后，我們就可以準(zhǔn)備好設(shè)置我們的 web 應(yīng)用程序了。

取消選中所有要阻止的選項(xiàng)，如圖所示：。

完成后，我們創(chuàng)建了具有以下 URL 的存儲(chǔ)桶。

https://yourbucketname.s3.amazonaws.com/

將憑據(jù)添加到網(wǎng)頁

將 Github 文件下載到您的 PC。

在項(xiàng)目文件夾中轉(zhuǎn)到：ReactAPP\src\views\examples。

使用您喜歡的編輯器打開以下文件：

• aws-configuration.js
• MyCard.jsx
• 卡片.jsx
• 配置文件.jsx

在“aws-configuration.js”中粘貼我們的 POOLID 和我們的 AWS 端點(diǎn)。

在“MyCard.jsx”中粘貼您的存儲(chǔ)桶 URL。

在“Card.jsx”中粘貼您的存儲(chǔ)桶 URL。

在“Profile.jsx”中粘貼數(shù)據(jù)庫的名稱，如果您將其命名為“HacksterDB”，則無需執(zhí)行任何其他操作。

要在導(dǎo)航器中可視化數(shù)據(jù)庫，您需要在計(jì)算機(jī)中安裝 NodeJS。

鏈接：https ://nodejs.org/es/

安裝后，進(jìn)入名為“ReactAPP”的項(xiàng)目文件夾。

在那里，操作終端或在 Windows cmd 的情況下。

注意：如果您使用的是 Windows，只需在搜索欄中鍵入 cmd。

在 cmd 或終端中寫入下一個(gè)命令。

npm install

安裝所有依賴項(xiàng)后，在控制臺(tái)寫入：

npm start

木星筆記本：

最終設(shè)置：

從瀏覽器中的“l(fā)ocalhost:8000”輸入 Jupyter notebook UI。不再需要令牌。

進(jìn)入“化療期間過敏性皮膚反應(yīng)檢測(cè)\Jupyter Notebook\化療期間過敏性皮膚反應(yīng)檢測(cè).ipynb”文件夾

設(shè)置好所有內(nèi)容后，我們現(xiàn)在進(jìn)入瀏覽器，然后再執(zhí)行代碼修訂，我們需要粘貼我們的存儲(chǔ)桶名稱和 AWS IoT 端點(diǎn)。

最終產(chǎn)品：

產(chǎn)品：

基本組件：

用戶界面：

• 實(shí)時(shí)模型性能

• 實(shí)時(shí)緊急通知

• 患者數(shù)據(jù)庫搜索工具

史詩演示：

評(píng)論未來推出：

總之，在這個(gè)項(xiàng)目中，我們有：

• 針對(duì)特定問題開發(fā)了我們自己的機(jī)器學(xué)習(xí)算法和程序，在 Tensorflow 上實(shí)施計(jì)算機(jī)視覺。
• 使用 Nvidia Jetson Nano 的全部功能。
• 完整記錄了整個(gè)過程，并確保所有現(xiàn)有文檔都可以在任何 Jetson nano 中隨時(shí)運(yùn)行，并帶有這樣的設(shè)置。

但是，最重要的部分是它解決了一個(gè)實(shí)際問題。當(dāng)我開始這個(gè)項(xiàng)目時(shí)，我不想只做一個(gè)周末項(xiàng)目或一個(gè)非常酷的機(jī)器人。我想要的是從問題開始倒退，然后查看我需要什么硬件來解決它。值得慶幸的是，由于我接受過生物醫(yī)學(xué)工程師的教育，并且與醫(yī)院、診所和醫(yī)療保健機(jī)構(gòu)合作，所以我對(duì)某些領(lǐng)域的某些問題有了很好的了解。這個(gè)特殊的問題（對(duì)化療的過敏反應(yīng)和快速反應(yīng)）確實(shí)是我被要求制定適當(dāng)解決方案的問題。它符合聯(lián)合國的一項(xiàng) SDG（可持續(xù)發(fā)展目標(biāo)），這一事實(shí)使其變得更好。

我實(shí)際上認(rèn)為該項(xiàng)目（用于原型）幾乎已準(zhǔn)備好進(jìn)行測(cè)試，甚至可以超越它。我能提到的改進(jìn)只是在美學(xué)方面（我在考慮 IP 攝像機(jī)類型的外殼）。這也意味著開發(fā)更加商業(yè)化的產(chǎn)品。

感謝您閱讀并繼續(xù)黑客攻擊！

參考：

鏈接：

(1) https://ctep.cancer.gov/protocolDevelopment/electronic_applications/docs/CTCAE_v5_Quick_Reference_8.5x11.pdf

(2) https://www.ncbi.nlm.nih.gov/books/NBK333506/table/ch04.sec1.table1/

(3) https://medium.com/@alexrachnog/using-caffe-with-your-own-dataset-b0ade5d71233

(4) https://www.pyimagesearch.com/2017/08/21/deep-learning-with-opencv/

(5) https://opencv.org/cuda/

附錄 A：

安裝.sh內(nèi)容：

export PATH=$PATH:~/.local/bin

sudo apt-get update 

sudo apt-get upgrade -y 

sudo apt-get install libhdf5-serial-dev hdf5-tools libhdf5-dev zlib1g-dev zip libjpeg8-dev -y 

sudo apt-get install python3-pip -y 

sudo pip3 install -U pip testresources setuptools

sudo pip3 install -U numpy==1.16.1 future==0.17.1 mock==3.0.5 h5py==2.9.0 keras_preprocessing==1.0.5 keras_applications==1.0.8 gast==0.2.2 enum34 futures protobuf 

sudo pip3 install --pre --extra-index-url https://developer.download.nvidia.com/compute/redist/jp/v43 tensorflow-gpu 

sudo pip3 install notebook awscli paho-mqtt

sudo apt-get install python3-matplotlib python3-opencv python3-scipy -y