描述

化療期間過敏性皮膚反應檢測

由 Nvidia 提供技術支持的化療期間的過敏性皮膚反應檢測

介紹：

如今，我們在醫療保健方面存在嚴重問題。盡管其中許多問題已經用技術解決了，但很多時候該行業不愿意改變和采用新技術。

例如，癌癥患者可能必須不斷接受化療，但這個過程并不簡單或愉快。最糟糕的是，可能對化療過敏。大約 17% 接受化療的患者對其有過敏反應，這會引發從簡單的臉紅到死亡的癥狀。這是一個經過深入研究的現象，它有幾個癥狀和階段。

在這種治療中嚴重過敏反應之前的主要癥狀之一（1）是面部潮紅或臉紅，之后可能會出現以下癥狀：

如果可以更快地檢測到潮紅、臉紅和面部發紅等最初癥狀，我們可以通過及時進行治療來避免大多數更嚴重的癥狀。

幫助解決此問題的技術類型并不存在。當生命體征監測儀開始檢測到呼吸異常時，醫院環境中的第一反應就會發生。并且如果未分配與患者相關的患者，一旦患者開始感到不適，就會在患者呼叫護士時做出反應（可能有點太晚了）。

有一些技術可以預防過敏反應，例如：

自動注射器

• https://wyss.harvard.edu/technology/project-abbie/
• https://snacksafely.com/2018/10/project-abbie-promises-wearable-auto-injector-with-automatic-anaphylaxis-detection-and-activation/

然而，這些解決方案是最后的資源，不推薦使用。

該解決方案在此類環境中將非常有用，因為這是一個沒有人解決的問題，并且會極大地影響患者的健康。這種反應很容易導致并發癥，如果在嚴重癥狀出現之前進行治療，甚至可以挽救患者的生命。

意圖

出于這些原因，我將建立一個 CV 系統，實時分析患者的面部，并能夠確定該人是否正在或開始對化療藥物產生過敏反應。反過來，可以向護士發出緊急呼叫。根據醫院幾位護士的經驗，在出現發紅的第一個癥狀后，患者開始出現非常嚴重的過敏反應，護士很難察覺到這一點。

該解決方案將通過 1080p 攝像頭分析患者的實時圖像。圖像捕獲完成后，它將使用模型對其進行分析。如果患者出現過敏反應，或者如果他有過敏反應，通知將通過 AWSIoT 發送到與 AWS-SDK 集成的漸進式 Web 應用程序。該網頁將使用 ReactJS 設計。

該系統將具有以下特點和特點：

• 實時分析患者的過敏反應狀態。
• 每當發生過敏反應時通知。
• 數據分析的云集成。

要使用的模型將是 TensorFlow 模型，我將使用幾張具有過敏反應（面部發紅）的患者和健康患者的圖像對其進行訓練。

這種類型的模型可以與 Keras（TensorFlow 2.0 子模塊）和 OpenCV 一起使用，以執行圖像預處理、訓練和分析（使用模型進行預測）。該模型的訓練將在 Jupyter 筆記本中完成，并將在 NVIDIA Jetson Nano 上運行。為了能夠生成越來越精確的模型，使用系統隨時間收集的新圖像，進而重新訓練現有模型。因此，我希望生成一個模型，該模型可以在看到更多患者時進行學習。

連接圖：

這是系統的連接圖：

杰森設置：

Jetson 源設置：

因為我們通過帶有插孔連接器的外部 5 伏電源為 Jetson Nano 供電，所以我們必須在 Jetson 的 J48 連接器上放置一個跳線，如圖所示。

Jetson SD 卡設置：

這是關于如何在 SD 卡上安裝 Jetson SDK 操作系統映像的說明。您將需要一臺帶有 SD 讀卡器的計算機來安裝圖像。

我們建議下載最新版本的 SDK，在本指南中我使用的是 4.3.0 版（最新版）。

官方鏈接：https ://developer.nvidia.com/embedded/jetpack

您需要解壓縮文件以獲取要寫入 SD 卡的圖像文件 (.img)。如果您沒有要解壓縮的程序，我會根據您的操作系統（在我的例子中是 Windows）推薦以下任何一種。

7-Zip（視窗）：

https://www.7-zip.org/

解壓器（Mac）：

https://theunarchiver.com/

解壓縮（Linux）：

https://linuxize.com/post/how-to-unzip-files-in-linux/

格式化你的 SD。

Windows 和 Mac：

https://www.sdcard.org/downloads/formatter/index.html

Linux：

https://www.pcworld.com/article/3176712/how-to-format-an-sd-card-in-linux.html

我的電腦沒有 SD 卡讀卡器，所以我使用這個外部讀卡器（任何讀卡器都可以）。

這是SD卡格式化程序的軟件。我特別喜歡這個程序，因為這種類型的操作系統會在 SD 內存中創建多個分區，如果我們以后要重新格式化，它們的格式可能會很復雜，但是這個程序會自動完成所有操作。

用操作系統刷寫 SD 卡

您需要使用鏡像寫入工具來安裝您下載到 SD 卡上的鏡像。我推薦 balenaEtcher，因為它適用于所有操作系統，并且無需解壓縮 .zip 即可執行操作系統閃存。

下載鏈接：https ://www.balena.io/etcher/

正確完成該過程后，我們會看到以下消息。

Jetson 操作系統設置：

將 SD 插入 Jetson Nano 的 SD 插槽。

使用HDMI線將Jetson Nano連接到屏幕，連接無線鍵盤接收器，連接網卡并連接電源。

我們將配置操作系統，非常簡單。

• 接受條款。

• 選擇你的語言。

• 選擇您的鍵盤布局。

• 配置您的無線網絡。

• 選擇您的地區。

• 選擇您的憑據。

超級重要的注意事項：選中“自動登錄”選項

• 單擊確定以擴展您的分區大小。

• 等幾分鐘。

• 如果一切正常，您將看到這樣的屏幕。

• 。

• 有了這個，您應該已經配置好了一切，從現在開始不再需要 HDMI 電纜和無線鍵盤。所有編程和最終設置都將通過 SSH 完成。

SSH 設置：

對于此步驟，我們將創建與 Jetson 的 ssh 連接，如果您的 Mac 或 Linux 已經預配置了 OpenSSH 庫，那么您可以使用以下命令從終端啟動連接。

ssh -L 8000:localhost:8888 youruser@yourip

在我的例子中，命令是：

ssh -L 8000:localhost:8888 vic@192.168.0.28

注意：也可以在 Windows 中激活此庫，但我建議使用接下來將向您展示的說明。

如果您是 Windows 用戶，我建議您使用以下程序：

https://www.putty.org/

該動畫展示了如何完全按照上一個命令配置 Putty。

以Putty控制臺為例，點擊connect會出現如下信息。

點擊“Yes”會彈出如下窗口，只要不格式化Jetson OS就不會再出現，此時會要求輸入我們在上一節定義的密碼。

在命令控制臺輸入密碼后，會出現這個窗口，說明我們已經連接上Jetson Nano了。

庫設置：

建立與控制臺的無線連接后，我們必須將以下命令復制并粘貼到其中并執行它們。

下載項目并獲取項目所有必需文件的命令。

git clone https://github.com/altaga/Anaphylactic-Skin-Reaction-Detection-during-Chemotherapy

命令進入下載的文件夾。

cd Anaphylactic-Skin-Reaction-Detection-during-Chemotherapy/Installer

此命令將安裝正確設置項目所需的所有庫和配置。為了便于安裝，我將制作一個自動執行所有這些操作的 .sh 文件，但是我還在附錄 A 中單獨附加了命令。此外，該文件可以通過任何文本編輯器查看，例如記事本、Atom、VSCode 等。 .

注意：去喝杯咖啡，吃點餅干，看看你最喜歡的系列的下一章，因為這個過程可能需要 45 分鐘到 2 小時才能完成，具體取決于你的互聯網連接。

sudo bash Install.sh

通過這個過程，我們將正確安裝所有庫：

• 張量流 2.0
• Awscli（我們還沒有完成這個庫的設置）
• 麻木的
• 木星筆記本
• 帕霍MQTT
• OpenCV（無貢獻版）

一旦這個過程結束，我們必須檢查 Jupyter notebook 是否正常工作，因為它將成為本教程其余部分的 UI。接下來，編寫以下命令：

jupyter notebook

你應該在終端中看到類似這樣的東西：

復制出現的令牌，在不關閉窗口的情況下轉到瀏覽器并在地址欄輸入：

localhost:8000

你應該得到一個這樣的窗口：

粘貼您之前復制的令牌：

如果令牌有效，我們應該在瀏覽器中打開 Jetson 文件，這很重要，因為此窗口將使我們能夠輕松管理文件，并允許我們執行項目文件。

AWS Jetson 設置：

首先，我們訪問我們的 AWS 控制臺并查找 IoT 核心服務：

獲取您的 AWS 端點，保存它，因為我們將使用它來設置 JEtson 和網頁。

在橫向面板中選擇“Onboard”選項，然后選擇“Get started”。

選擇“開始”。

在“Choose a platform”中選擇“Linux/OSX”，在AWS IoT DEvice SDK中選擇“Python”，然后點擊“Next”。

在名稱中寫下您想要的任何名稱，然后單擊“下一步”。

在“下載連接工具包”部分中，按“Linux/OSX”按鈕下載憑證包（我們稍后會用到），然后單擊“下一步”。

單擊“完成”。

單擊“完成”。

在橫向欄中，在 Manage/Things 部分，我們可以看到我們已經創建的東西。現在我們必須設置那個東西的策略，讓它在 AWS 中不受限制地工作。

在側邊欄中，在 Secure/Policies 部分我們可以看到我們的 thing-policy，點擊它進行修改：

單擊“編輯策略文件”。

將以下文本復制粘貼到文檔中并保存。

{
"Version": "2012-10-17",
"Statement": [
    {
    "Effect": "Allow",
    "Action": "iot:*",
    "Resource": "*"
    }
]
}

完成此操作后，我們將轉到我們的電腦并轉到包含先前下載的憑據的文件夾并將其解壓縮。

我們進入解壓后的文件夾，我們將按照以下方式重命名文件：

ThingNAME.cert.pem -> ThingCert.cert.pem

ThingNAME.private.key -> PrivateCert.private.key

現在，文件已經重命名，我們將通過以下路徑轉到我們的 Jupyter Notebook：

在右上角有一個按鈕，上面寫著“上傳”

通過單擊它，我們可以將我們的兩個證書上傳到該文件夾??。

單擊每個藍色“上傳”按鈕以完成文件上傳。

至此，我們應該擁有所有必要的憑據。

AWSCLI 設置：

這是通過 Python for Cloud 管理和執行操作的 AWS 庫，所以我們必須像這樣設置它：

在控制臺，我們轉到 IAM 服務。

在訪問管理/用戶部分，我們單擊添加用戶。

我們輸入任何用戶名，然后單擊“下一步：權限”

單擊“直接附加現有策略”，在搜索欄中我們輸入“S3”并選擇“AmazonS3FullAccess”策略。

我們單擊“下一步”，直到到達成功屏幕，我們將在其中看到訪問密鑰 ID 和秘密訪問密鑰，我們必須保存這兩個密鑰才能設置 Awscli。

從我們的 Jupyter notebook UI 的“新建”按鈕打開一個新終端。

在上面輸入以下命令。

aws configure

通過以下方式配置憑據：

AWS Access Key ID [None]: YOUR ACCESS KEY ID
AWS Secret Access Key [None]: YOUR SECRET ACCESS KEY
Default region name [None]: us-east-1
Default output format [None]: json

準備好！我們現在已經配置了 Jetson Nano。

網頁設置：

Aws 憑證設置：

進入 AWS 控制臺并搜索“Cognito”服務。

輸入“管理身份池”

輸入“管理身份池”

輸入“創建新的身份池”

在池中鍵入任何名稱并選中“啟用對未經身份驗證的身份的訪問”，然后單擊“創建池”

只需單擊“允許”。

我們剛剛得到我們的 POOLID，保存它，因為我們以后會用到它。

轉到 AWS 控制臺并輸入“IAM”。

在控制臺中進入角色部分，在搜索欄中輸入“web”并輸入“Cognito_WebPagePoolUnauth_Role”。

在 Role 中，我們單擊 Attach policies 按鈕以添加我們的 webapp 所需的服務。

在該窗口中，我們需要添加三個服務：

• AmazonS3 完全訪問
• AWSIoTFullAccess
• AmazonDynamoDBFullAccess

現在我們擁有了所需的權限，我們分道揚鑣來配置我們將擁有患者信息的數據庫。我們將從 AWS 搜索 DynamoDB。

選擇創建表。

使用以下參數創建一個表，重要的是名稱與我們在圖像中顯示的名稱相同。

名稱：HacksterDB 分區鍵：PartKey 排序鍵：SortKey

創建表格后，我們可以在其上生成關于患者的登記簿，我們將能夠在我們的平臺上可視化這些登記簿，登記簿必須遵循以下結構。

{
"Age": "56",
"App": " 03/03/2020",
"Cancer": "Sarcoma",
"Comments": "Entrepreneur, if you don't have at least one TitanRTX on your computer, don't talk with him",
"Incidents": "1",
"Medicine": "Carboplatin",
"PartKey": "dev1",
"SortKey": "Jen-Hsun Huang"
}

寄存器說明：

• 年齡：人的年齡
• 應用程序：他下一次約會的日期
• 癌癥：癌癥類型
• 評論：專家的任何評論
• 事件：迄今為止的事件數。
• 醫學：藥物治療
• PartKey：獲取寄存器的設備
• SortKey：患者姓名

最后我們將創建一個 S3 存儲桶，它允許我們存儲我們需要的任何文件或圖像。從 AWS 控制臺查找 S3 服務。

在 S3 上單擊按鈕以創建存儲桶。

為存儲桶鍵入任何名稱，但請記住它，因為我們稍后會調用它。

取消選中圖像中的所有塊選項：

完成所有這些后，我們就可以準備好設置我們的 web 應用程序了。

取消選中所有要阻止的選項，如圖所示：。

完成后，我們創建了具有以下 URL 的存儲桶。

https://yourbucketname.s3.amazonaws.com/

將憑據添加到網頁

將 Github 文件下載到您的 PC。

在項目文件夾中轉到：ReactAPP\src\views\examples。

使用您喜歡的編輯器打開以下文件：

• aws-configuration.js
• MyCard.jsx
• 卡片.jsx
• 配置文件.jsx

在“aws-configuration.js”中粘貼我們的 POOLID 和我們的 AWS 端點。

在“MyCard.jsx”中粘貼您的存儲桶 URL。

在“Card.jsx”中粘貼您的存儲桶 URL。

在“Profile.jsx”中粘貼數據庫的名稱，如果您將其命名為“HacksterDB”，則無需執行任何其他操作。

要在導航器中可視化數據庫，您需要在計算機中安裝 NodeJS。

鏈接：https ://nodejs.org/es/

安裝后，進入名為“ReactAPP”的項目文件夾。

在那里，操作終端或在 Windows cmd 的情況下。

注意：如果您使用的是 Windows，只需在搜索欄中鍵入 cmd。

在 cmd 或終端中寫入下一個命令。

npm install

安裝所有依賴項后，在控制臺寫入：

npm start

木星筆記本：

最終設置：

從瀏覽器中的“localhost:8000”輸入 Jupyter notebook UI。不再需要令牌。

進入“化療期間過敏性皮膚反應檢測\Jupyter Notebook\化療期間過敏性皮膚反應檢測.ipynb”文件夾

設置好所有內容后，我們現在進入瀏覽器，然后再執行代碼修訂，我們需要粘貼我們的存儲桶名稱和 AWS IoT 端點。

最終產品：

產品：

基本組件：

用戶界面：

• 實時模型性能

• 實時緊急通知

• 患者數據庫搜索工具

史詩演示：

評論未來推出：

總之，在這個項目中，我們有：

• 針對特定問題開發了我們自己的機器學習算法和程序，在 Tensorflow 上實施計算機視覺。
• 使用 Nvidia Jetson Nano 的全部功能。
• 完整記錄了整個過程，并確保所有現有文檔都可以在任何 Jetson nano 中隨時運行，并帶有這樣的設置。

但是，最重要的部分是它解決了一個實際問題。當我開始這個項目時，我不想只做一個周末項目或一個非?？岬?a href='http://m.xsypw.cn/soft/data/42-101/' target='_blank' class='arckwlink_none'>機器人。我想要的是從問題開始倒退，然后查看我需要什么硬件來解決它。值得慶幸的是，由于我接受過生物醫學工程師的教育，并且與醫院、診所和醫療保健機構合作，所以我對某些領域的某些問題有了很好的了解。這個特殊的問題（對化療的過敏反應和快速反應）確實是我被要求制定適當解決方案的問題。它符合聯合國的一項 SDG（可持續發展目標），這一事實使其變得更好。

我實際上認為該項目（用于原型）幾乎已準備好進行測試，甚至可以超越它。我能提到的改進只是在美學方面（我在考慮 IP 攝像機類型的外殼）。這也意味著開發更加商業化的產品。

感謝您閱讀并繼續黑客攻擊！

參考：

鏈接：

(1) https://ctep.cancer.gov/protocolDevelopment/electronic_applications/docs/CTCAE_v5_Quick_Reference_8.5x11.pdf

(2) https://www.ncbi.nlm.nih.gov/books/NBK333506/table/ch04.sec1.table1/

(3) https://medium.com/@alexrachnog/using-caffe-with-your-own-dataset-b0ade5d71233

(4) https://www.pyimagesearch.com/2017/08/21/deep-learning-with-opencv/

(5) https://opencv.org/cuda/

附錄 A：

安裝.sh內容：

export PATH=$PATH:~/.local/bin

sudo apt-get update 

sudo apt-get upgrade -y 

sudo apt-get install libhdf5-serial-dev hdf5-tools libhdf5-dev zlib1g-dev zip libjpeg8-dev -y 

sudo apt-get install python3-pip -y 

sudo pip3 install -U pip testresources setuptools

sudo pip3 install -U numpy==1.16.1 future==0.17.1 mock==3.0.5 h5py==2.9.0 keras_preprocessing==1.0.5 keras_applications==1.0.8 gast==0.2.2 enum34 futures protobuf 

sudo pip3 install --pre --extra-index-url https://developer.download.nvidia.com/compute/redist/jp/v43 tensorflow-gpu 

sudo pip3 install notebook awscli paho-mqtt

sudo apt-get install python3-matplotlib python3-opencv python3-scipy -y