Hello 大家好,今天為大家帶來eIQ Time Series Studio系列的最后一講。
上期講到的“Utilities”模塊中“Data Intelligence”數據智能工具。數據智能工具可以幫助用戶評估數據集的平衡性,確定各個數據通道/軸的重要性,還可以幫助確定最佳采樣頻率和窗口大小,從而優化數據集,提高質量和分析。本節將介紹“Utilities”模塊中的“Data Operation”數據操作工具。
Data Operation
數據操作模塊是TSS中的一個非常重要且方便實用的工具,主要解決非結構化表格數據與TSS項目所需的標準化信號格式之間的兼容問題。與圖像數據不同,時間序列數據的來源廣泛,形式多樣。
比如可能會碰到實驗室設備參數、工況不完全一致,系統新老不一等這類數據源的數據。數據格式不完全統一,這使得TSS機器學習任務變得困難。這個工具能讓用戶輕松預處理、轉換和驗證這些五花八門的時間序列數據,直接生成符合TSS工作流程要求的輸入文件數據集。Data Operation主界面如圖所示:
Dataset-數據集
數據集部分允許用戶導入表格數據文件(TXT或CSV格式)以進行后續處理。可以加載單個或多個文件,并使用驗證規則確保數據一致性。如需從本地系統選擇文件,請點擊“Import Files”按鈕。可以同時導入多個文件。
若導入多個文件,請確保所有導入的文件具有相同的列數。否則,要將它們合并為一個文件,請點擊“Concatenate Files”并選擇“Direction”選項。如果文件未連接,則此操作將分別應用于每個文件。
若數據表中包含列標題,請單擊“Ignore the first label line”跳過第一行(標題)。可手動選擇相應的分隔符并預覽數據。
Operation-操作區
操作部分允許用戶對導入的數據集使用各種數據轉換。大多數操作需要參數配置才能達到預期結果。
Remove lines
刪除用戶認為無用的行。
1. 輸入要刪除的行 2. 點擊“Run”按鈕
Remove Columns
刪除用戶認為無用的列。
1. 輸入要刪除的列 2. 點擊“Run”按鈕
Remove Channels
移除用戶認為無用的通道。僅適用于多通道數據,用戶可以先將數據導入“Data Intelligence”模塊進行智能分析來獲得推薦。通道相關性和通道重要性指標可以幫助識別冗余通道。
1. 點擊“NumberofChannels”填寫數據集的通道數
2. 選擇需要刪除的數據通道
3. 點擊“Run”按鈕
Separate Data by Columns
根據用戶指定的列數,進行行列轉換。
1. 點擊“NumberofColumns”填寫數據集的列數
2. 點擊“Run”按鈕
Transpose Data
將數據集轉置,使行變成列,列變成行。直接點擊“RUN”按鈕。
Shuffle Data
按行打亂數據集。直接點擊“RUN”按鈕。
Wash Data
移除數據集中不干凈的行。這里的不干凈是指該行包含非數字元素,或者該行的列數與其他行不一致。直接點擊“RUN”按鈕。
Generate Samples
從連續數據中創建分段數據集,用于導入到TSS機器學習項目中。用戶可以使用“Data Intelligence”對連續數據進行智能分析,預先獲得最佳分段參數。
1. 設置通道數。注意:連續數據要求通道數與列數相同 2. 選擇目標列。注意:當用戶希望將某個通道的輸出作為回歸任務的預測目標時,此選項可用。分類任務則無需此選項 3. 設置分段數據窗長
4. 設置采樣頻率。這里指的是原始采樣頻率的分頻系數 5. 設置步長和重疊率
6. 點擊“RUN”按鈕
Down Sampling
對分段數據集進行下采樣。由于分段數據的窗長固定,因此下采樣時數據窗長會減小。
1. 設置通道數 2. 設置采樣頻率。這里指的是原始采樣頻率的分頻系數
3. 點擊“RUN”按鈕
Split Dataset
將數據集按行拆分為訓練集和測試集。
1. 選擇訓練集/測試集比率
2. 點擊“RUN”按鈕
Result-操作處理結果
“Result”部分允許用戶保存已操作的文件或對這些文件執行新的操作。
對于單個文件:
“Run New Operation”按鈕會將已操作的文件導入到左側“數據集”部分。
“Save As”按鈕會引導用戶將已操作的文件保存到本地系統。
對于多個文件:
“Run New Operation”按鈕會將所有已操作的文件導入到左側的“數據集”部分。
“Save All”按鈕會將已操作的文件打包成 zip 文件并保存。
結論 “Data Operation”模塊提供了一套簡化的工作流,用于將原始表格數據預處理并轉換為TSS工具可使用的文件格式。界面分為三個主要部分:
Dataset:支持靈活導入 (TXT/CSV) 文件,具備多文件合并功能,并提供可配置的解析設置(如分隔符、表頭識別)
Operation:提供多種針對表格數據的轉換操作,每項操作均設計簡潔、易于理解,可適配不同數據類型。
Result:支持對已處理文件執行新操作或保存文件。
該工具通過直觀的交互設計,幫助初學者與資深分析師高效生成項目所需的優質時間序列數據集。
eIQ Time Series Studio系列告一段落,感謝大家的一路相伴!
-
恩智浦
+關注
關注
14文章
5956瀏覽量
114100 -
Studio
+關注
關注
2文章
207瀏覽量
29577 -
機器學習
+關注
關注
66文章
8497瀏覽量
134226 -
數據操作
+關注
關注
0文章
2瀏覽量
686
原文標題:eIQ Time Series Studio 工具使用攻略(11)-數據操作
文章出處:【微信號:NXP_SMART_HARDWARE,微信公眾號:恩智浦MCU加油站】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
恩智浦eIQ Time Series Studio 工具使用攻略(四)-數據導入

恩智浦eIQ Time Series Studio工具使用教程之數據記錄

恩智浦車規級深度學習工具包使新一代汽車應用性能提高30倍
NXP eIQ Time Series Studio 工具使用攻略(九)-數據標簽

恩智浦eIQ Time Series Studio工具使用教程之數據智能

恩智浦eIQ? Neutron神經處理單元
NVIDIA TAO工具套件功能與恩智浦eIQ機器學習開發環境的集成
恩智浦eIQ AI和機器學習開發軟件增加兩款新工具
恩智浦eIQ Time Series Studio的工作流程

恩智浦eIQ Time Series Studio工具使用教程之仿真

評論