人工智能深度學(xué)習(xí)實(shí)驗(yàn)平臺(tái)是力宏偉業(yè)科技基于英偉達(dá)Jetson Nano開(kāi)發(fā)的一款深度學(xué)習(xí)機(jī)器視覺(jué)分揀平臺(tái)，該平臺(tái)采用YoloV5作為神經(jīng)網(wǎng)絡(luò)框架，可開(kāi)展Python基礎(chǔ)教學(xué)、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)、大模型推理、Opencv機(jī)器視覺(jué)、物聯(lián)網(wǎng)傳感器等豐富的人工智能課程。

一、實(shí)驗(yàn)平臺(tái)具有如下特點(diǎn)：

1.平臺(tái)一體化設(shè)計(jì)，包含AI主控模塊、功能擴(kuò)展模塊、應(yīng)用交互模塊、機(jī)械臂執(zhí)行模塊、紅外測(cè)溫模塊、視頻采集模塊、識(shí)別與應(yīng)用擴(kuò)展模塊等組成。

2.平臺(tái)基于模塊化設(shè)計(jì)。

3.視頻采集模塊配置USB接口攝像頭及支架，支架支持360度任意角度調(diào)整功能。

4.應(yīng)用交互模塊配置11.3吋IPS顯示屏，分辨率1920*1080，支持多點(diǎn)觸摸，HDMI輸入。

5.配備智能倉(cāng)儲(chǔ)模塊，配置5單元的倉(cāng)儲(chǔ)柵格。

6.配備物品分揀模塊，配置紅外功能單元。

7.配備紅外測(cè)溫模塊，支持人體體溫檢測(cè)。

8.配備超聲波模塊，支持障礙物距離檢測(cè)。

二、硬件系統(tǒng)

1.AI主控模塊

1）四核ARM Cortex-A57 MPCore處理器，最大頻率為1.43GHz；

2）具有128個(gè)NVIDIA Maxwell架構(gòu)的CUDA核心；

3）配備WiFi/藍(lán)牙接口，支持5G/2.4G雙頻，配備千兆以太網(wǎng)接口，提供HDMI、Display Port顯示接口、2路MIPI攝像頭接口，4路USB接口；

4）可實(shí)時(shí)處理8個(gè)高清全運(yùn)動(dòng)視頻流，具有圖形加速功能，支持TensorFlow、PyTorch、Caffe/Caf2、Keras、MXNet等多種主流深度學(xué)習(xí)框架，可實(shí)現(xiàn)圖像識(shí)別、目標(biāo)檢測(cè)和定位、語(yǔ)義分割、視頻增強(qiáng)和智能分析等人工智能應(yīng)用。

2.功能擴(kuò)展板

1）板載LED燈，支持開(kāi)發(fā)板的IO口信號(hào)輸出控制；

2）板載按鍵，支持開(kāi)發(fā)板的IO口信號(hào)讀取輸入；

3）板載有源蜂鳴器，支持開(kāi)發(fā)板的IO口信號(hào)輸出控制；

4）板載風(fēng)扇，支持開(kāi)發(fā)板的IO口信號(hào)輸出控制；

5）板載數(shù)字式光照傳感器，支持開(kāi)發(fā)板的I2C總線通訊；

6）板載位數(shù)8位，速度10KHz的AD/DA芯片，支持開(kāi)發(fā)板的I2C總線通訊，支持?jǐn)U展功能；

7）板載開(kāi)關(guān)信號(hào)插座，配置外接紅外線檢測(cè)光關(guān)，支持IO口開(kāi)關(guān)量信號(hào)讀取。

3. 機(jī)械臂執(zhí)行模塊

1）6自由度活動(dòng)機(jī)械臂；

2）支持PC,手機(jī)，鼠標(biāo)、遙控器方式控制機(jī)械臂動(dòng)作；

3）支持各關(guān)節(jié)電機(jī)溫度、電壓、位置參數(shù)讀??；

4）支持掉電保存用戶設(shè)置；

5) 支持電機(jī)堵轉(zhuǎn)保護(hù)和過(guò)溫保護(hù)；

6) 支持電腦編程、離線動(dòng)作組編程；

7) 支持UART串口指令；

8) 提供串口控制協(xié)議，支持二次開(kāi)發(fā)；

9）機(jī)械臂末端配備夾持工具；可夾持多種形狀物體。

10）最大負(fù)載：480g；

11）重復(fù)定位精度：0.5mm；

12）工作范圍：400 mm。

三、 深度學(xué)習(xí)模型訓(xùn)練和部署平臺(tái)

1.功能要求

1）項(xiàng)目配置

①支持用戶根據(jù)項(xiàng)目屬性自定義新建項(xiàng)目及項(xiàng)目目錄，項(xiàng)目保存后，應(yīng)在自定義的目錄下自動(dòng)生成項(xiàng)目所需的文件目錄；

②支持新建多個(gè)項(xiàng)目，支持對(duì)已創(chuàng)建項(xiàng)目進(jìn)行編輯，包括刪除、修改以及切換至使用狀態(tài)等操作；

③支持CPU、GPU等多種訓(xùn)練模式，使用戶可以根據(jù)硬件要求自行選擇合適的算力模式。

2）數(shù)據(jù)采集

①平臺(tái)支持通過(guò)網(wǎng)絡(luò)爬取和視頻抽幀的方式采集原始圖像數(shù)據(jù)，通過(guò)Web界面進(jìn)行可視化的功能呈現(xiàn)，用戶通過(guò)選擇功能選項(xiàng)及簡(jiǎn)單配置，可快速進(jìn)行數(shù)據(jù)采集工作。平臺(tái)開(kāi)放數(shù)據(jù)采集插件，能夠編寫(xiě)自定義代碼并運(yùn)行，進(jìn)行數(shù)據(jù)采集。

網(wǎng)絡(luò)爬取的采集方式支持從數(shù)據(jù)靶站和瀏覽器采集圖像數(shù)據(jù)，爬取數(shù)據(jù)可能產(chǎn)生的風(fēng)險(xiǎn)，平臺(tái)內(nèi)置數(shù)據(jù)靶站，提供多種行業(yè)應(yīng)用數(shù)據(jù)，用戶通過(guò)配置數(shù)據(jù)源的URL地址，模擬用戶網(wǎng)站并進(jìn)行數(shù)據(jù)采集工作；瀏覽器采集模式能夠支持通過(guò)關(guān)鍵詞檢索進(jìn)行目標(biāo)圖片的采集，支持?jǐn)?shù)量的自定義設(shè)置。

視頻抽幀的采集方式支持通過(guò)在本地視頻流中截取圖像和基于攝像頭進(jìn)行實(shí)時(shí)采集圖像，圖像采集時(shí)，支持按鍵截取、間隔提取、幀提取等多種方式。

3）數(shù)據(jù)處理

①平臺(tái)支持通過(guò)數(shù)據(jù)清洗與數(shù)據(jù)增強(qiáng)等技術(shù)對(duì)原始圖像數(shù)據(jù)進(jìn)行處理，通過(guò)Web界面進(jìn)行可視化的功能呈現(xiàn)。數(shù)據(jù)清洗支持?jǐn)?shù)據(jù)去重、數(shù)據(jù)過(guò)濾、數(shù)據(jù)修復(fù)等功能，數(shù)據(jù)增強(qiáng)支持通過(guò)幾何變換、色彩變換、圖像擦除等方式進(jìn)行圖像數(shù)據(jù)擴(kuò)充。每個(gè)功能模塊開(kāi)放功能插件，用戶能夠編寫(xiě)自定義代碼并運(yùn)行，進(jìn)行相關(guān)的數(shù)據(jù)處理操作。

②數(shù)據(jù)去重模塊配套默認(rèn)算法，能夠?qū)⑾嗨贫雀叩膱D像視為重復(fù)圖像進(jìn)行刪除，同時(shí)支持編輯插件進(jìn)行自定義代碼的編寫(xiě)，以實(shí)現(xiàn)個(gè)性化的數(shù)據(jù)去重功能；

4）數(shù)據(jù)標(biāo)注

①平臺(tái)需配套多種通用的數(shù)據(jù)標(biāo)注工具；

②支持矩形標(biāo)注方式；針對(duì)圖像分割任務(wù)，支持多邊形、矩形、圓形、直線、點(diǎn)、線帶等多種標(biāo)注方式；

③平臺(tái)提供數(shù)據(jù)格式轉(zhuǎn)換工具，能夠進(jìn)行json轉(zhuǎn)xml、json轉(zhuǎn)txt、xml轉(zhuǎn)txt等多種數(shù)據(jù)格式的相互轉(zhuǎn)換，支持默認(rèn)功能的運(yùn)行使用以及通過(guò)編輯插件更新代碼的方式進(jìn)行功能自定義；

④支持?jǐn)?shù)據(jù)集快速配置，能夠配置自定義訓(xùn)練數(shù)據(jù)集路徑、驗(yàn)證數(shù)據(jù)集路徑、類別數(shù)量、類別名稱。

5）模型訓(xùn)練

①支持自定義搭建神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練以及基于TensorFlow、Pytorch等預(yù)訓(xùn)練模型進(jìn)行訓(xùn)練；

②支持?jǐn)?shù)據(jù)模型的快捷化訓(xùn)練，通過(guò)填寫(xiě)相關(guān)訓(xùn)練參數(shù)能夠一鍵啟動(dòng)模型訓(xùn)練任務(wù)；

③支持對(duì)訓(xùn)練參數(shù)的配置與調(diào)優(yōu)，算法的訓(xùn)練參數(shù)全部開(kāi)放，能夠調(diào)整相關(guān)訓(xùn)練參數(shù)；

④支持模型訓(xùn)練過(guò)程的可視化呈現(xiàn)，能夠?qū)崟r(shí)顯示模型訓(xùn)練的各項(xiàng)指標(biāo)；

⑤支持查看訓(xùn)練日志，能夠記錄模型訓(xùn)練過(guò)程，監(jiān)控模型的核心指標(biāo)。

6）模型驗(yàn)證與部署

①支持模型的驗(yàn)證功能，能夠自定義修改模型名稱以及加載任意路徑下的模型進(jìn)行運(yùn)行測(cè)試，支持?jǐn)z像頭實(shí)時(shí)驗(yàn)證、本地圖片/視頻驗(yàn)證，模型的驗(yàn)證可通過(guò)Web界面進(jìn)行可視化的功能呈現(xiàn)；

②支持加載本地?cái)z像頭進(jìn)行實(shí)時(shí)的視頻驗(yàn)證；本地圖像/視頻驗(yàn)證方式支持自定義驗(yàn)證數(shù)據(jù)（圖片或視頻）的輸入路徑，以及驗(yàn)證結(jié)果的輸出路徑；

③支持模型的部署功能，支持模型的手動(dòng)部署和自動(dòng)推送；手動(dòng)部署方式支持將訓(xùn)練好的模型導(dǎo)出至本地計(jì)算機(jī)；自動(dòng)推送方式通過(guò)填寫(xiě)目標(biāo)設(shè)備的IP地址及與遠(yuǎn)端路徑，可將模型部署至邊緣終端，模型的部署可通過(guò)Web界面進(jìn)行可視化的功能呈現(xiàn)。

四、課程資源配置

1.Python基礎(chǔ)

1）流程控制：組成3位數(shù)，數(shù)字三角形

2）數(shù)據(jù)結(jié)構(gòu)和文件：學(xué)生管理系統(tǒng)

3）面相對(duì)象：三維向量類，日期類

2.Python嵌入式開(kāi)發(fā)

1）GPIO操作：控制LED燈，讀取按鍵狀態(tài)，控制蜂鳴器、風(fēng)扇，按鍵控制LED燈、風(fēng)扇、讀取超聲波測(cè)距模塊數(shù)據(jù)。

2）串口通信測(cè)溫

3）I2C通信測(cè)光照

4）網(wǎng)絡(luò)通信遠(yuǎn)程控制LED燈。

3.OpenCV圖像處理

1）圖像和視頻：顯示圖片，攝像頭捕獲視頻，播放視頻文件，視頻截圖

2）顏色處理：灰度圖片，滑塊控件使用，圖像閾值，顏色過(guò)濾

3）圖像平滑

4）圖像合成

5）圖像特征提?。哼吘墮z測(cè)、輪廓提取，直線檢測(cè)

6）人臉識(shí)別：識(shí)別人臉特征，并在屏幕標(biāo)注

7）顏色識(shí)別：識(shí)別顏色，并在屏幕標(biāo)注

8）二維碼識(shí)別：識(shí)別二維碼內(nèi)容，并在屏幕顯示

4.機(jī)器學(xué)習(xí)實(shí)戰(zhàn)：

1）K近鄰識(shí)別手勢(shì)

2）線性回歸預(yù)測(cè)PM2.5

3）貝葉斯分類判斷垃圾短信

4） SVM識(shí)別手寫(xiě)數(shù)

5.深度學(xué)習(xí)理論與實(shí)戰(zhàn)：

1）環(huán)境搭建

2）實(shí)時(shí)目標(biāo)檢測(cè)

3）使用YOLOV5自定義模型

4)  綜合案例:物品分揀系統(tǒng)、廣告推薦系統(tǒng)、疫情防控系統(tǒng)、智能倉(cāng)儲(chǔ)系統(tǒng)、明星撞臉系統(tǒng)、病害識(shí)別系統(tǒng)。

7.面向機(jī)器人技術(shù)、控制與仿真、智能控制、程序設(shè)計(jì)、機(jī)器學(xué)習(xí)、深度視覺(jué)等相關(guān)課程，設(shè)計(jì)相關(guān)實(shí)驗(yàn)。

提供所有實(shí)驗(yàn)項(xiàng)目的詳細(xì)使用說(shuō)明書(shū)、實(shí)驗(yàn)指導(dǎo)書(shū)、實(shí)驗(yàn)例程源碼。