產品詳情:
4.1.1、產品簡介
平臺包含Jetson Nano邊緣計算主板、六自由度機械臂、寬動態AI視覺攝像頭、SLAM激光掃描雷達、17.3英寸邊緣計算顯示單元、無線傳感及控制單元,以及機器視覺場景應用資源包。平臺可模擬各項人工智能典型應用場景,實現人工智能應用技術教學實驗。系統預裝Ubuntu18.04操作系統,所有環境代碼庫文件均已安裝,開機即用。
平臺基于多維度學習實踐平臺,由淺入深循序漸進,從基礎單獨的GPIO擴展,過渡到傳感控制實驗項目,再進入ROS系統、機器運動學、AI機器視覺,AI自然語音處理等學習,從而學會各項典型的人工智能技術應用開發方法。配套提供的算法源代碼(包括?臉檢測、?牌識別、垃圾分類、?標檢測等項目),兼容 Caffe/TensorFlow/MXNet訓練模型和API,可以讓學?對機器視覺的流程、處理方式等有更好的了解,熟悉相關算法,了解實際應?場景,貼近工程化應用。
4.1.2、產品特點
1)平臺出廠預裝Ubuntu操作系統與深度學習框架
平臺出廠預裝Ubuntu操作系統與深度學習框架,集成Python3、機器視覺、自然語言、深度學習、ROS系統等開發環境,能滿足人工智能相關的學習與開發。。
2)人工智能算法源代碼兼容多個訓練模型
所提供的算法源代碼(包括人臉檢測、車牌識別、垃圾分類、目標檢測),兼容Caffe/TensorFlow/MXNet訓練模型和API,可以讓學生對機器視覺的流程、處理方式等有更好的了解,熟悉相關算法,了解實際應用場景,貼近工程化應用。。
3)系統支持多個工業化的應用場景
工業級智能機械手(支持圖形化編程)、機器視覺檢測技術,提供專屬定制的色塊模型、柱體模型、商品模型、一維碼/二維碼模型等應用場景模型,可模擬色塊分揀、形狀分類、OCR識別、垃圾分類等工業應用場景。包含智能識別、定位、抓取、分揀等功能,可實現機器視覺檢測技術的工業化應用。
4)系統支持人工智能核心課程
包含:①Python編程與應用、②機器視覺編程與應用、③深度學習編程與應用、④SLAM定位與建圖應用、⑤工業級智能機械手與ROS機器人操控應用、⑥AIOT智能傳感器編程與應用、⑦人工智能綜合等課程資源與教學資料,包含教學實驗指導書、實驗案例源碼、開發環境及軟件工具等。
4.1.3、主要硬件構成
本平臺主要由邊緣計算平臺、機器視覺攝像頭、ROS智能機械臂、SLAM激光雷達、AIOT無線網關、AIOT虛實采集控制模塊、端感知控制模組等硬件模塊構成,介紹如下:
1)Jetson Nano邊緣計算平臺
NVIDIA Jetson Nano是一個小巧卻功能強大的計算機,它可以讓你并行運行多個神經網絡、對象檢測、分割和語音處理等應用程序,Jetson Nano搭載四核cortex-A57處理器,128核MaxwellGPU及4GB LPDDR內存,帶來足夠的AI計算能力,提供472GFLOP算力,并支持一系列流行的Al框架和算法,比如TensorFlow、Pytorch.caffe/caffe2、Keras、MXNET等
2)機器視覺攝像頭
雙目深度體感攝像頭是VR/AR、機器人和無人駕駛最核心的技術支撐之一,而深度攝像頭就是這類硬件的眼睛。只有機器對“看到的”東西,定位定姿精度更高時,才能更好地識別和做出判斷,從而提升機器的可用性和產品化速度。利用雙目立體視覺成像原理實現三維定位,即可進行手勢、肢體動作的綜合應用。
使用距離:0.8m至 3.5m之間,視野:58° H, 45 V, 70°D(水平,垂直,對角),傳感器:深度,深度影像大小:VGA(640x480) : 30fps,QVGA (320x240): 60fps,接口:USB2.0
3)ROS機器臂
視覺機械臂以Jetson nano為主控,Open Source CV為圖像處理庫,以主流的Jupyter Lab為開發工具,使用Python3為主要編程語言。通過與機器視覺的聯合使用,實現顏色識別追蹤與抓取,還能人體特征識別互動,甚至進行垃圾分類模型訓練垃圾分揀;通過RO5機器人操控系統,簡化了6自由度串行總線舵機復雜運動控制。
4)激光雷達
相較于傳統技術,利用紅外激光設備可實現超大屏幕的多點觸摸,其反應更快、精度更高、抗環境光能力更強。激光雷達作為核心傳感器,可快速獲得環境輪廓信息,配合SLAMWARE使用,可以幫助機器人實現自主構建地圖、實時路徑規劃與自動避開障礙物。應用領域智能掃地機、家用機器人。
測量半徑:12米,測量頻率:8000次/秒,掃描頻率:5.5HZ,360度掃描測距。
5)無線智能網關
雙MCU設計:標配Zigbee無線模塊(支持Zigbee、WIFI、藍牙、Lora等) + Cortex-M3核心;
顯示屏:3.5寸TFT觸摸顯示屏,分辨率480*320,提供良好的人機交互界面。
外圍接口:Mini USB接口,JTAG接口可對雙MCU核心進行編程調試;
6)虛實結合采集控制端
雙MCU設計:無線模塊(支持Zigbee、WIFI藍牙、Lora等)+Cortex-M3核心
3.5寸TFT觸摸顯示屏,分辨率320*240,提供良好的人機交互界面;
板載功放電路;485、CAN、ADC、IO口、串口接口等。無線模塊:單排雙列12pin直插接口,支持zigbee,WIFI,藍牙等無線模塊的自由切換;
7)端感知模組
智慧環境感知單元:光照、溫濕度、雨雪、風扇、數碼管、調色燈
智能安防感知單元:紅外對射、煙霧、酒精、蜂鳴器、觸摸按鍵、人體
智能停車感知單元:超聲波、電磁鎖、繼電器、舵機
4.1.4、平臺主要功能
(1)計算機視覺基礎應用與機械臂的運動控制
視覺定位:放置任意物體在視野中,在圖像中將其分割(框出來),并輸出中心點坐標;
顏色識別和分選:多種顏色混合放置于視野中,每種顏色各一個,控制手臂挑選出某種顏色,并放置在一側;
顏色識別和堆疊:多種顏色混合放置于視野中,如兩種,每種顏色兩個,控制手臂抓取某種顏色并堆疊,或多顏色分別堆疊;
形狀識別和分選:多種形狀混合放置于視野中,每種形狀各個,控制手臂挑選出某種形狀,并放置在一側;
形狀識別和堆疊:多種形狀混合放置于視野中,如兩種,每種形狀兩個,控制手臂抓取某種形狀并堆疊,或將多種形狀分別堆疊;
單一形狀目標按大小排序:同種形狀,放置三種不同尺寸的物體于視野中,控制手臂按照從大到小的順序依次放置;
多種形狀目標同時按形狀和大小堆疊:三種形狀,每種形狀放置三種不同尺寸的物體于視野中,控制手臂按照不同形狀、從大到小的順序分別進行堆疊(即三個堆垛,均為從大到小);
垃圾分類:在目標上貼上不同物體的圖案,如白菜、標識為有毒物品的玻璃瓶、紙箱,混合放置于視野中,通過配置,控制機械臂按照廚余垃圾、有害垃圾、可回收垃圾進行分類;
手勢交互:比如伸出1、2、3、4個手指,機械臂分別執行向上、向下、向左、向右運動,伸出5個手指,則畫一個圓;
目標跟蹤:操作者手持一個小球,機械臂識別該小球(形狀或顏色),并隨著小球的移動而移動;
OCR光學字符識別與排序:目標上貼上字符,亂序擺放(可要求字符必須朝同一個方向,但順序是亂的),機械臂通過視覺識別,將其按照123456的順序擺放到指定位置
(2)計算機視覺與人臉識別、車牌識別等應用
人臉識別:事先錄入人臉,對新的人臉進行識別,識別成功彈出人員的信息,識別不到則提示該人員不在系統中;
人臉門禁:識別到人臉后,打開門禁系統,同時綠色指示燈亮起,識別不到,黃色指示燈亮起,提示無該人員信息;
人員入侵預警:同上。同一人臉連續識別超過 3 次,且均顯示不在系統中,紅燈亮起,同時蜂鳴器報警;
車牌識別:事先錄入車牌,對新的車牌進行識別,識別成功彈出車主信息,同時綠色指示燈亮起,識別不到則黃色燈亮起,并提示該車輛不在系統中;
車輛入侵預警:同上。同一車牌連續識別超過 3 次,且均顯示不在系統中,紅燈亮起,同時蜂鳴器報警;
運動目標識別與跟蹤:采用視頻實時識別的方式,對視野中的一個或多個人員進行識別,框出來,標記識別到的人員數量,并隨著人員的移動進行跟蹤;
(3)端感知控制
端感知控制主要依賴于AIOT感控場景應用硬件模塊進行,配套對應的Ubantu應用軟件,主要包含環境監測、安防感知、智能停車三個應用場景。
環境監測:獲取當前的溫度、濕度、光照、雨雪等環境信息,或控制調光燈、排風扇狀態。
安防感知:隨時監測當前的紅外、煙霧、酒精、觸摸按鍵、人體感應等安防信息,或控制蜂鳴器的狀態。
智能停車:及時獲取超聲波傳感的距離數據,或控制電磁鎖、繼電器、停車桿、數碼管的狀態信息。
4.1.5、配套課程教學資源
1、《Python基礎》實驗目錄
《Python基礎》實驗手冊目錄
1 Python概述、發展與特點
2 開發環境搭建和使用(平臺介紹、平臺開機、實驗操作)
3 Python語法
4 Python縮進
5 Python注釋
6 Python變量
7 Python引入外援
8 Python基礎數據類型-整型(int)
9 Python基礎數據類型-浮點型(float)
10 Python基礎數據類型-布爾類型(bool)
11 Python基礎數據類型-字符串(String)
12 Python基礎數據類型-類型轉換
13 Python常用操作符-算術操作符
14 Python常用操作符-比較操作符
15 Python常用操作符-邏輯操作符
16 Python常用操作符-位操作符
17 Python分支與循環
18 Python條件表達式與斷言
19 Python程序控制-While循環語句
20 Python程序控制-for循環語句
21 Python程序控制-break語句
22 Python程序控制-continue語句
23 Python高級數據類型-列表(List)
24 Python高級數據類型-元組(Tuple)
25 Python高級數據類型-字符串(String)
26 Python高級數據類型-序列(Sequence)
27 Python高級數據類型-字典(Dictionary)
28 Python高級數據類型-集合(Set)
29 Python函數-創建與調用
30 Python函數-參數與返回值
31 Python函數-變量
32 Python函數-函數式編程
33 Python函數-遞歸
34 Python存儲-文件操作
35 Python存儲-文件系統(OS)
36 Python異常處理-except語句
37 Python異常處理-finally語句
38 Python異常處理-raise語句
39 Python類和對象-對象、self、__init__
40 Python類和對象-繼承
41 Python類和對象-組合
42 Python類和對象-構造與析構
43 Python模塊-創建和使用
44 Python模塊-導入模塊
45 Python模塊-包
