韓國首爾國立大學和韓國高級科學技術研究院(KAIST)的研究人員最近開發出了一種可以作為電子皮膚的傳感器，并將其與深度神經網絡集成在一起。這種深度學習增強的電子皮膚系統發表在《自然通訊》(Nature Communications)上的一篇論文中，它可以從遠處捕捉到人類的動態運動，比如手指的快速運動。

這套新系統源于機械工程和計算機科學領域的專家們的跨學科合作。領導最近這項研究的兩位研究人員是Soul國立大學的機械工程教授Seung Hwan Ko和KAIST的計算機教授Sungho Jo。

幾年來，Ko教授一直試圖通過使用激光技術在金屬納米粒子薄膜上產生裂紋來開發高靈敏度的應變傳感器。然后將產生的傳感器陣列應用到一個虛擬現實(VR)手套上，設計用于檢測人的手指運動。

"我的實驗室通常使用至少5到10個應變傳感器來預測精確的手部運動(每個手指至少要有1到2個傳感器)，因為隨著目標系統復雜度的增加，所需的應變傳感器的數量也會增加。"Ko教授說。"幾年前，我開始問自己以下問題。我們是否可以只用一個應變傳感器而不是用許多傳感器來準確預測手部運動?最初，這似乎是個很笨的問題，因為幾乎不可能分辨出應變傳感器的信號來自哪個手指。"

當Ko教授試圖開發一種能夠準確預測人的手部動作的單一應變傳感器時，Jo教授正在研究將機器學習技術與最先進的傳感器進行整合的策略。Jo教授認為，即使這些信號是由單個傳感器檢測到的，也可以利用機器學習分析人們手指運動產生的連續傳感器模式。

"我們意識到，如果我們能夠利用機器學習來利用這些模式，就可以清楚地解耦單個傳感器觀察到的多種不同行為，"Jo教授說。"經過密切的合作，我們能夠開發出一種單一的深度學習傳感器，可以預測復雜的手部動作。"

當安裝在用戶的手腕上時，Ko教授、Jo教授和他們的同事們開發的傳感器可以檢測到用戶手部運動產生的電信號，同時還能識別這些信號來自哪個手指。與更多傳統的電子皮系統相比，傳統的電子皮系統需要每個手指至少有一個傳感器才能準確預測一個人的手部動作，而新的深度學習驅動的傳感器在單獨使用時也能很好地工作。

"傳統的電子皮膚至少需要5到10個應變傳感器才能準確預測手部動作，隨著目標系統復雜度的增加，所需的應變傳感器數量也會增加，"Ko教授說。"另一方面，我們開發的深度學習型電子皮膚傳感器，只需一個傳感器就能完成這項工作。"

研究人員沒有簡單地用更傳統的方法對傳感器檢測到的信號進行擬合，而是利用深度學習模型來分析信號模式隨時間的變化，并最終揭開收集到的數據背后的手指運動。從本質上說，Ko教授、Jo教授和他們的同事證明，當與深度學習技術相結合時，單個傳感器可以獲得與多個傳感器相媲美的結果。

"我們的結果意味著，我們可以用較少的傳感器數量來實現復雜的檢測，"Jo教授說。"這將極大地簡化需要傳感器進行復雜檢測的系統。我們還預計，新的方法將促進對人體運動的間接遠程測量，適用于可穿戴式VR/AR系統。"

在最初的評估中，該研究團隊開發的e-skin系統取得了非常好的結果，成功地實時檢測和解碼復雜的手指運動，同時無論其在用戶手腕上的位置如何，都能穩定地運行。在未來，該傳感器可能會有很多有趣的應用，包括機器人和可穿戴設備(如健身追蹤器)的開發。有趣的是，當放置在用戶的骨盆上時，同樣的系統還可以解碼步態運動(即行走方式)，因此可以用來制造小型高效的運動追蹤設備。

"在這項研究中，我們使用機器學習傳感器來解碼手部運動。"Ko教授說。"不過，在不久的將來，我們計劃在這項研究的基礎上，實現更復雜的身體運動預測，比如腿部、手臂，甚至可能是整個身體的運動預測。"