前往
大廳
主題

【Unity】在現實中使用ML-Agents 訓練的模型

Jerry | 2024-04-02 00:18:03 | 巴幣 1102 | 人氣 105

0:00 - 0:22 Unity展示
0:22  現實運作
基本上只是為了測試能否真的將ML-Agents 訓練的模型拿到現實中用,才在家裡把這些做出來。結果看起來還行,不過還有很多地方可以改進。

模型是在Unity裡的模擬環境透過強化學習訓練的。訓練完成後透過Python載入ONNX模型。程式使用OpenCV來定位相機畫面中的ArUco標記,並將資料轉換為在Unity訓練時使用的形式。
整個做下來最大的問題反而是硬體,主要是那輛實際測試用的小車,馬達經常停止轉動,而且電池在測試幾輪之後就已經快不行了。再加上兩側的馬達轉動速度不同,而且基本上只有最大輸出才能讓馬達動起來。推測應該只是供電問題,不過我手邊只有這些工具。所以最後是透過將相機角度往右轉一點,來補償這個問題。
之後如果剛好有更好的硬體,我可能會再測試看看。

如果對這部影片的內容有興趣,想要教學的話,歡迎留言讓我知道。我沒辦法保證一定會做出來,因為那可能會變成1小時長的影片,不過我有時間的話會試試看。

創作回應

感謝分享
希望有更多更酷的應用
2024-04-09 02:44:33
Jerry
謝謝~
2024-04-09 04:19:07
想問一下大佬
您結合真實的機器人(自走車)訓練時
是直接開unity editor訓練嗎
還是有用這篇類似的方法?
https://blog.csdn.net/Alibutter/article/details/120908687
生成一個gym的環境
然後在py裡寫訓練的算法?
2024-04-10 18:30:47
Jerry
我是直接在Unity editor 裡面訓練喔,訓練完成後才在Python 跑訓練好的模型。
你給的那篇文章的方法我沒試過不清楚,當初查這方面資料的時候,也看過一些像是Python API的工具,不過資源都滿少的,就乾脆不用了。

還有我這個也不算是結合真實的機器人訓練,只是把訓練結果用在真的機器人上,這兩個是不一樣ㄉ
如果可以直接在真的機器人上訓練應該會滿有趣,不過感覺難度和時間會差很多w
2024-04-10 21:21:26
感謝您的回覆
如果真的能接出來用真實和虛擬一起訓練真的感覺很有料
2024-04-10 22:40:48
Jerry
確實,不過那已經不是我可以一個人在家做的事了w
https://youtu.be/17NrtKHdPDw?si=_i77_zS6pj7mgEVp
有興趣的話可以看一下這個影片,裡面講在現實中訓練RL的研究,其實這也不算太新鮮的事。
不過要在現實中完成工作,通常還要再配合電腦視覺、物件辨識這些的,畢竟直接把影像當作RL模型輸入不太現實,像是影片裡垃圾分類那邊,看起來至少是有先用電腦視覺計算出物件的種類和位置。我做的這個也是先用電腦視覺找到目標位置。
總之這真的滿有趣,只是難度也會隨著任務複雜度上升w
2024-04-11 10:29:35

相關創作

更多創作