清大資工系開發AI與VR創新運動科技 打造專屬個人運動方程式

▲國科會工程處李志鵬處長(左3)、國立清華大學資訊工程系胡敏君教授(左4)與團隊合影。(圖：國科會提供)

運動科技日新月異，在國科會支持下，國立清華大學資訊工程系胡敏君教授團隊開發「AI運動影像分析與VR沉浸式訓練平台」，協助運動員進行情報蒐集與訓練，以提升技巧、戰術與決策能力。

團隊所研發的AI運動影像分析技術可從影片中即時偵測重要事件如投籃、灌籃等，並分析運動員的動作技巧與採用的戰術，幫助運動員與情蒐人員有效率地標註比賽影片內容，並破解對手的策略。此外，也可從比賽影片中重建場景和物件的三維(3D)資訊，以任意視角重播賽事的內容，幫助運動員打造沉浸式的VR模擬訓練環境，協助強化技巧與戰術的認知，進而改善運動技能。

透過分析大量賽事影片，團隊研發出各種生成式模型，以籃球為例，除了即時根據進攻者的移動軌跡生成對應的防守者移動軌跡，亦可根據運動員所設定的對手分析其過去的比賽影片，進而生成該對手採取各種動作時所對應的3D動畫，讓運動員在VR環境進行訓練時，更能模擬真實比賽會發生的情況。此外，搭配所研發的手勢辨識技術，可讓運動員在模擬訓練的過程中更直覺地與系統互動，也能完整記錄運動員面對不同狀況的動作反應與表現，有利於訓練成效的評估。

為了讓AI技術可落地到運動場域讓一般大眾都能使用，胡教授也與清大資工系朱宏國教授共同帶領學生將所研發之技術延伸成立新創公司(NeuinX)，團隊更針對行動裝置所拍攝的移動視角籃球影片，研發精準且即時的物件追蹤與投籃事件分析技術，籃球愛好者可上傳或串流自己拍攝的比賽影片，即時產生投籃事件精彩剪輯與投籃熱點分布。無論是在賽事中或是比賽結束後， AI技術都可輔助快速蒐集有意義的運動數據，甚至可製作具有擴增實境特效的精彩剪輯，進一步應用至廣告行銷，為賽事影片加值並創造更大的商業收益，並以Court Athena運動影片分析與資料視覺化平台榮獲2023年美國消費性電子展創新獎(CES 2023 Innovation Awards)。

除了籃球項目，團隊也與清華大學運動科技中心之跨校研發團隊合作，將相關技術進一步擴散應用於輔助桌球、棒球、拳擊、射箭等運動項目之情蒐與訓練。在運動領域中，不同運動項目，甚至是同一個運動項目的不同教練或運動員，都可能有很不一樣的需求，許多時候運動員或教練也無法將自己的需求表達得清晰完整。胡教授積極培養資通訊領域學生的跨域溝通素養，希望能深入地瞭解運動領域的需求痛點，開發對應的AI演算法與人機互動系統，幫助運動員知己知彼、百戰百勝。

團隊所研發相關研究成果已陸續發表於多個國際頂尖會議以及IEEE Transactions on Multimedia、IEEE Transactions on Visualization and Computer Graphics等重要國際期刊，也獲得2021年台灣運動科技發展協會運動科技應用獎銀獎與優選。