「用鋼琴彈出樹」藝術治療 中山大學創音樂動畫

記者陳維鈞/高雄報導
今日新聞NOWnews

觸動琴鍵,螢幕上居然慢慢長出一株小草?!國立中山大學音樂學系教授應廣儀,和機械與機電工程學系教授程啟正,首創跨領域「音樂作畫」,透過偵測樂器的頻率、振幅與漸強漸弱等聲音參數,利用演算法轉換成視覺上的點、線、面;在樂曲演奏時藉由「觸發音」同步呈現動畫,讓音樂與畫作合而為一。這項跨域合作未來可望應用於互動遊戲、醫療復健與藝術治療等領域。

應廣儀教授表示,音樂作畫的發想,未來有機會運用在音樂治療、復健、學習發展。舉例來說,復健的人覺得學習很枯燥乏味,但透過「音樂作畫」,復健的人以手腳運用,讓畫面會有不同的呈現,可以使整個復健過程變得更有趣、更具成就感。

「音樂作畫」跨域合作為國內數位科技與互動藝術跨界一大創舉。中山音樂系與機電系合組的研究團隊先作曲、構思故事內容,接著用電腦畫出500張圖,其中31張圖需透過一個小節的音串觸發,靠著數學方式「快速傅立葉轉換」(Fast Fourier Transform, 簡稱FFT)辨識音串。「鋼琴只要彈到某些段落旋律,樹長出來、打雷、雲朵飄等這些動畫就被啟動」程啟正教授說。


▲中山音樂系與機電系合組的研究團隊,研究出用鋼琴作動畫。(圖/記者陳維鈞攝 , 2017.09.11)

團隊中,機電系大四學生徐浩崴本身對「錄音工程」就很有興趣,還在校外自組搖滾樂團。大三時他因修習程啟正教授的「機電實作專題研討」得知這項跨域合作,自告奮勇加入。

徐浩崴表示,「音樂作畫」最困難的部份就是錄音品質,因為每台鋼琴的琴音都不同,另外像是收音時麥克風的高度、鋼琴當時擺放的位置,只要稍微不一樣,電腦接收到的品質就不同。「有時演奏者也會彈錯一兩個音」徐浩崴說,這些微小誤差都會成為啟動動畫的障礙。

本次由音樂團隊負責樂曲的創作與演出,科技團隊則主導音樂元素的採集、偵測與互動程式設計,每個蒐集到的聲音參數就像一支畫筆,代表不同的元素在畫布上構圖,隨著音樂進入不同橋段而有不同的情感與視覺效果,兼具互動藝術的內涵及趣味。

接下來要閱讀的內容