用鋼琴彈出一棵樹 中山大首創音樂作畫

觸動琴鍵，螢幕上居然慢慢長出一株小草！國立中山大學音樂學系教授應廣儀和機械與機電工程學系教授程啟正首創跨領域「音樂作畫」，透過偵測樂器的頻率、振幅與漸強漸弱等聲音參數，利用演算法轉換成視覺上的點、線、面，在樂曲演奏時藉由「觸發音」同步呈現動畫，讓音樂與畫作合而為一。（見圖） 「音樂作畫」跨域合作為國內數位科技與互動藝術跨界一大創舉，中山音樂系與機電系合組的研究團隊先作曲、構思故事內容，接著用電腦畫出五百張圖，其中三十一張圖需透過一個小節的音串觸發，靠著數學方式「快速傅立葉轉換」（Fast Fourier Transform，簡稱FFT）辨識音串，鋼琴只要彈到某些段落旋律，樹長出來、打雷、雲朵飄等這些動畫就被啟動。 中山音樂系教授應廣儀表示，目前許多聲音與影像的結合，是將現成的音樂用後製的方式搭配影像播放，並非當下體驗；即便有當下體驗的視覺效果，但都非常抽象，無法具體呈現一個敘述性的情節。