橘子集團策略長談人工智慧模型作法:別挑戰不可控的「黑盒子」
在此次re:Invent 2024活動期間,橘子集團策略長暨AI創新實驗室負責人陳冠宇,針對橘子集團在今年7月底推出的Vyin AI解決方案進行詳細介紹,同時也說明在此背後如何藉由AWS解決方案建造此人工智慧模型。
認為市面上多數人工智慧模型技術是在挑戰「黑盒子」的不可控性
陳冠宇表示,相較市場目前多數人工智慧多半是以開放人工智慧模型為基礎,並且進行一定程度上的微調、蒸餾 (distill)等客製化作法構成,但大致上都算是「貼皮」為主的設計,原因在於核心的大型語言模型仍是不可調整,加上相關調整也是以自動生成方式進行處理,使其可控程度僅能維持在一定範圍,而此作法宛如在挑戰僅能知道輸入及輸出關係,卻無法知曉內部結構的「黑盒子」。
而橘子集團在Vyin AI解決方案的作法,則是將其拆分「控制」、「語言」、「知識」、「情境」及「動作」等五大中樞,甚至未來有需要的話,還會將其進一步細分。這樣的好處,在於人工智慧模型可以控制項目增加,同時不會相互干擾,因此也不會出現人工智慧模型常見「幻覺」現象。
在橘子集團內部實作結果中,陳冠宇說明在《新楓之谷》線上遊戲導入此人工智慧模型的客服系統,其自主解決問題的正確率高達97%,同時使用滿意度更達98%,相比多數以人工智慧模型驅動的線上客服有更好互動表現。
能有這樣的表現,陳冠宇表示歸功於將人工智慧模型進行拆分,使其能對應不同控制調整,同時在日後升級也更具彈性,無須重新從頭進行訓練,可在加入更新數據之後增加人工智慧模型的「知識」,以及相應互動處理方式。
因為可控程度高,因此能在盡可能避免風險問題下快速升級
橘子集團現階段將Vyin AI解決方案用於Vyin Brain文字客服機器人,以及Vyin Sales互動式對話服務兩種模式,前者主要用於全自動化線上客服系統,後者則對應互動對話使用情境,應用場景則包含線上商品推薦、線上互動內容等。
目前Vyin AI解決方案在遊戲應用部分主要藉由橘子集團自身持有數據進行訓練,而未來對外擴展用於零售、餐飲等產業,甚至用於未來會有大量需求的老年照護等情境,則會接入相關合作數據,讓人工智慧模型可以更符合應用場景所需知識。
在此類應用場景下,人工智慧模型拆分結構作法就會有更大優勢,在不影響既有操作、語言、情境等情況下,即可持續擴充不同領域相應知識,快速套用在不同應用場景,同時也能在之後持續進行升級。
同時,因為在許多細節上做到可控,相對也能讓人工智慧模型產生錯誤風險降低,同時也因為將許多架構拆分細化處理,因此在人工智慧模型面臨處理非結構化資料時更為有利,使得聲音、影像、文字等都能變成推動人工智慧技術應用的重要資料來源。
不像其他以開源人工智慧模型包裝、調整的技術,僅能以可控程度較低的自動生成方式識別此類非結構化資料,導致實際產生結果會出現許多不可控因素,進而形成更大風險。
透過AWS等雲端服務進行協同訓練,讓模型訓練可在成本效益之間取得平衡
至於在人工智慧模型訓練部分,陳冠宇表示目前橘子集團主要透過AWS等雲端服務進行協同訓練,藉此讓模型訓練可在成本效益之間取得平衡,因此與AWS等雲端服務也維持深度合作模式。
橘子集團當前在Vyin AI解決方案銷售部分,將會採與大型系統整合業者合作,透過其管道資源擴展銷售,但另一方面也會與AWS雲端服務合作。
例如,目前Vyin Brain人工智慧模型準備透過AWS軟體市集對外提供使用,更計畫在2025年第三季提供Vyin AI解決方案SaaS服務,藉此吸引更多中小企業能透過上雲方式採用,無須仰賴自建伺服器作法,尤其台灣市場接下來也會由AWS建置區域網路情況下,更多服務將能在合乎經管會相關規定情況上雲運作,預期將能帶動更多使用需求。
雖然才從今年7月推出解決方案,暫時還無法提供相關成長數據,但陳冠宇強調在此次re:Invent 2024活動期間已經與許多業者進行洽談,同時也吸引不少大型企業關注,預期能讓Vyin AI解決方案順利進入歐美市場。
而在台灣市場部分也會與更多在地業者合作,例如接下來的跨年演唱會將與台北市政府進行合作,同時在東南亞市場也已經與大型服務業者進行合作,但礙於合作保密協議部分無法透露具體細節。
更多Mashdigi.com報導:
上訴法院認為美國政府以新法要求字節跳動拆分TikTok業務並未違憲