書名:藝術松No.2:AI
原文書名:
產品代碼:
9789869197748定價:
280元作者:
王奕然、王柏偉、吳柏瑤、林子荃、林怡君、林欣怡、林映彤、邱誌勇、施登騰、胡育榕、張嘉淵、許夢芸、黃文浩、劉育成、蔡遵弘、蘇黎頁數:
140頁開數:
19x25.4x1.1裝訂:
平裝上市日:
20211020出版日:
20211020出版社:
財團法人數位藝術基金會CIP:
956.07市場分類:
攝影產品分類:
書籍免稅聯合分類:
藝術類- ※缺書中
商品簡介
《藝術松》是財團法人數位藝術基金會《數位藝述》系列(2011年∼2015年)精神的延續,作為台灣數位藝術相關知識生產的新園地。藉由台灣數位藝術中心的民間機構力量,創辦藝術松學校影音導讀、Podcast與期刊出版,引薦更多數位藝術的當代思潮。我們強調,數位藝術(或科技藝術、新媒體藝術)不單是科技創新,更不僅是科技展示,更重要的是藝術實踐與人文思潮的齊肩並進,讓實踐與理論、研究平衡發展,共築論述與實踐的共構平台。
秉持著以「解析創新科技對藝文創作之影響」為命題,承繼創刊號聚焦在討論「虛擬實境」(VR)對藝文創作的影響之後,藝術松第二期以「人工智慧」為核心主題,邀請國內外各方學者、專家與藝術家,針對「AI+」的諸多現實應用情境深入的探究。本期內容廣泛地從哲學美學、理論論述、創作實踐、產業應用、關鍵字詞、藝術家訪談,以及國際趨勢切入,深入淺出地介紹AI與藝術創製展演之間的多重關係。
《藝術松》是財團法人數位藝術基金會《數位藝述》系列(2011年∼2015年)精神的延續,作為台灣數位藝術相關知識生產的新園地。藉由台灣數位藝術中心的民間機構力量,創辦藝術松學校影音導讀、Podcast與期刊出版,引薦更多數位藝術的當代思潮。我們強調,數位藝術(或科技藝術、新媒體藝術)不單是科技創新,更不僅是科技展示,更重要的是藝術實踐與人文思潮的齊肩並進,讓實踐與理論、研究平衡發展,共築論述與實踐的共構平台。
秉持著以「解析創新科技對藝文創作之影響」為命題,承繼創刊號聚焦在討論「虛擬實境」(VR)對藝文創作的影響之後,藝術松第二期以「人工智慧」為核心主題,邀請國內外各方學者、專家與藝術家,針對「AI+」的諸多現實應用情境深入的探究。本期內容廣泛地從哲學美學、理論論述、創作實踐、產業應用、關鍵字詞、藝術家訪談,以及國際趨勢切入,深入淺出地介紹AI與藝術創製展演之間的多重關係。
作者簡介
秉持著以「解析創新科技對藝文創作之影響」為命題,承繼創刊號聚焦在討論「虛擬實境」(VR)對藝文創作的影響之後,藝術松第二期以「人工智慧」為核心主題,邀請國內外各方學者、專家與藝術家,針對「AI+」的諸多現實應用情境深入的探究。本期內容廣泛地從哲學美學、理論論述、創作實踐、產業應用、關鍵字詞、藝術家訪談,以及國際趨勢切入,深入淺出地介紹AI與藝術創製展演之間的多重關係。
商品特色/最佳賣點
藝術松第二期以「人工智慧」為核心主題,邀請國內外各方學者、專家與藝術家,針對「AI+」的諸多現實應用情境深入的探究。本期內容廣泛地從哲學美學、理論論述、創作實踐、產業應用、關鍵字詞、藝術家訪談,以及國際趨勢切入,深入淺出地介紹AI與藝術創製展演之間的多重關係。
書籍目錄
0. 序文
《藝術松No.2:AI》發刊詞 | 黃文浩
1. 專題序
邁向計算式創造力的未來景況 | 邱誌勇
2. 專題文章
定義人工智能藝術:三個提議(Defining AI Arts: Three proposals)
原著 | Lev Manovich、翻譯 | 許夢芸
感覺、知覺,抑或是意識:關於人工智能主體生成的哲學思考 | 邱誌勇
音樂 × 人工智慧 | 林怡君
音樂與文化科技實驗室介紹 | 蘇黎
AI-powered-Archive-in-the-Machine:談數位典藏資料應用的數位視野 | 施登騰
超皮層:終端主體之後 | 林欣怡
人工智能為機器人注入「靈魂」? | 許夢芸
電子遊戲中的AI應用與展望 | 蔡遵弘
共筆:科技人談AI與藝術創作 | 張嘉淵、邱誌勇
3. AI 關鍵字
模式(Pattern)| 王柏偉
智能(Intelligence)| 王奕然、林映彤
條目:「機器學習 & 深度學習」(Machine Learning & Deep Learning)| 劉育成
生成式對抗網絡(Generative Adversarial Networks,GANs)| 邱誌勇
4. 藝術家專訪
鄭先喻 × 創作輕鬆談 訪談者 | 王柏偉、紀錄 | 胡育榕
5. 國際視窗
機器智能:藝術力的新主體 | 吳柏瑤
深度學習與觀眾參與的藝術實驗場:德國ZKM媒體藝術中心智慧博物館計畫介紹 | 林子荃
6. 作者簡介
推薦序/導讀/自序
《藝術松No.2:AI》發刊詞
文╱黃文浩(財團法人數位藝術基金會董事長)
「藝術松」第二期出版了,就在此武漢肺炎肆虐全球之際,台灣也因為疫苗之亂而處於撕裂的狀態,我們可以清楚的意識到疫情正在改變人類文明發展的進程與方向,而科技正是這一波浪潮中最具影響力的關鍵。
文化與藝術在這一波時代巨變中擔負著怎樣的角色?這正是數位藝術基金會出版「藝術松」的目的之一,我們譯介國際的著作,邀請專家學者「提供與時俱進的專題文章」,並介紹國外館舍所具前瞻性的計畫和從事相關創作的藝術家。我們也邀請國內的傑出創作者與產業界領袖參與,以對話和共筆的方式開啟「關注同議題者的對話空間」。
這一期的「藝術松」我們探討的主題是關於人工智慧「AI」,這個對國內創作環境中仍屬陌生的領域。這是結合了快速運算、演算法與機器學習所衍生出來的領域,其發展與應用正迅速而且全面深入我們的生活,一個「智能科技」的時代已然成形,讓人期待也令人疑慮因此我們無法不加以關注,誠如主編邱誌勇教授所標示:我們唯有對這個「科技構造的生態系統進行人文社會學式的自我反思。」方能平衡面對自身處境。
一年只有一期的「藝術松」在對當代科技與文化的觀察書寫,量體上顯然不夠,但數位藝術基金會長期以來只能運用微薄的資源與人力進行具有遠大目標的計畫,雖然踽踽而行但仍有傑出的參與者不計代價的熱情貢獻,在此必須誠心感激並獻上我最高的敬意,也期待未來有更多有識之士投入,讓這個出版計畫朝向更具創造性與想像力的方向發展,對當代科技、人文與藝術三方都具有啟發性的影響力。
專題序:邁向計算式創造力的未來景況
文╱邱誌勇
近年來,各種數位科技的發展與應用,不僅全面地滲透至人們的日常生活之中,更深刻地影響了人類的感官刺激、思維與經驗。其中,電腦已經被認定為是當代最重要的科技形式之一。做為數位科技高度發展的表徵,電腦伴隨著其他相關的電子儀器設備快速且激烈地改變了我們的生活。從媒體的大量湧現、商業、研究、工業、教育、娛樂、健康醫療、軍事演練到日常生活等,人類存在的各個環節都已離不開電腦科技的應用。最終,隱身在電腦介面與機器人背後的「人工智慧(能)」(以下簡稱為「AI」,本專題將交互使用兩種中文譯法)更成為當代創新科技與人文社會結合的新領域;AI的學習能力已快速地追上人類學習知識的速度,透過快速運算、演算法與機器學習讓人工智慧超越生物智人(homo Sapiens)的能力。
不可否認,這種「計算式創造力」(Computational Creativity)對當代創新數位科技在文藝創製上的研究,關切著數位時代的全面到來之後,整體且普遍的應用所引發的一系列在人類生活世界的改變議題。在此數位情境之中,電腦程式對應思想邏輯、機械動力裝置對應身體感知律動,人類身體從將機器視為一項工具(科技╱機器外在於身體之外),逐漸地與機器相結合(從『附著』attachment,到『體現』embodiment),更漸漸地與一種越來越不可被肉眼所見的機器或科技(電腦、網路、虛擬科技)相結合,人類也不斷挑戰自身的智力與肉身極限。以致,機器和資訊時代來臨之際,機器與AI一直以一種相互增強或補足人類能力的角色出現。如果未來機器越來越智能化與生命化,那麼我們是否能將機器視為是一個生命體?是否能與它建立起一種生命的共情。
在所有當代創新數位科技的研發上,機器人、人工智慧、5G、擴增實境與虛擬實境被譽為是最具有發展力的科技產物,從商業營運、金融市場、醫療保健,到藝術創造,AI幾乎已經滲透到人們日常生活的所有面向。其中,機器人藝術可謂是雕塑、交互、AI互為主體的跨域實踐;機器人科技也以成為當今科技藝術跨域發展的實踐方式之一,如今人類生活越來越智能化,真正與智能科技實現雙向賦能的跨學科前衛藝術教育卻仍在發展中。
在人工智慧、雲計算、物聯網和大數據成為當代社會的基礎設施之際,物理空間與數位空間邊際融合的智能科技時代已然成形,當代藝術與科學技術的結合業已成為全球新趨勢。此趨勢不僅推動著藝術語彙的革新,也影響著科技領域的創新實踐,這種跨域實踐的成果不僅在藝術與設計理論,更發生在由創意、技術與思辨組構而成的創新科技領域,創造出其社會價值、產業價值與創新服務。以致,藝術與科技的跨域融合,既具備當代藝術語彙發展的時代性,也是面向產業協力創新的必然之路。
藝術與科技的跨域實踐既涉及「科技藝術」(科技賦能藝術創作),也包含了「藝術科技」(藝術賦能科技創新)。當代世界中的人們對AI與機器人等創新科技所呈現的景況逐漸熟悉,其中包含了人們日常活動牽連到的技術範疇與涉入程度。正因為太熟悉而被忽視了如何對這種人們生活在其中的、由科技構造的生態系統(techno-system)進行人文社會學式的自我反思。有鑑於此,藝術松期刊秉持著「解析創新科技對藝文創作的文化影響」為命題,承繼創刊號聚焦在討論「虛擬實境」(VR)對藝文創作的影響之後,第二期以「人工智慧」為命題,廣邀各方學者、專家與藝術家,針對「AI+」的諸多現實應用情境,進行深入的探究。
本期邀請到全球知名的媒體藝術理論的先驅者列弗・曼諾維奇(Lev Manovich),提供其文章〈定義人工智能藝術:三個提議〉(Defining AI Arts: Three proposals)作為破題,討論AI藝術的可能性。其實,曼諾維奇早已以一種激進的方式重新思考上述當代數位世代AI的本質,並認為「數位」其實是無數軟體技術、演算法、資料結構以及介面慣例,與隱喻的發展與累積下的結果,且所有「數位媒體」的新特質並非存在於媒體物件的「內部」,而是存在於其「外部」。這種逐漸朝向AI、數位資料與媒體軟體的運用涵蓋所有人們生活世界的範疇,所有資訊處理的類型均被符碼化為各種數字組合,使用者只能透過軟體應用程式將數字組合轉譯為感官可接收之再現方式來對資料進行有效存取。曼諾維奇在《人工智慧美學》(AI Aesthetics)一文中亦指出,人工智慧的原初的願景是「認知的自動化」。在〈定義人工智能藝術〉這篇文章中,他更進一步指出,大部分試圖將AI技術運用到藝術者還是都仰賴於過去對於「藝術」的認知,如今許多視覺藝術透過AI技術創造出看似現代主義繪畫,它們可能僅是模擬某些知名的現代藝術家的視覺表現,或是表現主義的變異。倘若我們接受這個較為保守的傾向,我們就必須接受「AI藝術只是對於歷史藝術的模擬」。此文提出最重要的批判性思考在於,人們是否擁有真正的「藝術人工智慧」?曼諾維奇認為或許還沒,因為這個過程中至少還涉及三個人類必須執行的選擇與控制——人類設計的網絡、演算法與人類創造的訓練設定。
在筆者的專文〈感覺、知覺,抑或是意識:關於人工智能主體生成的哲學思考〉中主要分為兩大部分,首先以「人造系統的創生」為命題,透過「仿生動力藝術」與「生物科技藝術」的藝術實踐,討論傳統機械美學如何轉化到當代感官知覺的探究。其次,以「機器選擇:從感覺結構到意識生成」為題,透過哲學論辯與科技劇場中的關於機器人應用的歸納分類,細究AI機器人是否能生成主體意識的可能性。最終,本文強調相較於AI主體性生成的提問,或許我們關注的焦點應從「演算法是什麼?」轉換成「在特定情境下,演算法做了什麼?」如果未來機器越來越智能化與生命化,那麼我們是否能將機器視為是一個生命體?是否能與它建立起一種生命的共情。
帶領台灣第一個AI樂團的林怡君以〈音樂×人工智慧〉為題,從音樂表演結合AI演奏者及音樂會的企劃人角色,將各AI音樂研究分為音樂練習、舞台應用,以及成果後端三項來做介紹。同樣在AI音樂上著墨甚深的蘇黎博士,以〈音樂與文化科技實驗室介紹〉為題,引薦中央研究院資訊科學研究所多媒體技術實驗室的「音樂與文化科技實驗室」(Music and Culture Technology Lab)。始於2017年,該實驗室的主要研究任務為開發各種數位訊號處理、機器學習以及多媒體系統技術,應用在整合音樂與多媒體人工智慧的議題上,橫跨音樂聆賞、分析、製作、展演等一切可能的音樂活動場域,期能構築具備人工智慧視角的音樂文化。
在博物館數位轉譯領域研究專精的施登騰則為文〈AI-powered Archive in the Machine:談藝術典藏資料研究的數位視野〉,探討導入AI技術,並透過t-SNE (t-分佈隨機鄰域嵌入法)對博物館科技與數位應用之「內容創意+數位技術」共構合鳴的可能發展,以及其在數位典藏資料之應用,特別是典藏即展示等概念與實務所提供的數位視野。此文從「新藝術賞析」形式去觀察數位展示的技術與價值。施登騰認為展覽就像說故事,而順著展品移動,留下的足跡就串連成「故事線」,並提出一個開放性的思考議題,即:可畫出這條線的是誰呢?是策展人、是展品、還是觀眾呢?
此外,本專題也邀請藝術家學者林欣怡從英國新媒體藝術先驅羅伊.阿斯卡特(Roy Ascott)在其倡議的「濕媒體」(moist media)中構建的「超皮層」(hypercortex)出發,透過論述試圖將身體、腦皮質(cortex)和龐大的訊息環境整合為一個不可分割的整體,其文章〈超皮層:終端機主體之後〉主張,在超皮層與濕媒體現身將近二十年後的今日,藝術仍試圖在演算法、科技控制論與人工智慧中尋找新的語言、新的隱喻、建構溢出現實的新方式以及重新定義自己的方法。從分散式意識的遠端調控,到沈浸式感知體驗(VR),新現實的建構(AR);從義肢式的科技身體物件延伸、到侵入式的生物科技。林欣怡強調我們已不再透過螢幕與技術交互作用,而是身體即介面與控制器,將科技「內嵌」於身體皮膚底下。內嵌於身體中意味著科技成為生理的一部分,並整合到我們的生物身體中,成為「自然」,科技成為我們,我們形成網絡,不再有分界。在深具思潮論辯的文章中,林欣怡認為我們仍須進一步追問:人們真的全然沈浸在新環境、新行為、新關係中了嗎?當科技不斷地試圖與知覺交感作用,在超皮層的分散智力網絡中,一切皆成為最小單位、碎形的分散主體,而我們只是不斷地朝向技術演化中的意識節點,如何重返物質與生態系統?
許夢芸則是從「人工智能+機器人」的命題帶入,討論當人工智能系統被注入到機器人身上,當人工智能與機器人學之間完美結合後,是否如同為機器人注入「靈魂」?這個「靈魂」意味著什麼?是指「心智」、抑或「意識」?為了思考人類與機器人之間存在關係的內涵,文章「人工智能為機器人注入「靈魂」?」聚焦於「人型機器人」的發展脈絡上,探討科技,尤其人工智能的介入,為機器人注入了何等「靈魂」,藉以辯證人工智能機器人的可能景況。
最後,在創新科技領域有深入研究的蔡遵弘則以〈遊戲中的AI應用與展望〉剖析當今電子遊戲(electronic games)中AI的諸多應用,從讓非玩家角色 (Non-Player Character,NPC)的行為更加豐富且自然,到透過AI技術優化遊戲體驗品質,都在當代AI的發展之下有了更多的可能性。更甚者,遊戲開發者也透過讓AI進行遊戲進行除錯,或延展遊戲體驗、創造更多內容,透過了解遊戲中AI的應用發展,或許能一窺未來遊戲型態的無限可能。
藝術松創立的目的除了提供與時俱進的專題文章外,也期待透過軟性的策略開啟知性的議題,期盼成為關注同議題者的對話空間。在「共筆論壇」中以〈科技人談AI與藝術創作〉為題,邀請廣達研究院院長張嘉淵暢談科技人除了對AI的開發與應用外,如何從人文、社會與藝術的角度,觀察AI的諸多可能性。而在「關鍵字」的專欄中,編輯群共選出四個與AI相關的專有詞彙——「模式」、「智能」、「機器學習╱深度學習」,以及「生成式對抗網絡」——進行淺顯易懂的解說。在「藝術家專訪」中,我們深度訪問了知名的前衛藝術家鄭先喻。最後在「國際視窗」方面,我們綜整介紹了德國ZKM媒體藝術中心智慧博物館計畫,以及當前應用AI創作的國際藝術家,以其創作的風格、策略與作品內容。
不言而喻,隨著AI技術的發展,其用途也隨之發展;它使一切變得簡單、快捷、高效能和自動化,它被用於使人們專注於更大的願景。當具有高效能的AI終於涉足藝文領域,唯一的前提條件似乎就是創造力(creativity)和想像力(imagination)。然而,這個專屬於智人的創造力與想像力又如何在AI中成為可能?以及人類又如何以反思性的思考,重新面對新時代的科技產物?文化社會又面臨到什麼樣的挑戰呢?值得大眾深思,更期待本專輯可以提供當代研究者一些獨特的視野。
文章試閱
AI關鍵字
智能 Intelligence
文╱王奕然、林映彤
智能(Intelligence)是什麼?智能有多元的涵義,在不同脈絡下,我們有不同的理解。例如,在西方社會,智能主要被理解為學習經驗、或適應環境的能力;然而,於非洲文化圈,智能強調維持團體和諧的社交能力。 此外,我們也會使用「智能」指涉解決問題、語言理解或語言表達等能力。 面臨不同情境,智能涉及對應於該情境的某一種能力,或多種能力的整合。
關於智能的科學研究,各領域學者從不同觀點和方法學切入,也因此對智能的理解有所差異。認知科學(cognitive science)主要研究認知能力,意即獲知、處理訊息的能力,如知覺、記憶、想像、注意力等。例如計算機科學所啟發的訊息處理理論(information processing theory),便是將認知類比為電腦。個體從外界獲取的資訊如同輸入,經過了認知系統的運算後,做出的行為就像是輸出。在此框架下,從外界(如字彙、圖像等)獲取資訊、處理並回應的能力,是智能的重要面向, 而訊息處理的效率與準確度則是測量智能的主要指標。
認知歷程(cognitive process)發生於何處?往大腦裡找答案或許能有所斬獲。認知神經科學(cognitive neuroscience)旨在探究與認知歷程相關的腦神經機制。他們預設訊息(如語言、色彩、形狀、聲音等)的輸入、處理與輸出,是發生在傳遞、加工、儲存這些訊息的神經系統之中,並透過實徵研究來驗證這項預設。當今認知神經科學根據認知科學對於智能相關的功能區分和研究(例如注意力、執行功能、記憶等),透過實徵研究在腦中找到相關聯的神經系統或歷程。
認知神經科學的成功,使得人類關於認知歷程和大腦功能的了解遽增。這些研究結果回過頭來,回饋了當初擔任啟發角色的計算機科學,尤其是關於人工智能(artifactual intelligence)的研究。其中包括人工智能的軟體設計採用連結論(connectionism)的神經網路;另外,也有學者採用仿生學取向(bionics),仿造人類神經的結構和運作方式,設計人工智能的硬體。
上述取向在研究智能時,主要是以腦神經系統為研究對象。這蘊含一種思維:與智能相關的認知歷程發生在大腦裡,侷限在頭顱之內。然而,學界有與之相對的觀點存在:主張情境認知論(situated cognition theory)的研究者認為,人的認知能力不僅是由大腦或神經系統所決定,也應將與之相關的顱外生理系統、環境工具系統、社會文化系統等納入考量。 以下將藉由不同的例子進行說明。
認知歷程延伸至包括:
一、顱外生理系統
年幼時,因為抽象的算數能力還不是很好,我時常得依賴手指協助基礎數學運算(例如: 1 + 7 = ? )。運算過程中,我會先舉起一隻手指代表運算式中的前項 1,接著再一一舉起另外七隻手指,代表後項 7。於是,雖然我的大腦無法憑空計算出 1 + 7 的答案為何,但透過累積舉起的手指數量,我便能利用顱外的身體部分,幫助我完成運算——只須看我的雙手一眼,我便能知道答案為 8。
二、環境工具系統
長大後,數學課上,我正嘗試解開一道更複雜的、需要多項方程式才能處理的難題。我開始思考(大腦開始運作),並不加思索地拿起桌面上的筆,將計算得出的第一項方程式(eq1)寫在紙上。緊接著,當我的大腦在處理其他方程式時,我便不需再花心力記著 eq1 的內容。因為我已經把與 eq1 相關的訊息,透過紙筆存放於環境中,而往後需要 eq1 時,便可再從環境中把 eq1 提取回大腦參與運算。於是,紙筆作為一種工具降低了我的認知負擔,並提高了我運算能力的表現;若不是處在擁有紙筆的環境,我可能無法順利地解決這項難題。
三、社會文化系統
午後,咖啡廳中,多年未見的朋友與我相遇。咖啡被送上後,我們隨意談起過往的某個共同回憶。那是我們一同去看的一場展覽。然而,記憶如同僅剩骨架的舊屋般,裡頭的細節早已缺失。例如:我倆都忘了那場展覽的主題。但我仍記得其中的一項作品,並向他說明那作品的材料、用色、型態、涵義等,也描繪著當初他對這作品露出的表情,從旁看起來顯得有多驚豔。這些訊息讓他想起那場展覽的作者是誰,而當我一聽到他提及作者,作品的名字便從我口中呼之欲出……換句話說,我向朋友提供我記得的訊息 A,而根據 A,他又想起了 B,並將之提供給我,於是,我又因此而記起了 C……在這反覆之間,我倆所構成的社會系統一同建構出回憶的許多細節,而這次回憶的精細程度,是我倆各自單獨一人時所達不成的。
分析上述三個例子,我們可以發現一個共同點:認知歷程與腦外的生理、非生理系統息息相關,甚至需要外在事物成為系統的一部分。研究認知歷程時,若僅是只在腦內找尋解答,便會忽略掉這些重要面向。於是,當代關於認知本質的關鍵爭論,便再度浮出水面:認知究竟是發生於何處呢?是如同較傳統的內在論(internalism)所述,僅發生於腦內;抑或是像革新的外在論(externalism)所說的,不僅是發生於腦內,同時也部份發生於腦外的生理、或甚至非生理系統呢?
科技產品日新月異,許多電子產品以各種方式輔助人類解決問題。除了傳統上的紙筆工具外,電腦、手機、智慧手環等產品也時時在與它們的使用者相互交換、處理訊息,好幫助使用者處理難題。此外,物聯網(internet of things)、腦機介面(brain-computer interface)、認知增強(cognitive enhancement)等新概念正諭示著未來科技如何更深入使用者的生活。若說智能與人的認知能力有關,則這些工具,不論是在體內還是體外、有機抑或無機、電子或非電子、嶄新或傳統,似乎也都可說是輔助、或甚至構成了我們的智能。而進一步地,能做到這點的並不僅限於科技產品。當個體身處於整合良好的工作團隊中,他並非是獨自一人處理問題。在此,問題的解決立基於團隊成員認知能力間的相互整合,就如同我們是如此自然、不須多想的與熟悉的工具互動一般。或許智能並非僅由大腦的神經迴路決定;或許個體的智能與世界有關,存在於他自身、身邊的他者、也存在於他身處的環境之中。
國際視窗
深度學習與觀眾參與的藝術實驗場:德國ZKM媒體藝術中心智慧博物館計畫介紹
文╱林子荃
一、前言
在2020年德國ZKM媒體藝術中心(ZKM | Center for Art and Media)透過聯邦文化基金會的數位文化計畫資助,開啟找尋與實現一個新的博物館溝通交流和推廣的專案計畫,名為「智慧博物館:一個深度學習(Deep learning)與觀眾參與的藝術實驗場」。 此為一個四年(2020-2023)計畫,ZKM企圖將透過數位藝術的各種方法,從不同角度進行批判性的審視和研究的策展,以實驗新的數位美學和表達形式,同時期望能因此帶來新的博物館體驗可能,從而實現博物館溝通交流與觀眾參與的新方式,進而將博物館轉變成一個論壇、一個體驗和批判交流的場所。此計畫同時與幕尼黑德意志博物館(Deutsches Museum)、弗恩霍夫光電、系統工程和圖像開發研究所(Fraunhofer Institut für Optronik, Systemtechnik und Bildauswertung,簡稱IOSB)合作開發。
計畫執行大致切分成兩部分:一部分是以Open Call方式邀請各國藝術家於ZKM與慕尼黑德意志博物館進駐,提出其針對藝術與人工智慧運用的數位藝術創作計畫,完成的作品也將呈現於計畫目標成果的AI展覽之中,使其作品能實際與觀眾互動並產生對話;另一部分則針對觀眾參與進行研究,兩館與IOSB合作以行為影像辨識工具配合AI科技的相關應用,提供博物館既有觀眾群參與互動的新形式,也期望藉此開創新的目標族群,共同創造一種不同以往的博物館體驗。
二、藝術家駐村Open Call
計畫針對其創作中有意運用機器學習(Machine learning)——特別是深度學習——來實踐作品的藝術家進行邀約進駐。並特別重視實際應用深度學習方式,來找出藝術作品與觀者之間的互動新可能性。作為一個雙機構合作的計畫,藝術家在進駐的5個月期間也簡略的依機構切分成兩個期間,一是在慕尼黑德意志博物館期間,以舉辦研討會、論壇、等周邊活動,來促進藝術家、策展人和觀眾之間的想法及意見的交流,推進作品與觀者互動上的討論;另一期間則是在ZKM的赫茲實驗室(Hertz-Lab) 進行,該實驗室提供藝術家與科學家、開發者合作嘗試各種科技技術的環境與使用機會。特別的是,在ZKM進行進駐期間,除了提供藝術家木作、金屬、電子等創作工作室外、還有如黑盒子的投影間、作品安裝測試的區域、綠幕攝影棚、多頻道聲音工作室和3D捕捉系統等專業空間設備可供使用;另有實驗室專用的AI伺服器,此伺服器是為了將推斷工作交由邊緣運算(Edge computing) 設備和加速中大型深度學習模型的訓練而建立的,其硬體則採用EPYC 7502P Server-CPU和兩張A100 PCIe GPU顯示卡;此外研究室也配有兩位以上的專門研究人員,以協助藝術家應用此技術設備來發展作品。
三、實驗觀眾互動體驗新形式
在實驗開發博物館參觀觀眾互動的新形式項目中,其目的是希望藉由數位互動的方法,打破傳統靜態、無法觸碰的觀展形式,藉以加入AI技術的數位形式與觀眾進行互動,以此探測觀眾的行為與作品直接進行連結。而計畫團隊在執行之前已提出多個問題進行辯答思考,圍繞討論博物館運用數位AI作為新的中介媒體與觀眾的互動,能產生哪些交流對話的可能性?觀眾如何接受且改變與博物館之間的對話?亦或進一步開發出新的目標群眾?最終又以什麼樣的形式最為合適?同時也有針對較為技術層面的探討,如AI電腦是如何捕捉影像中的人物?其又需要哪些重要的特徵?過程中會運用哪些數據分析?AI電腦從分析結果中究竟能提供什麼樣的評斷與建議,以利後續採取行動等等。
截至目前,團隊專注於運用深度學習的口語識別實驗,來開發與觀眾互動的全新可能性,其運用的想像情境如一群西班牙母語者進入慕尼黑德意志博物館的空間,以自身的母語在藝術作品前討論交談;而當此作品具有偵測遊客口語的語言的能力或功能,能即時將一旁的數位作品牌卡,轉譯成與遊客母語相對應的語言,以此來降低語言的障礙,增加觀展內容的可近用性(accessibility)。上述的口語辨識系統目前已由ZKM的赫茲實驗室開發出基本應用,使「智慧博物館」能夠自動配對參觀民眾所使用的語言。現階段的雛形是使用深度學習方法,已可區分德、英、法、西、俄等五種語言。該雛形包含運用於獲取和處理公開取用的語音數據的腳本,作為訓練和測試深度學習方法的程式碼,例如讀取聲音數據(如WAV格式檔案、麥克風)並使用已訓練好的模型進行分類的應用軟體。 此一系統及後續發展皆會更新在公開的數據資料庫,進一步開放程式原始碼並邀請有興趣的程式開發者一同參與,使此資料庫成為一個開放的平台,合作改進口語辨識系統的開發。
從上述計畫方法與執行可看出其最終目標是「智慧博物能館」能主動與觀眾交換訊息,不論是聽覺、視覺、或文字資訊,藉此達成博物館與參觀民眾另一種形式的交流對話。為達成這樣的目標,自計畫開始團隊即測試各種可能的人機介面,如以Chatbot聊天機器人對話形式的使用者介面、或是語音介面、電腦視覺介面等方式進行去探測,同時專注於機器是如何看待人、事、物的科技技術,在理解機器如何感知環境的方法下,期許最終能創造提升可近用性的功能應用。
四、計畫的開放政策
整個智慧博物館計畫有一個嚴格的開放原始碼和開放取用的出版政策,其遵循著自由軟體基金會(Free Software Foundation)提出的口號 「公共資金,公共程式碼 (Public Money, Public Code)」,意指當計畫是由公共資金所資助,計畫中所開發出的相關程式都應該向大眾免費開放。計畫團隊選擇採用此政策主要出自於以下幾個原因:一是期望國際的開發者社群能夠參與這個計畫,提供一些協助、主張和建議,或是單純的利用計畫的產出成果。二為希望開發工作透明化,尤其是因為以大數據作為數據運用的領域工作時,必須得確保所有的意見能在這些數據資料集中得到平等的呈現,避免產生數據上的偏見。最後則是藉由公開計畫,能讓計畫成果有被再利用的可能,同時也做為未來人們的一個借鑑,避免重複相同的錯誤,也能將其成果推廣到更多機構、軟體開發者、藝術家、乃至大眾都能利用,達到議題的延續與持續發展。
五、結語
總結來說,此計畫的初衷是希望激發與鼓勵人們參與對AI人工智慧議題的討論乃至批判的反思交流。在現今生活下,AI已經與我們的周遭生活密不可分,人們使用著這些便利的工具,例如Google翻譯、YouTube、Netflix等影音平台的演算法推薦系統。但其中也有著令人恐懼的應用方式,如:數位監視與其相關技術的濫用、機器的決策過程受到具有偏見影響數據。因此期望藉以計畫盡可能廣泛地處理這些問題,探討AI可能的潛力與帶來的機會,同時也探討其可能帶來的風險和道德影響。
而智慧博物館正是建立起這樣框架的公眾場域,擴展博物館空間的可能性,今日博物館的功能已不再局限於舊有的博物館使命:展覽、研究、典藏、保存,而是一個社會空間帶起大眾的交流,藉以博物館其自身的專業領域串連藝術、科學、科技和社會之間的連結。博物館除了提供場域之外,也能成為提供人們創造力、好奇心和學習慾望的催化劑,不單只是觀眾能從博物館方學習,同時博物館也能從參觀民眾中學習,建立一個合作式的學習經驗,一同創造更多的知識,形塑一種未來新型態的博物館體驗。