基于生成式人工智能的非物質文化數字化導覽系統構建探索

摘要：文章以浙江縉云河陽村非物質文化遺產數字化建設為背景，探索了利用生成式人工智能（Generative AI） 和虛擬現實（VR） 技術構建數字化導覽系統的方法。首先，運用Stable Diffusion和Midjourney等AI工具輔助場景設計和材質制作，并基于Unity高清渲染管線（HDRP） 重建虛擬場景；其次，利用大語言模型（LLM） 構建NPC對話系統，增強用戶交互體驗；最后，設計了剪紙、茶道等非遺文化互動游戲。初步結果表明，該系統能夠有效提升用戶對非遺文化的沉浸式體驗，為非遺文化的數字化保護和傳承提供新的途徑。

關鍵詞：生成式人工智能；虛擬現實；非物質文化遺產；數字化導覽系統；河陽村

中圖分類號：TP391 文獻標識碼：A

文章編號：1009-3044（2025）05-0103-04 開放科學（資源服務） 標識碼（OSID） ：

0 引言

非物質文化遺產作為人類文明的瑰寶，正面臨傳承與保護的雙重挑戰。隨著數字化技術的飛速發展，特別是生成式人工智能的興起，為非遺的保護與傳承開辟了新路徑。本研究以浙江縉云河陽村為例，探討如何運用生成式人工智能與虛擬現實技術，構建一套非物質文化遺產的數字化導覽系統，旨在提升用戶體驗，促進非遺文化的傳播與傳承。

1 項目背景

河陽村位于浙江省麗水市縉云縣，具有1 100多年的歷史，擁有豐富的非物質文化遺產，包括古民居建筑藝術、傳統工藝（如縉云剪紙） 、民俗活動和婺劇表演等。然而，這些珍貴的文化遺產正面臨傳承人減少、關注度下降的嚴峻挑戰。本項目聚焦于河陽村非物質文化遺產的數字化保護與傳承，旨在利用數字技術保護和傳承這些珍貴的文化瑰寶，使這些傳統文化在新時代煥發新的光彩。

2“ 非遺+”數字化探索現狀

非物質文化遺產的數字化通常涉及使用數字采集、存儲、處理、展示和傳播等技術手段，將非物質文化遺產（非遺） 轉化、再現和復原為可共享和可再生的數字形態，并從新的視角進行解讀，以新的方式進行保存，并根據新的需求加以利用。其核心任務主要包括：1） 非遺項目的數字化采集和存檔；2） 通過運用影像、動畫、虛擬現實和增強現實等多種多媒體技術手段，實現非物質文化遺產的數字化創新。例如，學者張金芳針對扎染工藝在傳統發展中損耗大、費人工、傳播受限等問題，提出使用數字化輔助設計以滿足客戶個性化需求。通過虛擬現實、大數據等技術傳承和保護傳統扎染技藝，并將扎染技藝與其他領域結合，為傳統工藝的推廣注入新的活力[1]。學者王馥則提出，非遺數字化呈現需要精準化要求，以展現非遺項目的獨特魅力，進而避免數字化呈現時的同質化[2]。通過對目標人群的精準分析及興趣偏好研究，實現非遺項目的精準傳播與推廣，不僅保留了其原有的文化韻味，還賦予了其新的時代感與生命力。

2.1 生成式人工智能與非遺數字化

生成式人工智能（Generative AI） 是一種人工智能技術，能夠基于深度學習模型，模擬人類的創造性思維，生成具有一定邏輯性和連貫性的語言文本、圖像、音頻等內容。目前，市場上主流的產品代表包括DALL-E、Midjourney和Stable Diffusion。使用這些生成式工具，可以根據用戶需求創建逼真的圖像或原創藝術作品，并執行風格轉換、圖像到圖像轉換以及其他圖像編輯或圖像增強任務。不僅如此，用戶還可以通過輸入提示文本，實現智能寫作、作曲、生成短視頻、游戲段落等功能。例如，HUMANOID DJ是一個由日本AVEX公司推出的人工智能DJ，它利用微軟的Cognitive Services技術實時解析觀眾的情緒，從而即興創作影像[3]。生成式人工智能能夠根據用戶需求生成圖像、文本、音頻等內容的特性，為非遺數字化內容創作提供了新的工具。

2.2 虛擬現實與非遺數字化

虛擬現實技術（Virtual Reality，簡稱VR） 是一種計算機仿真技術，通過創建和體驗虛擬世界的模擬環境，使用戶能夠沉浸其中。該技術通過整合視覺、聽覺、觸覺等多種感官信息，創建一個統一的感知環境，使用戶能夠更加自然地與虛擬世界互動，實現對虛擬環境的自然交互，從而產生身臨其境的感受和體驗。虛擬現實技術在非遺數字化保存和呈現中的多樣性和創新潛力，為非遺的保護與傳承提供了新的工具和方法。通過綜合運用VR/AR等數字技術，可以從多個維度向大眾展現非遺文化、傳承歷史和技藝工藝等，提升非遺的場景互動與體驗。例如，國內首檔聚焦大灣區非遺文化的VR紀錄片《來自大灣區》上線，通過“VR+非遺+地域”的方式展現大灣區非遺文化的匠心之粹[4-5]；粵劇《相遇嶺南》利用“360度自由視角+VR拍攝”的方式，為觀眾帶來自主性、沉浸式的全新觀演體驗[6]；騰訊推出的NextIdea創新大賽中，選手使用AR 技術展示剪紙藝術，并以動畫形式再現皮影戲，實現了傳統技藝與現代科技的融合發展。虛擬現實技術能夠創建沉浸式的虛擬環境，使用戶身臨其境，成為非遺文化數字化呈現和交互的最佳選擇。

由此可見，虛擬現實技術能夠從多維角度盡可能還原非物質文化遺產的歷史韻味，同時提供沉浸式用戶體驗與交互，是一種較為理想的數字化保存和應用推廣方式。而生成式人工智能憑借其在輔助設計和大語言模型方面的優勢，在項目開發過程中提供了新的開發途徑和手段。

3 基于生成式人工智能的數字化河陽村構建

3.1 基本思路

項目的第一階段是數字化采集階段，針對縉云河陽古村落進行前期數字化信息的采集與整理。主要包括：1） 村落鳥瞰場景的無人機拍攝；2） 主要場館的三維實景拍攝；3） 非遺傳承人的專訪；4） 當地典型風俗活動過程的視頻拍攝；5） 當地相關文獻資料的查詢與整理。

第二階段是場景構建階段，利用Stable Diffusion、Midjourney等生成式人工智能工具輔助風格設計和材質設計，構建河陽古村的標志性建筑及整體場景風格。通過Maya、3DMax等建模工具進行場景細化，利用Substance Painter、ZBrush、Toolbag等材質制作工具制作材質與貼圖，最終導入Unity，并使用HDRP（High Definition Render Pipeline） 實現后期渲染。

第三階段是交互設計階段，項目為用戶提供以第一人稱視角實現步行漫游和車覽漫游兩種模式。通過大語言模型實現NPC自然語言交互對話，并通過Unity腳本設計實現剪紙工藝交互、剪紙博物館影音點播、茶道表演交互、投壺活動等非遺互動游戲功能。

3.2 主要內容

本項目開發采用三階段流程：數字化采集、場景構建和交互設計。在場景構建階段，利用Stable Diffu? sHioDnR的P實Lo現RA高算質法量渲進染行。場在景交輔互助設設計計階，段并，使基于用LUannigty? Chain框架和Azure AI語音服務接口構建NPC對話系統，并設計了多種非遺文化互動游戲。

3.2.1 生成式人工智能輔助場景設計

項目使用生成式人工智能Stable Diffusion（簡稱SD） 的LoRA算法進行場景輔助設計，其過程主要分為3個步驟。

首先，通過數據采集的圖片進行圖片預處理，其任務是將背景和主體分離，拆分主體元素，進而生成標準化尺寸的圖片數據（尺寸為512像素×512像素） ；

其次，利用BLIP 生成標簽并進行優化，采用LoRA算法對場景風格模型進行訓練，從而構建一套專用訓練集；

然后，將訓練完成的模型輸入SD工具中，實現輔助設計效果（見圖2、圖3） 。

使用生成式人工智能進行輔助設計的優點在于，不僅能夠盡可能保留非遺項目原有的文化韻味，同時使整體項目保持一致的風格效果；此外，還可以根據不同用戶需求，快速調整和切換風格。

3.2.2 基于高清渲染管線的虛擬化場景重建

項目采用Unity 引擎中的高清渲染管線（HDRP） 來實現更加逼真的視覺效果。通過在Unity編輯器中安裝HDRP資源包，啟用了項目的高清渲染管線。該資源包包含了用于高質量渲染的各種工具和組件，通過對HDRP相關參數的調整和設置，可以對項目中的光照模型、陰影質量、反射效果以及色彩管理等進行統一控制。

啟用HDRP 后，項目的材質表現得到了顯著提升，各種物體表面的質感和細節更加豐富和真實。同時，光照效果也得到了極大的改善，無論是直接光照還是間接光照，都顯得更加自然和逼真。整體而言，通過啟用HDRP并進行細致的參數設置，項目在視覺效果上得到了顯著提升，為用戶帶來了更加沉浸式和真實的體驗。圖4、圖5展示了啟用高清渲染管線后的剪紙展覽館和文化館的局部效果。

3.2.3 基于大語言模型（LLM） 的虛擬數字人NPC 對話系統

在項目使用虛擬現實技術構建的第一人稱導覽漫游過程中，通過增加非玩家角色（Non-Player Char? acter，簡稱NPC） ，可以幫助玩家介紹非遺文化、解答非遺知識、引導用戶完成任務以及協助交互操作等功能。隨著三維數字虛擬人和大語言模型等數字技術的快速發展，構建基于大語言模型的NPC對話系統，不僅能夠增強交互體驗，還可以提升交互的趣味性。

本項目通過LangChain應用框架搭建NPC虛擬數字人智能體（agent） 。圖6展示了其基本工作流程：1） 玩家通過語音提問非遺相關問題；2） 虛擬數字人智能體通過微軟的Azure AI語音服務接口將語音轉為文本（Speech-to-Text） ；3） 通過LangChain應用框架調用后臺專業領域知識庫的大模型接口，搜索問題的答案；4） 將文字結果轉換為語音（Text-to-Speech） ，并使用Unity 的AudioSource 組件進行播放。同時，利用Unity的動畫控制器驅動數字人的表情動畫，具體效果見圖7。

3.2.4 其他非物質文化交互功能實現

為增強用戶在游覽過程中的互動體驗，項目基于HTC VIVE設備，制作了與當地傳統文化習俗相關的互動游戲，包括剪紙、茶道、射箭、投壺和書法等。

圖8展示了玩家根據游戲提示，通過手持控制器模擬剪刀的動作，逐步完成河陽地區剪紙工藝的制作過程。游戲根據玩家在剪紙過程中的準確度、創意度以及完成時間等因素進行評分，以此激勵玩家不斷提升剪紙技巧和藝術表達能力。

4 展望

本項目在非遺數字化制作、保存和呈現中采用了生成式人工智能與虛擬現實技術，并取得了初步成果。通過生成式人工智能與虛擬現實技術的深度融合，開辟了一條非物質文化數字化構建的新途徑。

目前，在實現語音驅動三維人物面部表情動畫的機制上，考慮到人物的姿態相對固定，面部表情以熱情為主，項目采用了傳統的動作映射與隨機化處理相結合的方式。未來研究將進一步優化語音驅動三維人臉動畫的機制，例如探索基于Blendshapes的語音驅動方法[7-8]。

此外，研究還計劃開發具有個性化推薦和智能導覽等AI輔助功能的導覽系統，以為用戶提供更加真實、逼真的數字化虛擬導覽體驗。

參考文獻：

[1] 張金芳，羅帆.數字化時代下扎染技藝的保護與傳承研究[J]. 河南理工大學學報（社會科學版），2024，25（6）：95-100.

[2] 王馥.非物質文化遺產數字化呈現與傳播路徑研究：以常州非遺為例[J].常州信息職業技術學院學報，2024，23（5）：92-96.

[3] 數字雕塑. AI藝術創作新趨勢：深度學習與視覺表達的結合[EB/OL]. （2024-01-07）[2024-05-10]. https：//ai.zhlzw.com/shuziyishu/1350301194.html.

[4] 搜狐. 國內首檔聚焦大灣區非遺文化的VR紀錄片《來自大灣區》上線[EB/OL]. （2023-07-07）[2024-05-10]. https：//www.sohu.com/a/695534079_104421.

[5] 城市光網. 非物質文化遺產的“數字復興”：非遺數字化發展分析[EB/OL]. （2024-09-25）[2024-11-10]. https：//www.urban?light.cn/newsdetail/a69afe85-0dfc-892a-9429-4385c88bfc59.

[6] 文旅中國. 廣州大劇院攜手華為打造5G智慧劇院，構筑演藝行業“新業態”[EB/OL]. （2020-09-26）[2024-11-10]. https：//www.ccmapp.cn/news/detail？id=47ae1bea-30fc-49a4-9a1b-459608a14a25amp;categoryid=amp;categoryname=%E6%9C%AC%E7%BD%91%E5%8E%9F%E5%88%9B.

[7] 劉露.基于Blendshapes的語音驅動三維人臉動畫技術研究[D].大慶：東北石油大學，2022.

[8] 劉賢梅，劉露，賈迪，等.基于語音驅動的三維人臉動畫技術綜述[J].計算機系統應用，2022，31（10）：44-50.

【通聯編輯：唐一東】

基金項目：浙江省大學生科技創新項目“基于AIGC 驅動的教育數字人制作實踐與項目應用”（2024R466A002） ；寧波城市職業技術