FilmAgent 是由哈爾濱工業大學(深圳)研究團隊開發的基於多智慧體協作框架的虛擬電影製作工具。該工具透過自動化流程,在 3D 虛擬空間中實現端到端的電影製作,模擬傳統電影工作室的工作模式。FilmAgent 以多智慧體協作方式,自動化完成從劇本創作到攝影的完整製作流程。
FilmAgent 的主要功能

1. 自動化劇本創作
FilmAgent 能根據使用者提供的主題、風格和場景要求,自動生成完整劇本,包括角色動作、對話、場景描述以及鏡頭設置。此外,系統利用多智慧體協作機制(如 Critique-Correct-Verify 和 Debate-Judge),優化劇本內容,確保故事邏輯合理且富有創意。
2. 鏡頭規劃與拍攝
FilmAgent 具備智能鏡頭規劃功能,可自動生成鏡頭設置,包括角度、焦距、運動軌跡等,確保拍攝符合專業電影製作標準。此外,生成的劇本與鏡頭設置可直接在 Unity 3D 環境中執行,支援多鏡頭協作,模擬真實電影拍攝的多機位拍攝方式。
3. 語音合成與同步
FilmAgent 集成 ChatTTS 語音合成技術,能為劇本角色生成自然語音,使用者可選擇不同語音風格和語調。系統還能將語音與角色動作同步,提高影片的真實感與連貫性。
4. 多智慧體協作框架
FilmAgent 透過多智慧體角色模擬(如導演、編劇、演員、攝影師),讓系統能夠根據即時回饋動態調整劇本與拍攝內容,確保作品品質穩定。此外,智慧體透過 Critique-Correct-Verify 和 Debate-Judge 策略,相互協作批評、修正與驗證,提高製作效率與內容品質。
FilmAgent 的技術原理

1. Critique-Correct-Verify(批評-修正-驗證)
FilmAgent 在劇本編寫階段,智慧體彼此審查與修正內容,確保劇情合理且符合邏輯。
2. Debate-Judge(辯論-評判)
在攝影指導階段,不同智慧體針對鏡頭設計提出建議,透過辯論解決分歧,最終由導演智慧體做決策。
3. 基於 LLM 的內容生成
FilmAgent 採用大型語言模型(LLM)驅動智慧體行為,確保劇本內容具邏輯性與敘事結構。
4. 虛擬 3D 環境支援
系統在 Unity 3D 運行,內建多種虛擬場景,如客廳、公寓廚房、會議室等,為角色行動與鏡頭運動提供支撐。
FilmAgent 的應用場景

1. 劇本與分鏡頭腳本生成
FilmAgent 可快速生成電影劇本與分鏡頭腳本,幫助製作團隊節省大量時間與人力。
2. 創意影片製作
創作者可利用 FilmAgent 生成創意影片內容,減少後期製作的工作量。
3. 虛擬場景應用
FilmAgent 支援多種 3D 場景,讓使用者可根據需求選擇適合的拍攝場景。
4. 角色動作設計
動畫設計師可透過智慧體協作功能快速設計角色動作,確保動畫的自然與流暢。
5. 電影製作教學
FilmAgent 可作為電影製作課程的輔助工具,幫助學生理解劇本編寫、鏡頭設置與角色表演等核心技術。
FilmAgent 的技術支援與下載

- 項目官網:https://filmagent.github.io/
- GitHub 倉庫:https://github.com/HITsz-TMG/FilmAgent
- 技術論文:https://arxiv.org/pdf/2501.12909
結論
FilmAgent 是一款基於多智慧體協作的虛擬電影製作工具,能夠自動完成劇本創作、鏡頭規劃與拍攝。其強大的 AI 協作機制、虛擬 3D 環境支援以及語音合成功能,使其成為電影製作、動畫設計與教育領域的理想選擇。
常見問題與答覆
1. FilmAgent 可以用來製作完整的電影嗎?
是的,FilmAgent 透過自動化流程和多智慧體協作,能夠從劇本創作到虛擬 3D 拍攝,完成端到端的電影製作。但目前仍主要適用於虛擬電影、動畫和創意短片的製作。
2. FilmAgent 是否支援真實世界的電影拍攝?
FilmAgent 主要用於虛擬 3D 環境的電影製作,不直接支援現實攝影機拍攝,但可應用於前期製作,如劇本創作、分鏡腳本和鏡頭設計,為實景拍攝提供參考。
3. 需要專業知識才能使用 FilmAgent 嗎?
不需要。FilmAgent 透過 AI 智慧體來自動化處理電影製作的各個環節,即使是沒有電影製作經驗的使用者,也可以輕鬆上手,快速生成劇本與動畫內容。