|

Genie 4 怎麼用 AI 造世界:邊走邊改場景,聲音跟着出來

Genie 4 怎麼用 AI 造世界:邊走邊改場景,聲音跟着出來

作者注:按日期拆解 Genie 4 的研究博文、產品公告和產品頁。它不是生成一段成片,而是一個能用鍵盤走進去、邊走邊用文字改場景並自帶聲音的世界。本文講清楚現在誰能試、怎麼做、做完能發到哪。

2026 年 11 月 18 日,Google 把 Genie 4 放進了 Project Genie。玩法是 用一句話或一張圖開場,用鍵盤走進去,走着走着再用文字改天氣、人物和聲音。同一天,Google 官方帖、Google 博客和 DeepMind 模型卡一起發佈。11 月 19 日打開的產品頁也已經改成“現在可用”的狀態。

這不是又一個“輸入提示詞、等一段視頻”的成片模型。Genie 4 生成的是一個你能操控、能中途改寫的世界,畫面和聲音會跟着你的動作實時變化。本文把 10 月 27 日的研究博文、11 月 18 日的產品公告和 11 月 19 日的產品頁分開講。哪些是現行規格,哪些只是早期說法,會逐條標清楚。

核心價值:3 分鐘弄懂 Genie 4 是什麼、今天在哪能用,以及自己動手時先做哪三步。

genie-4-ai-world-building-guide-zh-hant-image-0


Genie 4 核心信息速覽

先用一張表把最關鍵的事實擺出來。表裏每一項都對應官方資料,日期以各自的發佈時間爲準。

信息項 詳情
發佈方 Google DeepMind
產品上線 2026-11-18,放進 Project Genie(入口 labs.google/projectgenie)
一句話定位 官方稱其爲目前最逼真、可互動的世界模型
輸入方式 文字、圖像、實時鍵盤鼠標操作(據 11-18 模型卡)
輸出規格 實時 720p 視頻,最高 24 幀每秒,帶同步音頻(據 11-18 模型卡)
連續互動時長 大約一分鐘(據 11-19 產品頁)
底層模型 建在 Gemini Omni Flash 上(據 11-18 模型卡)
誰能試 符合條件的 Google AI Ultra 訂閱用戶現在可用;Google AI Pro 從 11-18 起可加入候補
水印 生成的視頻和音頻都帶 SynthID

Genie 4 和“生成一段成片”有什麼不一樣

很多人第一次聽到 Genie 4,會把它當成又一個文生視頻工具。兩者的區別在於結束點。成片視頻模型交給你一段固定長度的視頻,看完就結束了。Genie 4 交給你的是一個正在運行的世界,你按鍵盤它就往前走,你輸入一句話它就改天氣、加人物或換鏡頭。

聲音是這次最直觀的新變化。Google 博客寫的是,Genie 4 第一次把畫面和實時原生音頻放在一起,從環境聲到角色對話都會隨場景變化。也就是說,你把晴天改成暴雨,雨聲會跟着出來,而不是事後再配一軌音樂。

genie-4-ai-world-building-guide-zh-hant-image-1


Genie 4 怎麼用:三步走進一個 AI 世界

產品頁給出的提示方法很簡單:先用一段文字或一張圖定場景,再用簡短的現場提示改事件、鏡頭和聲音。拆開來,就是下面三步。

  1. 先用一句話或一張圖定場景。比如“傍晚的雪山滑雪道,遠處有纜車”,或者直接上傳一張照片。產品頁提醒,清晰可認的文字往往只有寫進開場描述裏纔會出現,所以想讓招牌、路牌上有字,要在第一句就寫進去。
  2. 用鍵盤走進去。模型卡寫明輸入包括實時鍵盤鼠標操作,畫面會跟着你的移動實時生成。這一步就是你和成片視頻拉開差距的地方,你不是在看,而是在走。
  3. 中途用短提示改天氣、人物、鏡頭或聲音。Google 博客的說法是,走動時可以再輸入提示,實時改天氣、加人物、改動作。提示越短越具體越好,例如“開始下大雪”“鏡頭拉遠”“遠處傳來狗叫”。

genie-4-ai-world-building-guide-zh-hant-image-2

Genie 4 裏的 Project Genie agent 和 Gemini 能幫什麼

開場之前,你可以先跟 Project Genie agent 聊。官方帖說,可以用對話定下世界的外觀和配樂。Google 博客補充,這個 agent 會編排多個多模態模型,先做出這個世界的標誌性畫面,再配上符合氣氛的背景音樂。

進入世界之後,還能把 Gemini 帶進會話。它會看屏幕上正在發生的事,彈出和當下相關的建議,或者直接在世界裏觸發事件。官方畫廊裏有一個例子叫 Rock Paper Scissors,就是讓 Gemini 當實時裁判。

Genie 4 現在誰能試

開放範圍在 11 月 18 日的官方帖和 Google 博客裏寫得很清楚。符合條件的 Google AI Ultra 訂閱用戶可以直接進 Project Genie 使用。Google AI Pro 用戶從 11 月 18 日起,可以在同一個頁面加入候補名單排隊。

用 Genie 4 做完的世界可以發佈、可以改編

做完的世界可以發到新的社區畫廊,別人能走進去再改。官方舉的例子是把白天的滑雪道改成夜間燈光賽道。反過來,你也可以從畫廊裏任何一個已有世界出發,改它的景觀、配樂或規則。

Google 博客點名了幾個畫廊作品(只是舉例,不是排名)。Living Memory 把個人照片變成可探索的空間;Dino Field Guide 用 360 度全景圖做史前棲息地。早期合作方面,Google 和創意技術人 Will(BLVCKL!GHT)做了哥特莊園密室“Villa Giallo”,和電影人 Anand Gandhi 做了從螞蟻視角穿過蟻羣的“The Life of Ants”。

Genie 4 和 Genie 3 怎麼選

Genie 3 沒有下架,仍然留在 Project Genie 的模型選擇器裏,而且這次也有更新。Google 博客的分工很明確:要最高的畫面、物理和原生音頻選 Genie 4;想玩得更久、或者用全景圖起步,選 Genie 3。

需求 選哪個 依據(11-18 官方帖與博客)
畫面、物理更逼真 Genie 4 官方稱其爲目前最逼真的世界模型
需要聲音和角色對話 Genie 4 第一次把畫面和實時原生音頻放在一起
單次想玩更久 Genie 3 單次探索從 60 秒提高到最多 3 分鐘
多個世界串成長路程 Genie 3 支持把多個世界串起來
用 360 度全景圖起步 Genie 3 可用全景圖作爲新世界起點
探索時用文字改環境 兩者都可以 Genie 3 本次也加入了自然語言改環境

Genie 4 的三個時間節點:別把早期說法當現行規格

Genie 4 的信息分了三次發佈,內容並不完全一樣。讀新聞時最容易混的,就是把 10 月的研究預覽當成 11 月的產品規格。

日期 來源 性質 關鍵內容
2026-10-27 DeepMind 研究博文 研究預覽 先給受信任測試者;四項新能力;Gemini 負責多步事件;機器人實驗
2026-10-27 TechCrunch 等媒體簡報 媒體轉述 寫過“場景大約能保持兩分鐘,約是前代兩倍”
2026-11-18 官方帖、Google 博客、模型卡 產品上線 進入 Project Genie;Ultra 可用、Pro 候補;社區畫廊;Genie 3 更新
2026-11-19 產品頁(檢索日終態) 現行說明 連續互動目前大約一分鐘;六條已知限制

這裏最需要注意的是時長。“大約兩分鐘”來自 10 月的媒體簡報,並不是 11 月 18 日模型卡或 11 月 19 日產品頁上的數字。現行產品頁寫的是:連續互動目前大約一分鐘,而不是長會話。

Genie 4 相關的三個 Gemini 名字

資料裏出現了三個 Gemini 名字,它們各管一件事,不是同一個模型。

名字 出現在哪 做什麼
Gemini 3.8 Flash 10-27 研究博文 多步事件裏的引導代理:看畫面、拆步驟、逐幀檢查是否做成,用戶插手或世界變化時改計劃
Gemini 4 Argon 10-27 研究博文的機器人實驗 把任務拆成步驟交給 Genie 4 渲染,例子是 Apptronik 人形機器人 Apollo 下國際跳棋,沒有真機器人上場
Gemini Omni Flash 11-18 模型卡 Genie 4 的底層模型

模型卡還寫了一段前沿安全評估:Genie 4 被歸在 Gemini 3 系列裏評估,結論是它不大可能達到受跟蹤的風險能力等級。這是安全評估的結論,不是創作能力的排名,看的時候別弄混。

Genie 4 官方承認的限制

產品頁和模型卡都沒有迴避缺點。下面這幾條是動手前最好心裏有數的:

  • 環境會漂:玩得越久、改得越複雜、在場景裏走得越遠,視覺細節和物體恆存越容易跑偏。
  • 多角色互動難:多個獨立角色和共享環境之間的複雜互動,仍是研究難題。
  • 真實地點不精確:目前不能完美模擬真實存在的地點。
  • 文字要提前寫:清晰的文字往往只有寫進開場描述纔會出現。
  • 會話偏短:連續互動大約一分鐘;實時音頻精度也還在改進。

Google 博客也把 Genie 3 和 Genie 4 都放在前沿研究的範疇裏,正在處理的問題包括鏡頭延遲、複雜物理互動和場景長期保持。模型卡提到有人工和自動評測,並稱相對 Genie 3 在照片真實感、動作流暢和實時轉向上顯著提升。但它沒有公開分數、樣本數或勝率,所以這隻能算官方表述。


Genie 4 影響分析

對創作者:先試風格,再決定要不要做

研究博文轉述了受信任測試者的用法(官方轉述,不是我們的實測)。影視團隊拿它做現場預演,改鏡頭、光線、對白和動作。遊戲團隊在寫引擎代碼之前,先用它試風格和玩法。也有人把一張舊照片變成可以走進去的歷史場景。

這些用法的共同點是“先走一遍看看感覺”。因爲會話大約一分鐘、環境會漂,它目前更像一個快速試錯的草稿臺,而不是最終交付工具。畫廊和改編功能又讓一個好點子可以被別人接着往下做。

對開發者:Genie 4 現在還沒有公開接口

這一點要說清楚:Genie 4 目前的分發渠道是 Project Genie,模型卡寫的也是“計劃通過 Project Genie 分發”。10 月 27 日的研究博文提到過,之後會面向開發者,起點包括 Gemini API 和 Google AI Studio 的早期合作伙伴。但這是研究預覽時的計劃,不代表今天已經有可以公開調用的 Genie 4 接口。

如果你的需求是“用接口自己做”,比如在自己的應用裏批量生成短視頻或配圖,那要先分清楚兩件事。第一,這類生成本身要花生成額度,按次或按量計費都有,先估好成本。第二,你需要的可能其實是成片視頻模型或圖像模型,而不是世界模型,它們是不同的工具。

我們在 2026-11-19 覈對了 API易 的型號總表 docs.apiyi.com/models 和實時價目接口,裏面都沒有 Genie、Genie 4 或 Gemini Omni Flash 的條目。暫未上架,我們會盡快上架這個模型;型號與價格以平臺型號列表爲準。也因此,本文不給 Genie 4 寫任何價格。

想換成今天就能調用的接口,可以按下面的順序覈對:

覈對項 做法 可調用平臺
查型號 在型號列表裏確認當前在架的視頻、圖像、對話型號 API易 apiyi.com
對價格 以實時價目爲準,按型號查輸入價、輸出價或按次價 API易 apiyi.com
對協議 OpenAI 兼容接口,把 base_url 換成 https://api.apiyi.com/v1 即可接入 API易 apiyi.com
世界模型 Genie 4 目前只在 Project Genie 裏可用 暫未上架

🚀 接入建議:如果你要的是可調用的生成接口,可以先在 API易 apiyi.com 用一個 API Key 測試 OpenAI、Claude、Gemini 等主流模型。平臺是 OpenAI 兼容接口,按量計費,新用戶有免費測試額度,適合先小量跑通再決定方案。

對行業:世界模型開始從演示走向產品

從 10 月的研究預覽到 11 月進入訂閱產品,只隔了三週左右。加上社區畫廊和改編功能,Genie 4 已經不只是論文演示,而是一個可以分享、可以被二次創作的產品形態。

同時,SynthID 水印覆蓋視頻和音頻,輸入和輸出也經過安全篩查。隨着世界模型能生成越來越逼真的場景和聲音,這類標記和篩查會是平臺層面必須配套的部分。


Genie 4 常見問題 FAQ

Q1:Genie 4 是什麼?

Genie 4 是 Google DeepMind 的世界模型,官方稱其爲目前最逼真、可互動的一款。你用文字或圖片開場,用鍵盤在裏面走動,中途用文字改場景,畫面和聲音會實時跟着變。

Q2:Genie 4 和普通的 AI 視頻生成有什麼區別?

成片視頻模型生成一段固定視頻,看完就結束。Genie 4 生成的是一個可以操控、可以中途改寫的世界,並帶實時原生音頻。兩者用途不同,不能互相替代。

Q3:Genie 4 什麼時候能用?我能用嗎?

2026 年 11 月 18 日起,符合條件的 Google AI Ultra 訂閱用戶可以在 Project Genie 使用。Google AI Pro 用戶從同日起可以加入候補名單。入口是 `labs.google/projectgenie`。

Q4:Genie 4 一次能玩多久?不是說有兩分鐘嗎?

“大約兩分鐘”是 10 月 27 日媒體簡報裏的轉述,不是現行規格。11 月 19 日產品頁寫的是連續互動目前大約一分鐘。想單次玩更久,官方建議選 Genie 3,它現在最多 3 分鐘。

Q5:能通過 API 調用 Genie 4 嗎?

目前沒有公開可調用的 Genie 4 接口,模型卡寫的分發渠道是 Project Genie。2026-11-19 覈對時,API易 apiyi.com 的型號列表和價目裏也還沒有 Genie 4。暫未上架,我們會盡快上架這個模型;型號與價格以平臺型號列表爲準。

Q6:如果我只是想在自己的應用裏調用生成模型,該怎麼開始?

先分清你要的是成片、圖像還是對話能力,再去型號列表裏找對應的在架模型。用 OpenAI 兼容的 SDK,把 base_url 設爲 `https://api.apiyi.com/v1`,就能用一個 API Key 接入多個主流模型,新用戶的免費額度可以先拿來跑通流程。


Genie 4 核心要點 Key Takeaways

  • 它是世界,不是成片:Genie 4 讓你用鍵盤走進去,邊走邊用文字改場景。
  • 聲音跟着出來:第一次把畫面和實時原生音頻放在一起,含環境聲和對話。
  • 三步上手:一句話或一張圖開場,鍵盤走進去,短提示改天氣、人物、鏡頭、聲音。
  • 誰能試:符合條件的 Google AI Ultra 現在可用,Google AI Pro 從 11-18 起排隊。
  • 現行時長約一分鐘:兩分鐘是 10 月簡報說法,不是現在的規格。
  • 能分享能改編:作品可發到社區畫廊,也能改別人世界的景觀、配樂和規則。
  • 想用接口先查型號:Genie 4 暫無公開接口,可調用的模型以 API易 apiyi.com 型號列表爲準。

總結

Genie 4 怎麼用 AI 造世界,歸結起來是三點:

  1. 定位:它是一個能走進去、邊走邊改、聲音實時跟隨的世界,不是生成一段看完就結束的成片。
  2. 上手:先用一句話或一張圖定場景,再用鍵盤走進去,中途用短提示改天氣、人物、鏡頭或聲音;做完可以發到社區畫廊,也可以改編別人的世界。
  3. 現狀:符合條件的 Google AI Ultra 現在可以在 Project Genie 使用,Google AI Pro 在排隊;連續互動大約一分鐘,環境漂移等限制官方也寫得很清楚。

如果你是 Ultra 用戶,最直接的做法就是打開 Project Genie,從一張自己的照片開始走一遍。如果你更關心的是在自己的產品裏調用生成能力,可以先在 API易 apiyi.com 用免費額度試一試當前在架的主流模型,Genie 4 上架後也會出現在同一份型號列表裏。


📚 參考資料

  1. Google 官方帖線程(2026-11-18):Genie 4 進入 Project Genie 的首發說明

    • 鏈接: x.com/Google/status/2123117819948638448
    • 說明: 開放範圍、社區畫廊、Genie 3 的三項更新
  2. Google 博客(2026-11-18):Project Genie update featuring Genie 4

    • 鏈接: blog.google/innovation-and-ai/models-and-research/google-deepmind/genie-4-now-available-project-genie
    • 說明: 實時改場景、原生音頻、畫廊示例與早期合作作品
  3. DeepMind 研究博文(2026-10-27):Genie 4 研究預覽

    • 鏈接: deepmind.google/blog/genie-4-a-new-generation-of-world-simulation
    • 說明: 四項能力、Gemini 3.8 Flash 引導代理、機器人實驗、已知限制
  4. Genie 4 模型卡(2026-11-18):輸入輸出規格與評測說明

    • 鏈接: deepmind.google/models/model-cards/genie-4
    • 說明: 底層爲 Gemini Omni Flash,720p、最高 24 幀每秒
  5. Genie 產品頁(2026-11-19 檢索):現行提示方法與六條限制

    • 鏈接: deepmind.google/models/genie
    • 說明: 連續互動約一分鐘等現行說明

作者:API易 技術團隊
技術交流:歡迎在 API易 網站首頁聯繫我們,型號與價格請以 docs.apiyi.com 文檔中心的平臺型號列表爲準

Similar Posts