AI 多輪改圖越改越走樣?用母版、檢查點和像素比對控制漂移的 6 步驗收流程

AI 多輪改圖越改越走樣?用母版、檢查點和像素比對控制漂移的 6 步驗收流程

摘要:本文給出一套與具體模型無關的多輪 AI 改圖驗收流程。它用母版、檢查點、修改日誌和本地像素比對,確認每一輪只改了要求修改的部分。

多輪 AI 改圖要控制漂移,有四個基本做法。第一,保留一份不動的母版。第二,每輪只提一處修改。第三,審覈通過的版本才能作爲下一輪的輸入。第四,用下載到本地的原始文件做驗收,不看預覽圖。“其他地方保持不變”這句話要拆成能逐條檢查的約束:尺寸和構圖、關鍵文字、背景像素各自用對應的方法檢查。logo、法律聲明、產品編號這類必須完全一致的元素,用原圖合成回去比反覆讓模型重畫更可靠。

下文先列出術語,然後按實際操作順序展開:怎樣把模糊要求寫成驗收標準,怎樣搭建母版和檢查點目錄,怎樣區分生成接口的編輯蒙版和本地校驗蒙版,以及怎樣用一個本地 Python 腳本比對受保護像素。最後一部分按失敗類型給出恢復方式,並說明什麼時候該重試、什麼時候該改用原圖合成。這些步驟不依賴特定模型版本,換一個編輯接口也能照用。

ai-multi-turn-image-editing-drift-control-zh-hant-image-0

To Know:多輪改圖漂移相關術語

術語 解釋
漂移(drift) 多輪編輯中,沒有要求修改的部分被模型悄悄改動,例如背景色偏移、文字變形
母版(master) 最初的原始文件,全程只讀,用作所有比對的基準
檢查點(checkpoint) 審覈通過並單獨命名保存的修訂版本,可以作爲下一輪編輯的父文件
父文件(parent) 某一輪編輯實際使用的輸入圖片
分支(branch) 從同一個父文件派生出的、互相獨立的修改方案
edit-log 記錄每輪父文件、提示詞、輸出、檢查結果和取捨理由的表格
編輯蒙版(生成接口) 發給圖像編輯接口、告訴模型哪裏可以重繪的遮罩圖,格式約定以各接口文檔爲準
校驗蒙版(本地) 只給本地腳本使用的黑白圖,黑色表示必須保持不變的區域
受保護像素 校驗蒙版中標爲黑色、修改前後必須一致的像素
RGBA 圖像的紅、綠、藍、透明度四個通道,每個通道通常取值 0–255
無損格式 保存時不丟失像素信息的格式,例如 PNG;JPEG 是有損格式
原圖合成 把母版中的某塊區域原樣貼回生成結果,用來保住必須完全一致的元素

1 多輪改圖漂移的根源:把模糊要求寫成驗收標準

1.1 爲什麼“其他地方保持不變”無法驗收

只寫一句“其他地方保持不變”,驗收時沒有依據。團隊對不同用途的容忍度也不一樣:概念圖裏輕微的光線變化可以接受,正式的品牌素材則可能要求 logo 像素完全一致。所以動手編輯之前,先確定這次採用哪一種標準。

以一個虛構的產品圖爲例:桌面上放着一個旅行瓶,瓶身貼着寫有 A-17 的小標籤,背景有一條細藍條紋。需求分兩輪完成,先改瓶身顏色,再改瓶蓋顏色,同時保住標籤、取景和背景條紋。這個需求裏其實包含幾類性質不同的約束,每一類都需要各自的檢查方法。

1.2 多輪改圖的約束拆解表

約束 檢查方法 失敗表現
瓶身改爲橙色 查看被允許修改的區域 顏色改到了別的物體上
標籤保持 A-17 對照批准的文字逐字閱讀 字符變化或消失
取景不變 比較尺寸和物體位置 出現裁切、縮放或透視變化
背景不變 比對受保護像素 藍條紋移位、背景顏色偏移
最終可用 按交付尺寸和原始分辨率查看 新增邊緣瑕疵、小細節變糊

這張表裏的檢查方法各管一類問題。像素比對能發現背景偏移,但發現不了一個數字被換掉;逐字閱讀能確認標籤內容,但判斷不了背景是否有細微色移。幾種方法要配合使用。

1.3 提前識別必須完全一致的元素

logo、法律聲明、產品編號這類元素要求逐像素一致。對它們來說,單獨保留一個可編輯圖層,或者在最終圖上把原圖區域合成回去,比讓生成模型重畫更合適。在需求階段就把這類元素標出來,後面就不用反覆重試。

2 搭建多輪改圖的母版與檢查點目錄

2.1 準備母版

使用你擁有版權或獲准處理的圖片,記錄尺寸,保留原始下載文件。有原圖時不要用截圖當母版,因爲縮放和壓縮會讓後續的像素比對難以解讀。母版一旦存檔就不再修改。

2.2 目錄結構與需求文件

建議每個改圖任務建一個獨立目錄:

master.png
requirements.txt
01-body-color.txt
02-cap-color.txt
edit-log.csv
outputs/

requirements.txt 用平實的語言寫出固定不變的細節,例如:

保持原始畫布尺寸和相機視角。
保持瓶子的輪廓、位置和比例。
正面標籤必須仍爲 A-17,位置不變。
藍色條紋及其他背景內容保持不變。
第一輪只改瓶身顏色。
第二輪只改瓶蓋顏色。
任何修訂只要改動了受保護要求,即判定爲拒絕。

每一輪的提示詞單獨存成一個文本文件,方便以後復現和對比。

2.3 用 edit-log 記錄父文件與取捨理由

edit-log 記錄每一輪的父文件、提示詞、輸出文件、受保護區域檢查結果、文字檢查結果和接受/拒絕決定。文件名必須能反映真實的父子關係,像 final-new-final.png 這樣的名字看不出任何歷史。

revision,parent,prompt_file,output,protected_changed,text_check,decision,reason
01a,master.png,01-body-color.txt,outputs/01a.png,1532,A-17 OK,reject,背景條紋偏移
01b,master.png,01-body-color.txt,outputs/01b.png,0,A-17 OK,accept,
02a,01b.png,02-cap-color.txt,outputs/02a.png,0,A-17 OK,accept,

表中的數字只是格式示意,沒有對應任何真實運行結果。被拒絕的版本也要記下來,拒絕理由正是下一輪修改提示詞的依據。

3 執行多輪改圖:每輪只改一處

3.1 第一輪:只改要求修改的部分

提示詞裏,要保留的內容和要修改的內容寫得一樣具體:

編輯附圖。只把旅行瓶的瓶身顏色改爲橙色。
保留瓶蓋、標籤、瓶身輪廓、位置、比例和相機視角。
標籤文字必須保持 A-17,位置和大小不變。
不要改動桌面、藍色背景條紋或任何其他背景細節。
如果接口支持,保持原始取景和輸出尺寸。
不要添加物體、陰影、說明文字或裝飾性文字。

下載原始結果並存爲 01.png,進入下一輪之前先和 master.png 比對:讀一遍 A-17,檢查瓶蓋和背景條紋,再整體查看有沒有意外變化。橙色瓶身只是多項要求中的一項。

3.2 拒絕後回到母版重來

如果拒絕這一版,先記錄原因,下一次嘗試仍然從母版開始。不要在拒絕的版本上連續修補多個無關的問題,否則每一輪的比對基準都在變,最後很難說清是哪一步引入了漂移。

3.3 第二輪:從已接受的父文件出發

第一輪通過後,保存一份命名清楚的檢查點副本,再開始第二輪:

編輯附圖(已批准的修訂版)。只把瓶蓋改爲淺藍色。
保留本輸入中的橙色瓶身。
標籤保持 A-17,大小和位置不變。
保持瓶身輪廓、位置、比例、相機視角和取景。
不要改動桌面、藍色背景條紋或其他內容。
不要引入額外的文字或物體。

第二輪需要做兩次比對。02.png 對比 01.png,看最新一次指令改了什麼。02.png 對比母版和 requirements.txt,因爲一個序列可能把早期的錯誤帶到後面,即使最近一輪本身改得很乾淨。

3.4 有意識地選擇父文件

第二個修改如果依賴第一個修改,就以已接受的第一版爲父文件。如果它只是一個獨立的備選方案,就從母版另開分支。不同分支在 edit-log 中分開記錄,這樣最終成品可以完整復現。

4 區分多輪改圖中的兩種蒙版

4.1 生成接口的編輯蒙版與本地校驗蒙版

很多編輯接口支持上傳蒙版來限定重繪區域,而本地像素比對也需要一張蒙版。兩者用途不同,規則也不同,混用很容易出錯。

維度 生成接口的編輯蒙版 本地校驗蒙版
作用 告訴模型哪裏可以重繪 告訴腳本哪些像素必須一致
使用方 遠端編輯接口 本地校驗腳本
格式約定 由各接口文檔規定(如透明區可編輯或白色區可編輯) 由本地腳本規定:黑色受保護,非零值允許修改
精度要求 可以適當外擴,給模型留出過渡空間 應當貼緊,避免把需要保護的標籤也划進允許區
能證明什麼 只表達編輯意圖 能證明受保護像素是否被改動

在編輯蒙版之外仍要做本地校驗,原因很簡單:編輯蒙版只表達意圖。接口可能對整張圖重新編碼,也可能在蒙版邊界外做融合,最終結果還是要用像素來驗證。

4.2 製作本地校驗蒙版

在圖像編輯器裏新建一張與母版尺寸完全相同的圖,必須保持不變的地方塗黑,允許修改的區域塗白,保存爲無損灰度 PNG。本文的腳本把任何非零值都當作允許修改,所以受保護區必須是純黑(0),抗鋸齒留下的灰邊會被算進允許區。

如果想用同一張源圖同時生成兩種蒙版,可以先畫好“允許修改區”,再按各接口文檔轉換成對應的格式。轉換之後,用接口文檔裏的示例確認黑白或透明的含義沒有弄反。

5 用本地腳本比對多輪改圖的受保護像素

5.1 校驗腳本

下面的腳本由本文編寫,只依賴 Python 3 和 Pillow,不發出任何網絡請求,也不修改輸入文件。它把三張圖都解碼爲 RGBA,逐個比較受保護像素。尺寸不一致時直接退出,不會自動縮放來讓比對“通過”。

# check_edit.py —— 比對受保護像素是否被修改
import sys
from PIL import Image

def main(before_path, after_path, mask_path, diff_out=None):
    before = Image.open(before_path).convert("RGBA")
    after = Image.open(after_path).convert("RGBA")
    mask = Image.open(mask_path).convert("L")

    if not (before.size == after.size == mask.size):
        sys.exit(f"尺寸不一致: before={before.size} "
                 f"after={after.size} mask={mask.size}")

    b, a, m = before.load(), after.load(), mask.load()
    w, h = before.size
    protected = changed = total_diff = max_diff = 0
    diff_img = Image.new("RGB", (w, h), (0, 0, 0)) if diff_out else None

    for y in range(h):
        for x in range(w):
            if m[x, y] != 0:          # 非零 = 允許修改
                continue
            protected += 1
            diffs = [abs(b[x, y][i] - a[x, y][i]) for i in range(4)]
            d = max(diffs)
            total_diff += sum(diffs)
            max_diff = max(max_diff, d)
            if d:
                changed += 1
                if diff_img:
                    diff_img.putpixel((x, y), (255, 0, 0))

    if protected == 0:
        sys.exit("蒙版中沒有受保護像素(沒有純黑區域)")

    print(f"受保護像素: {protected}")
    print(f"被改動的受保護像素: {changed}")
    print(f"改動比例: {changed / protected:.4%}")
    print(f"平均通道絕對差: {total_diff / (protected * 4):.4f}")
    print(f"最大通道差: {max_diff}")
    if diff_img:
        diff_img.save(diff_out)
        print(f"差異圖已保存: {diff_out}(紅色爲被改動的受保護像素)")

if __name__ == "__main__":
    if len(sys.argv) not in (4, 5):
        sys.exit("用法: python3 check_edit.py before.png after.png mask.png [diff.png]")
    main(*sys.argv[1:])

運行方式(macOS/Linux 語法,Windows 用戶請換成對應 shell 的虛擬環境激活命令):

python3 -m venv .venv
source .venv/bin/activate
python3 -m pip install Pillow
python3 check_edit.py master.png 01.png 01-mask.png 01-diff.png

5.2 先用正負對照驗證腳本

使用任何校驗腳本之前,先用已知答案的合成圖驗證它。下面的腳本生成一張 100 × 100 的圖,允許修改區爲中間 20 × 20,受保護像素共 9,600 個。“乾淨編輯”只改允許區,“漂移編輯”額外改動一個受保護像素。

# make_fixtures.py —— 生成正負對照樣本
from PIL import Image

before = Image.new("RGBA", (100, 100), (200, 220, 255, 255))
mask = Image.new("L", (100, 100), 0)
for y in range(40, 60):
    for x in range(40, 60):
        mask.putpixel((x, y), 255)

clean = before.copy()
for y in range(40, 60):
    for x in range(40, 60):
        clean.putpixel((x, y), (255, 140, 0, 255))

drift = clean.copy()
drift.putpixel((5, 5), (201, 220, 255, 255))

before.save("before.png"); mask.save("allowed-mask.png")
clean.save("clean-edit.png"); drift.save("drift-edit.png")
python3 make_fixtures.py
python3 check_edit.py before.png clean-edit.png allowed-mask.png
python3 check_edit.py before.png drift-edit.png allowed-mask.png

按設計,第一條命令應報告 0 個被改動的受保護像素,第二條應報告 1 個。兩項都對上,才說明腳本的判斷邏輯可用。這組對照只驗證腳本本身,不代表任何模型的編輯能力。

ai-multi-turn-image-editing-drift-control-zh-hant-image-1

5.3 讀懂多輪改圖的比對數字

腳本直接比較解碼後的通道值,不做色彩配置文件歸一化。所以兩張圖必須幾何一致、色彩解釋一致。JPEG 重新壓縮、色彩配置文件變化,或者完全透明像素下方不可見的 RGB 值變化,都會產生數值差異,而這些差異未必對應肉眼可見的生成改動。

因此,儘量保持無損工作流,並把數字和實際畫面放在一起看。數值很低時,標籤上的一個數字仍可能被換掉;數值很高時,原因可能只是導出流程變了。沒有一個通用的像素閾值能代替任務本身的要求,閾值應當按每個項目的驗收標準來定。

5.4 把同一套驗收用到不同編輯接口

這套流程只關心“輸入什麼、拿回什麼”,所以可以套用到任何支持圖像編輯的接口上。換接口時逐項確認以下幾點:

  • 輸入路徑:接口能否直接選擇早期版本作爲輸入;不能的話,下載已接受版本後,按文檔的上傳方式重新提交。
  • 輸出尺寸:是否保留原始分辨率。尺寸一變,腳本會停止,這時應先檢查導出設置,不要用縮放掩蓋問題。
  • 蒙版字段:字段名、黑白或透明的含義、尺寸要求,都以該接口官方文檔爲準,不要從另一個模型照搬參數名。
  • 下載方式:使用原始文件下載,不用預覽圖或截圖。
  • 請求失敗:一張圖都沒返回時,去查接口實際返回的錯誤信息,不要改視覺提示詞。

6 多輪改圖漂移的恢復與原圖合成

6.1 按失敗類型選擇恢復方式

發現問題後,先判斷失敗類型,再決定是否重新調用模型。

失敗類型 恢復方式
改錯了對象 改用更明確的描述或接口支持的選區控制,從已接受的父文件重來
背景出現未要求的變化 拒絕該版本,收緊指令後重新比對
關鍵 logo 或標籤被改 作爲原始圖層保留或用原圖合成,不要反覆重生成
取景或尺寸變化 檢查導出設置,從正確的父文件重來,保留證據,不要靠縮放抹平
後一輪抹掉了前一輪已批准的修改 以已接受的檢查點爲輸入,在指令中明確要求保留該修改
請求在返回圖片前就失敗 排查接口實際報錯,與提示詞無關

6.2 何時重試、何時改用原圖合成

適合重試的情況是:問題出在指令含糊或選區不準,並且受影響的區域可以靠重新描述來修正,例如改錯了對象或背景出現輕微偏移。每次重試只調整一項指令,再用同一張校驗蒙版比對,這樣能看出這一處調整是否有效。

適合原圖合成的情況有三種:受影響的是逐像素必須一致的元素(logo、編號、法律聲明);同一類漂移在多次重試中反覆出現;爲了改一處,不得不在提示詞裏堆疊越來越多的保護條件。這時把母版中的對應區域貼回結果圖,比繼續賭模型的輸出更穩定。

用原圖合成修復的圖,要在 edit-log 裏記爲一個編輯步驟。它是正當的生產方法,但最終圖不能再稱爲未經改動的模型輸出。合成後要檢查接縫、光照和邊緣,因爲數值上完全保留的補丁也可能留下肉眼可見的拼縫。

ai-multi-turn-image-editing-drift-control-zh-hant-image-2

6.3 驗收最終版,而不僅是最新版

重新打開最終導出的文件,逐項確認:瓶身和瓶蓋顏色正確,標籤重讀一遍,受保護背景再比對一次母版。母版、各個已接受的父文件、提示詞和最終文件放在一起歸檔。有了修改日誌,其他人能分清哪些是模型編輯、哪些是手工修復,也能看懂某個版本爲什麼被接受。

如果成品還需要透明背景,最後要再做透明通道和邊緣檢查。如果畫面裏有標題、日期或價格,要單獨做文字校對。像素保持、透明交付和文字正確是三個不同的問題,各自需要單獨驗收。

常見問題 FAQ

Q1:多輪改圖漂移指什麼?

漂移是指在連續編輯中,沒有要求修改的區域被模型改動,例如背景色偏移、標籤字符變化、取景被裁切。輪次越多,誤差越容易累積,所以每一輪都要對照母版和需求文件驗收。

Q2:已經在接口裏上傳了編輯蒙版,還需要本地像素比對嗎?

需要。編輯蒙版表達的是“希望模型只改這裏”,本地校驗檢查的是“最終像素有沒有被改”。接口可能對整圖重新編碼或在邊界外融合,只有本地比對能拿出可複覈的證據。

Q3:比對結果顯示受保護像素有少量改動,一定要拒絕嗎?

取決於事先定下的驗收標準。概念稿可以容忍輕微光線變化,品牌終稿則要求關鍵區域零改動。先排除 JPEG 壓縮、色彩配置文件變化這類非生成原因,再結合差異圖看改動落在哪裏。

Q4:模型返回的圖片尺寸變了,可以縮放回去再比對嗎?

不建議。縮放會讓每個像素都產生差異,原本的漂移信息就被抹掉了。應先檢查接口的尺寸參數和導出設置,從正確的父文件重新編輯,並在 edit-log 中記錄這次尺寸變化。

Q5:這套流程適用於哪些圖像編輯接口?

只要接口能接收圖片輸入並返回可下載的原始文件,就可以使用。換接口時需要按官方文檔覈實蒙版字段的含義、輸出分辨率和上傳方式,驗收步驟本身不變。

Q6:這套方法有哪些侷限?

像素比對只回答“受保護像素有沒有變”,不判斷構圖好壞,也讀不出文字是否正確。它要求無損格式和一致的色彩解釋。本文的腳本逐像素遍歷,處理大圖時速度較慢,可以按需改用 NumPy 實現。

多輪改圖漂移控制 Key Takeaways

  • 母版只讀:原始文件全程不動,作爲所有比對的基準。
  • 一輪一改:每輪只提一處修改,審覈通過才成爲下一輪的父文件。
  • 約束可檢:把“保持不變”拆成尺寸、文字、背景像素等可單獨檢查的項。
  • 兩種蒙版分開:編輯蒙版給接口用,校驗蒙版給本地腳本用,格式各自獨立。
  • 腳本先自測:用正負對照樣本確認校驗腳本判斷正確後再投入使用。
  • 按類型恢復:改錯對象就重試,關鍵標籤被改就原圖合成。
  • 日誌留痕:edit-log 記錄父文件、檢查結果和取捨理由,合成修復也要入檔。

總結

多輪 AI 改圖控制漂移,靠的是一套可驗收的流程:

  1. 結構:母版、檢查點和分支構成一條可追溯的版本鏈。
  2. 驗收:逐字閱讀、尺寸比較和本地像素比對,各自負責一類約束。
  3. 恢復:按失敗類型選擇重試或原圖合成,關鍵元素優先使用原圖合成。

建議先用本文的合成樣本跑通校驗腳本,再拿一張真實素材按“母版 → 01 → 02”完整走一遍。確認流程和閾值都符合自己團隊的標準之後,再接入批量生產。

參考資料

  1. Seedream 5.5 multi-turn editing: protect details and check drift:多輪編輯的檢查點與受保護像素校驗流程
  2. 鏈接: ofox.ai/blog/seedream-5-5-multi-turn-editing-guide
  3. 說明: 本文流程結構與失敗恢復分類的主要依據

  4. Seedream 5.5 transparent PNGs: prompts and alpha checks:透明素材的提示詞與透明通道檢查

  5. 鏈接: ofox.ai/blog/seedream-5-5-transparent-png-guide
  6. 說明: 適合在改圖完成後補做透明度與邊緣驗收

作者: APIYI 技術團隊

Similar Posts