Photoshop“魔變”，感受生成式填充

曹欣　崇光

Adobe 最近發布了AdobePhotoshop 的最新公開測試版后，驚呼聲此起彼伏，其中包含一種新的生成填充功能，可以使用生成AI 技術在現有照片中創建逼真的對象、背景和場景擴展。

筆者已經感受到Adobe 在AdobeFirefly 中實現生成人工智能，堪稱魔術師施展的變法，用于根據文本提示創建整個合成圖像。

什么是Generative Fill（AI 圖像合成工具）？ 就是使用Firefly 技術以更有針對性的方式編輯現有圖像，將生成AI 作為標準功能引入Photoshop。至于其他生成AI 系統相關聯的第三方Photoshop 插件，已經有一些了，例如Alpaca 和Stability AI。

Firefly 生成式AI 系統會根據文本提示中的描述，創建完全原始的圖像，新的素材疊加創建新構圖，而不會用傳統形式提取現有圖像的各個部分。系統利用從攝取數百萬張照片中學到的知識，發明場景和對象以匹配它理解文本的含義。諸如“夜間下雨街道上的古董車”之類的提示，會讓軟件從大量隨機像素中組合出一幅圖像，以匹配系統理解的“汽車”“雨”“街道”和“夜晚”，系統通常會根據主題提供多種變體。

如果你已經有一張晚上下雨的街道的照片，并且想在構圖中添加一輛古董車怎么辦？很簡單，使用Photoshop 的生成填充功能，先選擇我們希望汽車出現的區域，并鍵入“古董車”生成一個基礎圖形（也可稱為“修復”），然后選擇要從圖像中刪除的部分，在沒有特定文本提示的情況下使用生成填充去替代它，工具會自動填充缺失區域。

從體驗上主觀的感受，Adobe 這個過程比其他生成AI 系統更加友好。它具有將工具直接構建到Photoshop 中的優勢，其中Generative Fill 具有干凈直接的界面。

根據文本提示在Adobe Firefly中生成圖像

在上下文任務欄可見的情況下在Photoshop 中進行選擇

單擊“生成填充”會顯示文本提示字段

單擊“生成填充”會顯示文本提示字段生成結果后，游客將被刪除，這是三個變體之一，在“屬性”面板中顯示為縮略圖

相比之下，當前流行的Midjourney服務需要加入Discord 服務器，訂閱該服務，進入設置為接收文本提示的聊天室，然后使用“想象下雨天的古董車”等命令，輸入想要生成的內容“晚上的街道”，圖形結果會顯示在聊天室的滾動討論中，不太令人習慣。

Photoshop 的方法是推出了一個新的上下文任務欄，其中包含選擇主題或刪除背景等命令。當使用任何選擇工具（例如套索工具）進行選擇時，任務欄中的一個選項會是生成填充按鈕，非常直接。

單擊該按鈕會顯示一個文本字段，可以在其中描述應在選擇中創建的內容。或者將該字段留空并單擊“生成”按鈕，讓Photoshop 根據周圍場景的上下文確定將顯示的內容。

單擊“生成”后，Photoshop 會生成三個Firefly 生成的變體并向使用者展示第一個。你可以使用上下文任務欄中的按鈕，或通過單擊“屬性”面板中的縮略圖來循環瀏覽它們，如果它們都不好看，可以再次單擊“生成”以獲得另外三個變體，怎么樣，是不是找到了ChatGPT 的感覺？

順便說一句，如果你對每個選擇正下方出現的上下文任務欄感到不便，可以將其拖動到想要的位置，然后單擊欄上的三點圖標，并從菜單中選擇 Pin Bar Position。

所有變化都包含在一個新型層中，即生成層，該層還包括用戶所選區域的遮罩。如果將生成填充應用于圖像的另一個區域，則會創建一個新的生成層。以上操作的所有變化都保存在這些圖層中，可以返回修改并以非破壞性方式嘗試變化、隱藏或顯示圖層、設置混合模式和不透明度，以及使用圖層的所有其他靈活屬性。

另外需要注意的是，生成填充以與原始照片相同的分辨率創建結果，這與大多數系統形成的圖像對比有巨大優勢，因為后者生成的圖像分辨率較低（通常為1024×1024 像素），接下來我們看看生成填充可以做什么。

通常情況下，當我們使用工具從照片中刪除不需要的項目時，該軟件會嘗試使用圖像中其他地方的像素來回填缺失區域。當要移除的區域很大時，像素回填會變得更加困難，導致重復的鬼影，一眼就能看到圖像的某些部分被移除。

相反，生成填充會查看圖像的前后文件，并嘗試創建在其位置上有意義的內容。在上面我們移除游客的示例中，Photoshop 重新創建了建筑物的線條和顏色，并匹配了地面的紋理。

Photoshop還是生成了一系列替代“人物”（左側），圖片來自官方演示

根據Adobe的在線建議，不需要編寫“刪除人員”之類的命令就能把圖像左側的背景顯現出來

但是我們不能假設該功能每次都能正確處理，以下面兩個人的形象為例。我們可以嘗試刪除一個人（左邊的人），方法是使用套索工具在他周圍進行松散選擇以定義我們要替換的區域，然后單擊文本框中的空生成。奇怪的是，在多次嘗試中，該工具假設我們想用另一個隨機的人替換這個人，這簡直是合成的噩夢。

根據Adobe 的說法，使用 GenerativeFill 時不需要鍵入“刪除人員”等命令作為提示，但最終，鍵入該提示給了我們想要的結果。此處要注意，雖然Photoshop 給出一個沒有左側人物的修改（見下文），但它同時也創建了兩個仍然包含人物的變體。我們或許可以將此歸因于預發布功能的不完善，因為當前機器學習量很大，還沒有盡善盡美。

刪除對象是一回事，但是用完全不同的東西替換它們呢？使用生成填充，我們還可以創建原始圖像中從未有過的東西。例如，在下面的照片中，我們可以通過在餡餅周圍進行選擇（稍微擴大選擇有助于拾取它們后面的紙張紋理）并在文本提示字段中鍵入“藍莓”，將其中一種甜點變成藍莓餡餅，反復試了幾次才找到匹配的，但這些藍莓看起來很有說服力。

更換背景中的飲料效果會怎么樣？我們可以選擇左側的玻璃杯，然后輸入“品脫啤酒”作為提示，而不是冷萃咖啡。注意，不僅玻璃杯稍微偏離焦點以匹配它所替換的景深，前面的餡餅和旁邊的咖啡還有玻璃光線的一絲反射，很逼真吧。

將任意項目添加到空白空間會如何？我們在前景中繪制了一個矩形選區并鍵入提示“Dog lying down”，隨后Photoshop 創建了多個小狗變體，其中我們最喜歡下面的那個，后期填充之后光線和陰影的角度匹配得很好。

除了替換或添加前景對象外，通過使用“選擇主題”并反轉選擇以選擇背景，我們可以輸入提示以重新定義場景的整個格局。

選中盆子的原始圖像

用藍莓代替前景餡餅中的草莓

后面的冷咖啡換成了一品脫（約0.4732升）啤酒

帶有矩形選區的原始照片

添加一條狗，尤其是在光線保持一致的情況下

選中背景的原始照片，將選區擴大了20個像素（類似羽化操作），包括了車輛的邊緣

背景變成了雪地

用“叢林之路”替換背景

說了這么多， 我們來看如何獲取該軟件： 生成填充功能在最新的Photoshop 24.6.0 公測版中，Creative Cloud 訂閱者可以使用該版本，在Creative Cloud 應用程序中，選擇邊欄中的 Beta 應用程序，然后在右側列表中查找 Photoshop （Beta），單擊安裝即可。Photoshop 的測試版和發行版可以同時存在于計算機上，此外測試版不會覆蓋你已經安裝的內容。