騰訊研究人員基于Nvidia的StyleGAN-2構(gòu)建了創(chuàng)新系統(tǒng)。

超越DALL-E2，一種新的AI模型正在引起關(guān)注——GFP-GAN。

該模型全稱為Generative Facial Prior-Generative Adversarial Network，可以恢復受損和低分辨率的圖片。

該工具由中國公司騰訊的研究人員開發(fā)，可免費使用，可通過GitHub下載。

該工具使用騰訊自己的模型和Nvidia的預訓練StyleGAN-2模型——類似于用于開發(fā)GauGAN的系統(tǒng)，Nvidia的圖像生成模型。

在一篇概述該模型如何工作的論文中，騰訊的AI團隊使用這兩種模型有效地填補了舊圖像中缺失的元素。在短短幾秒鐘內(nèi)，兩種模型的聯(lián)合力量可以將低質(zhì)量的圖像變成新的更好的圖像。

該論文表明，以前，圖像恢復需要一個參考點來重新創(chuàng)建特定的細節(jié)。然而，GFP-GAN通過將來自Nvidia模型的預訓練人臉與來自正在恢復的照片的數(shù)據(jù)輸入相結(jié)合來創(chuàng)建一個“在真實性和保真度之間取得良好平衡”的圖像。

“由于強大的生成面部先驗和精致的設(shè)計，我們的GFP-GAN只需一次前向傳遞就可以聯(lián)合恢復面部細節(jié)并增強顏色，而GAN反演方法需要在推理時針對圖像進行優(yōu)化，”論文中寫道。

“大量實驗表明，我們的方法在合成數(shù)據(jù)集和真實世界數(shù)據(jù)集上都取得了優(yōu)于現(xiàn)有技術(shù)的性能。”

該論文表明，由于預訓練數(shù)據(jù)和來自輸入圖像的數(shù)據(jù)相結(jié)合，該模型“在大多數(shù)深色皮膚的面部和各種人群中表現(xiàn)良好”。

騰訊的團隊確實注意到，輸入肖像中的人的顏色可能會比灰度圖像中的原始膚色看起來更淺，因為“輸入不包含足夠的顏色信息”。為了進一步糾正這一點，該論文的作者建議需要一個多樣化且平衡的數(shù)據(jù)集來充分發(fā)揮模型的潛力。

人工智能和圖像

GFP-GAN出現(xiàn)在DALL-E2在社交媒體上掀起波瀾，用于從文本提示生成圖像。

該模型由OpenAI開發(fā)，已被用于生成約翰內(nèi)斯·維米爾(Johannes Vermeer)的《戴珍珠耳環(huán)的女孩》的替代版本、《Cosmopolitan》雜志的封面圖片以及調(diào)味品品牌亨氏的番茄醬圖片。

來源：AI Business