隨著文生文、文生圖、文生視頻等領(lǐng)域應(yīng)用成熟，隨之而來的信任危機也同步爆發(fā)。為此，騰訊宣布推出AI 生成文本檢測/AI 生成圖像檢測工具。

　　騰訊官方稱，雖然 AI 生成的圖像在細(xì)節(jié)紋理上越來越逼真，但依然有跡可循，朱雀實驗室研發(fā)了一款 AI 生成圖片檢測系統(tǒng)，將圖片上傳 —— 等待驗證 —— 判斷是否由 AI 生成，整個過程只有幾秒鐘，就能用魔法打敗魔法 —— 用 AI“檢測”AI 生成。

　　究其背后的檢測邏輯，主要是捕捉真實圖片與 AI 生圖之間的差異來進行區(qū)分，例如AI 生圖有時不符合常識邏輯、AI 生成圖片需要“加水印”、AI 生成圖片包含隱層特征。

　　騰訊指出，鑒別 AI 生成往往不能依靠單一依據(jù)。因此，AI 生成圖片檢測系統(tǒng)需要利用 AI 模型來捕捉真實圖片與 AI 生圖之間各類特征的差異，包括圖片的紋理、語義及隱形特征。

　　為了提升系統(tǒng)的檢測效果，其使用了 140 萬份正負(fù)樣本進行模型訓(xùn)練，考慮了多種生成內(nèi)容場景，如人體、人像、風(fēng)景、地標(biāo)、植物、電影、游戲、新聞等，最終測試檢出率達 95% 以上，還在持續(xù)優(yōu)化提升中。

　　IT之家注意到，朱雀實驗室還同步開發(fā)了文本檢測系統(tǒng)，通過對AI 生成文本和人類寫作內(nèi)容的海量數(shù)據(jù)學(xué)習(xí)來實現(xiàn)文本檢測。

　　與圖片內(nèi)容檢測一樣，文本檢測系統(tǒng)背后也搜集了大量正負(fù)樣本進行訓(xùn)練，涵蓋不同領(lǐng)域、不同大語言模型的生成文本。此外，還運用了對比的方式，將檢測文本與大模型預(yù)測內(nèi)容進行重疊度對比，來推斷文章的 AI 生成概率，以增強對未見過數(shù)據(jù)的檢測能力。

　　目前，AI 生成文本檢測系統(tǒng)涵蓋了新聞通訊、公文、小說、散文等多樣化文體，接下來還會對詩歌等體裁進行補強，用于提高文本識別的準(zhǔn)確率。