近日，我校計(jì)算機(jī)學(xué)院唐廠(chǎng)課題組在人工智能領(lǐng)域期刊《Information Fusion》（影響因子18.6）發(fā)表了題為“Trustworthy Multi-view Clustering via Alternating Generative Adversarial Representation Learning and Fusion”的研究論文，該工作與國(guó)防科技大學(xué)、301解放軍總醫(yī)院等單位合作，提出了一種多模態(tài)生成式人工智能模型用以解決無(wú)監(jiān)督學(xué)習(xí)中的聚類(lèi)任務(wù)。論文第一作者為計(jì)算機(jī)學(xué)院2021級(jí)碩士生楊文琪，指導(dǎo)老師為唐廠(chǎng)教授。
如何利用生成式模型對(duì)無(wú)標(biāo)簽的復(fù)雜多模態(tài)數(shù)據(jù)進(jìn)行分析及預(yù)處理是目前無(wú)監(jiān)督學(xué)習(xí)中的重要問(wèn)題之一。然而，現(xiàn)有基于生成式的多模態(tài)無(wú)監(jiān)督學(xué)習(xí)算法往往無(wú)法充分挖掘多模態(tài)數(shù)據(jù)之間的一致性信息，且因?qū)W得的各模態(tài)低維表征之間非對(duì)齊而導(dǎo)致融合后的共有知識(shí)在處理下游任務(wù)時(shí)效果不佳。
針對(duì)上述問(wèn)題，本研究提出了一個(gè)基于交替生成對(duì)抗學(xué)習(xí)策略的多模態(tài)表征學(xué)習(xí)及融合框架（AGARL），該框架旨在通過(guò)生成對(duì)抗策略來(lái)學(xué)習(xí)多模態(tài)數(shù)據(jù)的潛在共識(shí)表征并服務(wù)于聚類(lèi)等下游任務(wù)。該模型主要包括三個(gè)主要模塊：1）基于交替生成對(duì)抗學(xué)習(xí)的各模態(tài)表征學(xué)習(xí)模塊：在本研究提出的交替生成對(duì)抗學(xué)習(xí)策略中，來(lái)自不同模態(tài)的數(shù)據(jù)將交替作為參照從而確保了學(xué)得的各模態(tài)的低維表征落在同一潛在的語(yǔ)義空間中進(jìn)而避免了因不對(duì)齊而導(dǎo)致的聚類(lèi)性能下降；2）跨模態(tài)表征融合模塊：不同于以往工作中采取的加權(quán)平均融合策略，本研究在融合模塊中通過(guò)類(lèi)注意力網(wǎng)絡(luò)使不同模態(tài)的度量結(jié)構(gòu)達(dá)到相互一致，從而獲得了比其他融合策略更好的性能；3）聚類(lèi)模塊：在學(xué)得多模態(tài)共識(shí)的低維潛在表征后，本研究通過(guò)基于自監(jiān)督的子網(wǎng)絡(luò)進(jìn)一步學(xué)得了更為緊湊的聚類(lèi)結(jié)構(gòu)劃分。
除此之外，該工作提出的方法不僅在包含傳統(tǒng)圖像、視頻等在內(nèi)的公開(kāi)多視圖數(shù)據(jù)集上取得了相對(duì)于當(dāng)前最先進(jìn)算法更優(yōu)的性能，而且同樣能夠在用于藥物發(fā)現(xiàn)的公開(kāi)化合物數(shù)據(jù)集NCI上取得相較于傳統(tǒng)聚類(lèi)算法更優(yōu)的性能，這說(shuō)明了本研究所提出的模型具有良好的泛化性能且能夠在多模態(tài)遙感影像處理、藥物發(fā)現(xiàn)等實(shí)際應(yīng)用中發(fā)揮有效作用。
圖 1 AGARL網(wǎng)絡(luò)架構(gòu)
Information Fusion是由Elsevier出版商出版的計(jì)算機(jī)科學(xué)領(lǐng)域的頂級(jí)期刊之一，中科院分區(qū)中為SCI一區(qū)TOP期刊，在人工智能領(lǐng)域具有較高影響力。
該研究得到國(guó)家自然科學(xué)基金、301解放軍總醫(yī)院醫(yī)學(xué)工程實(shí)驗(yàn)室的聯(lián)合資助。
論文信息：
Title: Trustworthy Multi-view Clustering via Alternating Generative Adversarial Representation Learning and Fusion
Authors: Wenqi Yang, Minhui Wang, Chang Tang*, Xiao Zheng, Xinwang Liu and Kunlun He*
Source: Information Fusion
DOI: 10.1016/j.inffus.2024.102323
論文鏈接: https://www.sciencedirect.com/science/article/abs/pii/S1566253524001015
鄂公網(wǎng)安備 42011102004169號(hào)
