【ITBEAR】近日，來自斯坦福大學(xué)、麻省理工學(xué)院（MIT）、紐約大學(xué)以及meta-FAIR等機(jī)構(gòu)的研究團(tuán)隊(duì)，通過全新研究對(duì)最大流形容量表示法（MMCR）的可能性進(jìn)行了重新定義。這一成果為多視圖自監(jiān)督學(xué)習(xí)（MVSSL）領(lǐng)域帶來了新的突破。
MVSSL作為一種強(qiáng)大的無監(jiān)督學(xué)習(xí)方法，通過創(chuàng)建多個(gè)數(shù)據(jù)視圖并以類似監(jiān)督的方式學(xué)習(xí)表示。而MMCR作為一種與眾不同的方法，在不明確使用對(duì)比、不執(zhí)行聚類、不利用蒸餾、也不明確減少冗余的情況下，其效果卻能媲美甚至超越其他領(lǐng)先的MVSSL方法。
研究人員在這項(xiàng)新研究中，對(duì)MMCR進(jìn)行了深入探索，并將其與信息論原理聯(lián)系起來，進(jìn)一步揭示了其深層次機(jī)制。他們證明了MMCR可以激勵(lì)學(xué)習(xí)嵌入的對(duì)齊和均勻性，同時(shí)最大化視圖之間的互信息下界，從而將MMCR的幾何視角與MVSSL中的信息論視角緊密結(jié)合。
為了更好地利用MMCR，研究人員還對(duì)預(yù)訓(xùn)練損失的非單調(diào)變化進(jìn)行了數(shù)學(xué)預(yù)測和實(shí)驗(yàn)確認(rèn)，發(fā)現(xiàn)了類似于雙下降的行為，并揭示了計(jì)算上的scaling law。這些發(fā)現(xiàn)使得研究人員能夠更準(zhǔn)確地預(yù)測預(yù)訓(xùn)練損失，并將其作為梯度步長、批量大小、嵌入維度和視圖數(shù)量的函數(shù)。
值得注意的是，這項(xiàng)研究還證明了MMCR不僅適用于圖像數(shù)據(jù)，在多模態(tài)圖像文本數(shù)據(jù)上同樣表現(xiàn)出色。這一成果為MMCR的應(yīng)用拓展了新的領(lǐng)域，也為多模態(tài)學(xué)習(xí)提供了新的思路和方法。
MMCR最初由紐約大學(xué)數(shù)據(jù)科學(xué)中心的研究人員于2023年提出，該方法源于神經(jīng)科學(xué)中的有效編碼假說。最初的MMCR框架通過調(diào)整“流形容量”將這一想法擴(kuò)展到了人工神經(jīng)網(wǎng)絡(luò)。而此次研究則將MMCR的幾何基礎(chǔ)與信息論原理相結(jié)合，進(jìn)一步探索了其更深層次機(jī)制。
通過高維概率分析，研究人員發(fā)現(xiàn)MMCR可以激勵(lì)表示的最大化，對(duì)應(yīng)于同一數(shù)據(jù)的兩個(gè)視圖的兩個(gè)嵌入共享的互信息的下限。這一發(fā)現(xiàn)為理解MMCR的嵌入分布提供了新的視角。
研究人員還在實(shí)驗(yàn)中觀察到了MMCR的雙下降現(xiàn)象，即預(yù)測最大流形容量表示的預(yù)訓(xùn)練損失在其預(yù)訓(xùn)練過程中表現(xiàn)出非單調(diào)的雙下降樣行為。這一發(fā)現(xiàn)為MMCR的優(yōu)化和應(yīng)用提供了新的指導(dǎo)。
在計(jì)算scaling laws方面，研究人員發(fā)現(xiàn)MMCR預(yù)訓(xùn)練百分比誤差與點(diǎn)數(shù)、嵌入維度和視圖數(shù)量之間存在冪律縮放關(guān)系。這一發(fā)現(xiàn)為不同超參數(shù)下的MMCR訓(xùn)練提供了可比較的基準(zhǔn)，也為優(yōu)化MMCR的計(jì)算效率提供了新的思路。
在多模態(tài)數(shù)據(jù)應(yīng)用方面，研究人員將MMCR應(yīng)用于圖像文本對(duì)的學(xué)習(xí)，取得了顯著的效果。這一成果為多模態(tài)學(xué)習(xí)提供了新的方法和技術(shù)支持，也為MMCR的應(yīng)用拓展了新的領(lǐng)域。
總的來說，這項(xiàng)研究對(duì)MMCR進(jìn)行了全面的探索和重新定義，揭示了其深層次機(jī)制和應(yīng)用潛力。未來，隨著對(duì)MMCR的進(jìn)一步研究和應(yīng)用拓展，我們有望在更多領(lǐng)域看到其出色的表現(xiàn)。
