99久久精品国产一区二区_国产在线精品一区二区不卡_国产夫妇肉麻对白_久久久天堂国产精品女人_在线精品亚洲一区二区小说__中文亚洲欧美日韩无线码_国产又黄又爽又色的免费视频__国产又粗又猛又大爽又黄_porono中国女人

游戲《光環(huán)》中的

人工智能科塔娜說過一句話，

“我是他的盾牌，我是他的利刃；我深知他，連同他的過去和未來”。

作為“六感”之首的視覺，占據(jù)了人類吸收外部信息的70%以上。如果說人工智能的遠(yuǎn)景是打造一個(gè)具有大腦、神經(jīng)、軀干與四肢的機(jī)器人，那么，硬件基礎(chǔ)是軀干、四肢，更重要的是，要使得機(jī)器人能看會(huì)想，能聽會(huì)說，就要搭建神經(jīng)和大腦。

訓(xùn)練視覺模型的目標(biāo)是教會(huì)AI看見和理解現(xiàn)實(shí)世界，其中，點(diǎn)云視頻理解對于智能體與世界的交互至關(guān)重要。

近日，國際計(jì)算機(jī)視覺頂會(huì)CVPR 2023在加拿大溫哥華舉行。作為國際計(jì)算機(jī)視覺與模式識別領(lǐng)域的三大頂級會(huì)議之一，CVPR備受關(guān)注。云從科技及聯(lián)合研究團(tuán)隊(duì)的論文《PointCMP: Contrastive Mask Prediction for Self-supervised Learning on Point Cloud Videos》（基于掩碼預(yù)測的點(diǎn)云視頻自監(jiān)督學(xué)習(xí)）成功入選。

01

簡介

從靜態(tài)點(diǎn)云中解析現(xiàn)實(shí)世界已經(jīng)取得了巨大的成就。最近，對點(diǎn)云視頻的理解也越來越受關(guān)注。與此同時(shí)，自監(jiān)督學(xué)習(xí)可以從未標(biāo)注的數(shù)據(jù)中提取高質(zhì)量的表征，這將為標(biāo)注成本高昂的點(diǎn)云視頻理解任務(wù)帶來幫助。
因此，我們探索了以自監(jiān)督的方式從點(diǎn)云視頻中學(xué)習(xí)表征的方法。盡管基于對比學(xué)習(xí)和掩碼預(yù)測的自監(jiān)督學(xué)習(xí)范式已經(jīng)在圖像和靜態(tài)點(diǎn)云領(lǐng)域顯示出了強(qiáng)大的有效性，但是將這些方法直接擴(kuò)展到點(diǎn)云視頻上仍存在諸多挑戰(zhàn)。

在本文中，我們提出了PointCMP，一種用于點(diǎn)云視頻自監(jiān)督學(xué)習(xí)的對比掩碼預(yù)測框架。PointCMP采用雙分支結(jié)構(gòu)，同步學(xué)習(xí)點(diǎn)云視頻的局部和全局時(shí)空信息。在此之上，我們提出了一個(gè)基于互相似度的增強(qiáng)模塊，以實(shí)現(xiàn)基于特征的樣本生成。
通過計(jì)算各局部表征與該樣本全局語義之間的相似度，我們可以找到那些與語義高度相關(guān)的關(guān)鍵部分。將這些關(guān)鍵部分掩蔽可以提升自監(jiān)督預(yù)測任務(wù)的挑戰(zhàn)性，以促使模型學(xué)習(xí)更有效的表征。與此同時(shí)，我們也嘗試擦除關(guān)鍵的特征通道，從而針對性的生成難負(fù)例用于全局對比學(xué)習(xí)。

02

方法

我們的PointCMP架構(gòu)如圖1所示。給定一個(gè)點(diǎn)云視頻，首先將其均勻地分成多個(gè)視頻片段。然后，將這些片段送入編碼器得到局部Token以及具有全局語義的全局Token。接下來，將它們傳遞給基于互相似度的增強(qiáng)模塊。

圖1 PointCMP的架構(gòu)示意圖

從直覺上來說，當(dāng)與全局Token具有較高相似度的局部Token可見時(shí)，預(yù)測任務(wù)會(huì)變得更容易。因此，我們掩蔽掉這些具有高相似度的局部Token以生成有難度的掩碼樣本。我們選擇相似度高的Token作為關(guān)鍵Token。各局部Token所覆蓋的點(diǎn)云通常有重疊，而視頻片段之間有一定的信息隔離。
因此，我們選擇包含最多個(gè)關(guān)鍵Token的視頻片段，并將此片段下聚合而成的所有局部Token都掩蔽掉。此外，我們將具有高相關(guān)度的特征通道視為主通道，并將它們擦除以生成難負(fù)樣本。直觀上來說，擦除掉這些重要的主成分特征后勢必會(huì)與原始樣本形成一個(gè)負(fù)樣本對。

我們將帶有掩碼的Token序列與位置編碼相加后輸給一個(gè)回歸器，來預(yù)測被掩碼處的表征。被預(yù)測的表征與編碼器得到的相對應(yīng)的原始表征組成正樣本對，而與其余的組成負(fù)樣本對。我們使用InfoNCE損失來完成此局部對比學(xué)習(xí)分支。

與此同時(shí)，我們還為樣本的全局表征構(gòu)建了全局對比學(xué)習(xí)分支。由回歸器重新補(bǔ)全的Token序列經(jīng)過池化層得到新的全局表征，并與原始全局表征構(gòu)成正樣本對。
擦除主特征通道后的Token序列經(jīng)過池化層得到全局難負(fù)例。并且，同一批次內(nèi)的其他視頻的全局表征也作為當(dāng)前樣本的負(fù)樣本。我們同樣使用InfoNCE損失來完成此全局對比學(xué)習(xí)分支。

03

實(shí)驗(yàn)

首先，我們對預(yù)訓(xùn)練后的編碼器進(jìn)行微調(diào)，來評估PointCMP學(xué)習(xí)到的表征。我們將MSRAction-3D數(shù)據(jù)集同時(shí)用于預(yù)訓(xùn)練和端到端微調(diào)。當(dāng)使用PSTNet作為編碼器時(shí)，相對于基線，PointCMP預(yù)訓(xùn)練帶來了顯著的精度改進(jìn)。

表1 MSRAction-3D數(shù)據(jù)集上的驗(yàn)證結(jié)果

如表1所示，在使用8 幀時(shí)，行為識別的精度從83.50%提高到89.56%。這表明，PointCMP預(yù)訓(xùn)練可以以自監(jiān)督的方式從點(diǎn)云視頻中學(xué)習(xí)到有益的知識，這有助于在微調(diào)后獲得更高的精度。

然后，我們通過線性實(shí)驗(yàn)來驗(yàn)證PointCMP預(yù)訓(xùn)練所學(xué)到的表征的有效性。同樣的，MSRAction-3D數(shù)據(jù)集被用于預(yù)訓(xùn)練和線性測試。預(yù)訓(xùn)練的編碼器被凍結(jié)，并添加一個(gè)額外的線性分類器用于監(jiān)督訓(xùn)練。我們的方法在大多數(shù)幀數(shù)設(shè)置下都超過了基線。這證明了PointCMP預(yù)訓(xùn)練讓模型學(xué)習(xí)到了高質(zhì)量的表征。

表2 NTU-RGBD (Cross-Subject) 數(shù)據(jù)集上的驗(yàn)證結(jié)果

此外，我們還在NTU-RGBD數(shù)據(jù)集上做了半監(jiān)督實(shí)驗(yàn)，即在自監(jiān)督預(yù)訓(xùn)練后用一部分有標(biāo)注的數(shù)據(jù)微調(diào)模型。從表2的結(jié)果來看，當(dāng)我們使用PSTNet作為編碼器時(shí)，只用50%的標(biāo)注數(shù)據(jù)微調(diào)模型就可以接近全監(jiān)督的基線精度。這表明PointCMP預(yù)訓(xùn)練可以在無標(biāo)注數(shù)據(jù)中挖掘數(shù)據(jù)自身所蘊(yùn)含的知識，這不僅可以節(jié)約人力成本還可以將預(yù)訓(xùn)練模型作為初始化從而進(jìn)一步提升模型的性能。

圖2 高相似度局部Token及其鄰域點(diǎn)（綠色）的可視化結(jié)果

我們在圖2中進(jìn)一步可視化了與全局Token具有高度相似性的關(guān)鍵局部Token及其鄰域點(diǎn)。正如我們所看到的，與運(yùn)動(dòng)的關(guān)鍵身體部位相對應(yīng)的點(diǎn)被突出顯示。這與我們的直覺是一致的。通過掩蔽這些關(guān)鍵區(qū)域，鼓勵(lì)編碼器利用更多上下文進(jìn)行掩碼預(yù)測，以此學(xué)習(xí)更高質(zhì)量的表征。

總結(jié)展望

自監(jiān)督學(xué)習(xí)的優(yōu)勢主要是利用輔助任務(wù)從無標(biāo)注數(shù)據(jù)中挖掘自身的監(jiān)督信息。相比于利用特定任務(wù)的標(biāo)注作為監(jiān)督信息訓(xùn)練，這不僅可以節(jié)省標(biāo)注成本，還可以使模型學(xué)習(xí)到更泛化的知識和對多種下游任務(wù)有價(jià)值的表征。在數(shù)據(jù)為王的時(shí)代，此特點(diǎn)也使得大家充分相信自監(jiān)督學(xué)習(xí)才是人工智能的發(fā)展方向。

另一方面，點(diǎn)云視頻含有豐富的動(dòng)態(tài)視覺信息，可以幫助智能體充分了解這個(gè)實(shí)時(shí)變化的3D世界。且相比于傳統(tǒng)視頻以紋理信息為主，點(diǎn)云視頻涵蓋更精確的幾何信息和位置坐標(biāo)。
所以，點(diǎn)云視頻可以為低能見度環(huán)境中的動(dòng)作識別等任務(wù)提供保障。由此可見，點(diǎn)云視頻理解對于人工智能系統(tǒng)與世界交互非常重要。在海量數(shù)據(jù)之上，借助自監(jiān)督技術(shù)推動(dòng)點(diǎn)云視頻理解，也許會(huì)幫助我們打造一個(gè)能想會(huì)說、能聽會(huì)看的AI。