云從科技從容大模型在benchmark COCO上刷新世界紀(jì)錄 大幅降低AI應(yīng)用成本
近日，云從科技從容大模型在視覺領(lǐng)域再次取得重要進(jìn)展，基于視覺基礎(chǔ)大模型的目標(biāo)檢測器在檢測領(lǐng)域著名benchmark COCO數(shù)據(jù)集上從微軟研究院（MSR）、上海人工智能實(shí)驗(yàn)室、智源人工智能研究院等多家知名企業(yè)與研究機(jī)構(gòu)脫穎而出，刷新了世界紀(jì)錄。
云從科技從容大模型在COCO測試集上平均精度（以下簡稱mAP，mean Average Precision）達(dá)到0.662，位列榜單第一（見下圖）。在驗(yàn)證集上，單尺度取得mAP 0.656的佳績，多尺度TTA后mAP達(dá)到0.662，均達(dá)到世界領(lǐng)先水平。
大數(shù)據(jù)結(jié)合自監(jiān)督學(xué)習(xí) 打造視覺核心技術(shù)
以GPT為代表的大數(shù)據(jù)自監(jiān)督預(yù)訓(xùn)練已經(jīng)在自然語言理解（NLP）領(lǐng)域取得了令人矚目的突破，視覺領(lǐng)域方面，大數(shù)據(jù)結(jié)合自監(jiān)督學(xué)習(xí)的基礎(chǔ)模型訓(xùn)練也有重要進(jìn)展。
一方面，廣泛的視覺數(shù)據(jù)有助于模型學(xué)習(xí)通用的基礎(chǔ)特征。云從視覺基礎(chǔ)大模型，使用了超過20億的數(shù)據(jù)，包括大量無標(biāo)簽數(shù)據(jù)集以及圖文多模態(tài)數(shù)據(jù)集，數(shù)據(jù)集的豐富多樣使得模型能夠提取到穩(wěn)健的特征，大大降低了下游任務(wù)的開發(fā)成本。
另一方面，自監(jiān)督學(xué)習(xí)不需要人工標(biāo)注，使得海量的無標(biāo)注數(shù)據(jù)訓(xùn)練視覺模型成為可能。云從對自監(jiān)督學(xué)習(xí)算法進(jìn)行了多方面的改進(jìn)，使其能更適用于檢測、分割等細(xì)粒度任務(wù)，在COCO檢測任務(wù)上取得好成績就是證明。
開放目標(biāo)檢測+零次學(xué)習(xí)檢測能力 大幅降低研發(fā)成本
得益于視覺基礎(chǔ)模型優(yōu)異性能，云從從容大模型能夠基于大規(guī)模圖文多模態(tài)數(shù)據(jù)訓(xùn)練支持上千類別目標(biāo)的零次學(xué)習(xí)（以下簡稱zero-shot）檢測，涵蓋能源、交通、制造等行業(yè)的各類目標(biāo)。
從容大模型zero-shot能力在不同數(shù)據(jù)集上的表現(xiàn)
zero-shot能夠模仿人類的這個推理過程，利用過去的知識，在計算機(jī)中推理出新對象的具體形態(tài)，從而使得計算機(jī)具有識別新事物的能力。
如何理解zero-shot？假設(shè)我們已知驢子和馬的形態(tài)特征，又已知老虎和鬣狗都是有條紋的動物，熊貓和企鵝是黑白相間的動物，我們定義斑馬是黑白條紋相間的馬科動物。不看任何斑馬的照片，僅僅憑借推理，在動物園一眾動物中，我們也能夠找到斑馬。
云從視覺基礎(chǔ)大模型表現(xiàn)出很強(qiáng)的泛化性能，大大降低了下游任務(wù)所需的數(shù)據(jù)依賴與開發(fā)成本，同時zero-shot大幅提高了訓(xùn)練開發(fā)效率，使得廣泛應(yīng)用和快速部署成為可能。
您可能感興趣
-
2023-06-27云從科技與上海交通大學(xué)聯(lián)合研究團(tuán)隊的《基于擴(kuò)散模型的音頻驅(qū)動說話人生成》成功入選會議論文，并于大會進(jìn)行現(xiàn)場宣講，獲得多方高度關(guān)注。
-
2023-09-21近日，ICCV2023 細(xì)粒度行為檢測挑戰(zhàn)賽（Open Fine Grained Activity Detection Challenge）順利結(jié)束，云從科技在行為分類賽道（以下簡稱OpenFAD23-ICCV23）中斬獲冠軍。
-
2022-12-26全球權(quán)威人臉識別算法測試（NIST-FRVT）發(fā)布最新榜單，云從收獲三個第一
