新京報訊（記者張建林）12月11日，記者從華中科技大學(xué)（以下簡稱“華科大”）獲悉，該校軟件學(xué)院白翔教授領(lǐng)銜的VLRLab團(tuán)隊近日發(fā)布了多模態(tài)大模型——“Monkey”（意為“猴子”）。該模型能夠?qū)崿F(xiàn)對世界的“觀察”，對圖片進(jìn)行精確描述。

多模態(tài)大模型是一種可以同時處理和整合多種感知數(shù)據(jù)（例如文本、圖像、音頻等）的AI架構(gòu)，近年來在眾多場景中展現(xiàn)了驚人的能力。

團(tuán)隊將Monkey代碼在全球最大的代碼托管服務(wù)平臺GitHub上開源。華中科技大學(xué)供圖

據(jù)介紹，Monkey模型在18個數(shù)據(jù)集上的實驗中表現(xiàn)出色，特別是在圖像描述和視覺問答任務(wù)方面超越了眾多現(xiàn)有的知名模型，如微軟的LLaVA、谷歌的PaLM-E、阿里的mPLUG-Owl等。此外，Monkey在文本密集的問答任務(wù)中顯示出顯著的優(yōu)勢，甚至在某些樣本上超越了業(yè)界公認(rèn)的領(lǐng)先者——OpenAI的多模態(tài)大模型GPT-4V。

Monkey的一個顯著特點是出色的“看圖說話”能力。在詳細(xì)描述任務(wù)中，Monkey展現(xiàn)了對圖像細(xì)節(jié)的感知能力，能夠察覺到其他多模態(tài)大模型所忽略的內(nèi)容。

在一張圖片中，Monkey可以正確地將其識別為埃菲爾鐵塔，并對其構(gòu)圖和配色方案作出詳細(xì)描述。而對于圖中左下角的文字，只有Monkey和GPT-4V能將其準(zhǔn)確地識別為作者名。

Monkey可以正確地將其識別為埃菲爾鐵塔，并對其構(gòu)圖和配色方案作出詳細(xì)描述。華中科技大學(xué)供圖

目前，幾乎所有多模態(tài)大模型都需要運(yùn)用網(wǎng)上爬取的圖文數(shù)據(jù)集，這些數(shù)據(jù)集只能進(jìn)行簡單的圖文描述，無法滿足大分辨率圖片的需求。Monkey巧妙利用現(xiàn)有的工具構(gòu)建了一種多層級的描述生成方法，即通過五個步驟依次對圖片進(jìn)行整體簡述、空間定位、模塊化識別、描述賦分選取和最終總結(jié)。

Monkey能夠結(jié)合不同工具的特性，來大幅度提升描述的準(zhǔn)確性和豐富程度?！耙粋€個工具就好比不同的零件，合理的排列組合才能使其發(fā)揮最大作用?！卑紫枵f。

他介紹，團(tuán)隊從2003年便開始從事圖像識別研究，去年又從海外引進(jìn)了專攻多模態(tài)大模型的青年人才，Monkey的最終方案是大家一起反復(fù)討論、嘗試了10余種方案后才最終確定的。

此外，Monkey的另一亮點是能夠處理分辨率高達(dá)1344×896像素的圖像，這是目前其他多模態(tài)大模型所能處理的最大尺寸的6倍。這意味著Monkey能對更大尺寸的圖片進(jìn)行更準(zhǔn)確、豐富、細(xì)致的描述甚至推理。

記者了解到，目前業(yè)內(nèi)能處理的圖片最大分辨率為448×448像素，而想要進(jìn)一步提升處理能力，需投入十分高昂的算力成本。

如何以更低成本擴(kuò)大輸入分辨率？該團(tuán)隊成員劉禹良向記者介紹，團(tuán)隊采用了創(chuàng)新性的“裁剪”方法，將原始輸入圖片分割成多個塊，每塊尺寸小于448×448像素，并為每個塊配備了一個“放大鏡”，放到合適的位置就可以“看”清更多細(xì)節(jié)。多個“放大鏡”同時工作，分別“放大”不同的圖片塊，就能提取更多局部特征。

編輯 陳靜

校對 李立軍