近日，我校未來(lái)交通學(xué)院智慧城市智能交通團(tuán)隊(duì)在交通運(yùn)輸領(lǐng)域國(guó)際頂級(jí)期刊《IEEE Transactions on Intelligent Transportation Systems》（T-ITS）上發(fā)表題為《MAGAE: Multi-level Alignment over Aggregation Semantic Graph with Attribute Enhancement for Text-based Vehicle Retrieval》的研究成果。未來(lái)交通學(xué)院2021級(jí)本科生張瑞軒、楊喆普分別為論文第一和第二作者，戴濤副教授為通訊作者，長(zhǎng)安大學(xué)為第一署名單位和第一通訊單位。這是我校近年首次由本科生為第一作者在該行業(yè)頂級(jí)期刊發(fā)表論文。
隨著城市和交通的數(shù)字化程度不斷提高，車(chē)輛檢索技術(shù)已成為智能交通系統(tǒng)的重要組成部分。近年來(lái)，基于自然語(yǔ)言的車(chē)輛檢索以其高靈活性和更廣闊的應(yīng)用價(jià)值，受到了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。為彌合自然語(yǔ)言和車(chē)輛圖像之間存在巨大的語(yǔ)義鴻溝，本研究提出了一種新方法，稱(chēng)為“基于多層次對(duì)齊聚合語(yǔ)義圖與屬性增強(qiáng)的自然語(yǔ)言車(chē)輛檢索方法（MAGAE）”。
圖1.基于自然語(yǔ)言和基于圖像的車(chē)輛檢索方法流程對(duì)比
研究采用大型語(yǔ)言模型（LLMs）和預(yù)訓(xùn)練視覺(jué)模型提取自然語(yǔ)言和全局視覺(jué)的特征嵌入，提出了一種全新用于動(dòng)態(tài)集成車(chē)輛局部和全局特征的F-Encoder架構(gòu)，設(shè)計(jì)了一種協(xié)同注意力學(xué)習(xí)機(jī)制，用于提取并增強(qiáng)車(chē)輛屬性嵌入的魯棒性；為彌合視覺(jué)與自然語(yǔ)言之間的顯著差距，論文引入多層次語(yǔ)義圖對(duì)齊模塊，以有效對(duì)多模態(tài)數(shù)據(jù)屬性進(jìn)行聚合和交互。最后，為提高神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)能力，引入學(xué)習(xí)損失函數(shù)，利用多任務(wù)學(xué)習(xí)優(yōu)點(diǎn)有效提升檢索效果，并在國(guó)際公開(kāi)數(shù)據(jù)集CityFlow-NL上驗(yàn)證了所提出MAGAE算法的有效性。本研究成果為自然語(yǔ)言車(chē)輛檢索提供了新的研究視角，有助于推動(dòng)基于大模型的城市交通管理能力與運(yùn)行效率提升。
圖2.MAGAE模型架構(gòu)示意圖
圖3.MAGAE自然語(yǔ)言車(chē)輛檢索結(jié)果示意圖
長(zhǎng)安大學(xué)未來(lái)交通學(xué)院是學(xué)校響應(yīng)國(guó)家“交通強(qiáng)國(guó)”戰(zhàn)略、推進(jìn)交通運(yùn)輸工程國(guó)家“雙一流”學(xué)科建設(shè)和落實(shí)教育部“未來(lái)技術(shù)學(xué)院”建設(shè)要求而設(shè)立的特色學(xué)院。自成立以來(lái)，學(xué)院始終將人才培養(yǎng)放在首位，積極探索“主輔修結(jié)合，培養(yǎng)個(gè)性化、學(xué)術(shù)國(guó)際化”的本碩博貫通培養(yǎng)模式，致力于全面激發(fā)學(xué)生科研潛能與創(chuàng)造力。此次，本科生張瑞軒以第一作者身份在交通領(lǐng)域頂級(jí)學(xué)術(shù)期刊發(fā)表論文，正是學(xué)校和學(xué)院高水平育人成果的詮釋。
圖4.論文已在IEEE Xplore數(shù)據(jù)庫(kù)在線(xiàn)開(kāi)放
注：IEEE T-ITS是國(guó)際電氣和電子工程師協(xié)會(huì)（IEEE）智能交通系統(tǒng)分會(huì)的旗艦期刊，關(guān)注交通系統(tǒng)中信息技術(shù)的設(shè)計(jì)、分析和控制，其主題涉及智能交通系統(tǒng)技術(shù)諸多領(lǐng)域。該刊當(dāng)前影響因子為7.9，H-index指數(shù)112，在科睿唯安JCR分區(qū)屬于Q1類(lèi)Top期刊。
論文鏈接：https://ieeexplore.ieee.org/document/11005612
（審稿：湯穎穎 網(wǎng)絡(luò)編輯：和燕）
