域泛化(Domain generalization)是從一個(gè)或多個(gè)源域中學(xué)習?,其目標是提取一個(gè)可以在未知目標域中使用的域不變模型。在網(wǎng)絡(luò )訓練過(guò)程中,模型可能會(huì )過(guò)度依賴(lài)于訓練數據集的分布,最終導致無(wú)法準確捕獲未見(jiàn)數據中存在的適當模式。
該研究提出的域泛化框架
針對這一問(wèn)題,中國科學(xué)院沈陽(yáng)自動(dòng)化研究所機器人學(xué)研究室機器智能課題組提出了一種加權標簽平滑正則化(weighted label smoothing regularization)方法。相關(guān)研究以L(fǎng)abel smoothing regularization-based no hyperparameter domain generalization為題在Knowledge-Based Systems發(fā)表。
該方法通過(guò)加權標簽平滑正則化引入類(lèi)間監督,使得模型更加關(guān)注類(lèi)別之間的相對關(guān)系而不是絕對差異,從而幫助模型學(xué)習到更通用的特征,緩解網(wǎng)絡(luò )的過(guò)擬合特性,提高模型對未知新數據的泛化能力。此外,權重自適應技術(shù)尋求遷移性和判別性之間的平衡,使網(wǎng)絡(luò )更新更加穩定。該研究成果為解決現實(shí)世界不同光線(xiàn)、不同天氣場(chǎng)景下的視覺(jué)感知問(wèn)題提供了新思路。
本研究得到了國家自然科學(xué)基金項目、中國科學(xué)院青促會(huì )項目、遼寧省“揭榜掛帥”科技計劃項目以及沈陽(yáng)自動(dòng)化所基礎研究項目支持。(機器人學(xué)研究室)
論文鏈接:https://www.sciencedirect.com/science/article/pii/S0950705124015119
Doi: 10.1016/j.knosys.2024.112877
來(lái)源:中國科學(xué)院沈陽(yáng)自動(dòng)化研究所