不久前,美國國家公路交通安全管理局(NHTSA)發(fā)布了L2級自動駕駛事故數(shù)據(jù)報告,自去年7月以來報告的367起碰撞事故中,搭載自動駕駛輔助系統(tǒng)的車輛發(fā)生了98起嚴重事故。去年,AI行業(yè)還爆出更驚悚的威脅,AI醫(yī)療聊天機器人竟然推薦病人自殺。AI技術貼近現(xiàn)實生活應用的背后,AI技術缺陷帶來的系統(tǒng)威脅以及技術引發(fā)的道德倫理問題,是AI行業(yè)研究者的重點課題。
為準確衡量AI模型的效果和魯棒性,7月18日,清華大學、阿里安全、RealAI在“2021中國人工智能產(chǎn)業(yè)年會-安全人工智能專題論壇”上發(fā)布了全新版本的AI安全對抗攻防基準平臺,提前給AI找好“陪練”和“標尺”,打造更健壯可靠的AI。相較于去年三方發(fā)布的AIBenchmark1.0,今年AIBenchmark2.0包含全面、系統(tǒng)的攻防基準,更符合工業(yè)界的評測基準,更貼近線上的攻擊評測基準。

阿里、清華、RealAI發(fā)布全新AI安全對抗攻防基準平臺。
“新平臺從原來只有CIFAR10數(shù)據(jù)上的實驗,拓展到了ImageNet百萬級數(shù)據(jù)集上的攻防評測,更加貼近工業(yè)界的實際場景。今年還覆蓋了對模型未知情況下的遷移攻擊,貼近線上攻擊評測。此外,今年還增加了分布外的魯棒性評測,更加全面地評估模型魯棒性。”阿里高級安全專家越豐介紹道。
清華大學計算機系副研究員蘇航介紹,魯棒性benchmark的構建對評估人工智能模型的安全風險、推動該領域的發(fā)展具有重要意義。AIBenchmark2.0將對使用者免費提供18個ImageNet上的對抗訓練模型,包含更多的攻擊場景,覆蓋幾十種典型的攻防算法,并提供了SOTA的魯棒模型,為人工智能安全的研究具有一定的推動作用,可讓研究人員發(fā)現(xiàn)AI被攻擊后產(chǎn)生的問題,為行業(yè)提供參考,并將AI學術研究引導至更貼近實際場景的應用研究。
阿里巴巴人工智能治理與可持續(xù)發(fā)展研究中心(AAIG)負責人薛暉表示:“我們致力于建設‘可用、可靠、可信、可控’的負責任技術體系,這是阿里巴巴安全技術團隊承擔的科技創(chuàng)新和社會使命。從源頭構建更加安全的AI系統(tǒng),是打造更負責任的好科技中的重要一環(huán),只有這樣才能構建更好更安全的網(wǎng)絡空間。”