2021年12月9日，defenseone網(wǎng)站發(fā)布評論文章，題為“This Air Force Targeting AI Thought It Had a 90% Success Rate. It Was More Like 25%”，作者是技術(shù)編輯帕特里克·塔克。文章認為，正確數(shù)據(jù)太少可能會導(dǎo)致目標算法偏離。但要嘗試告訴算法。
如果五角大樓要依靠算法和人工智能（AI），就必須解決“脆弱的人工智能”問題。一位空軍高級官員最近說明了還要走多遠的路。
負責(zé)情報、監(jiān)視和偵察的助理副參謀長丹尼爾·辛普森少將表示，在最近的一次測試中，當(dāng)所有條件都完美時，一個實驗性的目標識別程序表現(xiàn)良好，但一個微妙的調(diào)整使其性能急劇下降。最初，人工智能是從一個傳感器輸入數(shù)據(jù)的，該傳感器以傾斜的角度尋找一枚地對地導(dǎo)彈。然后，它從另一個傳感器輸入數(shù)據(jù)，該傳感器以近垂直角度尋找多枚導(dǎo)彈。結(jié)果，"真是令人驚訝：算法表現(xiàn)不佳。它實際上只在大約25%的時間內(nèi)是準確的。"
這是有時被稱為人工智能脆弱性的一個例子，根據(jù)研究人員和前海軍飛行員米西·卡明斯在2020年的一份報告，"當(dāng)任何算法都無法概括或適應(yīng)一組范圍較窄的假設(shè)之外的條件時，就會發(fā)生這種情況"。卡明斯說，當(dāng)用于訓(xùn)練算法的數(shù)據(jù)由來自獨特有利位置的一種類型的圖像或傳感器數(shù)據(jù)過多，而來自其它優(yōu)勢、距離或條件的數(shù)據(jù)不足時，人工智能模型就會變得脆弱。
在無人駕駛汽車實驗等情況下，研究人員可以收集更多的數(shù)據(jù)用于訓(xùn)練。但在軍事環(huán)境下，這可能非常困難，因為那里可能有大量相同類型的數(shù)據(jù)——例如頭頂衛(wèi)星或無人機圖像，但很少有其它類型的數(shù)據(jù)，因為它在戰(zhàn)場上還沒用過。
例如，與為自動駕駛汽車訓(xùn)練對象識別算法的公司相比，軍方在嘗試訓(xùn)練某些物體識別任務(wù)的算法時面臨著另一個障礙：從多個角度和多個條件下獲取行人和路燈的圖片比獲取中國或俄羅斯地對空導(dǎo)彈的圖片更容易。
越來越多的研究人員開始依賴所謂的"合成訓(xùn)練數(shù)據(jù)"，在軍事瞄準軟件的情況下，這些數(shù)據(jù)將是從真實數(shù)據(jù)人工生成的圖片或視頻，以訓(xùn)練算法如何識別真實的東西。
但辛普森表示，算法的低準確率并不是練習(xí)中最令人擔(dān)憂的部分。雖然算法只有25%的時間是正確的，但他說，"由于確信它在90%的時間內(nèi)是正確的，所以錯在了自信。這不是算法的錯。這是因為我們向它提供了錯誤的訓(xùn)練數(shù)據(jù)。
辛普森說，這樣的結(jié)果并不意味著空軍應(yīng)該停止追求利用人工智能進行物體和目標探測。但它確實提醒人們，人工智能在數(shù)據(jù)欺騙形式的對抗行動面前是多么脆弱。它還表明，人工智能和人類一樣，可能會遭受過度自信的困擾。
?