例如，如果圖像集合顯示了廚房中許多女性的例子，則使用該圖像數(shù)據(jù)集訓(xùn)練的算法將在女性和廚房之間形成關(guān)聯(lián)，并可以在其假設(shè)和決策中再現(xiàn)這種關(guān)聯(lián)。

 

　　人們?nèi)匀豢梢栽O(shè)置算法在分析數(shù)據(jù)集時(shí)應(yīng)考慮的參數(shù)。而且從事這項(xiàng)工作的開發(fā)人員和數(shù)據(jù)科學(xué)家可能不會(huì)意識(shí)到他們放置的參數(shù)所包含的無意識(shí)偏差。我們不知道確定Apple Card信用額度的參數(shù)是什么，但是如果考慮因素包括年收入，但不考慮共同財(cái)產(chǎn)所有權(quán)和稅務(wù)申報(bào)，那么在美國(guó)仍然以每美元1美元的價(jià)格賺取80.70美元的女性將處于固有的劣勢(shì)。

 

　　迄今為止，我們?yōu)楦鶕?jù)法律建立平等保護(hù)所做的努力旨在防止有意識(shí)的人類偏見。AI的問題在于，它比以往任何時(shí)候都可以更快，更有效地重現(xiàn)我們的無意識(shí)偏見，并且這樣做沒有道德良心或?qū)R的關(guān)注。在這種情況下，該算法無需高階思維技能就能做出信貸決策，這會(huì)使人在為女性和男性提供的信貸限額之間的明顯差異中看到一個(gè)危險(xiǎn)信號(hào)。

 

 

　　問題的一部分在于，與許多AI和ML算法一樣，Apple Card是一個(gè)黑匣子。意思是，沒有合適的框架來追蹤算法的訓(xùn)練和決策。對(duì)于公司而言，這是重大的法律和公關(guān)風(fēng)險(xiǎn)。對(duì)于社會(huì)而言，這更加嚴(yán)重。如果我們將決策權(quán)放棄給AI，無論是用于拼車退款，保險(xiǎn)賬單還是抵押貸款利率，我們都有可能遭受無視判決，采用世界上所有數(shù)據(jù)集以及所有男人和女人，僅是數(shù)據(jù)。

 

　　我們不必接受這個(gè)新的世界秩序。我們可以以負(fù)責(zé)任的方式進(jìn)行創(chuàng)新。我們需要確保啟用機(jī)器學(xué)習(xí)的新數(shù)據(jù)平臺(tái)擁有必要的基礎(chǔ)架構(gòu)，以實(shí)現(xiàn)治理，透明度和可重復(fù)性。除了該基礎(chǔ)結(jié)構(gòu)，我們還需要一個(gè)框架來跟蹤算法訓(xùn)練的沿襲。新加坡的個(gè)人數(shù)據(jù)保護(hù)委員會(huì)已經(jīng)開始通過創(chuàng)建來解決這個(gè)問題型號(hào)AI治理框架，以及世界經(jīng)濟(jì)論壇正在研究一項(xiàng)倡議，以使框架訪問世界各地的企業(yè)和政府。

 

　　我們始終可以確定結(jié)果是否反映了我們的社會(huì)價(jià)值并符合我們的法律標(biāo)準(zhǔn)。但是，如果我們可以預(yù)先評(píng)估用于訓(xùn)練模型的數(shù)據(jù)，并持續(xù)評(píng)估該模型的性能，那么我們可以找到系統(tǒng)中會(huì)導(dǎo)致意外偏差的缺陷并加以糾正，然后才能在Twitter上了解它們。