上周，加州州長簽署通過一項具有顛覆性的保釋金改革法案 ——取消保釋金制度，使用算法評估是否拘押。加州將成為全美第一個禁止等待審判的嫌疑人用現(xiàn)金保釋的州，而算法是否公平的問題也再次引發(fā)討論。

從2019年10月開始，加州將取消保釋金制度，在加州被控犯罪的人將使用一種算法進行打分評估，而不再使用巨額保釋金作為自由的抵押品。然后，縣官員將根據(jù)算法的打分決定被告是應該釋放，還是應該關(guān)進監(jiān)獄。

上周，加州州長Jerry Brown簽署了一項顛覆性的保釋金改革法案SB 10，該法案要求使用一個算法系統(tǒng)取代現(xiàn)金保釋。每個縣都必須建立一套系統(tǒng)，以確定嫌疑人在審判過程中逃跑或犯下另一項罪行的風險。該系統(tǒng)可以自行開發(fā)，或使用第三方承包商提供的系統(tǒng)，但必須在2019年10月的截止日期之前完成。

多年來，現(xiàn)金保釋制度一直被一些活動人士強烈抗議，這項立法讓民權(quán)組織大獲全勝。他們的論點是，現(xiàn)金保釋使司法處于一種不公平的競爭環(huán)境，將窮人關(guān)進監(jiān)獄，同時允許有錢人或有資產(chǎn)的人避免坐牢。

但算法風險評估使得這項新立法的實施細節(jié)變得更加重要——一些活動人士表示，現(xiàn)金保釋創(chuàng)造了一個掠奪性的保釋債券產(chǎn)業(yè)，另一些人則指出以往使用的算法風險評估工具存在對有色人種的偏見。

保釋金制度催生了保釋金保險業(yè)（Bail Bonds）

“這是一個巨大的挫折，”民權(quán)活動組織“Silicon Valley Debug”的協(xié)調(diào)員Raj Jayadev說：“根據(jù)我們的分析，這將導致審前拘留增加?！?/p>

這是因為在整個刑事司法系統(tǒng)中用來評估風險分數(shù)的機器學習系統(tǒng)已經(jīng)被證明存在嚴重的種族偏見，其評分認為有色人種更有可能再次犯罪。此外，由于私營公司通常簽約提供這些服務，機器學習算法推導出的用于計算這些分數(shù)的公式通常被作為智力財產(chǎn)保留下來，這會讓競爭對手傾向于該公司的技術(shù)。

有研究證明用于評估再犯罪的算法存在偏見（來源：propublica.org）

該法案的共同發(fā)起人和政策倡導者、西方法律與貧困中心（Western Center Law on Law & Poverty）的Jessica Bartholow表示，自該法案啟動以來，算法風險評估的問題就一直在討論中，民權(quán)組織壓倒性地支持取消現(xiàn)金保釋。她認為，與Jayadev的預測相反，被審前拘留的人將會更少，以前被迫支付保釋金或相關(guān)法庭費用否則就被拘留的窮人，在新政策下或許不用支付也不用被拘留了。

Bartholow說，既然該法案已經(jīng)通過，那么就需要與政策制定者合作，確保風險評估的數(shù)據(jù)和方法是公平而且透明的。例如，在2023年將會實施一項審查，檢查新系統(tǒng)的偏見——但審判前在監(jiān)獄中關(guān)上四年仍然是很長的時間。

加州議員辦公室證實仍有細節(jié)需要解決：州參議員Robert Hertzberg已經(jīng)承諾將推動新的立法，以確保風險評估工具的透明度。在8月舉行的州議會聽證會上，參議院預算委員會主席Holly Mitchell 同意共同起草該法案。

專注于研究人工智能社會影響的非營利智庫AI Now的政策主管Rashida Richardson表示，她疑慮這個系統(tǒng)會比以前的系統(tǒng)更加偏見。

“很多基于算法的刑事司法系統(tǒng)都依賴于通過刑事司法系統(tǒng)收集的數(shù)據(jù)。警官、緩刑犯監(jiān)督官、法官等等，刑事司法系統(tǒng)的所有參與者都不是數(shù)據(jù)科學家，”Richardson說。“因此，你收集的數(shù)據(jù)就存在缺陷，存在許多與刑事司法系統(tǒng)相同的偏見。”

但是在數(shù)據(jù)和所采用因素的開放性方面有一些變化：Jayadev表示，活動人士已經(jīng)迫使一些公司在計算風險評分時披露有哪些影響因素，例如嫌疑人之前的犯罪記錄和所犯罪行的嚴重程度，但沒有公開每個因素對最終風險評分的影響程度。當風險評估算法有超過100個影響因素時，缺乏透明度會導致很難判斷算法認為有影響的因素是否與種族、性別或任何其他受保護的人口統(tǒng)計學特征有關(guān)。

在2023年進行審查之前，很難確定這一法案的實際影響。

Bartholow說：“如果我們最終得到的是一個黑盒子一樣的評估工具，而無法運行數(shù)據(jù)，不能迅速地對計算機系統(tǒng)進行修改，那么我們就會屈服于算法，這個算法我們無法改變，也無法真正理解?！?/p>