人工智能審計(jì)是指評(píng)估人工智能系統(tǒng)，以確保它們按預(yù)期工作，沒有偏見或歧視，并符合道德和法律標(biāo)準(zhǔn)。人工智能在過去十年中經(jīng)歷了指數(shù)級(jí)增長。因此，與人工智能相關(guān)的風(fēng)險(xiǎn)已成為組織關(guān)注的問題。正如埃隆·馬斯克所說：

“人工智能是一種罕見的案例，我認(rèn)為我們需要在監(jiān)管方面積極主動(dòng)，而不是被動(dòng)應(yīng)對(duì)。”

組織必須為使用 AI 的員工制定治理、風(fēng)險(xiǎn)評(píng)估和控制策略。人工智能問責(zé)制在風(fēng)險(xiǎn)很高的決策中變得至關(guān)重要，例如在一個(gè)區(qū)域而不是另一個(gè)區(qū)域部署警務(wù)、雇用和拒絕候選人。

本文將概述人工智能審計(jì)、人工智能審計(jì)的框架和法規(guī)，以及審計(jì)人工智能應(yīng)用程序的清單。

需要考慮的因素

合規(guī)性：與 AI 系統(tǒng)遵守法律、法規(guī)、道德和社會(huì)考慮因素相關(guān)的風(fēng)險(xiǎn)評(píng)估。

技術(shù)：與技術(shù)能力相關(guān)的風(fēng)險(xiǎn)評(píng)估，包括機(jī)器學(xué)習(xí)、安全標(biāo)準(zhǔn)和模型性能。

審計(jì)人工智能系統(tǒng)的挑戰(zhàn)

偏見：人工智能系統(tǒng)可以放大他們接受訓(xùn)練的數(shù)據(jù)中的偏見，并做出不公平的決定。認(rèn)識(shí)到這個(gè)問題，斯坦福大學(xué)的一個(gè)研究問題研究所 Human Centered AI (HAI) 發(fā)起了一項(xiàng)價(jià)值 71,000 美元的創(chuàng)新挑戰(zhàn)，以設(shè)計(jì)更好的 AI 審計(jì)。這一挑戰(zhàn)的目的是禁止人工智能系統(tǒng)中的歧視。

復(fù)雜性：人工智能系統(tǒng)，尤其是那些采用深度學(xué)習(xí)的系統(tǒng)，非常復(fù)雜且缺乏可解釋性。

人工智能審計(jì)的現(xiàn)有法規(guī)和框架

法規(guī)和框架是審計(jì)人工智能的北極星。下面討論了一些重要的審計(jì)框架和法規(guī)。

審計(jì)框架

COBIT框架(Control Objectives for Information and related Technology)：是企業(yè)IT治理和管理的框架。

IIA(內(nèi)部審計(jì)師協(xié)會(huì))的 AI 審計(jì)框架：該 AI 框架旨在評(píng)估 AI 系統(tǒng)的設(shè)計(jì)、開發(fā)和工作及其與組織目標(biāo)的一致性。IIA 人工智能審計(jì)框架的三個(gè)主要組成部分是戰(zhàn)略、治理和人為因素。它有以下七個(gè)要素：

網(wǎng)絡(luò)彈性

人工智能能力

數(shù)據(jù)質(zhì)量

數(shù)據(jù)架構(gòu)和基礎(chǔ)設(shè)施

衡量績效

倫理

黑匣子

COSO ERM 框架：該框架為評(píng)估組織中人工智能系統(tǒng)的風(fēng)險(xiǎn)提供了一個(gè)參考框架。它有五個(gè)內(nèi)部審計(jì)組成部分：

內(nèi)部環(huán)境：確保組織的治理和管理正在管理 AI 風(fēng)險(xiǎn)

目標(biāo)設(shè)定：與利益相關(guān)者合作制定風(fēng)險(xiǎn)策略

事件識(shí)別：識(shí)別人工智能系統(tǒng)中的風(fēng)險(xiǎn)，例如意外偏差、數(shù)據(jù)泄露

風(fēng)險(xiǎn)評(píng)估：風(fēng)險(xiǎn)的影響是什么?

風(fēng)險(xiǎn)應(yīng)對(duì)：組織將如何應(yīng)對(duì)風(fēng)險(xiǎn)情況，例如次優(yōu)數(shù)據(jù)質(zhì)量?

規(guī)定

通用數(shù)據(jù)保護(hù)條例(GDPR)是歐盟法規(guī)中的一項(xiàng)法律，規(guī)定組織有義務(wù)使用個(gè)人數(shù)據(jù)。它有七個(gè)原則：

合法、公平、透明：個(gè)人數(shù)據(jù)處理必須遵守法律

目的限制：僅將數(shù)據(jù)用于特定目的

數(shù)據(jù)最小化：個(gè)人數(shù)據(jù)必須充足且有限

準(zhǔn)確性：數(shù)據(jù)應(yīng)該是準(zhǔn)確的和最新的

存儲(chǔ)限制：不要存儲(chǔ)不再需要的個(gè)人數(shù)據(jù)

完整性和保密性：過去安全處理的個(gè)人數(shù)據(jù)

責(zé)任：控制者按照合規(guī)性負(fù)責(zé)任地處理數(shù)據(jù)

其他法規(guī)包括CCPA和PIPEDA。

人工智能審計(jì)清單

數(shù)據(jù)源

識(shí)別和審查數(shù)據(jù)源是審計(jì)人工智能系統(tǒng)的首要考慮因素。審計(jì)員檢查數(shù)據(jù)質(zhì)量以及公司是否可以使用這些數(shù)據(jù)。

交叉驗(yàn)證

確保模型得到適當(dāng)?shù)慕徊骝?yàn)證是審計(jì)人員的檢查清單之一。驗(yàn)證數(shù)據(jù)不應(yīng)用于訓(xùn)練，驗(yàn)證技術(shù)應(yīng)確保模型的通用性。

安全托管

在某些情況下，人工智能系統(tǒng)會(huì)使用個(gè)人數(shù)據(jù)。評(píng)估托管或云服務(wù)是否滿足 OWASP(開放 Web 應(yīng)用程序安全項(xiàng)目)指南等信息安全要求非常重要。

可解釋的人工智能

可解釋的人工智能是指解釋和理解人工智能系統(tǒng)做出的決定以及影響它的因素。審計(jì)員使用 LIME 和 SHAP 等技術(shù)檢查模型是否可以充分解釋。

模型輸出

公平性是審核員在模型輸出中確保的第一件事。當(dāng)性別、種族或宗教等變量發(fā)生變化時(shí)，模型輸出應(yīng)保持一致。此外，還評(píng)估了使用適當(dāng)評(píng)分方法的預(yù)測質(zhì)量。

社會(huì)反饋

人工智能審計(jì)是一個(gè)持續(xù)的過程。一旦部署，審計(jì)人員應(yīng)該看到人工智能系統(tǒng)的社會(huì)影響。人工智能系統(tǒng)和風(fēng)險(xiǎn)策略應(yīng)根據(jù)反饋、使用、后果和影響(無論是正面的還是負(fù)面的)進(jìn)行相應(yīng)的修改和審計(jì)。

審計(jì)AI管道和應(yīng)用程序的公司

審計(jì)AI的五家主要公司如下：

德勤：德勤是世界上最大的專業(yè)服務(wù)公司，提供與審計(jì)、稅務(wù)和財(cái)務(wù)咨詢相關(guān)的服務(wù)。Deloitte 使用 RPA、AI 和分析來幫助組織對(duì)其 AI 系統(tǒng)進(jìn)行風(fēng)險(xiǎn)評(píng)估。

普華永道：普華永道是收入第二大的專業(yè)服務(wù)網(wǎng)絡(luò)。他們開發(fā)了審計(jì)方法來幫助組織確保問責(zé)制、可靠性和透明度。

安永：2022年，安永宣布投資10億美元用于人工智能技術(shù)平臺(tái)，以提供高質(zhì)量的審計(jì)服務(wù)。人工智能驅(qū)動(dòng)的公司在審計(jì)人工智能系統(tǒng)方面消息靈通。

畢馬威會(huì)計(jì)師事務(wù)所：畢馬威會(huì)計(jì)師事務(wù)所是第四大會(huì)計(jì)服務(wù)提供商。畢馬威在人工智能治理、風(fēng)險(xiǎn)評(píng)估和控制方面提供定制服務(wù)。

Grant Thronton：他們幫助客戶管理與 AI 部署以及 AI 道德和法規(guī)合規(guī)性相關(guān)的風(fēng)險(xiǎn)。

審計(jì)人工智能系統(tǒng)的好處

風(fēng)險(xiǎn)管理：審計(jì)可以防止或減輕與人工智能系統(tǒng)相關(guān)的風(fēng)險(xiǎn)。

透明度：審計(jì)確保人工智能應(yīng)用程序沒有偏見和歧視。

合規(guī)性：審核AI應(yīng)用程序意味著系統(tǒng)遵循法律和法規(guī)合規(guī)性。

人工智能審計(jì)：未來會(huì)怎樣

組織、監(jiān)管機(jī)構(gòu)和審計(jì)人員應(yīng)與人工智能的進(jìn)步保持聯(lián)系，意識(shí)到其潛在威脅，并經(jīng)常修訂法規(guī)、框架和戰(zhàn)略，以確保公平、無風(fēng)險(xiǎn)和合乎道德的使用。

2021年，聯(lián)合國教科文組織的193個(gè)成員國通過了關(guān)于人工智能倫理的全球協(xié)議。人工智能是一個(gè)不斷發(fā)展的生態(tài)系統(tǒng)。