【導讀】隨著世界各個國家／地區紛紛製定人工智能相關法規，設計基於人工智能的係統的工程師必須滿足這些新出台的規範和標準要求。在 2023 年 10 月 30 日，美國白宮也頒布了一項關於人工智能法規的行政命令，強調穩健的驗證和確認（V&V）過guo程cheng對dui基ji於yu人ren工gong智zhi能neng的de係xi統tong至zhi關guan重zhong要yao。該gai指zhi令ling要yao求qiu人ren工gong智zhi能neng公gong司si報bao告gao和he測ce試shi特te定ding模mo型xing

，以yi確que保bao人ren工gong智zhi能neng係xi統tong按an預yu期qi運yun行xing並bing滿man足zu指zhi定ding要yao求qiu。

隨著世界各個國家／地區紛紛製定人工智能相關法規，設計基於人工智能的係統的工程師必須滿足這些新出台的規範和標準要求。在 2023 年 10 月 30 日，美國白宮也頒布了一項關於人工智能法規的行政命令
，強調穩健的驗證和確認（V&V）過guo程cheng對dui基ji於yu人ren工gong智zhi能neng的de係xi統tong至zhi關guan重zhong要yao。該gai指zhi令ling要yao求qiu人ren工gong智zhi能neng公gong司si報bao告gao和he測ce試shi特te定ding模mo型xing，以yi確que保bao人ren工gong智zhi能neng係xi統tong按an預yu期qi運yun行xing並bing滿man足zu指zhi定ding要yao求qiu。

人工智能法規和 V&V 過程將對安全關鍵型係統產生重大影響。人工智能越來越多地用於係統設計
，包括汽車和航空航天工業等領域的安全關鍵型應用。

基於人工智能的係統中的驗證和確認

驗證旨在確定人工智能模型是否按照指定的要求設計和開發
，而確認則是檢查產品是否符合客戶的要求和預期。通過采用 V&V 方法，工程師可以確保人工智能模型的輸出符合規範，從而實現早期 Bug 檢測並緩解數據偏向的風險。

在zai安an全quan關guan鍵jian型xing係xi統tong中zhong使shi用yong人ren工gong智zhi能neng的de一yi項xiang優you勢shi是shi，人ren工gong智zhi能neng模mo型xing可ke以yi模mo擬ni物wu理li係xi統tong並bing驗yan證zheng設she計ji。工gong程cheng師shi可ke對dui基ji於yu人ren工gong智zhi能neng的de整zheng個ge係xi統tong進jin行xing仿fang真zhen，並bing使shi用yong數shu據ju在zai不bu同tong場chang景jing中zhong測ce試shi係xi統tong，包bao括kuo離li群qun值zhi事shi件jian。如ru果guo在zai安an全quan關guan鍵jian型xing場chang景jing中zhong執zhi行xing V&V，則可確保基於人工智能的安全關鍵型係統能夠在各種情況下保持其性能水平。

大da多duo數shu開kai發fa人ren工gong智zhi能neng增zeng強qiang產chan品pin的de行xing業ye
，都dou要yao求qiu工gong程cheng師shi在zai產chan品pin上shang市shi前qian遵zun循xun相xiang關guan標biao準zhun。這zhe些xie認ren證zheng過guo程cheng可ke確que保bao此ci類lei產chan品pin中zhong融rong入ru特te定ding元yuan素su。工gong程cheng師shi可ke執zhi行xing V&V 來測試這些元素的功能，這使得獲得認證更容易。

在汽車行業中，ISO/CD PAS 8800 是shi一yi項xiang擬ni製zhi標biao準zhun
，旨zhi在zai說shuo明ming道dao路lu車che輛liang的de安an全quan相xiang關guan屬shu性xing和he風feng險xian因yin素su。在zai航hang空kong航hang天tian和he國guo防fang領ling域yu
，認ren證zheng是shi強qiang製zhi性xing要yao求qiu。機ji載zai係xi統tong和he設she備bei認ren證zheng中zhong的de軟ruan件jian考kao慮lv因yin素su（DO178C）等現行標準不一定能直接幫助應對人工智能所帶來的獨特挑戰。因此，新的 ARP6983 過程標準正在製定中
，旨在為開發和認證實現人工智能的航空安全相關產品提供規範。

Deep Learning Toolbox™ Verification Library 和 MATLAB® Test™ 可以幫助工程師開發有助於遵循行業標準的軟件，並簡化大型係統中人工智能模型的驗證和測試，從而使他們在航空和汽車領域的 V&V 方麵保持領先地位。

航空航天工程團隊使用基於模型的設計來管理和協調複雜的需求


，自動生成代碼，並嚴格測試模型和係統。

安全關鍵型係統中的 V&V 人工智能過程

在執行 V&V 時shi，工gong程cheng師shi的de目mu標biao是shi確que保bao人ren工gong智zhi能neng組zu件jian既ji能neng滿man足zu指zhi定ding的de要yao求qiu，又you能neng在zai各ge種zhong工gong況kuang下xia都dou表biao現xian出chu可ke靠kao性xing和he安an全quan性xing，因yin此ci可ke以yi隨sui時shi部bu署shu。與yu人ren工gong智zhi能neng相xiang關guan的de V&V 過程涉及執行軟件保證活動
，其中包括靜態和動態分析、測試
、形式化方法和真實運營監控的組合。

各行各業的 V&V 過程可能略有不同，但 V&V 過程的主要步驟都包括：

l 分析決策過程以解決黑盒問題；

l 根據有代表性的數據集測試模型；

l 執行人工智能係統仿真；

l 確保模型在可接受的範圍內運行。

下述 V&V 過程中的步驟是迭代步驟。隨著工程師收集新數據、獲得新深入信息和集成運行反饋，人工智能係統可以得到不斷完善和改進。

分析決策過程以解決黑盒問題

在(zai)使(shi)用(yong)人(ren)工(gong)智(zhi)能(neng)模(mo)型(xing)為(wei)係(xi)統(tong)添(tian)加(jia)自(zi)動(dong)化(hua)功(gong)能(neng)時(shi)
，工(gong)程(cheng)師(shi)會(hui)麵(mian)臨(lin)黑(hei)盒(he)問(wen)題(ti)。理(li)解(jie)基(ji)於(yu)人(ren)工(gong)智(zhi)能(neng)的(de)係(xi)統(tong)如(ru)何(he)作(zuo)出(chu)決(jue)策(ce)
，對(dui)於(yu)提(ti)供(gong)透(tou)明(ming)度(du)至(zhi)關(guan)重(zhong)要(yao)
，因(yin)為(wei)這(zhe)使(shi)工(gong)程(cheng)師(shi)和(he)科(ke)學(xue)家(jia)能(neng)夠(gou)對(dui)模(mo)型(xing)預(yu)測(ce)建(jian)立(li)信(xin)任(ren)並(bing)理(li)解(jie)決(jue)策(ce)。

特征重要性分析方法可以幫助工程師確定哪些輸入變量對模型預測的影響最大。這種分析方法的工作方式因模型（如基於樹的模型和線性模型）eryi，danshi，yibanguochenghuiweimeigeshurubianliangfuyuyigetezhengzhongyaoxingfenshu。zhongyaoxingfenshuyuegao
，gaitezhengduimoxingjuecedeyingxiangjiuyueda。duiyuqichexingyedeanquanguanjianxingxitong，bianliangkenengbaokuohuanjingyinsu，rujiangshuihuoqitacheliangdecunzaihexingwei。

kejieshixingfangfayouzhuyushenrulejiemoxingxingwei。dangmoxingdeheihexingzhishiwomenwufashiyongqitafangfashi，zhezhongfangfayouqizhongyao。yituxiangweili，zhexiefangfakeyongyushibietuxiangzhongduizuizhongyucegongxianzuidadequyu。zheyang，gongchengshibiankelijiemoxingzaizuochuyuceshidezhuyaoguanzhudian。

根據有代表性的數據集測試模型

tongchang
，gongchengshihuipinggurengongzhinengmoxingzaizhenshichangjingzhongdexingneng，yiquebaoanquanguanjianxingxitongnenggouzaizhexiechangjingzhongwenjianyunxing。tamendemubiaoshizhaochugezhongxianzhi
，yitigaomoxingdezhunqueduhekekaoxing。gongchengshishouxianhuishoujidaliangyoudaibiaoxingdezhenshishujuji，bingtongguoqingxishujushiqishiyongyuceshi。ranhou
，tamenhuishejiceshiyonglilaipinggumoxingdegegefangmian，liruzhunqueduhekezaixianxing。zuihou，gongchengshihuijiangmoxingyingyongyushujuji

，jilujieguobingjiangqiyuyuqishuchujinxingbijiao。moxingshejijianggenjushujuceshidejieguojinxinggaijin。

執行人工智能係統仿真

憑ping借jie基ji於yu人ren工gong智zhi能neng的de係xi統tong仿fang真zhen，工gong程cheng師shi能neng夠gou在zai受shou控kong環huan境jing中zhong評ping估gu和he評ping價jia係xi統tong的de性xing能neng。在zai仿fang真zhen期qi間jian，工gong程cheng師shi會hui創chuang建jian一yi個ge虛xu擬ni環huan境jing，以yi在zai各ge種zhong條tiao件jian下xia對dui真zhen實shi係xi統tong進jin行xing模mo擬ni。首shou先xian，他ta們men會hui定ding義yi仿fang真zhen係xi統tong所suo需xu的de輸shu入ru和he參can數shu
，例li如ru初chu始shi條tiao件jian和he環huan境jing因yin素su。然ran後hou
，他ta們men使shi用yong Simulink® 等deng軟ruan件jian執zhi行xing仿fang真zhen
，該gai軟ruan件jian會hui輸shu出chu係xi統tong對dui建jian議yi場chang景jing的de響xiang應ying。與yu數shu據ju測ce試shi一yi樣yang

，仿fang真zhen結jie果guo會hui與yu預yu期qi或huo已yi知zhi結jie果guo進jin行xing比bi較jiao

，以yi便bian於yu模mo型xing得de到dao逐zhu步bu改gai進jin。

weilerangrengongzhinengmoxinganquankekaodiyunxing
，bixujianlijiexianbingjiankongmoxingdexingwei

，yiquebaogaimoxingzaizhexiebianjieneiyunxing。ruguomoxingyijiyuyouxiandeshujujixunlian，bingzaiyunxingshiyudaoqiansuoweijiandeshuju
，zehuichuxianzuichangjiandebianjiewentizhiyi。tongyang
，moxingkenengbugouwenjian，youkenengdaozhibukeyucedexingwei。

工程師采用緩解數據偏向和增強數據的方法，以確保人工智能模型在可接受的範圍內運行。

緩(huan)解(jie)數(shu)據(ju)偏(pian)向(xiang)的(de)一(yi)種(zhong)方(fang)法(fa)是(shi)，讓(rang)用(yong)於(yu)訓(xun)練(lian)人(ren)工(gong)智(zhi)能(neng)模(mo)型(xing)的(de)數(shu)據(ju)具(ju)有(you)多(duo)變(bian)性(xing)，這(zhe)有(you)助(zhu)於(yu)減(jian)少(shao)模(mo)型(xing)對(dui)限(xian)製(zhi)其(qi)學(xue)習(xi)的(de)重(zhong)複(fu)模(mo)式(shi)的(de)依(yi)賴(lai)。借(jie)助(zhu)數(shu)據(ju)增(zeng)強(qiang)方(fang)法(fa)，可(ke)確(que)保(bao)代(dai)表(biao)不(bu)同(tong)類(lei)別(bie)和(he)人(ren)群(qun)的(de)數(shu)據(ju)都(dou)能(neng)得(de)到(dao)公(gong)平(ping)和(he)平(ping)等(deng)的(de)處(chu)理(li)。在(zai)自(zi)動(dong)駕(jia)駛(shi)汽(qi)車(che)場(chang)景(jing)中(zhong)，數(shu)據(ju)增(zeng)強(qiang)可(ke)能(neng)涉(she)及(ji)使(shi)用(yong)不(bu)同(tong)角(jiao)度(du)的(de)行(xing)人(ren)照(zhao)片(pian)來(lai)幫(bang)助(zhu)模(mo)型(xing)檢(jian)測(ce)行(xing)人(ren)，而(er)不(bu)管(guan)這(zhe)些(xie)行(xing)人(ren)的(de)位(wei)姿(zi)如(ru)何(he)。數(shu)據(ju)平(ping)衡(heng)方(fang)法(fa)通(tong)常(chang)與(yu)數(shu)據(ju)增(zeng)強(qiang)結(jie)合(he)使(shi)用(yong)
，包(bao)含(han)來(lai)自(zi)每(mei)個(ge)數(shu)據(ju)類(lei)的(de)相(xiang)似(si)樣(yang)本(ben)。以(yi)行(xing)人(ren)為(wei)例(li)
，平(ping)衡(heng)數(shu)據(ju)意(yi)味(wei)著(zhe)，針(zhen)對(dui)每(mei)種(zhong)不(bu)同(tong)的(de)行(xing)人(ren)場(chang)景(jing)
，如(ru)不(bu)同(tong)體(ti)型(xing)、服裝樣式、光guang照zhao條tiao件jian和he背bei景jing，數shu據ju集ji都dou必bi須xu包bao含han與yu之zhi對dui應ying數shu量liang的de圖tu像xiang。這zhe種zhong方fang法fa可ke以yi最zui大da限xian度du地di減jian少shao偏pian向xiang

，並bing提ti高gao模mo型xing在zai各ge種zhong現xian實shi情qing況kuang下xia的de泛fan化hua能neng力li。

在zai安an全quan關guan鍵jian型xing場chang景jing中zhong部bu署shu神shen經jing網wang絡luo時shi，穩wen健jian性xing是shi首shou要yao考kao慮lv因yin素su。細xi微wei而er難nan以yi察cha覺jiao的de變bian化hua會hui帶dai來lai重zhong大da風feng險xian，使shi神shen經jing網wang絡luo產chan生sheng誤wu分fen類lei。這zhe些xie幹gan擾rao可ke能neng會hui導dao致zhi神shen經jing網wang絡luo輸shu出chu不bu正zheng確que或huo危wei險xian的de結jie果guo。在zai錯cuo誤wu可ke能neng導dao致zhi災zai難nan的de係xi統tong中zhong，這zhe種zhong情qing況kuang尤you其qi令ling人ren擔dan憂you。一yi種zhong解jie決jue方fang案an是shi，將jiang形xing式shi化hua方fang法fa納na入ru開kai發fa和he驗yan證zheng過guo程cheng中zhong。形xing式shi化hua方fang法fa就jiu是shi使shi用yong嚴yan格ge的de數shu學xue模mo型xing來lai確que立li和he證zheng明ming神shen經jing網wang絡luo的de正zheng確que性xing屬shu性xing。通tong過guo應ying用yong這zhe些xie方fang法fa，工gong程cheng師shi可ke以yi提ti高gao網wang絡luo對dui某mou些xie類lei型xing幹gan擾rao的de抵di禦yu能neng力li，從cong而er確que保bao安an全quan關guan鍵jian型xing應ying用yong具ju有you更geng高gao的de穩wen健jian性xing和he可ke靠kao性xing。

W 形開發過程是一種非線性 V&V 工作流，旨在確保人工智能模型的準確度和可靠性。

結束語

在基於人工智能的安全關鍵型係統時代
，V&V guochengduiyuhuodexingyerenzhenghezunxunfalvyaoqiujiangbiandezhiguanzhongyao。ruoyaogoujianheweihuzhidexinlaidexitong，gongchengshixuyaocaiyongyanzhengfangfa，weiyunxingzhexiexitongderengongzhinengmoxingtigongkejieshixinghetoumingdu。suizhegongchengshiliyongrengongzhinenglaibangzhuzhixing V&V 過guo程cheng，他ta們men必bi須xu探tan索suo各ge種zhong測ce試shi方fang法fa來lai應ying對dui人ren工gong智zhi能neng技ji術shu所suo帶dai來lai的de日ri益yi複fu雜za的de挑tiao戰zhan。在zai安an全quan關guan鍵jian型xing係xi統tong中zhong，這zhe些xie工gong作zuo可ke確que保bao人ren工gong智zhi能neng以yi負fu責ze且qie透tou明ming的de方fang式shi得de到dao使shi用yong。

（來源：MathWorks，作者：MathWorks 深度學習首席產品經理 Lucas Garcia 博士）

免責聲明：本文為轉載文章
，轉載此文目的在於傳遞更多信息，版權歸原作者所有。本文所用視頻、圖片、文字如涉及作品版權問題，請聯係小編進行處理。

推薦閱讀：

泰克應用分享】實現示波器同步以獲得更高通道數時需要考慮的三件事

如何利用碳化矽打造下一代固態斷路器

使用大麵積分析提升半導體製造的良率

你準備好迎接新興汽車雷達衛星架構了嗎？

如何幫助提高混合動力汽車/電動汽車電池斷開係統的安全性和效率