高風險的人工智能指可能對個人健康、安全及基本權利產生重大有害影響的人工智能。草案雖然未作明確界定，但給出了高風險人工智能系統的判斷標準。具體而言，下列人工智能系統應視為高風險人工智能系統：根據歐盟統一立法清單，相關產品或者作為其安全部件的人工智能系統本身，在投放市場或者投入使用前需要接受第三方合規評估的，如運輸、機械、電梯、壓力設備、醫療設備、安全設備、無線電設備的人工智能系統；旨在用於包括自然人的生物識別和分類、關鍵基礎設施的管理和運作、教育和職業培訓、就業、執法、移民、難民和邊境管制以及司法和民主過程等領域的人工智能系統；就其嚴重程度和發生概率而言，其對個人健康、安全和基本權利造成不利影響的風險極大的人工智能系統。
與前述相比，諸如聊天機器人之類的非高風險人工智能技術，只需要滿足最低限度的透明性要求。草案起草者認為，只要告知用戶他正在與人工智能進行互動就可以減少潛在風險，故其對個人的健康、安全及基本權利造成損害的可能性較小。
3.高風險技術需要全過程監管
對高風險人工智能系統，草案設計了全過程監管制度。高風險人工智能系統“從搖籃到墳墓”——自投放市場或投入使用前直至整個存續期間——都要接受審查，以確定其是否遵守強制性的風險管理系統、嚴格的數據和數據治理規定，技術文件和日志保存的規定及上市後監測和事故報告的規定。與之相應，草案對高風險人工智能系統的提供者課以較重義務。
提供者負有合規義務。提供者應確保高風險人工智能系統的預期使用目的符合規定，按照規定建立、運行、記錄並維持風險管理系統，並確保人工監管的準確性、韌性和安全性。
提供者應建立合理的質量管理系統，並以書面政策、程序和指令的形式系統、有序地載明該質量管理系統，確保合規程序的執行、相關文件的草擬以及強有力的售後監管制度的建立；確保高危人工智能系統在投放市場或投入使用前，經過相關的評估程序。在高風險人工智能系統投放市場或投入使用前，提供者應起草並持續更新技術文件。技術文件的編制方式應能證明高風險人工智能系統符合歐盟人工智能法的要求，並為國家主管部門提供全部必要的信息，以評估人工智能系統是否符合這些要求。
|
