| AI Safety Governance Framework (V1.0) |
AI安全ガバナンスフレームワーク(V1.0) |
| Artificial Intelligence (AI), a new area of human development, presents significant opportunities to the world while posing various risks and challenges. Upholding a people-centered approach and adhering to the principle of developing AI for good, this framework has been formulated to implement the Global AI Governance Initiative and promote consensus and coordinated efforts on AI safety governance among governments, international organizations, companies, research institutes, civil organizations, and individuals, aiming to effectively prevent and defuse AI safety risks. |
人類の新たな発展分野である人工知能(AI)は、世界に大きな機会をもたらす一方で、さまざまなリスクや課題も提起している。本フレームワークは、人間中心のアプローチを堅持し、AIを善のために発展させるという原則に則り、グローバルAIガバナンスイニシアティブを実施し、政府、国際機構、企業、研究機構、市民機構、個人間のAI安全ガバナンスに関するコンセンサスと協調的な取り組みを促進し、AIの安全リスクを効果的に防止・緩和することを目的として策定された。 |
| 1. Principles for AI safety governance |
1. AI安全ガバナンスの原則 |
| • Commit to a vision of common, comprehensive, cooperative, and sustainable security while putting equal emphasis on development and security |
• 開発と安全の両方に等しく重点を置きつつ、共通、包括的、協調的、持続可能なセキュリティというビジョンを追求する |
| • Prioritize the innovative development of AI |
• AIの革新的な発展を優先する |
| • Take effectively preventing and defusing AI safety risks as the starting point and ultimate goal |
• AIの安全リスクの有効な防止と緩和を起点とし、究極の目標とする |
| • Establish governance mechanisms that engage all stakeholders, integrate technology and management, and ensure coordinated efforts and collaboration among them |
• すべてのステークホルダーを巻き込み、技術と管理を統合し、それらの協調と協力を確保するガバナンスメカニズムを構築する |
| • Ensure that all parties involved fully shoulder their responsibilities for AI safety |
• 関係するすべての当事者がAIの安全に対する責任を完全に担うことを確保する |
| • Create a whole-process, all-element governance chain |
• すべてのプロセス、すべての要素のガバナンスチェーンを構築する ガバナンスの連鎖を構築する |
| • Foster a safe, reliable, equitable, and transparent AI for the technical research, development, and application |
• 技術研究、開発、応用における安全で信頼性が高く、公平で透明性の高いAIを促進する |
| • Promote the healthy development and regulated application of AI |
• AIの健全な発展と規範的な応用を促進する |
| • Effectively safeguard national sovereignty, security and development interests |
• 国家の主権、安全、発展利益を効果的に保護する |
| • Protect the legitimate rights and interests of citizens, legal persons and other organizations |
• 国民、法人、その他の組織の正当な権利と利益を防御する |
| • Guarantee that AI technology benefits humanity |
• AI技術が人類に恩恵をもたらすことを保証する |
| 1.1 Be inclusive and prudent to ensure safety |
1.1 包括的かつ慎重に安全性を確保する |
| We encourage development and innovation and take an inclusive approach to AI research, development, and application. We make every effort to ensure AI safety, and will take timely measures to address any risks that threaten national security, harm the public interest, or infringe upon the legitimate rights and interests of individuals. |
AIの研究、開発、応用において、開発とイノベーションを奨励し、包括的なアプローチを取る。AIの安全性を確保するためにあらゆる努力を払い、国家安全保障を脅かし、公益を損ない、個人の正当な権利と利益を侵害するリスクに対しては、適時に対策を講じる。 |
| 1.2 Identify risks with agile governance |
1.2 機敏なガバナンスによるリスクの識別 |
| By closely tracking trends in AI research, development, and application, we identify AI safety risks from two perspectives: the technology itself and its application. We propose tailored preventive measures to mitigate these risks. We follow the evolution of safety risks, swiftly adjusting our governance measures as needed. We are committed to improving the governance mechanisms and methods while promptly responding to issues warranting government oversight. |
AIの研究、開発、応用に関する動向を注視し、技術そのものとその応用の2つの観点からAIの安全リスクを識別する。 これらのリスクを低減するための個別にカスタマイズされた予防策を提案する。 安全リスクの進化を追跡し、必要に応じてガバナンス対策を迅速に調整する。 ガバナンスの仕組みと手法の改善に努めるとともに、政府の監督が必要な問題には迅速に対応する。 |
| 1.3 Integrate technology and management for coordinated response |
1.3 技術とマネジメントを統合し、協調的な対応を実現する |
| We adopt a comprehensive safety governance approach that integrates technology and management to prevent and address various safety risks throughout the entire process of AI research, development, and application. Within the AI research, development, and application chain, it is essential to ensure that all relevant parties, including model and algorithm researchers and developers, service providers, and users, assume their respective responsibilities for AI safety. This approach well leverages the roles of governance mechanisms involving government oversight, industry selfregulation, and public scrutiny. |
AIの研究、開発、応用の全プロセスにおいて、さまざまな安全リスクを防止し、対処するために、技術とマネジメントを統合した包括的な安全ガバナンスのアプローチを採用する。AIの研究、開発、応用の連鎖において、モデルやアルゴリズムの研究者や開発者、サービス・プロバイダー、ユーザーなど、すべての関係者がAIの安全性に対してそれぞれの責任を担うことが不可欠である。このアプローチは、政府の監督、業界の自主規制、および公的監視を含むガバナンスメカニズムの役割を十分に活用する。 |
| 1.4 Promote openness and cooperation for joint governance and shared benefits |
1.4 共同ガバナンスと利益共有のための開放性と協調の促進 |
| We promote international cooperation on AI safety governance, with the best practices shared worldwide. We advocate establishing open platforms and advance efforts to build broad consensus on a global AI governance system through dialogue and cooperation across various disciplines, fields, regions, and nations. |
我々は、AIの安全性ガバナンスに関する国際協力を推進し、ベストプラクティスを世界中で共有する。我々は、オープンなプラットフォームの構築を提唱し、さまざまな分野、領域、地域、国々における対話と協力を通じて、グローバルなAIガバナンスシステムに関する幅広い合意形成に向けた取り組みを推進する。 |
| 2. Framework for AI safety governance |
2. AI安全ガバナンスの枠組み |
| Based on the notion of risk management, this framework outlines control measures to address different types of AI safety risks through technological and managerial strategies. As AI research, development, and application rapidly evolves, leading to changes in the forms, impacts, and our perception of safety risks, it is necessary to continuously update control measures, and invite all stakeholders to refine the governance framework. |
リスクマネジメントの考え方に基づき、この枠組みでは、技術的および経営的な戦略を通じて、さまざまなAI安全リスクに対処するための管理対策の概要を示している。AIの研究、開発、応用が急速に進展し、安全リスクの形態、影響、および我々の安全リスクに対する認識が変化するにつれ、管理対策を継続的に更新し、すべてのステークホルダーを招いてガバナンスの枠組みを改善していく必要がある。 |
| 2.1 Safety and security risks |
2.1 安全・セキュリティリスク |
| By examining the characteristics of AI technology and its application scenarios across various industries and fields, we pinpoint safety and security risks and potential dangers that are inherently linked to the technology itself and its application. |
AI技術の特性と、さまざまな産業・分野における適用シナリオを検討し、技術そのものやその適用に内在する安全・セキュリティリスクや潜在的な危険性を特定する。 |
| 2.2 Technical countermeasures |
2.2 技術的対策 |
| Regarding models and algorithms, training data, computing facilities, products and services, and application scenarios, we propose targeted technical measures to improve the safety, fairness, reliability, and robustness of AI products and applications. These measures include secure software development, data quality improvement, construction and operations security enhancement, and conducting evaluation, monitoring, and reinforcement activities. |
モデルやアルゴリズム、学習データ、計算設備、製品・サービス、適用シナリオなどについて、AI製品やアプリケーションの安全性、公平性、信頼性、堅牢性を向上させるための技術的対策を提案する。これらの対策には、セキュアなソフトウェア開発、データ品質の改善、構築と運用におけるセキュリティ強化、評価、監視、強化活動の実施などが含まれる。 |
| 2.3 Comprehensive governance measures |
2.3 包括的なガバナンス対策 |
| In accordance with the principle of coordinated efforts and joint governance, we clarify the measures that all stakeholders, including technology research institutions, product and service providers, users, government agencies, industry associations, and social organizations, should take to identify, prevent, and respond to AI safety risks. |
協調と共同ガバナンスの原則に従い、技術研究機関、製品およびサービスプロバイダ、ユーザー、政府機関、業界団体、社会組織など、すべてのステークホルダーがAIの安全リスクを識別、防止、対応するために取るべき対策を明確にする。 |
| 2.4 Safety guidelines for AI development and application |
2.4 AIの開発と応用における安全ガイドライン |
| We propose several safety guidelines for AI model and algorithm developers, AI service providers, users in key areas, and general users, to develop and apply AI technology. |
AIモデルおよびアルゴリズムの開発者、AIサービスプロバイダ、主要分野の利用者、一般利用者がAI技術を開発・応用するにあたり、いくつかの安全ガイドラインを提案する。 |
| 3. Classification of AI safety risks |
3. AIの安全リスクの分類 |
| Safety risks exist at every stage throughout the AI chain, from system design to research and development (R&D), training, testing, deployment, utilization, and maintenance. These risks stem from inherent technical flaws as well as misuse, abuse, and malicious use of AI. |
安全リスクは、システム設計から研究開発(R&D)、訓練、テスト、展開、利用、保守に至るまで、AIのチェーンのすべてのステージに存在する。これらのリスクは、AIに内在する技術的な欠陥や、AIの誤用、乱用、悪用に起因する。 |
| 3.1 AI's inherent safety risks |
3.1 AIに内在する安全リスク |
| 3.1.1 Risks from models and algorithms |
3.1.1 モデルとアルゴリズムに起因するリスク |
| (a) Risks of explainability |
(a) 説明可能性のリスク |
| AI algorithms, represented by deep learning, have complex internal workings. Their black-box or grey-box inference process results in unpredictable and untraceable outputs, making it challenging to quickly rectify them or trace their origins for accountability should any anomalies arise. |
ディープラーニングに代表されるAIアルゴリズムは、複雑な内部構造を持つ。ブラックボックスまたはグレイボックスの推論プロセスは、予測不可能で追跡不可能な出力を生み出すため、異常が発生した場合に迅速に修正したり、説明責任を果たすために原因を追跡したりすることが困難になる。 |
| (b) Risks of bias and discrimination |
(b) バイアスおよび差別のリスク |
| During the algorithm design and training process, personal biases may be introduced, either intentionally or unintentionally. Additionally, poor-quality datasets can lead to biased or discriminatory outcomes in the algorithm's design and outputs, including discriminatory content regarding ethnicity, religion, nationality and region. |
アルゴリズムの設計およびトレーニングの過程において、意図的または非意図的に個人のバイアスが導入される可能性がある。さらに、品質の低いデータセットは、アルゴリズムの設計および出力において、人種、宗教、国籍、地域に関する識別的なコンテンツを含む、バイアスまたは差別的な結果につながる可能性がある。 |
| (c) Risks of robustness |
(c) 頑健性のリスク |
| As deep neural networks are normally non-linear and large in size, AI systems are susceptible to complex and changing operational environments or malicious interference and inductions, possibly leading to various problems like reduced performance and decision-making errors. |
ディープニューラルネットワークは通常、非線形かつ規模が大きいため、AIシステムは複雑かつ変化する運用環境や悪意のある干渉や誘導の影響を受けやすく、パフォーマンスの低下や意思決定エラーなどのさまざまな問題につながる可能性がある。 |
| (d) Risks of stealing and tampering |
(d) 盗用や改ざんのリスク |
| Core algorithm information, including parameters, structures, and functions, faces risks of inversion attacks, stealing, modification, and even backdoor injection, which can lead to infringement of intellectual property rights (IPR) and leakage of business secrets. It can also lead to unreliable inference, wrong decision output and even operational failures. |
パラメータ、構造、機能などのコアアルゴリズム情報は、逆アタック、盗用、改ざん、さらにはバックドアの挿入のリスクにさらされており、知的財産権(IPR)の侵害や企業秘密の漏洩につながる可能性がある。また、信頼性の低い推論、誤った判断結果、さらには運用上の障害につながる可能性もある。 |
| (e) Risks of unreliable output |
(e) 信頼性の低い出力のリスク |
| Generative AI can cause hallucinations, meaning that an AI model generates untruthful or unreasonable content, but presents it as if it were a fact, leading to biased and misleading information. |
生成的AIは幻覚を引き起こす可能性があり、つまりAIモデルが真実ではない、または非合理的なコンテンツを生成し、あたかもそれが事実であるかのように提示することで、偏った誤解を招く情報につながる。 |
| (f) Risks of adversarial attack |
(f) 敵対的攻撃のリスク |
| Attackers can craft well-designed adversarial examples to subtly mislead, influence and even manipulate AI models, causing incorrect outputs and potentially leading to operational failures. |
攻撃者は、AIモデルを巧妙に欺き、影響を与え、場合によっては操作する巧妙に設計された敵対的サンプルを作成することができ、不正な出力を引き起こし、運用上の障害につながる可能性がある。 |
| 3.1.2 Risks from data |
3.1.2 データに起因するリスク |
| (a)Risks of illegal collection and use of data |
(a) データの違法な収集と利用のリスク |
| The collection of AI training data and the interaction with users during service provision pose security risks, including collecting data without consent and improper use of data and personal information. |
AIの学習データの収集やサービス提供時のユーザーとのやりとりには、同意なしのデータ収集や、データや個人情報の不適切な利用など、セキュリティ上のリスクが伴う。 |
| (b)Risks of improper content and poisoning in training data |
(b) 学習データにおける不適切なコンテンツやポイズニングのリスク |
| If the training data includes illegal or harmful information like false, biased and IPR-infringing content, or lacks diversity in its sources, the output may include harmful content like illegal, malicious, or extreme information. Training data is also at risk of being poisoned from tampering, error injection, or misleading actions by attackers. This can interfere with the model's probability distribution, reducing its accuracy and reliability. |
学習データに虚偽、バイアス、知的財産権侵害などの違法または有害な情報が含まれていたり、ソースに多様性が欠けていたりすると、出力に違法、悪意のある、極端な情報などの有害なコンテンツが含まれる可能性がある。また、トレーニングデータは、攻撃者による改ざん、エラーの注入、誤解を招く行為などによってポイズニングされるリスクもある。これにより、モデルの確率分布が妨げられ、その精度と信頼性が低下する可能性がある。 |
| (c)Risks of unregulated training data annotation |
(c) 規制されていないトレーニングデータ・アノテーションのリスク |
| Issues with training data annotation, such as incomplete annotation guidelines, incapable annotators, and errors in annotation, can affect the accuracy, reliability, and effectiveness of models and algorithms. Moreover, they can introduce training biases, amplify discrimination, reduce generalization abilities, and result in incorrect outputs. |
トレーニングデータ・アノテーションに関する問題、例えば、不完全なアノテーションガイドライン、アノテーターの能力不足、アノテーションのエラーなどは、モデルやアルゴリズムの精度、信頼性、有効性に影響を与える可能性がある。さらに、学習バイアスが生じたり、識別性が強まったり、汎化能力が低下したりして、誤った出力結果につながる可能性もある。 |
| (d) Risks of data leakage |
(d) データ漏洩のリスク |
| In AI research, development, and applications, issues such as improper data processing, unauthorized access, malicious attacks, and deceptive interactions can lead to data and personal information leaks. |
AIの研究、開発、応用において、不適切なデータ処理、不正アクセス、悪意ある攻撃、欺瞞的なやりとりなどの問題は、データや個人情報の漏洩につながる可能性がある。 |
| 3.1.3 Risks from AI systems |
3.1.3 AIシステムがもたらすリスク |
| (a)Risks of exploitation through defects and backdoors |
(a) 欠陥やバックドアによる悪用リスク |
| The standardized API, feature libraries, toolkits used in the design, training, and verification stages of AI algorithms and models, development interfaces, and execution platforms, may contain logical flaws and vulnerabilities. These weaknesses can be exploited, and in some cases, backdoors can be intentionally embedded, posing significant risks of being triggered and used for attacks. |
AIアルゴリズムやモデルの設計、訓練、検証段階で使用される標準化されたAPI、機能ライブラリ、ツールキット、開発インターフェース、実行プラットフォームには、論理的な欠陥や脆弱性が含まれている可能性がある。これらの弱点が悪用される可能性があり、場合によっては意図的にバックドアが仕掛けられることもあり、攻撃の引き金となり悪用されるリスクが大きい。 |
| (b) Risks of computing infrastructure security |
(b) コンピューティングインフラのセキュリティリスク |
| The computing infrastructure underpinning AI training and operations, which relies on diverse and ubiquitous computing nodes and various types of computing resources, faces risks such as malicious consumption of computing resources and cross-boundary transmission of security threats at the layer of computing infrastructure. |
AIのトレーニングと運用を支えるコンピューティングインフラは、多様かつユビキタスなコンピューティングノードとさまざまな種類のコンピューティングリソースに依存しているため、コンピューティングインフラのレイヤーにおいて、コンピューティングリソースの悪用やセキュリティ脅威の境界を越えた伝播などのリスクに直面している。 |
| (c) Risks of supply chain security |
(c) サプライチェーンセキュリティのリスク |
| The AI industry relies on a highly globalized supply chain. However, certain countries may use unilateral coercive measures, such as technology barriers and export restrictions, to create development obstacles and maliciously disrupt the global AI supply chain. This can lead to significant risks of supply disruptions for chips, software, and tools. |
AI産業は高度にグローバル化されたサプライチェーンに依存している。しかし、一部の国が技術障壁や輸出規制などの一方的な強制措置を用いて開発上の障害を作り出し、グローバルなAIサプライチェーンを悪意を持って混乱させる可能性がある。これにより、チップ、ソフトウェア、ツールの供給が中断される重大なリスクが生じる可能性がある。 |
| 3.2 Safety risks in AI applications |
3.2 AIアプリケーションにおける安全リスク |
| 3.2.1 Cyberspace risks |
3.2.1 サイバー空間におけるリスク |
| (a) Risks of information and content safety |
(a) 情報およびコンテンツの安全性に関するリスク |
| AI-generated or synthesized content can lead to the spread of false information, discrimination and bias, privacy leakage, and infringement issues, threatening the safety of citizens' lives and property, national security, ideological security, and causing ethical risks. If users’ inputs contain harmful content, the model may output illegal or damaging information without robust security mechanisms. |
AIが生成または合成したコンテンツは、誤った情報の拡散、差別やバイアス、プライバシー漏洩、権利侵害問題につながり、市民の生命や財産の安全、国家安全保障、イデオロギー上の安全を脅かし、倫理上のリスクを引き起こす可能性がある。ユーザーの入力に有害なコンテンツが含まれている場合、強固なセキュリティメカニズムがなければ、モデルが違法または有害な情報を出力する可能性がある。 |
| (b) Risks of confusing facts, misleading users, and bypassing authentication |
(b) 事実の混同、ユーザーの誤解、認証の回避に関するリスク |
| AI systems and their outputs, if not clearly labeled, can make it difficult for users to discern whether they are interacting with AI and to identify the source of generated content. This can impede users' ability to determine the authenticity of information, leading to misjudgment and misunderstanding. Additionally, AI-generated highly realistic images, audio, and videos may circumvent existing identity verification mechanisms, such as facial recognition and voice recognition, rendering these authentication processes ineffective. |
AIシステムおよびその出力は、明確にラベル付けされていない場合、ユーザーがAIとやりとりしているのか、生成されたコンテンツのソースを識別しているのかを区別することが困難になる可能性がある。これにより、ユーザーが情報の真正性を判断する能力が妨げられ、誤った判断や誤解につながる可能性がある。さらに、AIが生成する極めて現実的な画像、音声、動画は、顔認識や音声認識などの既存の本人確認メカニズムを回避し、これらの認証プロセスを無効にしてしまう可能性がある。 |
| (c) Risks of information leakage due to improper usage |
(c) 不適切な利用による情報漏洩のリスク |
| Staff of government agencies and enterprises, if failing to use the AI service in a regulated and proper manner, may input internal data and industrial information into the AI model, leading to leakage of work secrets, business secrets and other sensitive business data. |
政府機関やエンタープライズのスタッフがAIサービスを適切に管理せずに利用した場合、内部データや産業情報をAIモデルに入力し、業務上の秘密や企業秘密、その他の機密性の高い業務データの漏洩につながる可能性がある。 |
| (d) Risks of abuse for cyberattacks |
(d) サイバー攻撃悪用リスク |
| AI can be used in launching automatic cyberattacks or increasing attack efficiency, including exploring and making use of vulnerabilities, cracking passwords, generating malicious codes, sending phishing emails, network scanning, and social engineering attacks. All these lower the threshold for cyberattacks and increase the difficulty of security protection. |
AIは、自動サイバー攻撃の実行や攻撃効率の向上に利用される可能性があり、これには脆弱性の探索と利用、パスワードのクラッキング、悪意のあるコードの生成、フィッシングメールの送信、ネットワークスキャン、ソーシャルエンジニアリング攻撃などが含まれる。これらのすべてがサイバー攻撃の敷居を下げ、防御の難易度を高める。 |
| (e) Risks of security flaw transmission caused by model reuse |
(e) モデルの再利用によるセキュリティ欠陥伝播リスク |
| Re-engineering or fine-tuning based on foundation models is commonly used in AI applications. If security flaws occur in foundation models, it will lead to risk transmission to downstream models. |
基礎モデルに基づく再エンジニアリングや微調整は、AIの応用において一般的に使用されている。基礎モデルにセキュリティ欠陥が発生した場合、下流のモデルへのリスク伝播につながる。 |
| 3.2.2 Real-world risks |
3.2.2 現実世界のリスク |
| (a)Inducing traditional economic and social security risks |
(a) 従来の経済・社会のセキュリティリスクを誘発 |
| AI is used in finance, energy, telecommunications, traffic, and people's livelihoods, such as self-driving and smart diagnosis and treatment. Hallucinations and erroneous decisions of models and algorithms, along with issues such as system performance degradation, interruption, and loss of control caused by improper use or external attacks, will pose security threats to users' personal safety, property, and socioeconomic security and stability. |
AIは、金融、エネルギー、通信、交通、自動運転やスマート診断・治療などの人々の生活に利用されている。モデルやアルゴリズムの幻覚や誤った判断、不適切な使用や外部からの攻撃によるシステム性能の低下、中断、制御不能などの問題は、ユーザーの生命、財産、社会経済の安全と安定に対するセキュリティ上の脅威となる。 |
| (b) Risks of using AI in illegal and criminal activities |
(b) 違法・犯罪行為におけるAI利用のリスク |
| AI can be used in traditional illegal or criminal activities related to terrorism, violence, gambling, and drugs, such as teaching criminal techniques, concealing illicit acts, and creating tools for illegal and criminal activities. |
AIは、犯罪技術の伝授、違法行為の隠蔽、違法・犯罪行為のためのツールの作成など、テロ、暴力、賭博、麻薬などに関連する伝統的な違法・犯罪行為に利用される可能性がある。 |
| (c) Risks of misuse of dual-use items and technologies |
(c) デュアルユースの物品および技術の悪用リスク |
| Due to improper use or abuse, AI can pose serious risks to national security, economic security, and public health security, such as greatly reducing the capability requirements for non-experts to design, synthesize, acquire, and use nuclear, biological, and chemical weapons and missiles; designing cyber weapons that launch network attacks on a wide range of potential targets through methods like automatic vulnerability discovering and exploiting. |
不適切な使用や乱用により、AIは、核兵器、生物兵器、化学兵器、ミサイルの設計、合成、取得、使用に必要な能力要件を大幅に低下させること、自動脆弱性発見や悪用などの手法により、幅広い潜在的な標的に対するネットワーク攻撃を仕掛けるサイバー兵器を設計することなど、国家安全保障、経済安全保障、公衆衛生安全保障に深刻なリスクをもたらす可能性がある。 |
| 3.2.3 Cognitive risks |
3.2.3 認知リスク |
| (a) Risks of amplifying the effects of "information cocoons" |
(a) 「情報繭」の影響を増幅するリスク |
| AI can be extensively utilized for customized information services, collecting user information, and analyzing types of users, their needs, intentions, preferences, habits, and even mainstream public awareness over a certain period. It can then be used to offer formulaic and tailored information and service, aggravating the effects of "information cocoons." |
AIは、カスタマイズされた情報サービス、ユーザー情報の収集、ユーザーの種類、ニーズ、意図、好み、習慣、さらには一定期間における主流の国民意識の分析に広く利用できる。そして、定型化された情報やサービスを提供し、カスタマイズされた情報やサービスを提供することで、「情報繭」の効果をさらに高めることができる。 |
| (b) Risks of usage in launching cognitive warfare |
(b) 認知戦への利用リスク |
| AI can be used to make and spread fake news, images, audio, and videos, propagate content of terrorism, extremism, and organized crimes, interfere in internal affairs of other countries, social systems, and social order, and jeopardize sovereignty of other countries. AI can shape public values and cognitive thinking with social media bots gaining discourse power and agenda-setting power in cyberspace. |
AIは、偽のニュース、画像、音声、動画を作成・拡散し、テロリズム、過激主義、組織犯罪のコンテンツを拡散し、他国の内政、社会システム、社会秩序に干渉し、他国の主権を脅かすために利用される可能性がある。AIは、サイバー空間で言説力やアジェンダ設定力を獲得したソーシャルメディア・ボットによって、公共の価値観や認知思考を形成することができる。 |
| 3.2.4 Ethical risks |
3.2.4 倫理的リスク |
| (a)Risks of exacerbating social discrimination and prejudice, and widening the intelligence divide |
(a) 社会の差別や偏見を助長し、情報格差を拡大するリスク |
| AI can be used to collect and analyze human behaviors, social status, economic status, and individual personalities, labeling and categorizing groups of people to treat them discriminatingly, thus causing systematical and structural social discrimination and prejudice. At the same time, the intelligence divide would be expanded among regions. |
AIは、人間の行動、社会的な地位、経済的な地位、個人の性格を収集・分析し、人々を識別し、カテゴリー分けして、識別的に扱うために使用される可能性があり、それによって、組織的かつ構造的な社会の差別や偏見が生じる。同時に、地域間の知能格差も拡大するだろう。 |
| (b)Risks of challenging traditional social order |
(b)従来の社会秩序への挑戦のリスク |
| The development and application of AI may lead to tremendous changes in production tools and relations, accelerating the reconstruction of traditional industry modes, transforming traditional views on employment, fertility, and education, and bringing challenges to stable performance of traditional social order. |
AIの開発と応用は、生産手段と生産関係に大きな変化をもたらし、従来の産業形態の再構築を加速し、雇用、出生率、教育に対する従来の考え方を変え、従来の社会秩序の安定した運営に挑戦をもたらす可能性がある。 |
| (c)Risks of AI becoming uncontrollable in the future |
(c) 将来、AIが制御不能になるリスク |
| With the fast development of AI technologies, there is a risk of AI autonomously acquiring external resources, conducting self-replication, become self-aware, seeking for external power, and attempting to seize control from humans. |
AI技術が急速に発展するにつれ、AIが外部リソースを自律的に獲得し、自己複製を行い、自己認識力を持ち、外部の力を求め、人間から制御権を奪おうとするリスクがある。 |
| 4. Technological measures to address risks |
4. リスクへの技術的対応策 |
| Responding to the above risks, AI developers, service providers, and system users should prevent risks by taking technological measures in the fields of training data, computing infrastructures, models and algorithms, product services, and application scenarios. |
上記リスクへの対応として、AI開発者、サービスプロバイダ、システム利用者は、学習データ、コンピューティングインフラ、モデル・アルゴリズム、製品サービス、適用シナリオの各分野において、技術的対応策を講じることにより、リスクを防止すべきである。 |
| 4.1 Addressing AI’s inherent safety risks |
4.1 AIに内在する安全性リスクへの対応 |
| 4.1.1 Addressing risks from models and algorithms |
4.1.1 モデルとアルゴリズムのリスクへの対応 |
| (a) Explainability and predictability of AI should be constantly improved to provide clear explanation for the internal structure, reasoning logic, technical interfaces, and output results of AI systems, accurately reflecting the process by which AI systems produce outcomes. |
(a) AIの説明可能性と予測可能性を常に改善し、AIシステムの内部構造、推論ロジック、技術的インターフェース、出力結果について明確な説明を提供し、AIシステムが結果を生成するプロセスを正確に反映する。 |
| (b) Secure development standards should be established and implemented in the design, R&D, deployment, and maintenance processes to eliminate as many security flaws and discrimination tendencies in models and algorithms as possible and enhance robustness. |
(b) 設計、研究開発、展開、保守の各プロセスにおいて、モデルやアルゴリズムにおけるセキュリティ上の欠陥や識別的傾向を可能な限り排除し、ロバスト性を向上させるための安全な開発標準を策定し、実施すべきである。 |
| 4.1.2 Addressing risks from data |
4.1.2 データに関するリスクへの対応 |
| (a) Security rules on data collection and usage, and on processing personal information should be abided by in all procedures of training data and user interaction data, including data collection, storage, usage, processing, transmission, provision, publication, and deletion. This aims to fully ensure user’s legitimate rights stipulated by laws and regulations, such as their rights to control, to be informed, and to choose. |
(a) データ収集および利用、ならびにパーソナルデータの処理に関するセキュリティ規則は、データ収集、保存、利用、処理、送信、提供、公開、削除など、学習データおよびユーザーインタラクションデータのすべての処理手順において遵守されるべきである。これは、ユーザーの合法的な権利、例えば、制御、通知、選択の権利など、法律および規則で規定された権利を完全に確保することを目的としている。 |
| (b) Protection of IPR should be strengthened to prevent infringement on IPR in stages such as selecting training data and result outputs. |
(b) 知的財産権の防御を強化し、訓練データの選択や結果出力などの段階で知的財産権の侵害を段階的に防止すべきである。 |
| (c) Training data should be strictly selected to ensure exclusion of sensitive data in high-risk fields such as nuclear, biological, and chemical weapons and missiles. |
(c) 訓練データは厳格に選択し、核兵器、生物兵器、化学兵器、ミサイルなどリスクの高い分野の機微なデータを排除すべきである。 |
| (d) Data security management should be strengthened to comply with data security and personal information protection standards and regulations if training data contains sensitive personal information and important data. |
(d) 訓練データに機微な個人情報や重要なデータが含まれる場合は、データセキュリティと個人情報保護の標準および規則を遵守し、データセキュリティ管理を強化すべきである。 |
| (e) To use truthful, precise, objective, and diverse training data from legitimate sources, and filter ineffective, wrong, and biased data in a timely manner. |
(e) 合法的な情報源から取得した、正確かつ客観的で多様な学習データを使用し、効果のないデータ、誤ったデータ、バイアスのかかったデータを適時にフィルタリングすること。 |
| (f) The cross-border provision of AI services should comply with the regulations on cross-border data flow. The external provision of AI models and algorithms should comply with export control requirements. |
(f) AIサービスの国境を越えた提供は、国境を越えたデータフローに関する規制を遵守すべきである。AIモデルおよびアルゴリズムの外部提供は、輸出管理要件を遵守すべきである。 |
| 4.1.3 Addressing risks from AI system |
4.1.3 AIシステムにおけるリスクへの対応 |
| (a) To properly disclose the principles, capacities, application scenarios, and safety risks of AI technologies and products, to clearly label outputs, and to constantly make AI systems more transparent. |
(a) AI技術および製品の原則、能力、適用シナリオ、安全リスクを適切に開示し、アウトプットを明確にラベル付けし、AIシステムの透明性を常に高めること。 |
| (b) To enhance the risk identification, detection, and mitigation of platforms where multiple AI models or systems congregate, so as to prevent malicious acts or attacks and invasions that target the platforms from impacting the AI models or systems they support. |
(b) 複数のAIモデルまたはシステムが集まるプラットフォームにおけるリスクの特定、検知、低減を強化し、プラットフォームを標的とした悪意のある行為や攻撃、侵入が、それらがサポートするAIモデルやシステムに影響を及ぼすことを防ぐこと。 |
| (c) To strengthen the capacity of constructing, managing, and operating AI computing platforms and AI system services safely, with an aim to ensure uninterrupted infrastructure operation and service provision. |
(c) AIコンピューティングプラットフォームおよびAIシステムサービスを安全に構築、管理、運用する能力を強化し、インフラの運用とサービス提供を中断させないことを目指す。 |
| (d) To fully consider the supply chain security of the chips, software, tools, computing infrastructure, and data sources adopted for AI systems. To track the vulnerabilities and flaws of both software and hardware products and make timely repair and reinforcement to ensure system security. |
(d) AIシステムに採用されるチップ、ソフトウェア、ツール、コンピューティングインフラ、データソースのサプライチェーンセキュリティを十分に考慮する。ソフトウェアおよびハードウェア製品の脆弱性と欠陥を追跡し、システムセキュリティを確保するために、適時に修復と強化を行う。 |
| 4.2 Addressing safety risks in AI applications |
4.2 AIアプリケーションの安全リスクへの対応 |
| 4.2.1 Addressing cyberspace risks |
4.2.1 サイバー空間リスクへの対応 |
| (a) A security protection mechanism should be established to prevent model from being interfered and tampered during operation to ensure reliable outputs. |
(a) 信頼性の高い出力を確保するため、運用中にモデルが干渉や改ざんを受けないよう、セキュリティ防御メカニズムを構築すべきである。 |
| (b) A data safeguard should be set up to make sure that AI systems comply with applicable laws and regulations when outputting sensitive personal information and important data. |
(b) 機密性の高い個人データや重要なデータをAIシステムが出力する際には、AIシステムが適用法や規制を遵守していることを保証するため、データ保護メカニズムを構築すべきである。 |
| 4.2.2 Addressing real-world risks |
4.2.2 現実世界のリスクへの対応 |
| (a) To establish service limitations according to users’ actual application scenarios and cut AI systems’ features that might be abused. AI systems should not provide services that go beyond the preset scope. |
(a) ユーザーの実際の利用シナリオに応じてサービス制限を設け、悪用される可能性のあるAIシステムの機能を削減する。AIシステムは、あらかじめ設定された範囲を超えるサービスを提供してはならない。 |
| (b) To improve the ability to trace the end use of AI systems to prevent high-risk application scenarios such as manufacturing of weapons of mass destruction, like nuclear, biological, chemical weapons and missiles. |
(b) AIシステムの最終用途を追跡する能力を改善し、核兵器、生物兵器、化学兵器、ミサイルなどの大量破壊兵器の製造といった高リスクの適用シナリオを防止する。 |
| 4.2.3 Addressing cognitive risks |
4.2.3 認知リスクへの対応 |
| (a) To identify unexpected, untruthful, and inaccurate outputs via technological means, and regulate them in accordance with laws and regulations. |
(a) 予期せぬ、虚偽の、不正確な出力を技術的手段で識別し、法律や規則に従って規制する。 |
| (b) Strict measures should be taken to prevent abuse of AI systems that collect, connect, gather, analyze, and dig into users’ inquiries to profile their identity, preference, and personal mindset. |
(b) ユーザーの問い合わせを収集、接続、収集、分析し、そのアイデンティティ、好み、個人的な考え方をプロファイリングするAIシステムの悪用を防ぐために、厳格な措置を取るべきである。 |
| (c) To intensify R&D of AI-generated content (AIGC) testing technologies, aiming to better prevent, detect, and navigate the cognitive warfare. |
(c) 認知戦の防止、検知、回避をより効果的に行うことを目的として、AI生成コンテンツ(AIGC)のテスト技術の研究開発を強化する。 |
| 4.2.4 Addressing ethical risks |
4.2.4 倫理的リスクへの対応 |
| (a) Training data should be filtered and outputs should be verified during algorithm design, model training and optimization, service provision and other processes, in an effort to prevent discrimination based on ethnicities, beliefs, nationalities, region, gender, age, occupation and health factors, among others. |
(a) アルゴリズムの設計、モデルの訓練と最適化、サービス提供、その他のプロセスにおいて、民族、信仰、国籍、地域、性別、年齢、職業、健康要因などに基づく識別を防止するために、訓練データはフィルタリングされ、出力は検証されるべきである。 |
| (b) AI systems applied in key sectors, such as government departments, critical information infrastructure, and areas directly affecting public safety and people's health and safety, should be equipped with high-efficient emergency management and control measures. |
(b) 政府部門、重要な情報インフラ、公共の安全や人々の健康と安全に直接影響する分野など、主要な分野で適用されるAIシステムには、高効率な緊急管理および制御手段を装備すべきである。 |
| 5. Comprehensive governance measures |
5. 包括的なガバナンス対策 |
| While adopting technological controls, we should formulate and refine comprehensive AI safety and security risk governance mechanisms and regulations that engage multi-stakeholder participation, including technology R&D institutions, service providers, users, government authorities, industry associations, and social organizations. |
技術的コントロールを採用する一方で、技術研究開発機構、サービス・プロバイダー、ユーザー、政府当局、業界団体、社会組織など、多様なステークホルダーの参加を促す包括的なAIの安全およびセキュリティ・リスク・ガバナンスのメカニズムと規制を策定し、改善すべきである。 |
| 5.1 To implement a tiered and category-based management for AI application. |
5.1 AIのアプリケーションに対して、段階的かつカテゴリー別の管理を実施する。 |
| We should classify and grade AI systems based on their features, functions, and application scenarios, and set up a testing and assessment system based on AI risk levels. We should bolster enduse management of AI, and impose requirements on the adoption of AI technologies by specific users and in specific scenarios, thereby preventing AI system abuse. We should register AI systems whose computing and reasoning capacities have reached a certain threshold or those are applied in specific industries and sectors, and demand that such systems possess the safety protection capacity throughout the life cycle including design, R&D, testing, deployment, utilization, and maintenance. |
AIシステムをその特徴、機能、応用シナリオに基づいて分類・等級付けし、AIのリスクレベルに基づくテスト・アセスメントシステムを構築すべきである。AIのエンドユース管理を強化し、特定のユーザーや特定のシナリオにおけるAI技術の採用に要件を課すことで、AIシステムの悪用を防止すべきである。計算能力や推論能力が一定の水準に達したAIシステムや特定の産業・分野で応用されているAIシステムを登録し、設計、研究開発、テスト、展開、利用、保守といったライフサイクル全体を通じて安全保護能力を備えることを求めるべきである。
|
| 5.2 To develop a traceability management system for AI services. |
5.2 AIサービスのトレーサビリティ管理システムを構築する。 |
| We should use digital certificates to label the AI systems serving the public. We should formulate and introduce standards and regulations on AI output labeling, and clarify requirements for explicit and implicit labels throughout key stages including creation sources, transmission paths, and distribution channels, with a view to enable users to identify and judge information sources and credibility. |
デジタル証明書を用いて、一般向けに提供されるAIシステムにラベルを付けるべきである。また、作成元、伝送経路、配信チャネルなど、主要な段階における明示的および暗示的なラベル付けの要件を明確にし、ユーザーが情報源や信頼性を識別・判断できるようにする。 |
| 5.3 To improve AI data security and personal information protection regulations. |
5.3 AIデータのセキュリティと個人情報保護に関する規制を改善する。 |
| We should explicate the requirements for data security and personal information protection in various stages such as AI training, labeling, utilization, and output based on the features of AI technologies and applications. |
AI技術や応用分野の特徴を踏まえ、AIの訓練、ラベル付け、利用、アウトプットなど、さまざまな段階におけるデータセキュリティや個人情報保護の要件を明確化すべきである。 |
| 5.4 To create a responsible AI R&D and application system. |
5.4 責任あるAIの研究開発・応用体制の構築 |
| We should propose pragmatic instructions and best practices to uphold the people-centered approach and adhere to the principle of developing AI for good in AI R&D and application, and continuously align AI’s design, R&D, and application processes with such values and ethics. We should explore the copyright protection, development and utilization systems that adapt to the AI era and continuously advance the construction of highquality foundational corpora and datasets to provide premium resources for the safe development of AI. We should establish AI-related ethical review standards, norms, and guidelines to improve the ethical review system. |
AIの研究開発と応用において、人間中心のアプローチを維持し、AIを善のために開発するという原則に従うための実用的な指示とベストプラクティスを提案し、AIの設計、研究開発、応用プロセスを継続的にそのような価値観や倫理観に沿うように調整すべきである。AI時代に適応した著作権保護、開発、利用システムを模索し、AIの安全な開発のための高品質な基礎コーパスとデータセットの構築を継続的に推進すべきである。AI関連の倫理審査基準、標準、ガイドラインを確立し、倫理審査システムを改善すべきである。 |
| 5.5 To strengthen AI supply chain security. |
5.5 AIサプライチェーンのセキュリティを強化する。 |
| We should promote knowledge sharing in AI, make AI technologies available to the public under open-source terms, and jointly develop AI chips, frameworks, and software. We should guide the industry to build an open ecosystem, enhance the diversity of supply chain sources, and ensure the security and stability of the AI supply chain. |
AIにおける知識共有を促進し、AI技術をオープンソース条件で公開し、AIチップ、フレームワーク、ソフトウェアを共同開発すべきである。業界を導いてオープンなエコシステムを構築し、サプライチェーンのソースの多様性を高め、AIサプライチェーンのセキュリティと安定性を確保すべきである。 |
| 5.6 To advance research on AI explainability. |
5.6 AIの説明可能性に関する研究を推進する。 |
| We should organize and conduct research on the transparency, trustworthiness, and error-correction mechanism in AI decision-making from the perspectives of machine learning theory, training methods and human-computer interaction. Continuous efforts should be made to enhance the explainability and predictability of AI to prevent malicious consequences resulting from unintended decisions made by AI systems. |
機械学習理論、トレーニング方法、人間とコンピュータの相互作用の観点から、AIの意思決定における透明性、信頼性、エラー修正メカニズムに関する研究を組織し、実施すべきである。AIシステムの意図しない意思決定による悪意ある結果を防ぐため、AIの説明可能性と予測可能性を高めるための継続的な取り組みを行うべきである。 |
| 5.7 To share information, and emergency response of AI safety risks and threats. |
5.7 AIの安全リスクと脅威に関する情報の共有と緊急対応を行う。 |
| We should continuously track and analyze security vulnerabilities, defects, risks, threats, and safety incidents related to AI technologies, software and hardware products, services, and other aspects. We should coordinate with relevant developers and service providers to establish a reporting and sharing information mechanism on risks and threats. We should establish an emergency response mechanism for AI safety and security incidents, formulate emergency plans, conduct emergency drills, and handle AI safety hazards, AI security threats, and events timely, rapidly, and effectively. |
AI技術、ソフトウェアおよびハードウェア製品、サービス、その他の側面に関連するセキュリティ脆弱性、欠陥、リスク、脅威、安全インシデントを継続的に追跡・分析すべきである。関連する開発者およびサービスプロバイダと連携し、リスクおよび脅威に関する報告および情報共有の仕組みを構築すべきである。AIの安全およびセキュリティインシデントに対する緊急対応の仕組みを構築し、緊急対応計画を策定し、緊急対応訓練を実施し、AIの安全上の危険、AIのセキュリティ上の脅威、および事象に迅速かつ効果的に対応すべきである。 |
| 5.8 To enhance the training of AI safety talents. |
5.8 AI安全人材の育成を強化する。 |
| We should promote the development of AI safety education in parallel with AI discipline. We should leverage schools and research institutions to strengthen talent cultivation in the fields of design, development, and governance for AI safety. Support should be given to cultivating top AI safety talent in the cutting-edge and foundational fields, and also expanding such talent pool in areas such as autonomous driving, intelligent healthcare, brain-inspired intelligence and brain-computer interface. |
AIの学問分野の発展と歩調を合わせて、AI安全教育の発展を推進すべきである。学校や研究機構を活用し、AI安全の設計、開発、ガバナンスの各分野における人材育成を強化すべきである。最先端分野および基盤分野におけるAI安全分野のトップ人材の育成を支援し、自動運転、インテリジェントヘルスケア、脳に着想を得たインテリジェンス、ブレイン・コンピュータ・インターフェースなどの分野における人材プールを拡大すべきである。 |
| 5.9 To establish and improve the mechanisms for AI safety education, industry self-regulation, and social supervision. |
5.9 AI安全教育、業界の自主規制、社会監督のメカニズムを確立し、改善する。 |
| We should strengthen education and training on the safe and proper use of AI among government, enterprises, and public service units. We should step up the promotion of knowledge related to AI risks and their prevention and response measures in order to increase public awareness of AI safety in all respects. We should guide and support industry associations in the fields of cybersecurity and AI to enhance industry self-regulation, and formulate self-regulation conventions that exceed regulatory requirements and serve exemplary roles. We should guide and encourage AI technology R&D institutions and service providers to continue to improve their safety capacity. A mechanism for handling public complaints and reports on AI risks and hazards should be established, forming an effective social supervision atmosphere for AI safety. |
政府、エンタープライズ、公共サービス部門におけるAIの安全かつ適切な利用に関する教育と訓練を強化すべきである。AIのリスクと予防・対応策に関する知識の普及を強化し、AIの安全性に対する国民の意識をあらゆる面で高めるべきである。サイバーセキュリティとAIの分野における業界団体が業界の自主規制を強化し、規制要件を超える自主規制規約を策定し、模範的な役割を果たすよう、業界団体を指導・支援すべきである。AI技術の研究開発機構とサービスプロバイダが、安全性の能力を継続的に改善するよう指導・奨励すべきである。AIのリスクと危険性に関する公衆の苦情や報告に対応するメカニズムを構築し、AIの安全性に関する効果的な社会監督の環境を形成すべきである。 |
| 5.10 To promote international exchange and cooperation on AI safety governance. |
5.10 AIの安全ガバナンスに関する国際交流と協力を推進する。 |
| We should actively make efforts to conduct cooperation with countries, support the building of an international institution on AI governance within the United Nations framework to coordinate major issues related to AI development, safety, security, and governance. We should advance cooperation on AI safety governance under multilateral mechanisms such as APEC, G20 and BRICS, and strengthen cooperation with Belt and Road partner countries and Global South countries. Efforts should be made to study the matters relating to the construction of an AI safety governance alliance to increase the representation and voice of developing countries in global AI governance. AI enterprises and institutions should be encouraged to engage in international exchanges and cooperation, share their best practices, jointly develop international standards of AI safety. |
AIの開発、安全性、セキュリティ、ガバナンスに関する主要な問題を調整するため、国連の枠組み内でAIガバナンスに関する国際機構の構築を支援し、各国との協力を積極的に行うべきである。我々は、APEC、G20、BRICSなどの多国間メカニズムの下でAI安全ガバナンスに関する協力を進め、一帯一路パートナー諸国およびグローバル・サウス諸国との協力を強化すべきである。AIのグローバルガバナンスにおける途上国の代表性と発言力を高めるために、AI安全ガバナンス同盟の構築に関する事項の研究に努めるべきである。AI企業および機構は、国際交流と協力を奨励し、ベストプラクティスを共有し、AI安全の国際標準を共同開発すべきである。 |
| 6. Safety guidelines for AI development and application |
6. AIの開発と応用に関する安全ガイドライン |
| 6.1 Safety guidelines for model algorithm developers |
6.1 モデルアルゴリズム開発者のための安全ガイドライン |
| (a) Developers should uphold a people-centered approach, adhere to the principle of AI for good, and follow science and technology ethics in key stages such as requirement analysis, project initiation, model design and development, and training data selection and use, by taking measures such as internal discussions, organizing expert evaluations, conducting technological ethical reviews, listening to public opinions, communicating and exchanging ideas with potential target audience, and strengthening employee safety education and training. |
(a) 開発者は、人間中心のアプローチを堅持し、AI for goodの原則を遵守し、要件分析、プロジェクト 内部での議論、専門家の評価の実施、技術倫理審査の実施、世論の聴取、潜在的な対象者とのコミュニケーションや意見交換、従業員の安全教育や研修の強化などの措置を講じることにより、要件分析、プロジェクトの開始、モデルの設計と開発、訓練データの選択と使用などの重要な段階において、人間中心のアプローチを維持し、AIの善用という原則に従い、科学技術倫理に従うべきである。 |
| (b) Developers should strengthening data security and personal information protection, respect intellectual property and copyright, and ensure that data sources are clear and acquisition methods are compliant. Developers should establish a comprehensive data security management procedure, ensuring data security and quality as well as compliant use, to prevent risks such as data leakage, loss, and diffusion, and properly handle user data when terminating AI products. |
(b) 開発者は、データセキュリティと個人情報の保護を強化し、知的財産権と著作権を尊重し、データソースが明確であり、取得方法が適法であることを保証すべきである。開発者は、データ漏洩、損失、拡散などのリスクを防止し、AI製品の終了時にユーザーデータを適切に処理するために、データセキュリティと品質を確保し、コンプライアンスに準拠した利用を徹底した包括的なデータセキュリティ管理手順を確立すべきである。 |
| (c) Developers should guarantee the security of training environment for AI model algorithms, including cybersecurity configurations and data encryption measures. |
(c) 開発者は、サイバーセキュリティ構成やデータ暗号化対策など、AIモデルアルゴリズムのトレーニング環境のセキュリティを保証すべきである。 |
| (d) Developers should assess potential biases in AI models and algorithms, improve sampling and testing for training data content and quality, and come up with effective and reliable alignment algorithms to ensure risks like value and ethical risks are controllable. |
(d) 開発者は、AIモデルおよびアルゴリズムにおける潜在的なバイアスをアセスメントし、学習データのコンテンツおよび品質に関するサンプリングとテストを改善し、価値リスクや倫理リスクなどのリスクを制御可能なものとするために、効果的かつ信頼性の高いアラインメントアルゴリズムを考案すべきである。 |
| (e) Developers should evaluate the readiness of AI products and services based on the legal and risk management requirements of the target markets. |
(e) 開発者は、対象市場の法的およびリスクマネジメント要件に基づいて、AI製品およびサービスの準備状況を評価すべきである。 |
| (f) Developers should effectively manage different versions of AI products and related datasets. Commercial versions should be capable of reverting to previous versions if necessary. |
(f) 開発者は、AI製品および関連データセットの異なるバージョンを効果的に管理すべきである。商用バージョンは、必要に応じて以前のバージョンに戻せるようにすべきである。 |
| (g) Developers should regularly conduct safety and security evaluation tests. Before testing, they should define test objectives, scope, safety and security dimensions, and construct diverse test datasets covering all kinds of application scenarios. |
(g) 開発者は、安全性およびセキュリティ評価テストを定期的に実施すべきである。テスト実施前に、テストの目的、範囲、安全性およびセキュリティの次元を定義し、あらゆる種類のアプリケーションシナリオを網羅する多様なテストデータセットを構築すべきである。 |
| (h) Developers should formulate clear test rules and methods, including manual testing, automated testing, and hybrid testing, and utilize technologies such as sandbox simulations to fully test and verify models. |
(h) 開発者は、手動テスト、自動テスト、ハイブリッドテストを含む明確なテストルールと方法を策定し、サンドボックスシミュレーションなどの技術を活用して、モデルを十分にテストし検証すべきである。 |
| (i) Developers should evaluate tolerance of AI products and services for external interferences and notify service providers and users in forms of application scope, precautions, and usage prohibitions. |
(i) 開発者は、AI製品およびサービスが外部からの干渉に対してどの程度耐性があるかを評価し、適用範囲、注意事項、使用禁止などの形でサービスプロバイダおよびユーザーに通知すべきである。 |
| (j) Developers should generate detailed test reports to analyze safety and security issues, and propose improvement plans. |
(j) 開発者は、安全性とセキュリティの問題を分析し、改善計画を提案するために、詳細なテストレポートを作成すべきである。 |
| 6.2 Safety guidelines for AI service providers |
6.2 AIサービスプロバイダの安全ガイドライン |
| (a) Service providers should publicize capabilities, limitations, target users, and use cases of AI products and services. |
(a) サービスプロバイダは、AI製品およびサービスの機能、限界、対象ユーザー、および使用事例を公表すべきである。 |
| (b) Service providers should inform users of the application scope, precautions, and usage prohibitions of AI products and services in a user-friendly manner within contracts or service agreements, supporting informed choices and cautious use by users. |
(b) サービスプロバイダは、契約またはサービス契約の中で、ユーザーにAI製品およびサービスの適用範囲、注意事項、および使用禁止事項をユーザーにわかりやすい方法で通知し、ユーザーによる情報に基づいた選択と慎重な使用を支援すべきである。 |
| (c) Service providers should support users to undertake responsibilities of supervision and control within documents such as consent forms and service agreements. |
(c) サービスプロバイダは、同意書やサービス契約などの文書の中で、ユーザーが監督と制御の責任を負うことを支援すべきである。 |
| (d) Service providers should ensure that users understand AI products' accuracy, and prepare explanatory plans when AI decisions exert significant impact. |
(d) サービスプロバイダは、ユーザーがAI製品の精度を理解していることを確認し、AIの判断が重大な影響を及ぼす場合は説明計画を準備すべきである。 |
| (e) Service providers should review responsibility statements provided by developers to ensure that the chain of responsibility can be traced back to any recursively employed AI models. |
(e) サービスプロバイダは、開発者が提供する責任に関する声明を検証し、責任の連鎖が再帰的に使用されるAIモデルにまで遡って追跡できることを確認すべきである。 |
| (f) Service providers should increase awareness of AI risk prevention, establish and improve a real-time risk monitoring and management mechanism, and continuously track operational security risks. |
(f) サービス・プロバイダは、AIリスクの予防に対する意識を高め、リアルタイムのリスクモニタリングおよびリスクマネジメントの仕組みを構築・改善し、運用上のセキュリティリスクを継続的に追跡すべきである。 |
| (g) Service providers should assess the ability of AI products and services to withstand or overcome adverse conditions under faults, attacks, or other anomalies, and prevent unexpected results and behavioral errors, ensuring that a minimum level of effective functionality is maintained. |
(g) サービス・プロバイダは、AI製品およびサービスが、エラー、攻撃、その他の異常な状況下で、悪条件に耐える、または悪条件を克服する能力をアセスメントし、予期せぬ結果や動作エラーを防止し、最低限の有効な機能が維持されることを保証すべきである。 |
| (h) Service providers should promptly report safety and security incidents and vulnerabilities detected in AI system operations to competent authorities. |
(h) サービスプロバイダは、AIシステムの運用において検知した安全およびセキュリティインシデント、ならびに脆弱性を、速やかに管轄当局に報告すべきである。 |
| (i) Service providers should stipulate in contracts or service agreements that they have the right to take corrective measures or terminate services early upon detecting misuse and abuse not conforming to usage intention and stated limitations. |
(i) サービスプロバイダは、利用目的や規定された制限に適合しない誤用や乱用を検知した場合、是正措置を講じたり、早期にサービスを終了する権利を有することを、契約またはサービス契約に明記すべきである。 |
| (j) Service providers should assess the impact of AI products on users, preventing harm to users' mental and physical health, life, and property. |
(j) サービスプロバイダは、AI製品がユーザーに与える影響をアセスメントし、ユーザーの心身の健康、生命、財産への被害を防止すべきである。 |
| 6.3 Safety guidelines for users in key areas |
6.3 主要分野におけるユーザーの安全ガイドライン |
| (a) For users in key sectors such as government departments, critical information infrastructure, and areas directly affecting public safety and people's health and safety, they should prudently assess the long-term and potential impacts of applying AI technology in the target application scenarios and conduct risk assessments and grading to avoid technology abuse. |
(a) 政府部門、重要な情報インフラ、公共の安全や人々の健康と安全に直接影響する分野など、主要分野のユーザーは、対象となるアプリケーションシナリオにAI技術を適用した場合の長期的および潜在的な影響を慎重にアセスメントし、リスクアセスメントと格付けを実施して、技術の悪用を回避すべきである。 |
| (b) Users should regularly perform system audits on the applicable scenarios, safety, reliability, and controllability of AI systems, while enhancing awareness of risk prevention and response capabilities. |
(b) ユーザーは、リスク予防と対応能力に対する意識を高めつつ、該当するシナリオ、AIシステムの安全性、信頼性、制御可能性について、定期的にシステム監査を行うべきである。 |
| (c) Users should fully understand its data processing and privacy protection measures before using an AI product. |
(c) ユーザーは、AI製品を使用する前に、そのデータ処理およびプライバシー保護対策を十分に理解すべきである。 |
| (d) Users should use high-security passwords and enable multi-factor authentication mechanisms to enhance account security. |
(d) ユーザーは、アカウントのセキュリティを強化するために、安全性の高いパスワードを使用し、多要素認証メカニズムを有効にすべきである。 |
| (e) Users should enhance their capabilities in areas such as network security and supply chain security to reduce the risk of AI systems being attacked and important data being stolen or leaked, as well as ensure uninterrupted business. |
(e) ユーザーは、AIシステムが攻撃を受け、重要なデータが盗難または漏洩されるリスクを低減し、かつ、事業の中断を防止するために、ネットワークセキュリティやサプライチェーンセキュリティなどの分野における能力を強化すべきである。 |
| (f) Users should properly limit data access, develop data backup and recovery plans, and regularly check data processing flow. |
(f) ユーザーは、データアクセスを適切に制限し、データバックアップおよび復旧計画を策定し、データ処理の流れを定期的に確認すべきである。 |
| (g) Users should ensure that operations comply with confidentiality provisions and use encryption technology and other protective measures when processing sensitive data. |
(g) ユーザーは、機密保持規定に準拠した運用を確保し、機密データを処理する際には暗号化技術やその他の防御策を使用すべきである。 |
| (h) Users should effectively supervise the behavior and impact of AI, and ensure that AI products and services operate under human authorization and remain subject to human control. |
(h) ユーザーは、AIの行動と影響を効果的に監督し、AI製品およびサービスが人間の認可の下で運用され、人間の管理下にあることを確保すべきである。 |
| (i) Users should avoid complete reliance on AI for decision making, monitor and record instances where users turn down AI decisions, and analyze inconsistencies in decision-making. They should have the capability to swiftly shift to human-based or traditional methods in the event of an accident. |
(i) 利用者は、意思決定においてAIに完全に依存することを避け、AIの判断を拒否する事例を監視・記録し、意思決定における矛盾を分析すべきである。また、事故が発生した場合には、迅速に人間による方法や従来の方法に切り替える能力を備えるべきである。 |
| 6.4 Safety guidelines for general users |
6.4 一般利用者向けの安全ガイドライン |
| (a) Users should raise their awareness of the potential safety risks associated with AI products, and select AI products from reputable providers. |
(a) 利用者は、AI製品に関連する潜在的な安全リスクに対する認識を高め、信頼できるプロバイダのAI製品を選択すべきである。 |
| (b) Before using an AI product, users should carefully review the contract or service terms to understand its functions, limitations, and privacy policies. Users should accurately recognize the limitations of AI products in making judgments and decisions, and set reasonable expectations. |
(b) 利用者は、AI製品を使用する前に、契約またはサービス条件を慎重に確認し、その機能、限界、プライバシーポリシーを理解すべきである。利用者は、AI製品が判断や決定を行う際の限界を正確に認識し、合理的な期待を設定すべきである。 |
| (c) Users should enhance awareness of personal information protection and avoid entering sensitive information unnecessarily. |
(c) 利用者は、個人情報保護に対する意識を高め、不必要に機密情報を入力しないようにすべきである。 |
| (d) Users should be informed about data processing practices and avoid using products that are not in conformity with privacy principles. |
(d) 利用者は、データ処理の慣行について知らされるべきであり、プライバシー原則に準拠していない製品を使用しないようにすべきである。 |
| (e) Users should be mindful of cybersecurity risks when using AI products to prevent them from becoming targets of cyberattacks. |
(e) 利用者は、AI製品を使用する際にサイバーセキュリティリスクを意識し、サイバー攻撃の標的にならないようにすべきである。 |
| (f) Users should be aware of the potential impact of AI products on minors and take steps to prevent addiction and excessive use. |
(f) 利用者は、AI製品が未成年者に与える潜在的な影響を認識し、依存や過剰利用を防ぐための措置を講じるべきである。 |
| Table of AI Safety and Security Risks to Technical Countermeasures and Comprehensive Governance Measures |
表 技術的対策と包括的ガバナンス対策のAIの安全性とセキュリティリスク |
Recent Comments