| AI systems for social scoring |
社会的スコアリングのためのAIシステム |
| Prohibition in EU Regulation 2024/1689 (AI Act) |
EU規則2024/1689（AI法）による禁止 |
| Autoriteit Persoonsgegevens (NL) – Department for the Coordination of Algorithmic Oversight (DCA) |
オランダ個人データ保護局 - アルゴリズム監督調整局（DCA） |
| December 2024 |
2024年12月 |
| DCA-2024-03 |
DCA-2024-03 |
| Summary |
概要 |
| The European AI Act (2024/1689) has been in force since 1 August 2024 and regulates the use of Artificial Intelligence (AI) in the European Union (EU). The AI act has a risk-based approach. As a result, certain AI systems posing an unacceptable risk are prohibited from 2 February 2025. |
欧州AI法（2024/1689）は2024年8月1日より施行されており、欧州連合（EU）における人工知能（AI）の利用を規制している。AI法はリスクベースのアプローチを採用している。その結果、容認できないリスクをもたらす特定のAIシステムは、2025年2月2日より禁止される。 |
| It is up to the supervisors of the AI Act to explain how the prohibitions will be interpreted for the purpose of supervision. In order to prepare for this in The Netherlands, the Autoriteit Persoonsgegevens (AP) asks interested parties (citizens, governments, businesses and other organisations) and their representatives for their needs, information and insights. We can use all input to consider the necessary further clarification of the prohibited AI systems. |
禁止事項が監督の目的でどのように解釈されるかについては、AI法の監督当局が説明する。オランダではこれに備えるため、オランダ個人データ保護局（AP）は、利害関係者（市民、政府、企業、その他の組織）およびその代表者に対して、ニーズ、情報、見解を求めている。禁止されたAIシステムについて、必要なさらなる明確化を検討するために、あらゆる意見を活用することができる。 |
| On 27 September 2024, the AP published the first call for input on the first two prohibitions of the AI Act and on 31 October the second call for input on emotion recognition in the areas of workplace or education institutions. In this third call for input, we address the third prohibition: AI systems for social scoring (prohibition C). This document outlines specific criteria for these prohibited AI systems while requesting (additional) input through a set of questions. Contributions can be submitted until 7 February 2025. |
2024年9月27日、APはAI法の最初の2つの禁止事項に関する最初の意見募集を行い、10月31日には職場や教育機関における感情認識に関する2回目の意見募集を行った。この3回目の意見募集では、3つ目の禁止事項である「社会的スコアリングのためのAIシステム（禁止事項C）」を取り上げる。この文書では、これらの禁止されたAIシステムに関する具体的な規準を概説しながら、一連の質問を通じて（追加の）意見を求めている。意見は2025年2月7日まで提出可能である。 |
| The AP makes this call for input based on its role as a coordinating supervisor of algorithms and AI. For the purpose of this new task, the Department for the Coordination of Algorithmic Oversight (DCA) was established within the AP. This call for input also aligns with the preparatory work being done in support of future supervision of AI systems that are prohibited under the AI Act. The Dutch government is currently working on the formal designation of national supervisory authorities for the AI Act. |
APは、アルゴリズムおよびAIの調整監督機関としての役割に基づき、意見募集の呼びかけを行っている。この新たな任務を遂行するために、AP内にアルゴリズム監督調整局（DCA）が設立された。この意見募集の呼びかけは、AI法で禁止されたAIシステムの将来的な監督を支援する準備作業とも一致している。オランダ政府は現在、AI法に関する国家監督当局の正式指定に取り組んでいる。 |
| I. Background |
I. 背景 |
| 1. The European AI Act (2024/1689) has been in force since 1 August 2024. This Regulation sets out rules for the provision and the use of artificial intelligence (AI) in the EU. The premise of the AI Act is that while there are numerous beneficial applications of AI, the technology also entails risks that have to be managed. The legislation follows a risk-based approach. More restrictive rules will apply to those AI systems that pose a greater risk. Some systems entail such an unacceptable risk that their placing on the market or use is completely prohibited. This is, for example, the case with AI systems that are used for social scoring. The prohibitions are set out in Article 5 of the AI Act. |
1. 欧州AI法（2024/1689）は2024年8月1日より施行されている。この規則は、EUにおける人工知能（AI）の提供および利用に関する規則を定めている。AI法の前提は、AIには数多くの有益な用途がある一方で、この技術には管理が必要なリスクも伴うというものである。この法律はリスクベースのアプローチを採用している。より大きなリスクをもたらすAIシステムには、より制限的な規則が適用される。一部のシステムは、市場への投入や使用が完全に禁止されるほど容認できないリスクを伴う。これは、例えば社会的スコアリングに使用されるAIシステムの場合である。禁止事項はAI法第5条に規定されている。 |
| 2. This call for input provides a preliminary basis for further clarification of the prohibitions in the AI Act. To get there, this call for input aims to gather generic information and insights on, among other things, the functioning of AI technologies and the application possibilities that are relevant to the clarification of the prohibitions. |
2. この意見募集は、AI法における禁止事項のさらなる明確化に向けた予備的な基礎を提供するものである。この意見募集では、禁止事項の明確化に関連するAI技術の機能や応用可能性など、一般的な情報や見識を集めることを目的としている。 |
| Prohibited AI applications as from February 2025 |
2025年2月以降禁止されるAIアプリケーション |
| 3. The prohibitions in the AI Act will become applicable soon. As from 2 February 2025, the prohibited AI systems listed in Article 5 may no longer be put on the European market or used. As from 2 August 2025, market surveillance authorities should be designated for prohibited AI systems and sanctions may be imposed for violations of the prohibitions. Before this time, violation of one of the prohibitions could already lead to civil liability. |
3. AI法の禁止規定は間もなく適用される。2025年2月2日以降、第5条に列挙された禁止AIシステムは欧州市場に投入したり使用したりすることはできなくなる。2025年8月2日以降、禁止AIシステムについては市場監視当局が指定され、禁止規定違反に対して制裁が科される可能性がある。それ以前であっても、禁止規定のいずれかに違反した場合は民事責任を問われる可能性がある。 |
| Supervision in the Netherlands on compliance with the prohibitions |
オランダにおける禁止事項の遵守に関する監督 |
| 4. The Dutch government is currently working on legislation designating which supervisory authority will be responsible for overseeing compliance with the prohibitions. The AP (from the Department for the Coordination of Algorithmic Oversight) and the Dutch Authority for Digital Infrastructure (RDI) have issued an advice on this matter in collaboration and coordination with other supervisory authorities. It has been recommended, among other things, that the AP could be designated as the market surveillance authority for most of the prohibitions in Article 5. Following these recommendations, the AP will closely cooperate with other relevant supervisors for the supervision of prohibited AI systems. |
4. オランダ政府は現在、どの監督当局が禁止事項の遵守を監督する責任を負うかを定める法律の策定に取り組んでいる。AP（アルゴリズム監督調整局）とオランダのデジタルインフラ当局（RDI）は、他の監督当局と協力・調整しながら、この問題に関する助言を発表した。とりわけ、第5条の禁止事項のほとんどについて、APを市場監視当局として指定することが推奨されている。これらの勧告に従い、APは禁止されたAIシステムの監視に関して、他の関連監督当局と緊密に協力する。 |
| 5. Because the prohibitons in this call concern AI systems that also fall under other Union laws, this call has been coordinated within the AI and Algorithm group of the Dutch Cooperation Platform of Digital Supervisory authorities. This is in the spirit of the requirement in Article 70(8) of the AI Act to consult relevant national competent authorities responsible for other Union law that covers AI systems. |
5. 本要請における禁止事項は、他のEU法にも該当するAIシステムに関するものであるため、本要請は、オランダのデジタル監督当局協力プラットフォームのAIおよびアルゴリズムグループ内で調整されている。これは、AIシステムを対象とする他のEU法を担当する関連の国内所轄当局と協議するというAI法第70条(8)項の要件の精神に則ったものである。 |
| II. About this call for input |
II. 本意見募集要請について |
| Purpose: Why do we ask for input |
目的：なぜ意見を求めるのか |
| 6. It is up to the supervisors of the AI Act to explain how the prohibitions will be interpreted for the purpose of supervision. In preparation for this, the AP is asking for information and insights from stakeholders (citizens, governments, companies and other organisations) and their representatives. All responses can be used for further explanation of the prohibited AI. Within the AP, the Department for the Coordination of Algorithmic Oversight is charged with this task. |
6. 禁止事項が監督の目的でどのように解釈されるかを説明するのは、AI法の監督当局の責任である。これに備えて、APは利害関係者（市民、政府、企業、その他の組織）およびその代表者から情報や見識を求めている。すべての回答は、禁止されたAIのさらなる説明に使用することができる。AP内では、アルゴリズム監督調整局がこの任務を担っている。 |
| 7. This call for input discusses the prohibition outlined in Article 5, paragraph 1, subparagraph c of the AI Act. In addition to this call for input, the AP already published a first call on 27 September 2024 on two other prohibitions, namely the prohibition on manipulative and deceptive AI systems and the prohibition on exploitative AI systems. The second call for input on emotion recognition in the areas of workplace or education institutions was published on October 31 2024 |
7. この意見募集では、AI法第5条第1項c号に規定された禁止事項について議論する。この意見募集に加えて、APはすでに2024年9月27日に、2つの他の禁止事項、すなわち、操作および欺瞞的なAIシステムに関する禁止事項と、搾取的なAIシステムに関する禁止事項に関する最初の意見募集を行っている。職場または教育機関における感情認識に関する2回目の意見募集は、2024年10月31日に発表された |
| 8. The legislative text and the recitals serve as the foundations for this call for input. Given the scope and possible impact of this prohibition, a call for input is issued for this prohibition. Please refer to the annex to this document for an overview of all prohibitions in subparagraphs (a) to (g) of Article 5, paragraph 1 of the AI Act. |
8. 立法文および前文は、本意見募集の基礎となる。本禁止事項の範囲および影響を考慮し、本禁止事項に関する意見募集を行う。AI法第5条第1項(a)から(g)のすべての禁止事項の概要については、本文書の附属書を参照のこと。 |
| 9. This call for input highlights specific aspects of this prohibition. The focus is on those specific criteria that determine whether or not an AI system is within the scope of this prohibition. Each criterion is briefly explained based on the legislator’s recitals of the AI Act. In some cases, we provide an interpretation of our own. If we do so, this is explicitly mentioned. We then pose several questions, the answers to which will contribute to a better understanding of the prohibition. |
9. この意見募集では、この禁止事項の特定の側面を強調する。焦点は、AIシステムがこの禁止事項の対象範囲内にあるかどうかを決定する特定の規準にある。各規準は、AI法の立法者の序文に基づいて簡単に説明されている。場合によっては、独自の解釈を提示している。その場合は、その旨を明示的に記載している。次に、禁止事項のより良い理解に役立ついくつかの質問を提示する。 |
| Process: This is how you send your input to us. |
プロセス： これが、皆様からご意見をいただく方法である。 |
10. You decide which questions you answer. You can also provide us with other relevant input in addition to the questions asked. Please send your input to [mail]
by 7 February 2025. Please mention the subject “call for input DCA-2024-03 (‘AI systems for social scoring’) and your name and/or your organisation in your email. If desired, you can provide us with your contact details so that we can reach you in case we have further questions. When we have received your input, we will send you a confirmation by e-mail. |
10. どの質問に回答するかは、皆様が決定する。また、質問された項目以外にも、関連するご意見を提出していただいても構わない。ご意見は、2025年2月7日までに[mail]
までお送りいただきたい。メールには、「意見募集 DCA-2024-03（「社会的スコアリングのためのAIシステム」）について」という件名と、氏名および/または所属を記載すること。必要に応じて、追加の質問がある場合に連絡できるよう、連絡先を記載することも可能。意見を受け取った後、確認のメールを返信する。 |
| Follow-up: What do we do with your input? |
フォローアップ：意見はどのように扱われるのか？ |
| 11. After the closure of this call for input, the AP will publish a summary and appreciation of the input on AI systems for emotion recognition in the areas of workplace or education institutions. In this summary, we will refer in generic terms to the input received (e.g., “several sectoral representative organisations have indicated that’, “a developer of AI systems points out that”, “organisations advocating for fundamental rights note that”). If preferred and indicated by you, we may explicitly name your organisation or group. Through our summarised and evaluative response, we can also share the acquired insights with other (European) AI supervisory authorities. For instance, the summary and appreciation of the contribution may be utilised in the drafting of guidelines on the prohibitions. |
11. 意見募集期間終了後、APは職場または教育機関における感情認識AIシステムに関する意見の要約と評価を公表する。この要約では、受け取った意見を一般的に言及する（例えば、「複数の部門代表組織が指摘している」、「AIシステム開発者が指摘している」、「基本的人権を擁護する組織が指摘している」など）。ご要望があり、ご指示いただければ、貴団体またはグループを明示的に名指しすることも可能である。要約と評価を伴う回答を通じて、我々はまた、他の（欧州）AI監督当局と得られた洞察を共有することもできる。例えば、貢献の要約と評価は、禁止に関するガイドラインのドラフト作成に活用できる可能性がある。 |
| 12. We will only use your input for our task to obtain information and insights about the prohibitions in the AI Act. We will delete your personal data after publication of our summary and evaluation of the input, unless you have given permission for further use. For more information about how we process personal data, please see: The AP and privacy. |
12. 皆様からいただいたご意見は、AI法における禁止事項に関する情報および見識を得るという私たちの任務にのみ使用する。私たちは、皆様からいただいたご意見の要約および評価を公表した後、皆様がそれ以上の使用を許可しない限り、皆様の個人情報を削除する。個人情報の取り扱いに関する詳細は、APとプライバシーを参照のこと。 |
| More calls for input |
さらなる意見募集 |
| 13. Following this call, there may be more calls for input on other parts of the AI Act, including the prohibitions. The AP has previously called for input on manipulative, misleading and exploitative AI systems as well as on AI systems that are used for emotion recognition in the areas of workplace or education institutions. |
13. 本意見募集に続き、禁止事項を含むAI法の他の部分について、さらなる意見募集が行われる可能性がある。APは、これまでにも、操作的なAIシステム、誤解を招くAIシステム、搾取的なAIシステム、および職場や教育機関における感情認識に使用されるAIシステムについて意見を募集している。 |
| III. Definition of the prohibition on AI systems for social scoring |
III. 社会的スコアリングのためのAIシステムの禁止の定義 |
| General scope of prohibited AI systems |
禁止されるAIシステムの一般的な範囲 |
| 14.The AI Act (and its prohibitions) apply to ‘AI systems’. Thus, in order to determine whether the Regulation applies, an important question is whether the product falls within the definition of an AI system: |
14.AI法（およびその禁止事項）は「AIシステム」に適用される。したがって、規則が適用されるかどうかを判断するには、その製品がAIシステムの定義に該当するかが重要な問題となる。 |
| ‘ A machine-based system that is designed to operate with varying levels of autonomy and that may exhibit adaptiveness after deployment, and that, for explicit or implicit objectives, infers from the input it receives how to generate outputs such as predictions, content, recommendations or decisions that can influence physical or virtual environments.’ |
「さまざまなレベルの自律性を備えて設計され、展開後に適応性を示す可能性があり、明示的または暗黙的な目的のために、予測、コンテンツ、推奨、または物理的または仮想環境に影響を与える可能性のある決定などの出力を生成する方法を、受け取った入力から推論する、機械ベースのシステム」 |
| 15.The prohibitions are addressed to providers (e.g. developers), deployers, importers, distributors and other operators. These operators shall not place on the market, put into service or use the prohibited AI systems. Therefore, it is important for the above operators to ensure that they do not place on the market or use a prohibited AI system. To do so, they will have to verify whether the AI system in question falls under the prohibitions in Article 5. |
15.禁止事項は、プロバイダー（開発者など）、展開者、輸入業者、流通業者、その他の運営者に適用される。これらの事業者は、禁止されたAIシステムを市場に投入したり、使用したりしてはならない。したがって、上記の事業者は、禁止されたAIシステムを市場に投入したり使用したりしないことを確実にすることが重要である。そのためには、当該AIシステムが第5条の禁止事項に該当するかどうかを確認する必要がある。 |
| Content of the prohibition |
禁止の内容 |
| 16.This call for input focuses on the prohibition of AI systems used for social scoring. The AI Act prohibits AI systems used for social scoring by evaluating or classifying natural persons or groups of persons based on their social behaviour or personal characteristics (hereinafter: systems for social scoring). In the remainder of this call for input, we will refer to this prohibition as ‘prohibition C’. The Regulation defines this prohibition as follows: |
16.本意見募集では、ソーシャル・スコアリングに用いられるAIシステムの禁止に焦点を当てる。AI法は、自然人または自然人の集団を、その社会的行動または個人的特性に基づいて評価または分類するAIシステム（以下「ソーシャル・スコアリング用システム」という）を禁止している。本意見募集の残りの部分では、この禁止を「禁止C」と呼ぶ。規則では、この禁止は次のように定義されている。 |
| Article 5(1)(c) (‘Prohibition C’): |
第5条(1)(c)（「禁止C」）： |
| ‘the placing on the market, putting into service or the use of AI systems for the evaluation or classification of natural persons or groups of persons over a certain period of time based on their social behaviour or known, inferred or predicted personal or personality characteristics, with the social score leading to either or both of the following: |
「一定期間にわたって、自然人の評価または分類を行うAIシステムを市場に投入し、稼働させ、または使用すること。ただし、その評価または分類は、当該自然人の社会的行動、または既知、推論、予測された個人または人格的特性に基づくものとする。また、社会的スコアは、以下のいずれか、または両方につながるものとする。 |
| i) detrimental or unfavourable treatment of certain natural persons or groups of persons in a social contexts that are unrelated to the contexts in which the data was originally generated or collected; |
i) データがもともと生成または収集された文脈とは無関係な社会的文脈において、特定の自然人または自然人グループに不利益または好ましくない扱いをもたらすこと |
| ii) detrimental or unfavourable treatment of certain natural persons or groups of persons that is unjustified or disproportionate to their social behaviour or its gravity;’ |
ii) 特定の自然人または自然人グループに不利益または好ましくない扱いをもたらすこと、ただし、その社会的行動またはその重大性に対して正当化できない、または不均衡である場合 |
| 17.Finally, the AI Act is without prejudice to the GDPR. Obligations of providers and deployers of AI systems in their role as controllers or processors stemming from Union or national law on the protection of personal data continue to apply in respect of the design, development or use of AI systems. |
17.最後に、AI法はGDPRに影響を及ぼすものではない。AIシステムの設計、開発、または使用に関して、個人データの保護に関するEU法または国内法に由来する管理者または処理者としてのAIシステム提供者および展開者の義務は引き続き適用される。 |
| IV. Criteria and questions regarding the prohibition |
IV.禁止に関する規準および質問 |
| 18. In order to structure this call for input, separate criteria of the prohibitions have been set out in more detail in the next section. These criteria are highlighted because they are important conditions for determining whether or not AI systems are covered by prohibition C. A brief explanation is provided for each criterion, based on the explanation provided by the legislator in the explanatory recitals to the AI Act. In some cases, explanations are based on the AP's own interpretation; this is clearly indicated. This is followed by some accompanying questions that you can use when giving your input. |
18. この意見募集要項を構成するために、禁止事項の個別の規準が次のセクションでより詳細に説明されている。これらの規準は、AIシステムが禁止事項Cの対象となるかどうかを判断する上で重要な条件であるため、強調されている。各規準について、AI法の説明的な序文で立法者が提供した説明に基づいて、簡単な説明が提供されている。一部のケースでは、AP独自の解釈に基づく説明も含まれている。これは明確に示されている。これに続いて、意見を述べる際に使用できるいくつかの関連質問が記載されている。 |
| Criterion 1: Social scoring: evaluation or classification of natural persons or groups of persons over a certain period of time based on their social behaviour or known, inferred or predicted personal or personality characteristics |
規準1：ソーシャル・スコアリング：一定期間における自然人または人々のグループの社会的行動、または既知、推測、予測される個人的または人格的特性に基づく評価または分類 |
| 19. This prohibition covers certain AI systems intended for the evaluation or classification of natural persons or groups of persons, that is social scoring. This evaluation or classification – and thus the social scoring – may lead to the detrimental or unfavourable treatment of certain natural persons or groups of persons. The recital describes that social scoring may lead to discriminatory outcomes and the exclusion of certain groups, violating the right to dignity and non-discrimination and values such as equality and justice. The recitals also highlight that these AI systems for social scoring can be provided or deployed by both private and public actors. |
19. この禁止は、自然人または人々のグループの評価または分類を目的とする特定のAIシステム、すなわちソーシャル・スコアリングを対象としている。この評価または分類、つまり社会的スコアリングは、特定の自然人または自然人グループに不利益または好ましくない扱いをもたらす可能性がある。前文では、社会的スコアリングは差別的な結果をもたらし、特定のグループを排除し、尊厳および非差別の権利、ならびに平等および正義といった価値観を侵害する可能性があると説明されている。また、前文では、社会的スコアリングのためのこれらのAIシステムは、民間および公共のアクターの両方によって提供または展開される可能性があることも強調されている。 |
| 20. The evaluation or classification should furthermore take place over a certain period of time and be based on social behaviour, or known, inferred or predicted personal or personality characteristics. Although the recitals do not provide any further explanation on the evaluation or classification based on known, inferred or predicted personal or personality characteristics, it is explained that, where this evaluation is based on social behaviour, it can be carried out in multiple contexts. |
20. 評価または分類はさらに一定期間にわたって行われるべきであり、社会的行動、または既知、推論、予測された個人または人格的特性に基づくべきである。既知、推論、予測された個人または人格的特性に基づく評価または分類について、前文ではさらなる説明は提供されていないが、この評価が社会的行動に基づく場合、複数の文脈で実施できることが説明されている。 |
| Questions related to criterion 1 |
規準1に関する質問 |
| 1. Can you describe (imaginary) AI systems used to evaluate or classify natural persons or groups of persons over a certain period of time and where this is made possible based on social behavior? |
1. 一定期間における自然人または自然人の集団を評価または分類するために使用される（仮想の）AIシステムについて、また、それが社会行動に基づいて可能となる理由について説明できるか？
|
2. Can you describe (imaginary) AI systems used to evaluate or classify natural persons or groups of persons over a certain period of time and where this is made possible based known, inferred or predicted personal or personality characteristics?
|
2. 一定期間における自然人または自然人グループを評価または分類するために使用される（仮想）AIシステムについて説明し、それが既知、推論、または予測された個人または人格特性に基づいて可能となることを説明できるか？
|
| 3. Is it clear to you what the distinction is between known, inferred and predicted personality characteristics? If not, could you explain this further? |
3. 既知、推論、予測された人格特性の区別が明確であるか？明確でない場合、さらに説明できるか？ |
| 4. What questions or need for clarification in the context of this prohibition do you still have when distinguishing between evaluation or classification? What questions or need for clarification do you have in the context of this prohibition when distinguishing between this evaluation or classification based on social behaviour on the one hand or known, derived and predicted personality characteristics on the other hand? |
4. 評価または分類を区別するにあたり、この禁止事項に関して、まだ疑問や明確化の必要性があるか？この禁止事項に関して、社会的行動に基づく評価または分類を区別するにあたり、疑問や明確化の必要性があるか？ |
| 5. A social score is the result of an evaluation or classification. Can you give an (imaginary) example of a description of a social score? |
5. 社会スコアは評価または分類の結果である。社会スコアの記述の（架空の）例を挙げて説明できるか？ |
| Criterion 2: Detrimental or unfavourable treatment |
規準 2：有害または不利益な取り扱い |
| 21. The evaluation or classification by an AI system as described above – i.e. the ‘social scoring’ and the resulting social score – may result in detrimental or unfavourable treatment of certain natural persons or groups of persons. The following paragraphs describe two types of detrimental or unfavourable treatments, resulting from the social score, each of which, individually or in combination, entails that the AI practice is prohibited. |
21. 上記で説明したAIシステムによる評価または分類、すなわち「社会的スコアリング」およびその結果としての社会スコアは、特定の自然人または自然人グループに対する有害または不利益な取り扱いにつながる可能性がある。以下の段落では、ソーシャルスコアに起因する2種類の不利益または不都合な扱いについて説明する。それぞれ単独または組み合わせにより、AIの使用が禁止されることになる。 |
| According to the AP, AI systems that favour people could, in certain cases, also be covered by the prohibition if they indirectly result in detrimental or unfavourable treatment of other people. |
APによると、特定のケースでは、人々を優遇するAIシステムも、間接的に他の人々への不利益または不都合な扱いを引き起こす場合、禁止の対象となる可能性がある。 |
| 22. Firstly, certain AI systems for social scoring are prohibited if the social score generated by the AI system results in the detrimental or unfavourable treatment of individuals in social contexts that are unrelated to the contexts in which the data were originally generated or collected. What constitutes detrimental or unfavourable treatment in the above situation is not explained in the recitals. It is however important that the social context in which this treatment takes place should not be related to the context in which the data were originally generated or collected. As mentioned in paragraph 20 above, social scoring can take place in different contexts over a given period of time. According to the AP, it could therefore be concluded that it is in any event necessary that one of those contexts bears no relation to the context in which the detrimental treatment takes place. Furthermore, according to the AP it seems that the context in which the data were originally generated or collected does not necessarily have to be a social context. |
22. まず、AIシステムによって生成された社会的スコアが、データがもともと生成または収集された文脈とは無関係な社会的文脈において、個人の不利益または不利な扱いにつながる場合、特定の社会的スコアリングのためのAIシステムは禁止される。上記のような状況における不利益または不利な扱いとはどのようなものかについては、前文では説明されていない。しかし、この扱いがなされる社会的文脈は、データがもともと生成または収集された文脈とは関連していないことが重要である。上述の第20項で述べたように、ソーシャル・スコアリングは、一定期間にわたって異なる状況下で行われる可能性がある。APによれば、いずれにしても、そのいずれかの状況が不利益な取扱いがなされる状況とは無関係であることが必要であると結論づけられる。さらに、APによれば、データが最初に生成または収集された状況は、必ずしも社会的状況である必要はないようである。 |
| 23. Secondly, certain AI systems for social scoring are prohibited if the social score provided by the AI system results in the detrimental or unfavourable treatment of persons that is unjustified or disproportionate in relation to the gravity of the social behaviour. What constitutes detrimental or unfavourable treatment in the above situation is not explained in the recitals. The detrimental or unfavourable treatment should at least be: either unjustified, or disproportionate in relation to the gravity of the social behaviour. |
23. 第二に、社会的スコアリングのための特定のAIシステムは、AIシステムが提供する社会スコアが、社会行動の重大性との関係において、不当または不均衡な、個人に対する不利益または不利な扱いをもたらす場合、禁止される。上記のような状況における不利益または不利な扱いの定義は、前文では説明されていない。不利益または不利な扱いは、少なくとも、社会行動の重大性との関係において、不当または不均衡なものでなければならない。 |
| Questions related to criterion 2 |
規準2に関する質問 |
| 6. Can you give (imaginary) examples of a detrimental or unfavourable treatment of persons that is related to a social score of an AI system? |
6. 人工知能システムの社会的スコアに関連する、不利益または不利な扱いを受けた人の（架空の）例を挙げて説明できるか？ |
| 7. Are there situations in which the advantage of one person or group of persons also leads to a implicit disadvantage of other persons? Can you give an (imaginary) example of this? |
7. 一人の人または人々のグループが有利になることが、他の人々の暗黙の不利益につながる状況はあるか？この例を挙げて説明できるか？ |
| 8. Can you describe or give an example of an AI system where the detrimental or unfavourable treatment in a social context is or is not related to the contexts in which the data were originally collected or generated? |
8. 社会的文脈において有害または不利益な扱いが行われる、または行われない場合、その扱いが、データがもともと収集または生成された文脈に関連しているか、または関連していないか、AIシステムの例を挙げて説明できるか？ |
| 9. Is it clear to you when there is an adverse or unfavourable treatment in a social context that is unrelated to the contexts in which the data were originally generated or collected? If not, what do you need more clarity about? Can you explain this further? |
9. 社会的文脈において有害または不利益な扱いが行われる場合、その扱いが、データがもともと生成または収集された文脈に関連していないことは明確か？ そうでない場合、何をより明確にする必要があるか？ これをさらに説明できるか？ |
| 10. Could you describe or give an example of AI systems where the detrimental or unfavourable treatment is unjustified or disproportionate to the gravity of the social behaviour? |
10. 不利なまたは不適切な取扱いが、社会行動の重大性に対して不当または不均衡であるAIシステムの説明または例を挙げて説明できるか？ |
| 11. Is it sufficiently clear to you when there is a detrimental or unfavourable treatment that is unjustified or disproportionate to the social behaviour or its gravity? If not, what do you need more clarity about? Can you explain this in more detail? |
11. 不利なまたは不適切な取扱いが、社会行動またはその重大性に対して不当または不均衡である場合、十分に明確であるか？ そうでない場合、何をより明確にする必要があるか？ これをより詳細に説明できるか？ |
| Scope of the prohibition |
禁止の範囲 |
| 24. The recitals of the Regulation also set out situations in which an AI system should not be covered by the prohibitions. The recitals describe that the prohibition should not affect lawful evaluation practices of natural persons that are carried out for a specific purpose in accordance with Union and national law. |
24. 規則の前文では、AIシステムが禁止の対象とされるべきではない状況も示されている。前文では、EU法および国内法に従って特定の目的のために実施される自然人による合法的な評価行為に禁止が影響を及ぼすべきではないことが説明されている。 |
| Questions related to the scope of the prohibition |
禁止の範囲に関する質問 |
| 12. Could you provide an (imaginary) description of an AI social scoring system deployed in accordance with Union or national law? |
12. 連合法または国内法に従って展開されたAIソーシャル・スコアリング・システムの（架空の）説明を提供できるか？ |
| 13. What further questions or clarifications do you have about the scope of this prohibition? |
13. この禁止の範囲について、さらに質問または明確化したいことはあるか？ |
| 25. In conclusion, it is stressed that this document does not cover all aspects of the prohibition. Therefore, interested parties are expressly invited to provide relevant input, also outside the questions asked, for the further clarification of prohibition C |
25. 結論として、この文書は禁止のすべての側面を網羅しているわけではないことを強調しておく。 したがって、利害関係者は、禁止Cのさらなる明確化のために、質問事項以外についても関連する意見を提示することが明確に求められている |
| Concluding questions |
結語 |
| 14. Apart from the questions posed, is there any relevant input that you would like to provide for the further clarificatio n of Prohibition C? |
14. 提示した質問以外に、禁止事項Cのさらなる明確化のために提供したい関連情報はあるか？ |
| 15. Do you think it is desirable that we explicitly mention your organisation or group in our public response to and appreciation of this call for input, e.g. so that we can discuss examples and considerations that you provide? |
15. 意見募集への回答と謝意を表明する公開文書において、貴組織またはグループを明示的に言及することが望ましいと考えるか？例えば、貴組織が提供した事例や考察について議論できるようにするためなど。 |
| Annex: overview of prohibitions from Article 5, paragraph 1 of the AI Act 2024/1689 |
附属書：AI法2024/1689第5条第1項による禁止事項の概要 |
| Prohibition A: Certain manipulative AI systems |
禁止事項A： ある種の操作的なAIシステム |
| AI systems that deploy subliminal techniques beyond a person’s consciousness or purposefully manipulative or deceptive techniques, with the objective, or the effect of materially distorting the behaviour of a person or a group of persons by appreciably impairing their ability to make an informed decision, thereby causing them to take a decision that they would not have otherwise taken in a manner that causes or is reasonably likely to cause that person, another person or group of persons significant harm. |
人の意識を超えたサブリミナル的な技法、または意図的に操作的もしくは欺瞞的な技法を展開するAIシステムであって、その目的または効果が、十分な情報に基づいた意思決定を行う能力を著しく損なうことによって、人または人の集団の行動を実質的に歪め、それによって、その人、他の人または人の集団に重大な危害をもたらす、またはもたらす可能性が合理的に高い方法で、他の方法では行わなかったであろう意思決定を行わせるもの。 |
| Prohibition B: Certain exploitative AI systems |
禁止事項B：特定の搾取的AIシステム |
| AI systems that exploit any of the vulnerabilities of a natural person or a specific group of persons due to their age, disability or a specific social or economic situation, with the objective, or the effect, of materially distorting the behaviour of that person or a person belonging to that group in a manner that causes or is reasonably likely to cause that person or another person significant harm. |
自然人または特定の集団の年齢、障害または特定の社会的もしくは経済的状況に起因する脆弱性を悪用するAIシステムであって、その人またはその集団に属する人の行動を、その人またはその集団に属する人に重大な危害をもたらすか、またはもたらす可能性が合理的に高い方法で、実質的に歪めることを目的とし、またはその効果を有するもの。 |
| Prohibition C: Certain AI systems for social scoring |
禁止事項C：社会的スコアリングのための特定のAIシステム |
| AI systems for the evaluation or classification of natural persons or groups of persons over a certain period of time based on their social behaviour or known, inferred or predicted personal or personality characteristics, with the social score leading to either or both of the following: |
自然人または集団の社会的行動または既知、推論もしくは予測される個人的もしくは人格的特性に基づいて、一定期間にわたって評価または分類するためのAIシステムであって、社会的スコアが以下のいずれかまたは両方につながるもの： |
| • detrimental or unfavourable treatment of certain natural persons or groups of persons in social contexts that are unrelated to the contexts in which the data was originally generated or collected; |
• データが元々生成または収集された文脈とは無関係な社会的文脈において、特定の自然人または集団が不利益または不利な扱いを受けること； |
| • detrimental or unfavourable treatment of certain natural persons or groups of persons that is unjustified or disproportionate to their social behaviour or its gravity. |
• 社会的行動またはその重大性に不当または不釣り合いな,特定の自然人または集団に対する不利益または不利な取り扱い。 |
| Prohibition D: Certain AI systems for predictive policing |
禁止事項D：予測的取り締まりのための特定のAIシステム |
| AI systems for making risk assessments of natural persons in order to assess or predict the risk of a natural person committing a criminal offence, based solely on the profiling of a natural person or on assessing their personality traits and characteristics; this prohibition shall not apply to AI systems used to support the human assessment of the involvement of a person in a criminal activity, which is already based on objective and verifiable facts directly linked to a criminal activity. |
自然人が犯罪を犯すリスクを評価または予測するために、自然人のプロファイリングまたは人格的特徴および特性の評価のみに基づいて、自然人のリスクアセスメントを行うためのAIシステム。この禁止は、犯罪活動に直接関連する客観的かつ検証可能な事実に既に基づいている、犯罪活動への人の関与に関する人間の評価を支援するために使用されるAIシステムには適用されない。 |
| Prohibition E: Untargeted scraping of facial images |
禁止事項E．顔画像の非対象スクレイピング |
| AI systems that create or expand facial recognition databases through the untargeted scraping of facial images from the internet or CCTV footage. |
インターネットやCCTV映像から顔画像を非対象にスクレイピングすることにより、顔認識データベースを作成または拡張するAIシステム。 |
| Prohibition F: Certain AI systems for emotion recognition in the workplace or in education |
禁止事項F：職場や教育機関における感情認識のための特定のAIシステム |
| AI systems that infer emotions of a natural person in the areas of workplace and education institutions, except where the use of the AI system is intended to be put in place or into the market for medical or safety reasons. |
職場や教育機構の分野における自然人の感情を推論するAIシステム。ただし、医療上または安全上の理由からAIシステムの導入または市場投入が意図されている場合を除く。 |
| Prohibition G: Certain AI systems for biometric categorisation of persons |
禁止事項G：人物の生体データ分類のための特定のAIシステム |
| AI systems for biometric categorisation that categorise individually natural persons based on their biometric data to deduce or infer their race, political opinions, trade union membership, religious or philosophical beliefs, sex life or sexual orientation; this prohibition does not cover any labelling or filtering of lawfully acquired biometric datasets, such as images, based on biometric data or categorising of biometric data in the area of law enforcement. |
人種、政治的意見、労働組合員、宗教的または哲学的信条、性生活または性的指向を推測または推論するために、生体データに基づいて個々の自然人を分類する生体データ分類のためのAIシステム。この禁止は、合法的に取得された生体データセット（画像など）を生体データに基づいてラベリングまたはフィルタリングしたり、法執行の分野で生体データを分類したりすることは対象としない。 |
| Prohibition H: Certain AI systems for real-time remote biometric identification in publicly accessible spaces for purpose of law enforcement |
禁止事項H：法執行を目的とした、一般にアクセス可能な空間におけるリアルタイムの遠隔バイオメトリッ ク識別のための特定のAIシステム |
| AI-systems used for of ‘real-time’ remote biometric identification systems in publicly accessible spaces for the purpose of law enforcement, unless and in so far as such use is strictly necessary for one of the following objectives: |
法執行を目的とした、一般にアクセス可能な空間における「リアルタイムの」遠隔バイオメトリッ ク識別システムのために使用されるAIシステムは、そのような使用が以下のいずれかの目的の ために厳密に必要である場合を除く： |
| • the targeted search for specific victims of abduction, trafficking in human beings or sexual exploitation of human beings, as well as the search for missing persons; |
• 誘拐,人身売買,性的搾取の特定の被害者,および行方不明者の捜索。 |
| • the prevention of a specific, substantial and imminent threat to the life or physical safety of natural persons or a genuine and present or genuine and foreseeable threat of a terrorist attack; |
• 自然人の生命または身体の安全に対する特定の、実質的かつ差し迫った脅威、または真正かつ現在の、または真正かつ予見可能なテロ攻撃の脅威の防止； |
| • the localisation or identification of a person suspected of having committed a criminal offence, for the purpose of conducting a criminal investigation or prosecution or executing a criminal penalty for offences referred to in Annex II and punishable in the Member State concerned by a custodial sentence or a detention order for a maximum period of at least four years. |
• 附属書IIに規定され,かつ,当該加盟国において少なくとも4年の拘禁刑または拘禁令によって処罰される犯罪について,犯罪捜査または訴追を行い,または刑事罰を執行する目的で,犯罪を犯したと疑われる者を特定または識別すること。 |
| Point (h) of the first subparagraph is without prejudice to Article 9 of Regulation (EU) 2016/679 for the processing of biometric data for purposes other than law enforcement. |
第1号の(h)点は、法執行以外の目的での生体データの処理に関する規則(EU)2016/679の第9条を損なうものではない。 |
Recent Comments