Algunas de estas propuestas son:
1. El ámbito de aplicación de la Ley de IA debe ampliarse para abarcar todos los sistemas de IA
El ámbito de aplicación de la propuesta se centra en los «sistemas de IA de alto riesgo». En consecuencia, muchas aplicaciones de IA que los consumidores utilizan o utilizarán en un futuro próximo en su vida cotidiana (por ejemplo, los contadores inteligentes, los juguetes conectados con IA, los asistentes virtuales o los sistemas de recomendación de contenidos que seleccionan lo que la gente ve en sus redes sociales) quedan excluidas del ámbito de aplicación.
La propuesta debe tener un alcance más amplio e imponer principios básicos como la transparencia y la equidad a todos los sistemas de IA. Todos estos sistemas deberían estar adecuadamente regulados y no solo aquellos considerados de «alto riesgo». Además, la lista de sistemas de IA de alto riesgo del anexo III tendría que ampliarse para incluir aplicaciones adicionales, como las utilizadas para calcular las primas de los seguros.
2. Es necesario ampliar y reforzar las prácticas de IA prohibidas (artículo 5)
La lista de prácticas de IA prohibidas en el artículo 5 debe ampliarse y reforzarse para dar cuenta de las prácticas perjudiciales que actualmente no están cubiertas.
En primer lugar, el «perjuicio económico» también tendría que estar incluido en las letras a) y b) del apartado 1 del artículo 5. De lo contrario, se permitiría, por ejemplo, un sistema de IA que explotara la adicción al juego de una persona de manera que pudiera causarle graves pérdidas económicas.
Asimismo, la aplicación de estas disposiciones no debería limitarse a la IA cuyo «uso previsto» sea causar daño. La obligación de demostrar la intención significaría que estas disposiciones no son aplicables en la práctica, ya que sería muy difícil, si no imposible, demostrar la intención maliciosa original.
También debería prohibirse el uso de sistemas de identificación biométrica y de reconocimiento de emociones a distancia por parte de entidades privadas en espacios públicos, en consonancia con las exigencias del Consejo Europeo de Protección de Datos (CEPD) y del Supervisor Europeo de Protección de Datos (SEPD)[1].
3. La ley debe otorgar a los consumidores derechos firmes, incluido el derecho de reparación
Como cada vez más comerciantes recurren a la toma de decisiones mediante algoritmos, los consumidores tiene que tener derecho a recibir información clara acerca del funcionamiento de los sistemas de IA, así como el derecho a oponerse a las decisiones algorítmicas que les afecten significativamente.
La propuesta también debería ofrecer a los consumidores medios eficaces para reclamar y obtener reparación en caso de perjuicio. Esto incluye el derecho de las personas a presentar reclamaciones y el derecho a ser representados por una organización de consumidores cuando ejerzan sus derechos. Los consumidores deben tener derecho a una compensación por los daños materiales e inmateriales causados por sistemas de IA no conformes, y los mecanismos de recurso colectivo previstos en la Directiva de Acciones Representativas de la UE deben estar plenamente habilitados en este ámbito.
4. Las normas no tienen que sustituir a la legislación
El éxito de la aplicación de la Ley de IA propuesta depende en gran medida del desarrollo y la aplicación de normas (técnicas) armonizadas por parte de los fabricantes de un sistema de IA.
Es importante garantizar que estas normas solo se utilicen para aplicar los requisitos técnicos, y no para definir o aplicar derechos fundamentales o principios jurídicos. Por ejemplo, una norma no debe utilizarse para determinar qué tipos de sesgos están prohibidos en virtud del artículo 10 (2) f). 10 (2) f). En su lugar, la Ley de IA debe incluir criterios más detallados sobre los requisitos aplicables a la «IA de alto riesgo», incluidas las normas sobre discriminación.
5. La evaluación de la conformidad de los «sistemas de IA de alto riesgo» por parte de un tercero debe ser siempre obligatoria (artículo 43)
El marco de evaluación de la conformidad propuesto conlleva un evidente conflicto de intereses: la entidad que evalúa si un determinado producto cumple las normas es la misma que tiene interés en comercializarlo en la UE lo antes posible. Esto es especialmente problemático cuando se trata de «aplicaciones de alto riesgo».
Debería exigirse siempre una evaluación por parte de terceros para valorar la conformidad de los «sistemas de IA de alto riesgo». Las autoevaluaciones sólo tendrían que permitirse para evaluar los sistemas de IA que no se consideren de alto riesgo.
Asimismo, en el caso de los «sistemas de IA de alto riesgo», los resultados del procedimiento de evaluación de la conformidad, así como toda la documentación pertinente deben notificarse a la autoridad de vigilancia del mercado correspondiente antes de que el producto se comercialice y se ponga a disposición del público.
6. Es necesario clarificar y mejorar la estructura de gobernanza y los mecanismos de aplicación de la Ley de IA
La multiplicidad de autoridades competentes en virtud de la Ley de IA (por ejemplo, autoridades de protección de los consumidores, autoridades de telecomunicaciones, autoridades de vigilancia del mercado, etc.) hará más difícil garantizar que todas estas autoridades dispongan de los recursos financieros y humanos adecuado, así como de los conocimientos técnicos necesarios para hacer frente a los retos de los sistemas de IA.
Para hacer frente a las posibles carencias de recursos, la aplicación a nivel nacional debería reforzarse a nivel técnico con la creación de un organismo altamente especializado de expertos técnicos designados por la Comisión. Este organismo debería asistir a las autoridades nacionales y a la Comisión en los aspectos técnicos de sus investigaciones y tener competencia para emitir dictámenes no vinculantes sobre casos concretos planteados por las autoridades nacionales.
Asimismo, el procedimiento de salvaguardia de la Unión previsto en el artículo 66 no debería limitarse a resolver los desacuerdos relativos a las acciones iniciadas por las autoridades de los Estados miembros. La Comisión Europea debería poder iniciar un procedimiento de evaluación sobre un sistema de IA en virtud de esta disposición siempre que (i) tenga razones suficientes para creer que un sistema de IA presenta un riesgo, (ii) ninguna autoridad de vigilancia del mercado haya iniciado una investigación en virtud del artículo 65, apartado 2, y (iii) el sistema de IA afecte a los consumidores en más de un Estado miembro.
La JEPD y el SEPD piden que se prohíba el uso de la IA para inferir emociones, salvo para fines muy concretos (por ejemplo, en el sector sanitario, podría haber aplicaciones en las que el reconocimiento de las emociones del paciente puede ser importante).
