-->

Los sesgos de los sistemas inteligentes y la realidad

Hace dos semanas, saltó a la palestra la noticia de que el programa de inteligencia artificial que usa Amazon para contratar a trabajadores tenía una clara preferencia hacia los hombres. Estas distinciones y decisiones injustas merecen más atención desde hoy mismo que la que los medios le están dando, pero no le veo fácil solución a este problema de la tecnología. En este texto explico por qué.


Para ello, me voy a centrar en un caso un poco más antiguo, de mayo de 2016, en el que el medio ProPublica acusaba a un sistema inteligente, COMPAS, usado en el sistema de justicia estadounidense, de tener un sesgo contra las personas negras a la hora de predecir si un delincuente volvería a reincidir o no. Concretamente, con las personas blancas tenía una mayor posibilidad de predecir que no reincidían, y finalmente sí que lo hacían. Mientras, con las negras predecía que iban a volver a delinquir y finalmente no lo hacían.

A pesar de que se armó un buen escándalo, cuatro meses después el Washington Post publicó un artículo en el que demostraba que las interpretaciones de sesgos sobre COMPAS que había realizado ProPublica no eran nada consistentes y que no estaba claro que el programa tuviera una mala preferencia. El problema está en cómo define ProPublica un sistema justo.


Fuente


Para Northpoint, la empresa desarrolladora de COMPAS, la aplicación es justa y veraz, ya que la proporción de la población que reincidió es igual en cualquiera de los dos colectivos, tal y como se puede ver en la imagen. A esto se le denomina calibración del sistema. Sin embargo, ProPublica se fijaba en el conjunto que finalmente no reincidió. Y aquí viene el problema: es imposible tener una solución tecnológica que sea justa según las dos definiciones. De hecho, eso de lo que acusó ProPublica es una de las consecuencias necesarias de diseñar un algoritmo sin sesgos. Un equipo de investigadores de la universidad de Stanford se propusieron calcular el coste de la equidad y concluyeron que el algoritmo, en efecto, se podía hacer que no tuviera la famosa distinción entre blancos y negros, pero a costa de perder precisión en el conjunto global. Llevaría a tener un 17% más de blancos en la cárcel con muy poco riesgo de reincidencia.

Hay que tener claro qué es estrictamente hablando, un sesgo, en el sentido matemático, y qué es lo que promulgan muchos medios. Vayamos en primer lugar con el sentido científico:

En estadística, un sesgo (bias en inglés) se define como un predictor que provoca que los todos los errores vayan en la misma dirección. Es distinto de la imprecisión (variance), el cual se usa para describir errores sin ninguna dirección en particular. El siguiente gráfico lo describe muy bien:



Fuente


Es decir, para un matemático un sesgo corresponde a la diferencia entre la respuesta que da un sistema de inteligencia artificial y la realidad. Sin embargo, los medios extienden que un sesgo es la diferencia entre la respuesta tecnológica y la realidad idealizada que tienen los periodistas. Y eso no tiene ningún sentido. Una cosa es la realidad veraz, la que existe y a partir de la cual se extraen los datos para entrenar a una solución inteligente, y otra cosa muy distinta es la realidad que alguien crea que debería ser.

Por decirlo de una manera sencilla: es nuestra realidad la que está sesgada. Y manipular los datos para que no lo sea, implica una manipulación que daría lugar a otro tipo de sesgos en las respuestas de los sistemas inteligentes. Cualquier modelización de nuestra realidad va a estar sesgada. Siempre va a existir el mismo problema mientras existan dos distribuciones de personas de diferente tamaño. De hecho, no importa cuánto me aleje o me acerque al detalle de la muestra: siempre apareceran subgrupos.

Como consecuencia, la cuestión sobre este tipo de algoritmos se reduce a una cuestión moral que habrá que regular de alguna manera. Habrá que establecer unas reglas de manera que se establezcan un orden de prioridades de sesgos asumibles, siendo conscientes de que se van a producir. De hecho, Google tiene una página interactiva donde se expone claramente un caso de dos grupos de población y cómo procesa la información un algoritmo a la hora de decidir si concederles un crédito o no. El ejemplo original se basaba en que a las personas negras les rechazaban muchos más créditos que a las blancas. Pero simplemente respondía a la realidad de que el primer grupo tenía menos ingresos y más impagos que el segundo. No nos gusta la realidad. Pero el gigante tecnológico concluye en que se podría eliminar ese sesgo a costa de que muchas menos personas reciban una respuesta positiva a su préstamo, en los dos grupos de población.

Cada vez aparecerán más casos de este tipo. Al caso de Amazon y COMPAS, hay que unir los no tan famosos del mismo Google, algoritmos financieros y medios de comunicación. Pero no serán ni los primeros ni los últimos, y hay que tener claro de qué estamos hablando.

En este caso concreto, me temo que los códigos abiertos no van a venir a arreglar el problema.




Fuentes:
- Jacobitemag.org
- Hackernoon.com


El gobierno… inversor, tomador de riesgos, innovador

Hoy traigo al blog un vídeo TED de una investigadora que me ha llamado la atención y creo que seguiré a partir de ahora. 

La charla TED habla sobre cuál es el papel del estado en la creación de ecosistemas innovadores dentro de países. La opinión general es que el estado es lento y que si de él dependiera, no existirían Googles, Facebooks, y ese tipo de empresas. De hecho, es una crítica habitual de los americanos a los europeos para explicar por qué en Europa no hay empresas de este tipo.

Sin embargo, Mariana Mazzucato quiere desmentir ese mensaje y cree que el papel del estado ha sido fundamental en muchos momentos de la historia, y en particular, en la creación de Sillicon Valley.






No quiero hacer spoiler de la charla, pero a mí sí que me ha convencido en particular que en esa zona de EEUU la intervención pública ha sido esencial. ¿Sabíais que Tesla también recibió muchos millones de subvención pública de la administración Obama, entre otras grandes empresas? De hecho, esta investigadora afirma que hemos socializado el riesgo de emprender, pero al mismo tiempo, privatizado las ganancias.

La opinión general de la población es que el estado debería de dejar máxima libertad para aflorar el talento, las oportunidades, las caídas y auges de empresas... harán de cualquier región un SV. Pero las evidencias de los datos dicen que no.

No tengo suficientes argumentos ni conocimiento para debatir respecto a este tema en profundidad, pero sí que me interesan los contextos sociales/económicos en los que se dieron el Renacimiento, la Primera Revolución Industrial y otros grandes acontecimientos históricos. En casi todos los que me encuentro, el éxito se debió a una colaboración entre las entidades público - privadas.


Fuente

Sobre la empatía hacia los robots.. y por qué no, hacia las lavadoras

Este es un artículo que se me ha ocurrido a cuenta del recomendable libro sobre How to create a mind, de Raymond Kurzweil. Y el tema no es baladí. Durante el libro, el famoso futurólogo explica los circuitos biológicos del pensamiento y las habilidades cognitivas, y posteriormente habla de otros aspectos necesarios y complementarios para que un robot se parezca a un humano. Entre otras características, está la conciencia de sí mismos y la empatía. Hay algunas más, pero en este artículo me voy a centrar en la empatía.

La empatía es una característica esencial de los humanos que ha jugado un gran papel en que formemos sociedades durante nuestra evolución, y que nos protejamos los unos a los otros. Actualmente, se está entrenando a la inteligencia artificial y a los robots para que transmitan que sienten empatía. Y la frase es exactamente esta, ya que el robot, no siente nada. Solamente estará programado para ofrecer unas expresiones faciales, unos sonidos o unos movimientos distintos dependiendo de cómo detecte el ánimo de la persona. De hecho, esta habilidad es esencial en robots sociales usados en terapias de hospital, como los que emplea brillantemente el investigador español Jordi Albo en el hospital Saint Joan de Déu.

Sin embargo, a pesar de que el robot está actuando, los estudios están revelando que los humanos sí que sienten pena/compasión/empatía por la máquina. Un ejemplo muy sencillo de explicar lo tenemos en un artículo del pasado mes de agosto. En esta ocasión, tenemos a un robot humanoide de mucho éxito, Nao, pidiendo que no lo apaguen. Y sorprendentemente, los sujetos del experimento son más reacios a apagarlo cuando el robot suplica por su vida.
 

Puede que muchos de los que lean estas líneas no tengan nunca un robot de estas características, o que piensen que a ellos no les ocurriría. Pero planteemos la siguiente situación: ¿cuántas veces hemos golpeado con violencia la impresora, la lavadora, el coche o la televisión debido a su mal funcionamiento? 






En el vídeo precedente, ¿qué ocurriría si la máquina con cada golpe, gimiera? La ciencia indica que seguramente cesaríamos en nuestra furia contra el pobre cacharro. Seguro que muchos de los presentes, usuarios del sistema operativo Windows, han tenido que usar recurrentemente Alt + Control + Supr. Eso en cierto modo es tratar mal al software, como coger del cuello a una persona y ponerle las cosas en su sitio. ¿Y si al darle a esa combinación de teclas, el ordenador emitiera un mensaje de dolor?

Ponerle sonido a Windows en estas condiciones es muy fácil, lo cual quiere decir que engañar a los humanos y hacerles imaginar que el ordenador siente daño y está vivo, no es ciencia ficción en absoluto. Es posible que conozcáis a Furby, un juguete que tuvo éxito hace unos 20 años que trataba de formar una relación emocional entre el niño y él a través de frases graciosas.

No he encontrado ningún experimento al respecto, pero ¿creéis que aumentarían la venta de aspiradoras autónomas si tuvieran caritas sonrientes en lugar de no tener expresiones faciales? Quien diga que no, a ver qué piensa cuando conozca a Cozmo.





Pero en todo progreso hay un cierto peligro. Y el peligro es bastante importante, para mi gusto. Ya que un robot con financiación militar ha demostrado que puede manipular mentalmente a un humano a través de la empatía y la interpretación de su estado de ánimo.

Y esto es lo que da un poquito de miedo y conviene regular y conocer en profundidad cómo afecta a la mente humana.

Finalmente, si pensáis que este es un problema de nuestros días, es porque no habéis visto 2001: Una odisea en el espacio, ¡que es de 1968!

 
Design by Free WordPress Themes | Bloggerized by Lasantha - Premium Blogger Themes | Best Web Hosting