Etiqueta: inteligencia artificial

Publicado el

Sermas GPT, la IA de los médicos en Madrid, y el protocolo que no responsabiliza a nadie

sermas gpt contrato

Cuando publicamos el primer artículo en Newtral sobre Sermas GPT, donde revelamos que a 6 meses de su implementación no había pasado por un comité de ética médica, seguían surgiendo preguntas para las que aún no encontrábamos respuesta.

Concretamente, sobre el tipo de acuerdo o contrato que habían firmado la Comunidad de Madrid (CAM), la Fundación 29 y Microsoft para implementarlo. La CAM respondió con un documento a la petición de información que había hecho el entonces diputado de Mas Madrid en la Asamblea de Madrid: un protocolo de declaración de intenciones.

¿Qué significa un protocolo? ¿Tiene la misma fuerza que un convenio o un contrato con la administración pública? Hablé con expertos en contratación pública que lo analizaron y nos explicaron que esta declaración de intenciones no compromete a las partes a nada ni fija obligaciones ni derechos. También nos preguntamos por la Fundación 29: cofundada por un directivo de Microsoft, y dirigida por otro más, en su junta hay representantes de farmacéuticas y empresas de biotecnología. Su financiación proviene de farmacéuticas. Toda la información la publicamos en este segundo reportaje sobre Sermas GPT.

[Archivo]

Publicado el

Sermas GPT: Un ChatGPT para detectar enfermedades raras en Madrid

sermas gpt madrid enfermedades raras

Hace 6 meses la Comunidad de Madrid y Microsoft anunciaron un acuerdo para que los médicos de atención primaria de 425 centros utilicen una herramienta con IA, un ChatGPT, para detectar enfermedades raras, llamada Sermas DPT. La noticia me llamó la atención por un artículo donde Manuel Ángel Méndez hablaba sobre todo del malestar de los médicos, que se enteraban por la prensa de esto, en contraste con otras publicaciones que se limitaban a repetir frases de la nota de prensa del gobierno y Microsoft.

Empecé a preguntar hace meses sobre Sermas GPT, y encontré varias cosas:

Esta herramienta se integró en el sistema informático de salud casi inmediatamente pero hoy aún hoy 6 meses despúes no ha pasado la validación de un comité médico. Los expertos han encontrado fallos: arroja resultados sexistas y racistas. Los médicos sólo han recibido un instructivo para saber cómo meter los datos.

Tampoco es realmente una app, sino un conjunto de APIs conectadas a GPT-4 en los servidores Azure de Microsoft. Es decir, es como hablar con ChatGPT para preguntarle por el diagnóstico de enfermedades raras tras darle unos síntomas. Microsoft mismo ha asegurado en un estudio que ChatGPT no ha pasado por un entrenamiento médico específico, la información que tiene es la que ha recopilado de internet.

No hay un código abierto, a pesar que desde la administración nos han dicho que así es, y faltan respuestas a muchas preguntas. Hablé con la administración, con la empresa responsable del software y con los médicos para pedirlas. Este es el primer artículo que escribí sobre Sermas GPT: Sermas GPT, la IA de la Comunidad de Madrid para enfermedades raras, aún no ha pasado la validación de un comité médico.

[Archivo]

Publicado el

La IA y el futuro del empleo: una nueva revolución industrial

ia empleo riesgos

El del FMI ha sido el último, pero muchos estudios vienen analizando el impacto de la IA en el empleo. Pista: donde se dice «afectará» no significa bien o mal. Los expertos reconocen que ciertos países están más preparados, pero también advierten que en esta «nueva revolución industrial» -como le llaman por su alcance- los trabajadores cualificados están en riesgo. Los artistas, escritores y guionistas han sido los primeros en demandar, pero habrá otros sectores golpeados y también concentración de riqueza en dueños y accionistas de la IA.

He mirado varios de los estudios sobre IA y futuro del empleo y lo he escrito en «El impacto de la IA en el empleo, según expertos e investigadores: quiénes ganan y pierden con esta nueva “revolución industrial” para Newtral.

[Archivo]

Publicado el

Primera ley de IA en el mundo: la Unión Europea hace historia

ley ia ue

Esta semana ha salido del horno una ley que lleva cocinándose dos años, y que tuvo que ser modificada ante el boom de la IA que provocó el lanzamiento de ChatGPT hace un año: la ley de Inteligencia Artificial de la Unión Europea. Es la primera que tiene garantías para proteger los derechos humanos y de las democracias, a la vez que intenta dar seguridad para promover la innovación.

El desafío también estaba en «legislar para adelante», escribir una ley que no se quede obsoleta ante el avance de la tecnología. Lo hicieron mediante una clasificación de riesgos, por la que no se prohíben determinadas tecnologías sino que se regulan sus usos. Las negociaciones entre gobiernos y Parlamento han sido especialmente duras, y se llevan otro récord, el de las 38 horas que duraron. He seguido de cerca durante este año los avances del proceso legislativo, y he escrito sobre las claves de la ley, la hemos analizado con expertos, hemos escuchado las inquietudes de las organizaciones de los consumidores europeos, y hemos contado las presiones en torno a la presidencia española de la UE, bajo la que se ha aprobado finalmente la ley de IA de la UE.

Sin que aún tengamos el texto definitivo, que se espera para fines de enero, escribí sobre los puntos más calientes de esta ley de la IA que se ha aprobado en la UE.

El gran equipo de redes de Newtral me hizo contarlo en un reel de Instagram.

[Archivo]

Publicado el

Necesitamos más código abierto en la carrera por la IA

código abierto ia

Algo que está pasando con las nuevas AI generativas es un doble estándar que están manejando. Estas compañías hablan la innovación que traen con el desarrollo de la IA, pero no devuelven ese conocimiento a la sociedad; y hablan de futuro sin hacer caso a los daños que causan hoy. He leído en un foro un debate en el que se preguntaban si OpenAI no debía quitar la palabra Open de su nombre porque estaba siendo un fraude que implicaba que les queda algo de abiertos.

El CEO de Stability AI, Emad Mostaque, habla de «democratizar la IA». Y todos los que repiten ese discurso no dejan nunca en claro si hablan de democratizar el uso de la IA, el desarrollo de la IA, los beneficios económicos de la IA o la gobernanza de la IA. Lo han estudiado en Oxford.

La semana pasada publiqué un tema que llevaba siguiendo hacía varias semanas: cuál es el rol del código abierto en el boom de la IA. Muchos piensan que estamos ante una tecnología demasiado importante para dejarla en manos de un pequeño grupo de empresas.

[Archive]

Foto de Jan Kroon

Publicado el

El deepfake como arma masiva contra las mujeres

Vista aérea de Almendralejo | Kallerna

Esta semana una serie de deepfakes, desnudos arficiales de menores no consentidos, han sido noticia desde Almendralejo, una localidad de 30.000 habitantes entre los que se conocen todos. Pero para mí quienes han sido la noticia han sido las madres, que reaccionaron rápidamente de la mano de una de ellas, ginecóloga, que no dudó en usar sus redes sociales para contar esto cuando su hija se lo contó. Esto hizo que un grupo de madres se organizase por Whatsapp para denunciar, y luego surgieran otras denuncias similares también en Alcalá de Henares (Madrid). Muchas de ellas, como me dijo Miriam Al Adib, la ginecóloga, oían la palabra deepfakes y se encontraban con la IA así de la peor forma.

La mayoría de medios en un primer momento enfocaron la noticia desde lo tecnológico, algún tuitero wanna-OSINT decía cuál era la herramienta, y otros daban detalles que para mí no son lo fundamental del caso. Muchos se preguntaban por el Código Penal, y pedían leyes específicas «para la IA», confundiendo varias cosas. Hablé con Borja Adsuara, un abogado que sostiene que esto no es necesario, así como no hace falta una ley que tipifique la ciberestafa para castigar una estafa.

Y recordé el estudio más amplio y más citado sobre los deepfakes, que fue llevado a cabo en 2019 por Deeptrace, a pedido de Sensity AI. Desveló que el 96% de los vídeos deepfakes eran pornográficos y no consentidos. “La pornografía con IA daña exclusivamente a mujeres” dice ese informe. Lo que es necesario es que nos demos cuenta de que la IA es una arma masiva de última generación al servicio de la violencia machista. Después de avisar a las chicas que no tienen que avergonzarse, y a los padres que deben denunciar, el mensaje más importante según Al Adib, debe ir hacia los chicos: «No me vale que estés en un Whatsapp grupal y te quedes callado. Todo eso también daña a las víctimas». Lo mismo piensa Adsuara, que me explicó los tipos legales que corresponden. Todo, enlaces, estudios y lo que me contaron, en este reportaje para Newtral.

Foto: Kallerna | Wikimedia CC BY-SA 4.0

[Archivo]

Publicado el

IA y cambio climático: la dificultad de las cifras

IA y cambio climático

¿Cuánto consume la IA? ¿Qué huella ecológica tiene? ¿Cuál es su impacto energético?
Resolver estas preguntas es complicado por varias cuestiones, como que en primer lugar no hay información por parte de las empresas que producen algoritmos, a pesar de que estén todo el tiempo comunicando sus narrativas de éxito.

Otra de las cuestiones es que tendemos a tratar la IA como una sola tecnología, cuando son muchas herramientas, procesos, materiales, industrias, servidores, localizaciones. Los estudios publicados por las tecnológicas se dejan fuera las primeras partes del proceso (extracción de materiales y datos, entrenamientos), y los últimos datos de investigadores independientes que tenemos son de antes de la pandemia.

Una de las promesas de la IA es que viene a solucionarnos los grandes problemas del futuro, entre ellos el cambio climático. Pero ¿cuánto consume hoy? ¿y si cuando llegamos a la AGI ya no nos queda planeta? La IA promete ayudar contra el cambio climático en un futuro, pero su desarrollo actual puede estar haciendo un daño al planeta que su remedio no pueda arreglar.

En este reportaje en Newtral (El impacto climático de la IA y su huella ecológica) hablo con expertos y ponemos cifras a este tema, que llevo siguiendo hace mucho tiempo.

[Archivo]

Foto: Marek Piwnicki