Sermas GPT: Un ChatGPT para detectar enfermedades raras en Madrid

sermas gpt madrid enfermedades raras

Hace 6 meses la Comunidad de Madrid y Microsoft anunciaron un acuerdo para que los médicos de atención primaria de 425 centros utilicen una herramienta con IA, un ChatGPT, para detectar enfermedades raras, llamada Sermas DPT. La noticia me llamó la atención por un artículo donde Manuel Ángel Méndez hablaba sobre todo del malestar de los médicos, que se enteraban por la prensa de esto, en contraste con otras publicaciones que se limitaban a repetir frases de la nota de prensa del gobierno y Microsoft.

Empecé a preguntar hace meses sobre Sermas GPT, y encontré varias cosas:

Esta herramienta se integró en el sistema informático de salud casi inmediatamente pero hoy aún hoy 6 meses despúes no ha pasado la validación de un comité médico. Los expertos han encontrado fallos: arroja resultados sexistas y racistas. Los médicos sólo han recibido un instructivo para saber cómo meter los datos.

Tampoco es realmente una app, sino un conjunto de APIs conectadas a GPT-4 en los servidores Azure de Microsoft. Es decir, es como hablar con ChatGPT para preguntarle por el diagnóstico de enfermedades raras tras darle unos síntomas. Microsoft mismo ha asegurado en un estudio que ChatGPT no ha pasado por un entrenamiento médico específico, la información que tiene es la que ha recopilado de internet.

No hay un código abierto, a pesar que desde la administración nos han dicho que así es, y faltan respuestas a muchas preguntas. Hablé con la administración, con la empresa responsable del software y con los médicos para pedirlas. Este es el primer artículo que escribí sobre Sermas GPT: Sermas GPT, la IA de la Comunidad de Madrid para enfermedades raras, aún no ha pasado la validación de un comité médico.

[Archivo]

La IA y el futuro del empleo: una nueva revolución industrial

ia empleo riesgos

El del FMI ha sido el último, pero muchos estudios vienen analizando el impacto de la IA en el empleo. Pista: donde se dice «afectará» no significa bien o mal. Los expertos reconocen que ciertos países están más preparados, pero también advierten que en esta «nueva revolución industrial» -como le llaman por su alcance- los trabajadores cualificados están en riesgo. Los artistas, escritores y guionistas han sido los primeros en demandar, pero habrá otros sectores golpeados y también concentración de riqueza en dueños y accionistas de la IA.

He mirado varios de los estudios sobre IA y futuro del empleo y lo he escrito en «El impacto de la IA en el empleo, según expertos e investigadores: quiénes ganan y pierden con esta nueva “revolución industrial” para Newtral.

[Archivo]

Primera ley de IA en el mundo: la Unión Europea hace historia

ley ia ue

Esta semana ha salido del horno una ley que lleva cocinándose dos años, y que tuvo que ser modificada ante el boom de la IA que provocó el lanzamiento de ChatGPT hace un año: la ley de Inteligencia Artificial de la Unión Europea. Es la primera que tiene garantías para proteger los derechos humanos y de las democracias, a la vez que intenta dar seguridad para promover la innovación.

El desafío también estaba en «legislar para adelante», escribir una ley que no se quede obsoleta ante el avance de la tecnología. Lo hicieron mediante una clasificación de riesgos, por la que no se prohíben determinadas tecnologías sino que se regulan sus usos. Las negociaciones entre gobiernos y Parlamento han sido especialmente duras, y se llevan otro récord, el de las 38 horas que duraron. He seguido de cerca durante este año los avances del proceso legislativo, y he escrito sobre las claves de la ley, la hemos analizado con expertos, hemos escuchado las inquietudes de las organizaciones de los consumidores europeos, y hemos contado las presiones en torno a la presidencia española de la UE, bajo la que se ha aprobado finalmente la ley de IA de la UE.

Sin que aún tengamos el texto definitivo, que se espera para fines de enero, escribí sobre los puntos más calientes de esta ley de la IA que se ha aprobado en la UE.

El gran equipo de redes de Newtral me hizo contarlo en un reel de Instagram.

[Archivo]

El primer contrato de Palantir en España

Peter Thiel speaks on the fourth day of the 2016 RNC

Palantir ha logrado su primer contrato público en España por 16,5 millones: su software Gotham será usado por las Fuerzas Armadas.

No hablamos de cualquier empresa: Palantir es una gran tecnológica muy opaca y trabaja con las agencias de seguridad nacional de EEUU desde sus inicios. Ha sido acusada de violaciones a los derechos humanos

Esta semana hemos publicado varias piezas sobre un tema que ha llevado meses de pedir información utilizando el derecho al acceso a la información y la ley de Transparencia. Contamos cómo ha sido la entrada de Palantir en España, en un momento en el que su estrategia es conseguir entrar en las infraestructuras de los estados europeos, como la NHS en Reino Unido o los servicios policiales en Alemania.

Más:

El Ministerio de Defensa adjudica a Palantir un contrato por 16,5 millones de inteligencia militar [Archivo]
Qué es Palantir y quiénes son Peter Thiel y Alex Karp [Archivo]
Cómo es la excepción en la adjudicación que usó Defensa en España para dar el contrato a Palantir: el procedimiento negociado sin publicidad [Archivo]
Varias leyes y mucho secreto, los argumentos de Defensa sobre el contrato con Palantir y la ley de secretos oficiales [Archivo]

Fantasías escapistas de los multimillonarios ante el apocalipsis

Un director general de una agencia de bolsa explicó en una reunión en la que estaba Douglas Rushkoff que casi había terminado de construir su propio sistema de búnkeres subterráneos. Casi enseguida preguntó: “¿Cómo puedo mantener mi autoridad sobre mi fuerza de seguridad tras el evento?”. El “evento” es un eufemismo con el que estos multimillonarios llaman al colapso medioambiental, la agitación social, la explosión nuclear, la tormenta solar, al virus imparable o al sabotaje informático malicioso que vendrá a llevar todo al carajo. El problema es que creen que la única vía para huir de esto es el dinero y la tecnología. Y para unos pocos.

Douglas Rushkoff contó esta anécdota en su último libro, publicado en español por Capitán Swing, y se remonta a los primeros tiempos de internet para explicar cómo la relación de la tecnología con el capital cambió a partir del desplome de las puntocom, hasta llegar a una búsqueda ciega del crecimiento. El resultado es que la innovación tecnológica ya no se entiende tanto como una forma de ofrecer productos y experiencias mejores y más satisfactorias a la gente, sino más bien como otro medio de redoblar la dominación y la extracción. 

Escribí sobre Rushkoff y su libro en «Douglas Rushkoff: el autor que escribe sobre el plan B de los multimillonarios para el apocalipsis y al que mencionó Yolanda Díaz» para Newtral.

[Archivo]

IA y cambio climático: la dificultad de las cifras

IA y cambio climático

¿Cuánto consume la IA? ¿Qué huella ecológica tiene? ¿Cuál es su impacto energético?
Resolver estas preguntas es complicado por varias cuestiones, como que en primer lugar no hay información por parte de las empresas que producen algoritmos, a pesar de que estén todo el tiempo comunicando sus narrativas de éxito.

Otra de las cuestiones es que tendemos a tratar la IA como una sola tecnología, cuando son muchas herramientas, procesos, materiales, industrias, servidores, localizaciones. Los estudios publicados por las tecnológicas se dejan fuera las primeras partes del proceso (extracción de materiales y datos, entrenamientos), y los últimos datos de investigadores independientes que tenemos son de antes de la pandemia.

Una de las promesas de la IA es que viene a solucionarnos los grandes problemas del futuro, entre ellos el cambio climático. Pero ¿cuánto consume hoy? ¿y si cuando llegamos a la AGI ya no nos queda planeta? La IA promete ayudar contra el cambio climático en un futuro, pero su desarrollo actual puede estar haciendo un daño al planeta que su remedio no pueda arreglar.

En este reportaje en Newtral (El impacto climático de la IA y su huella ecológica) hablo con expertos y ponemos cifras a este tema, que llevo siguiendo hace mucho tiempo.

[Archivo]

Foto: Marek Piwnicki

Las empresas que quieren supervisar el control de la IA

high rise buildings

No ha sido fácil. En estos días hemos publicado un artículo para el que llevo tres semanas trabajando. He hablado con muchas personas para entender cómo y quiénes están diseñando el futuro de la IA. ¿Qué experiencias se toman en cuenta? ¿Quiénes pagan los sueldos de personas que dedican mucho tiempo y esfuerzo a esto? ¿Cómo participa la sociedad civil en delimitar las líneas de algo que ya está impactando en los más vulnerables? En España la administración del Estado ha licitado el diseño y las futuras líneas que definirán la IA. Desde el Ministerio de Economía se está recomendando un contrato clave en la supervisión de la ética de las compañías que trabajarán con la IA para ser adjudicado a una de las grandes consultoras mundiales y otra asociación poco conocida, pero que también tiene vínculos con grupos que tienen intereses en la IA.

En momentos en que muchas voces se alzan para pedir regulación de la IA en todo el mundo, España es un actor estratégico clave, ya que en esta segunda mitad del año, la presidencia española de la UE es la encargada de cerrar la propuesta de ley de la IA que se viene preparando desde hace 2 años en el Parlamento Europeo. No es de extrañar que las empresas con interés en la IA estén jugando sus cartas.

En Newtral:

Qué empresas están detrás del contrato para supervisar la IA en España [Archivo]
La regulación y la supervisión de la IA, entre los asuntos que marcarán la presidencia española en la UE [Archivo]