Sermas GPT, la IA de los médicos en Madrid, y el protocolo que no responsabiliza a nadie

sermas gpt contrato

Cuando publicamos el primer artículo en Newtral sobre Sermas GPT, donde revelamos que a 6 meses de su implementación no había pasado por un comité de ética médica, seguían surgiendo preguntas para las que aún no encontrábamos respuesta.

Concretamente, sobre el tipo de acuerdo o contrato que habían firmado la Comunidad de Madrid (CAM), la Fundación 29 y Microsoft para implementarlo. La CAM respondió con un documento a la petición de información que había hecho el entonces diputado de Mas Madrid en la Asamblea de Madrid: un protocolo de declaración de intenciones.

¿Qué significa un protocolo? ¿Tiene la misma fuerza que un convenio o un contrato con la administración pública? Hablé con expertos en contratación pública que lo analizaron y nos explicaron que esta declaración de intenciones no compromete a las partes a nada ni fija obligaciones ni derechos. También nos preguntamos por la Fundación 29: cofundada por un directivo de Microsoft, y dirigida por otro más, en su junta hay representantes de farmacéuticas y empresas de biotecnología. Su financiación proviene de farmacéuticas. Toda la información la publicamos en este segundo reportaje sobre Sermas GPT.

[Archivo]

Sermas GPT: Un ChatGPT para detectar enfermedades raras en Madrid

sermas gpt madrid enfermedades raras

Hace 6 meses la Comunidad de Madrid y Microsoft anunciaron un acuerdo para que los médicos de atención primaria de 425 centros utilicen una herramienta con IA, un ChatGPT, para detectar enfermedades raras, llamada Sermas DPT. La noticia me llamó la atención por un artículo donde Manuel Ángel Méndez hablaba sobre todo del malestar de los médicos, que se enteraban por la prensa de esto, en contraste con otras publicaciones que se limitaban a repetir frases de la nota de prensa del gobierno y Microsoft.

Empecé a preguntar hace meses sobre Sermas GPT, y encontré varias cosas:

Esta herramienta se integró en el sistema informático de salud casi inmediatamente pero hoy aún hoy 6 meses despúes no ha pasado la validación de un comité médico. Los expertos han encontrado fallos: arroja resultados sexistas y racistas. Los médicos sólo han recibido un instructivo para saber cómo meter los datos.

Tampoco es realmente una app, sino un conjunto de APIs conectadas a GPT-4 en los servidores Azure de Microsoft. Es decir, es como hablar con ChatGPT para preguntarle por el diagnóstico de enfermedades raras tras darle unos síntomas. Microsoft mismo ha asegurado en un estudio que ChatGPT no ha pasado por un entrenamiento médico específico, la información que tiene es la que ha recopilado de internet.

No hay un código abierto, a pesar que desde la administración nos han dicho que así es, y faltan respuestas a muchas preguntas. Hablé con la administración, con la empresa responsable del software y con los médicos para pedirlas. Este es el primer artículo que escribí sobre Sermas GPT: Sermas GPT, la IA de la Comunidad de Madrid para enfermedades raras, aún no ha pasado la validación de un comité médico.

[Archivo]

Identidad digital europea: un wallet voluntario pero obligatorio

identidad digital europea

A pesar de que el año que viene todos los ciudadanos de la UE usarán una cartera digital para gran cantidad de trámites y servicios privados, aún es poco lo que el público general conoce de ella. Europa está a las puertas de su cartera de identidad digital europea: unos estándares que servirán para que 448 millones de personas puedan hacer trámites online, loguearse en plataformas como Google o Facebook, hacer gestiones con las administraciones y servicios privados.

Se verá como una app en el móvil y es mucho más que una firma digital: podrá incluir nuestro historial clínico, CV, vacunas, historial financiero y patrimonial y certificados de estudios. Algunos piensan que será una verdadera distopía digital, y otros, más optimistas, creen que servirá para terminar con la burocracia europea.

Los expertos coinciden en que aunque se diga voluntario, será obligatorio de facto, como lo es hoy saber utilizar un móvil o un ordenador, y que aún hay algunos vacíos de seguridad. Hablé con ellos y lo cuento para Newtral en «Qué es la Identidad digital europea: mucho más que una firma electrónica que será «obligatoria de facto» para 440 millones de europeos».

[Archivo]

La IA y el futuro del empleo: una nueva revolución industrial

ia empleo riesgos

El del FMI ha sido el último, pero muchos estudios vienen analizando el impacto de la IA en el empleo. Pista: donde se dice «afectará» no significa bien o mal. Los expertos reconocen que ciertos países están más preparados, pero también advierten que en esta «nueva revolución industrial» -como le llaman por su alcance- los trabajadores cualificados están en riesgo. Los artistas, escritores y guionistas han sido los primeros en demandar, pero habrá otros sectores golpeados y también concentración de riqueza en dueños y accionistas de la IA.

He mirado varios de los estudios sobre IA y futuro del empleo y lo he escrito en «El impacto de la IA en el empleo, según expertos e investigadores: quiénes ganan y pierden con esta nueva “revolución industrial” para Newtral.

[Archivo]

ActivityPub para integrar a Threads al Fediverso

ActivityPub Threads fediverso

Desde que Musk se hizo cargo de Twitter varias plataformas nuevas quieren reinventar la internet social, y trabajan en protocolos descentralizados, que dan más poder al usuario. ¿Cómo será una internet en la que no necesites tener cuenta en un servicio para comunicarte con los usuarios que están en él? Threads ya está en ello también.

El juguete nuevo de Meta tiene intenciones de integrarse al Fediverso. Threads está implementando ActivityPub, el mismo protocolo de Mastodon, y eso significa que ya hay cuentas que se pueden seguir desde la otra red. Una de ellas es la del jefe de Threads, @mosseri@threads.net, que lo ha contado en un anuncio que ha pasado un poco desapercibido, por lo menos en la prensa en español. El impulso que puede dar Meta a las redes descentralizadas puede ser interesante, con muchas otras plataformas están trabajando con protocolos abiertos, como Bluesky, Nostr, Farcaster. Lo cuento en «Hacia redes sociales: qué es el protocolo ActivityPub y por qué es la gran promesa de Threads» para Newtral.

[Archivo]

Foto de Alina Grubnyak

Necesitamos más código abierto en la carrera por la IA

código abierto ia

Algo que está pasando con las nuevas AI generativas es un doble estándar que están manejando. Estas compañías hablan la innovación que traen con el desarrollo de la IA, pero no devuelven ese conocimiento a la sociedad; y hablan de futuro sin hacer caso a los daños que causan hoy. He leído en un foro un debate en el que se preguntaban si OpenAI no debía quitar la palabra Open de su nombre porque estaba siendo un fraude que implicaba que les queda algo de abiertos.

El CEO de Stability AI, Emad Mostaque, habla de «democratizar la IA». Y todos los que repiten ese discurso no dejan nunca en claro si hablan de democratizar el uso de la IA, el desarrollo de la IA, los beneficios económicos de la IA o la gobernanza de la IA. Lo han estudiado en Oxford.

La semana pasada publiqué un tema que llevaba siguiendo hacía varias semanas: cuál es el rol del código abierto en el boom de la IA. Muchos piensan que estamos ante una tecnología demasiado importante para dejarla en manos de un pequeño grupo de empresas.

[Archive]

Foto de Jan Kroon

Narrativas falsas en la prensa económica

Laffer napkin: narrativas falsas en la prensa económica

Las narrativas falsas también existen en la prensa económica, y alguna, como aquella que explicó Arthur Laffer dibujando en una servilleta en una cena con Dick Cheney, que ilustra este artículo, ha ejercido su influencia durante casi 50 años, y llegó a configurar políticas fiscales de Reagan y Tatcher. Actualmente, la hegemonía del liberalismo no necesita tanto de bulos como de narrativas que ayudan a reforzar argumentos en favor de ciertos grupos de interés.

Capitan Swing ha publicado «Pescar el salmón», un libro de Yago Álvarez Barba en la que analiza las narrativas falsas en la actual prensa salmón (como se le llama a la prensa económica en España por el color con el que antes iban tintadas sus páginas en papel), explicando varias técnicas de manipulación y desinformación tremendamente vigentes. He hablado con el autor y he publicado «Narrativas falsas en la prensa económica: bulos, mentiras y estadísticas».

[Archivo]