Ocurrenseme moitas derivadas disto, ningunha boa.

El Sergas lanza un chat de IA conectado al historial del paciente: «¿Tengo que partir la pastilla?»
:farodevigo: farodevigo.es/galicia/2025/11/

@fedello
Conozco este proyecto desde muy cerca. En los proyectos pilotos la recepción por los médicos ha sido muy positiva y se que en algunos casos este sistema salvó vidas.

Ahora, que lo pongan en las manos de los pacientes ya me parece mucho más peligroso.

Es verdad que los LLMs no aciertan siempre y por lo tanto no son seguros, pero la verdad es que yo no me fío mucho más de los médicos: he visto varias ocasiones en que el chatbot les corrigió sobre cosas básicas y muy importantes.

@rastinza @fedello @ifrit Se os pacientes interactuan directamente có LLM e falla, quen vai detectar esos casos? Quen se vai facer responsable?

Na miña opinión, se tes a pésima idea de usar LLM para misións críticas sempre ten que haber un experto humano supervisando.

@salvari @rastinza @fedello @ifrit e outra cousa que me preocupa aínda máis... lendo os documentos da licitación non requiren que o modelo se execute en infraestrutura do sergas, simplemente é "algo que se valorará positivamente".

A mín preocuparíame xa que o sergas entrenara un modelo coa miña historia, pero que ese modelo estea fora da súa infraestrutura pareceríame inaceptable.

@delthia @salvari @fedello @ifrit
No estoy a lo tanto de los últimos desarrollos del proyecto.
Por donde quedé si que se iba a montar la infraestructura en el Sergas, de hecho yo mismo valoré específicas de servidores por montar en el CHUS a este propósito.
No se trata de entrenar modelos con datos de pacientes, si no de enviar datos de pacientes a los modelos, modelos que han sido entrenados sobre documentación médica.
Se que también se había valorado la hipótesis de utilizar servidores externos, de todas formas esto no sería un gran riesgo en respeto a la información de los pacientes dado que se utilizarían servidores soberanos europeos donde el acceso a los datos solo sería para el Sergas.

Claramente en este aspecto hay mucho control de la información. Seguramente es peor la seguridad informática del mismo hospital: si te vas por la tarde con un Pen Drive y lo insertas en un ordenador te puedes sacar lo que quieras sin mucho problema.

@rastinza @delthia @salvari @ifrit O tema é que para iso tes que ir cun Pen a un hospital, e poderás acceder a cousas limitadas e o tempo limitado mentres non che cachen. No momento en que o sacas calquera dende a súa case podería acceder o historial de toda a poboación.

Respecto da nova, para min o principal problema é que sexa o chat, coma ben dicíades. Poñer iso en mans de pacientes que a meirande parte non son conscientes do que é, é temerario Moito peor que cando buscas en google.

Follow

@fedello @delthia @salvari @ifrit
Si, esto es un problema. Imagino que quién hizo la entrevista no sabía de lo que estaba hablando.
No creo que se vaya a permitir que un sistema de este tipo sea utilizado por la población.

@rastinza @fedello @salvari @ifrit en el pliego contempla eso. De hecho la consulta del titular es uno de los ejemplos para esa funcionalidad en el pliego de prescripciones técnicas

Sign in to participate in the conversation
Qoto Mastodon

QOTO: Question Others to Teach Ourselves
An inclusive, Academic Freedom, instance
All cultures welcome.
Hate speech and harassment strictly forbidden.