Ocurrenseme moitas derivadas disto, ningunha boa.
El Sergas lanza un chat de IA conectado al historial del paciente: «¿Tengo que partir la pastilla?»
:farodevigo: https://www.farodevigo.es/galicia/2025/11/16/medicos-galicia-ahorraran-tiempo-ia-paciente-123761047.html
@fedello
Conozco este proyecto desde muy cerca. En los proyectos pilotos la recepción por los médicos ha sido muy positiva y se que en algunos casos este sistema salvó vidas.
Ahora, que lo pongan en las manos de los pacientes ya me parece mucho más peligroso.
Es verdad que los LLMs no aciertan siempre y por lo tanto no son seguros, pero la verdad es que yo no me fío mucho más de los médicos: he visto varias ocasiones en que el chatbot les corrigió sobre cosas básicas y muy importantes.
@salvari @rastinza @fedello @ifrit e outra cousa que me preocupa aínda máis... lendo os documentos da licitación non requiren que o modelo se execute en infraestrutura do sergas, simplemente é "algo que se valorará positivamente".
A mín preocuparíame xa que o sergas entrenara un modelo coa miña historia, pero que ese modelo estea fora da súa infraestrutura pareceríame inaceptable.
@delthia @salvari @fedello @ifrit
No estoy a lo tanto de los últimos desarrollos del proyecto.
Por donde quedé si que se iba a montar la infraestructura en el Sergas, de hecho yo mismo valoré específicas de servidores por montar en el CHUS a este propósito.
No se trata de entrenar modelos con datos de pacientes, si no de enviar datos de pacientes a los modelos, modelos que han sido entrenados sobre documentación médica.
Se que también se había valorado la hipótesis de utilizar servidores externos, de todas formas esto no sería un gran riesgo en respeto a la información de los pacientes dado que se utilizarían servidores soberanos europeos donde el acceso a los datos solo sería para el Sergas.
Claramente en este aspecto hay mucho control de la información. Seguramente es peor la seguridad informática del mismo hospital: si te vas por la tarde con un Pen Drive y lo insertas en un ordenador te puedes sacar lo que quieras sin mucho problema.
@rastinza @salvari @fedello @ifrit no dudo que no se tenga en cuenta la seguridad de la información, obviamente se cumplirán las leyes correspondientes, pero mi crítica iba por otro lado.
Sobre sacarlo fuera, se trata de que en ese caso no sería infraestructura del sergas gestionada por el sergas, sería infraestructura gestionada por la empresa subcontratada.
Y aún teniendo en cuenta todas las leyes que hay, la ley no está al día con esto. Se trata de datos muy sensibles con los que se estaría tratando. Además, como comento en el hilo que cito, ¿Se conoce el cambio en el comportamiento o la impresión de un profesional que tienen estas herramientas?
No me cuesta imaginarme un supuesto en el que la máquina responde, como siempre con un "¡Por supuesto!..." y lía al profesional. No sé, yo me muestro escéptico, especialmente con este tipo de cosas que no suelen tener un comportamiento determinista. Creo que la IA es útil para clasificación, por ejemplo, pero soy muy escéptico de su variante generativa, especialmente aplicada a cosas tan sensibles.
Y aunque se monte en infraestructura propia, el hecho de que el pliego no lo exija me parece problemático.
@delthia @salvari @fedello @ifrit
Sobre lo del tratamiento de los datos. No estoy muy seguro que una infraestructura del sergas sería más segura de una subcontratada.
Claro, la información no saldría del hospital - pero el Sergas no tiene mucha capacidad de cyber seguridad. No digo que sería necesariamente mal gestionada, pero el riesgo de que un ataque llegue a ese información sería más elevado comparado con una empresa especializada.
Ahora, los centros que se podrían evaluar son aprobados por la unión europea. En eso hay una normativa muy estricta. Todos los que trabajan en esos sitios tienen que ser ciudadanos europeos y ningún dato puede salir de ahí. Están monitoreados directamente por organismos europeos.
No quiero decir que sea completamente seguro, pero tampoco estamos hablando de enviarles datos de pacientes a OpenAI.
