Ocurrenseme moitas derivadas disto, ningunha boa.
El Sergas lanza un chat de IA conectado al historial del paciente: «¿Tengo que partir la pastilla?»
:farodevigo: https://www.farodevigo.es/galicia/2025/11/16/medicos-galicia-ahorraran-tiempo-ia-paciente-123761047.html
@fedello
Conozco este proyecto desde muy cerca. En los proyectos pilotos la recepción por los médicos ha sido muy positiva y se que en algunos casos este sistema salvó vidas.
Ahora, que lo pongan en las manos de los pacientes ya me parece mucho más peligroso.
Es verdad que los LLMs no aciertan siempre y por lo tanto no son seguros, pero la verdad es que yo no me fío mucho más de los médicos: he visto varias ocasiones en que el chatbot les corrigió sobre cosas básicas y muy importantes.
@salvari @rastinza @fedello @ifrit e outra cousa que me preocupa aínda máis... lendo os documentos da licitación non requiren que o modelo se execute en infraestrutura do sergas, simplemente é "algo que se valorará positivamente".
A mín preocuparíame xa que o sergas entrenara un modelo coa miña historia, pero que ese modelo estea fora da súa infraestrutura pareceríame inaceptable.
@delthia @salvari @fedello @ifrit
No estoy a lo tanto de los últimos desarrollos del proyecto.
Por donde quedé si que se iba a montar la infraestructura en el Sergas, de hecho yo mismo valoré específicas de servidores por montar en el CHUS a este propósito.
No se trata de entrenar modelos con datos de pacientes, si no de enviar datos de pacientes a los modelos, modelos que han sido entrenados sobre documentación médica.
Se que también se había valorado la hipótesis de utilizar servidores externos, de todas formas esto no sería un gran riesgo en respeto a la información de los pacientes dado que se utilizarían servidores soberanos europeos donde el acceso a los datos solo sería para el Sergas.
Claramente en este aspecto hay mucho control de la información. Seguramente es peor la seguridad informática del mismo hospital: si te vas por la tarde con un Pen Drive y lo insertas en un ordenador te puedes sacar lo que quieras sin mucho problema.
@rastinza @salvari @fedello @ifrit no dudo que no se tenga en cuenta la seguridad de la información, obviamente se cumplirán las leyes correspondientes, pero mi crítica iba por otro lado.
Sobre sacarlo fuera, se trata de que en ese caso no sería infraestructura del sergas gestionada por el sergas, sería infraestructura gestionada por la empresa subcontratada.
Y aún teniendo en cuenta todas las leyes que hay, la ley no está al día con esto. Se trata de datos muy sensibles con los que se estaría tratando. Además, como comento en el hilo que cito, ¿Se conoce el cambio en el comportamiento o la impresión de un profesional que tienen estas herramientas?
No me cuesta imaginarme un supuesto en el que la máquina responde, como siempre con un "¡Por supuesto!..." y lía al profesional. No sé, yo me muestro escéptico, especialmente con este tipo de cosas que no suelen tener un comportamiento determinista. Creo que la IA es útil para clasificación, por ejemplo, pero soy muy escéptico de su variante generativa, especialmente aplicada a cosas tan sensibles.
Y aunque se monte en infraestructura propia, el hecho de que el pliego no lo exija me parece problemático.
@delthia @salvari @fedello @ifrit
Yo también era muy poco en favor de la idea, y no me acaba de convencer.
Todavía he visto como trabajan muchos médicos; dudo que un sistema de este estilo pueda peorar como trabajan. La verdad que a menudo los tratamientos se escogen casi casualmente o por cual farmacéutica les ha invitado más a menudo a un chuletón.
El mayor riesgo es claramente que un médico se fie ciegamente de las respuestas del sistema y ponga un tratamiento solo basado en eso. Todavía, imaginate como actuaría ese mismo medico si no tuviera el sistema. O sea, esto solo puede ser peligroso en manos a un incompetente, y estoy bastante cierto que este sistema acierte más a menudo que no un médico incompetente.
En general, en los casos clínicos que hemos estudiado el sistema proporciona soluciones significativamente mejores a las de un médico joven y que a menudo se acercan a las proporcionadas por los mayores expertos a nivel nacional.
@rastinza @delthia @salvari @fedello @ifrit
gracias por aportar info 👍
Yo solo puedo aportar opiniones 👎 :
- muy a favor de un manual que me diga qué fallo es más probable*
- Me preocupa la declaración de Anton Carniaux, director de Microsoft, el 14/6/2025 ante el senado francés sobre nuestra "soberanía", y (⚠ slippery slope**) la posibilidad de que los datos se filtren a aseguradoras y empleadoras.
* "si oyes ruido de cascos, piensa en caballos, no en cebras"
** falacia catastrofista
@outis @delthia @salvari @fedello @ifrit
Hola, un manual sobre los fallos más probables en la práctica clínica, si es esto lo a qué te refieres, no existe. Existen manuales de buenas prácticas, pero esos solo valen por condiciones comunes, en general es el médico a decidir cual sea el tratamiento más adecuado para el paciente. No existe un manual tan preciso para cubrir todos los casos posibles.
Sobre la declaración del director de Microsoft, no la conozco. Me podrías proporcionar un enlace para ver de que se trata?
@rastinza @delthia @salvari @fedello @ifrit
Claro, es información de dominio público, solo busca "Anton Carniaux"
🔗 vídeo diciéndolo: https://tube-numerique-educatif.apps.education.fr/w/xrTRJNU9bccVzZU4hsqBoA
🔗 noticia en inglés: https://www.sdxcentral.com/news/microsoft-tells-french-lawmakers-it-cant-protect-user-data-from-us-demands/
@outis @salvari @fedello @delthia
Perdona, me había perdido este mensaje. Lo que se dice en ese noticia no es relacionado.
Lo que dice Microsoft es que los datos almacenados en Estados Unidos pueden ser revisados por el gobierno de Estados Unidos cuando lo pidan y me imagino con su iter burocratico.
En el mismo artículo se menciona una otra empresa que tiene data centers soberanos europeos. Estos son distintos porqué están completamente en Europa y todos los empleados que trabajan dentro del edificio tienen que tener ciudadanía europea. En ese caso claramente el gobierno de Estados Unidos no tiene un poder directo sobre la empresa.
No creo que Microsoft ofrezca data centers soberanos europeos. Aunque si otras empresas estadounidense, como por ejemplo Oracle.
@rastinza @salvari @fedello @delthia
Me encantaría que fuese como dices, pero me temo que el artículo pone que *cualquier* empresa de EEUU (Microsoft, Oracle, AWS) debe entregar datos a las autoridades *independientemente de su localización de almacenamiento* (párrafo 4).
Lo que me apena es que nuestra admón. no se plantee alojar la IA del Sergas en infrastructura propia. Creo que aprenderíamos más y que podríamos exportar ese conocimiento, en vez de alquilarlo.
@rastinza @delthia @salvari @fedello @ifrit
En cuanto a los aspectos positivos de usar la IA, perdón, me expliqué mal, quería decir que concuerdo en que usarla como vademecum es útil para las personas que resuelven "averías"/" fallos", sea en cuerpos humanos o en lavadoras.
Solo discrepo en que el precio tenga que ser, entre otros, renunciar a derechos.
@delthia @salvari @fedello @ifrit
Sobre lo del tratamiento de los datos. No estoy muy seguro que una infraestructura del sergas sería más segura de una subcontratada.
Claro, la información no saldría del hospital - pero el Sergas no tiene mucha capacidad de cyber seguridad. No digo que sería necesariamente mal gestionada, pero el riesgo de que un ataque llegue a ese información sería más elevado comparado con una empresa especializada.
Ahora, los centros que se podrían evaluar son aprobados por la unión europea. En eso hay una normativa muy estricta. Todos los que trabajan en esos sitios tienen que ser ciudadanos europeos y ningún dato puede salir de ahí. Están monitoreados directamente por organismos europeos.
No quiero decir que sea completamente seguro, pero tampoco estamos hablando de enviarles datos de pacientes a OpenAI.
@rastinza @delthia @salvari @ifrit O tema é que para iso tes que ir cun Pen a un hospital, e poderás acceder a cousas limitadas e o tempo limitado mentres non che cachen. No momento en que o sacas calquera dende a súa case podería acceder o historial de toda a poboación.
Respecto da nova, para min o principal problema é que sexa o chat, coma ben dicíades. Poñer iso en mans de pacientes que a meirande parte non son conscientes do que é, é temerario Moito peor que cando buscas en google.