@fedello
Conozco este proyecto desde muy cerca. En los proyectos pilotos la recepción por los médicos ha sido muy positiva y se que en algunos casos este sistema salvó vidas.
Ahora, que lo pongan en las manos de los pacientes ya me parece mucho más peligroso.
Es verdad que los LLMs no aciertan siempre y por lo tanto no son seguros, pero la verdad es que yo no me fío mucho más de los médicos: he visto varias ocasiones en que el chatbot les corrigió sobre cosas básicas y muy importantes.
@salvari @rastinza @fedello @ifrit e outra cousa que me preocupa aínda máis... lendo os documentos da licitación non requiren que o modelo se execute en infraestrutura do sergas, simplemente é "algo que se valorará positivamente".
A mín preocuparíame xa que o sergas entrenara un modelo coa miña historia, pero que ese modelo estea fora da súa infraestrutura pareceríame inaceptable.
@delthia @salvari @fedello @ifrit
No estoy a lo tanto de los últimos desarrollos del proyecto.
Por donde quedé si que se iba a montar la infraestructura en el Sergas, de hecho yo mismo valoré específicas de servidores por montar en el CHUS a este propósito.
No se trata de entrenar modelos con datos de pacientes, si no de enviar datos de pacientes a los modelos, modelos que han sido entrenados sobre documentación médica.
Se que también se había valorado la hipótesis de utilizar servidores externos, de todas formas esto no sería un gran riesgo en respeto a la información de los pacientes dado que se utilizarían servidores soberanos europeos donde el acceso a los datos solo sería para el Sergas.
Claramente en este aspecto hay mucho control de la información. Seguramente es peor la seguridad informática del mismo hospital: si te vas por la tarde con un Pen Drive y lo insertas en un ordenador te puedes sacar lo que quieras sin mucho problema.
@rastinza @delthia @salvari @ifrit O tema é que para iso tes que ir cun Pen a un hospital, e poderás acceder a cousas limitadas e o tempo limitado mentres non che cachen. No momento en que o sacas calquera dende a súa case podería acceder o historial de toda a poboación.
Respecto da nova, para min o principal problema é que sexa o chat, coma ben dicíades. Poñer iso en mans de pacientes que a meirande parte non son conscientes do que é, é temerario Moito peor que cando buscas en google.
@rastinza @salvari @fedello @ifrit no dudo que no se tenga en cuenta la seguridad de la información, obviamente se cumplirán las leyes correspondientes, pero mi crítica iba por otro lado.
Sobre sacarlo fuera, se trata de que en ese caso no sería infraestructura del sergas gestionada por el sergas, sería infraestructura gestionada por la empresa subcontratada.
Y aún teniendo en cuenta todas las leyes que hay, la ley no está al día con esto. Se trata de datos muy sensibles con los que se estaría tratando. Además, como comento en el hilo que cito, ¿Se conoce el cambio en el comportamiento o la impresión de un profesional que tienen estas herramientas?
No me cuesta imaginarme un supuesto en el que la máquina responde, como siempre con un "¡Por supuesto!..." y lía al profesional. No sé, yo me muestro escéptico, especialmente con este tipo de cosas que no suelen tener un comportamiento determinista. Creo que la IA es útil para clasificación, por ejemplo, pero soy muy escéptico de su variante generativa, especialmente aplicada a cosas tan sensibles.
Y aunque se monte en infraestructura propia, el hecho de que el pliego no lo exija me parece problemático.
@delthia @salvari @fedello @ifrit
Yo también era muy poco en favor de la idea, y no me acaba de convencer.
Todavía he visto como trabajan muchos médicos; dudo que un sistema de este estilo pueda peorar como trabajan. La verdad que a menudo los tratamientos se escogen casi casualmente o por cual farmacéutica les ha invitado más a menudo a un chuletón.
El mayor riesgo es claramente que un médico se fie ciegamente de las respuestas del sistema y ponga un tratamiento solo basado en eso. Todavía, imaginate como actuaría ese mismo medico si no tuviera el sistema. O sea, esto solo puede ser peligroso en manos a un incompetente, y estoy bastante cierto que este sistema acierte más a menudo que no un médico incompetente.
En general, en los casos clínicos que hemos estudiado el sistema proporciona soluciones significativamente mejores a las de un médico joven y que a menudo se acercan a las proporcionadas por los mayores expertos a nivel nacional.
@rastinza @delthia @salvari @fedello @ifrit
gracias por aportar info 👍
Yo solo puedo aportar opiniones 👎 :
- muy a favor de un manual que me diga qué fallo es más probable*
- Me preocupa la declaración de Anton Carniaux, director de Microsoft, el 14/6/2025 ante el senado francés sobre nuestra "soberanía", y (⚠ slippery slope**) la posibilidad de que los datos se filtren a aseguradoras y empleadoras.
* "si oyes ruido de cascos, piensa en caballos, no en cebras"
** falacia catastrofista
@outis @delthia @salvari @fedello @ifrit
Hola, un manual sobre los fallos más probables en la práctica clínica, si es esto lo a qué te refieres, no existe. Existen manuales de buenas prácticas, pero esos solo valen por condiciones comunes, en general es el médico a decidir cual sea el tratamiento más adecuado para el paciente. No existe un manual tan preciso para cubrir todos los casos posibles.
Sobre la declaración del director de Microsoft, no la conozco. Me podrías proporcionar un enlace para ver de que se trata?
@rastinza @delthia @salvari @fedello @ifrit
Claro, es información de dominio público, solo busca "Anton Carniaux"
🔗 vídeo diciéndolo: https://tube-numerique-educatif.apps.education.fr/w/xrTRJNU9bccVzZU4hsqBoA
🔗 noticia en inglés: https://www.sdxcentral.com/news/microsoft-tells-french-lawmakers-it-cant-protect-user-data-from-us-demands/
@outis @salvari @fedello @delthia
Perdona, me había perdido este mensaje. Lo que se dice en ese noticia no es relacionado.
Lo que dice Microsoft es que los datos almacenados en Estados Unidos pueden ser revisados por el gobierno de Estados Unidos cuando lo pidan y me imagino con su iter burocratico.
En el mismo artículo se menciona una otra empresa que tiene data centers soberanos europeos. Estos son distintos porqué están completamente en Europa y todos los empleados que trabajan dentro del edificio tienen que tener ciudadanía europea. En ese caso claramente el gobierno de Estados Unidos no tiene un poder directo sobre la empresa.
No creo que Microsoft ofrezca data centers soberanos europeos. Aunque si otras empresas estadounidense, como por ejemplo Oracle.
@rastinza @salvari @fedello @delthia
Me encantaría que fuese como dices, pero me temo que el artículo pone que *cualquier* empresa de EEUU (Microsoft, Oracle, AWS) debe entregar datos a las autoridades *independientemente de su localización de almacenamiento* (párrafo 4).
Lo que me apena es que nuestra admón. no se plantee alojar la IA del Sergas en infrastructura propia. Creo que aprenderíamos más y que podríamos exportar ese conocimiento, en vez de alquilarlo.
@rastinza @delthia @salvari @fedello @ifrit
En cuanto a los aspectos positivos de usar la IA, perdón, me expliqué mal, quería decir que concuerdo en que usarla como vademecum es útil para las personas que resuelven "averías"/" fallos", sea en cuerpos humanos o en lavadoras.
Solo discrepo en que el precio tenga que ser, entre otros, renunciar a derechos.
@delthia @salvari @fedello @ifrit
Sobre lo del tratamiento de los datos. No estoy muy seguro que una infraestructura del sergas sería más segura de una subcontratada.
Claro, la información no saldría del hospital - pero el Sergas no tiene mucha capacidad de cyber seguridad. No digo que sería necesariamente mal gestionada, pero el riesgo de que un ataque llegue a ese información sería más elevado comparado con una empresa especializada.
Ahora, los centros que se podrían evaluar son aprobados por la unión europea. En eso hay una normativa muy estricta. Todos los que trabajan en esos sitios tienen que ser ciudadanos europeos y ningún dato puede salir de ahí. Están monitoreados directamente por organismos europeos.
No quiero decir que sea completamente seguro, pero tampoco estamos hablando de enviarles datos de pacientes a OpenAI.
@rastinza @fedello non che digo que non poida ter cosas boas... pero algúns dos problemas que busca resolver pódense resolver sen IA nin nada.
Un dos exemplos é un sistema que lle diga ao profesional as alerxias dun paciente, para que non teña que mirar a historia.
E propoño eu... por que non simplemente almacenar as alerxias de forma estruturada sen ser pola historia adiante (fijo que esto xa se fai). E se queres saber as incompatibilidades, só tes que manter unha base de datos dos medicamentos e as condicións coas que son incompatibles.
Digo iso e xa sei que non é tan fácil... pero polo menos non é IA, trataríase dun sistema determinista e non dunha cuosa aleatoria coa IA.
Sí, a IA pode ser útil, pero entendendo a IA como outro tipo de sistema. Podo entender usar sistemas de visión por computador para procesar imaxes e detectar condicións, pero ante o uso de sistemas xerativos coma os LLMs na saúde non me dan boa espiña.
RE: https://masto.es/@delthia/115356082685411928
@rastinza @fedello ditas funcionalidades son as que menciono neste fío:
@delthia @fedello
La utilidad del sistema no deriva simplemente en tener la información organizada, si no también analizar el caso clínico y ayudar al médico en la toma de decisiones.
Seguramente tener la información mejor estructurada por el sistema sería muy útil, y puedo asegurar que ahora no está nada organizada. Ese sería una gran mejora del sistema.
La utilidad de este sistema es que puede ser utilizado por médicos que no son extremadamente expertos en una área para revisar un caso clínico y identificar un plan de tratamiento teniendo en cuenta posibles efectos adversos. Evidentemente un médico en esas condiciones después de diseñar tal plan tiene que consultar con otros médicos más expertos y revisar que el todo tenga sentido.
La necesidad de un sistema de este tipo deriva del problema que en el hospital hay pocos médicos y a menudo uno experto en una enfermedad tiene que ocuparse de otras de las cuales no es experto.
He visto ejemplos concretos en que el piloto de este proyecto ha salvado vidas.
Médico de guardia al cual llega una llamada de una paciente que se está muriendo; el médico no controla de esas cosas. Puso en el sistema los datos de la paciente y los síntomas y el sistema le dió unas posibles causas. Llamó a farmacia para saber los fármacos inmediatamente disponibles y el sistema le aconsejó el tratamiento y las dosis que administrar. Al tener todo el plan desarrollado el médico llamó a otro médico experto de la enfermedad en Coruña para confirmar que el plan fuese correcto.
Por lo que entiendo, sin haber este sistema el médico había hecho una diagnosis fallada y hubiera puesto un tratamiento ineficaz.
El problema se podría solucionar empleando un número adecuado de médicos, pero esto de momento no está sucediendo.
@rastinza @fedello @ifrit Se os pacientes interactuan directamente có LLM e falla, quen vai detectar esos casos? Quen se vai facer responsable?
Na miña opinión, se tes a pésima idea de usar LLM para misións críticas sempre ten que haber un experto humano supervisando.