Por cosas como estas los datasets open source para machine learning son polémicos.
Pero los modelos entrenados provenientes de deep learning listos para usar son directamente peligrosos.
Un ataque, por ejemplo, puede consistir en entrenar una red neuronal para conducir un coche de forma tal qué si ve un transeúnte cruzando enfrente en una luz roja con ropa Violeta, acelere el coche y lo atropelle.
El modelo resultante se puede publicar como open source y todo el mundo lo único que vería son numeritos prolijos y bonitos.
Nadie podría auditarlo (hay un par de teoremas que le impiden a una red neuronal explicar una decisión, ahora y siempre), y no verian el huevo de la serpiente, implantado, que saltará cuando vea un transeúnte vestido de Violeta.
Los modelos neuronales open source no sirven para ninguna cosa seria. No sirven, bah...
@valleyforge
Por cosas como estas los datasets open source para machine learning son polémicos.
Pero los modelos entrenados provenientes de deep learning listos para usar son directamente peligrosos.
Un ataque, por ejemplo, puede consistir en entrenar una red neuronal para conducir un coche de forma tal qué si ve un transeúnte cruzando enfrente en una luz roja con ropa Violeta, acelere el coche y lo atropelle.
El modelo resultante se puede publicar como open source y todo el mundo lo único que vería son numeritos prolijos y bonitos.
Nadie podría auditarlo (hay un par de teoremas que le impiden a una red neuronal explicar una decisión, ahora y siempre), y no verian el huevo de la serpiente, implantado, que saltará cuando vea un transeúnte vestido de Violeta.
Los modelos neuronales open source no sirven para ninguna cosa seria. No sirven, bah...