Microsoft Research scopre come rilevare i sleeper agent nei modelli IA
Una nuova ricerca di Microsoft illustra come identificare le modifiche anomale ai pesi dei neuroni nei modelli di intelligenza artificiale.
Microsoft Research ha pubblicato una nuova ricerca sulle minacce informatiche che mostra come un modello di agente avanzato possa essere trasformato in un sleeper agent. Secondo quanto emerso dallo studio, questa modifica può avvenire intervenendo su meno di dieci neuroni per iniettare un breve payload.
La stessa ricerca di Microsoft Research ha tuttavia evidenziato che questa specifica minaccia è rilevabile. Gli agenti di frontiera sono infatti in grado di individuare le modifiche anomale apportate ai pesi dei neuroni, permettendo così di identificare la presenza del problema all'interno del modello.