Nadella: trate cada modelo de IA como um insider comprometido
O chefe do maior fornecedor empresarial de IA tirou a segurança de quem faz o modelo e passou a quem o implanta, em sete princípios.
Por A redação, Reportagem · · 1 min de leitura
Tags: microsoft · segurança · agentes · nadella
- A notícia
- O chefe do maior fornecedor empresarial de IA tirou a segurança de quem faz o modelo e passou a quem o implanta, em sete princípios.
- Por que importa
- O presidente-executivo da Microsoft, Satya Nadella, publicou um ensaio defendendo que as empresas presumam que os modelos de IA estão comprometidos e mantenham um freio de emergência nas mãos de um humano.
- O que está confirmado
- A fotografia foi gerada para esta matéria.
Ligado a uma fonte nomeada. Não marcado como verificado. TechCrunch
A notícia
O presidente-executivo da Microsoft, Satya Nadella, publicou um ensaio intitulado “Models as Insider Risks in the Super Intelligence Era”, argumentando que empresas que implantam modelos de fronteira deveriam tratá-los do jeito que equipes de segurança tratam um funcionário poderoso que possa estar comprometido. “Temos de presumir que um modelo está comprometido e contê-lo desde o início”, escreveu ele, informaram a TechCrunch e a CNBC. “Pense nisso como um freio de emergência.”
Por que importa
O enquadramento põe os controles fora do modelo, em registros, harnesses e interruptores de desligamento, e provavelmente vai aparecer em listas de verificação das compras corporativas.
Os detalhes
Nadella lista sete princípios, entre eles separar o modelo do harness que o orquestra, registros à prova de adulteração de cada ação relevante, auditabilidade independente, divulgação de incidentes e contenção, com um humano autorizado sempre capaz de pausar ou desligar um modelo no meio de uma tarefa.
Dias depois, Brad Smith, presidente da Microsoft, disse à BBC que compromissos voluntários não bastam e pediu regras globais vinculantes de segurança de IA, aprovação externa antes do lançamento e interruptores de desligamento, informou a TechCrunch.
O que não conseguimos checar
- O ensaio não cita nenhum produto da Microsoft, então não está claro como os princípios se aplicam ao Copilot hoje.
- Nos baseamos em reportagens sobre o texto do ensaio.
Fontes
A fotografia foi gerada para esta matéria. Ela não mostra as pessoas citadas no texto.