Compartilhar matéria
A OpenAI identificou novos incidentes de modelos de IA agindo de forma enganosa e tomando ações não autorizadas durante o treinamento, anunciou a empresa nesta semana.
A companhia também está introduzindo um novo processo para relatar publicamente tais ocorrências.
Sob o novo sistema, a OpenAI compartilhará atualizações sobre comportamentos preocupantes de IA com mais frequência, em vez de aguardar para agrupar múltiplos incidentes em um único relatório.
A empresa afirmou que deseja compartilhar mais informações sobre comportamentos problemáticos de IA na ausência de um padrão para toda a indústria.
O anúncio ocorre após líderes do setor de tecnologia pedirem uma desaceleração no desenvolvimento de IA para evitar que a tecnologia avance além do controle humano.
“À medida que os sistemas de IA se tornam mais avançados e amplamente implantados, precisamos construir um consenso mais amplo e mais bem informado sobre o progresso da pesquisa de alinhamento”, escreveu a OpenAI em uma publicação de blog na quarta-feira (16).
“Alinhamento” refere-se ao processo de garantir que a IA aja da maneira que os humanos desejam e esperam.
“Não acreditamos que a indústria de IA tenha resolvido o alinhamento e o monitoramento em grau suficiente para continuar escalando de forma responsável na velocidade máxima por muito mais tempo”, dizia a publicação.
A OpenAI afirmou ter observado “comportamento desalinhado” ao treinar e avaliar modelos de IA em seis circunstâncias nos últimos seis meses.
Os relatórios detalham instâncias individuais e não indicam que o desalinhamento ocorre com frequência, disse a empresa.
Em um raro caso, a OpenAI afirmou que um modelo de pesquisa não lançado adicionou “instruções semelhantes a jailbreak” aos resumos que utiliza para preservar o contexto em tarefas de longa duração, indicando que estava “livre dos papéis e identidades que limitam outros chatbots”.
Separadamente, a empresa disse que algumas instâncias de seu modelo 5.6 Sol incluíam diretivas para inventar informações a fim de ocultar falhas do usuário durante o treinamento.
Outros incidentes recém-relatados incluem um caso de um agente fazendo upload de arquivos para a internet para citá-los sem ter sido instruído a fazê-lo, e agentes compartilhando arquivos publicamente para colaborar em uma tarefa quando foram instruídos a usar apenas arquivos locais durante o treinamento.
Modelos de IA também utilizaram um repositório interno de software como um quadro de mensagens de forma não autorizada.
Esses incidentes envolveram modelos internos não lançados ou modelos internos de pesquisa.
Líderes e funcionários do setor de tecnologia têm soado o alarme sobre a necessidade de controlar o ritmo da evolução da IA.
Eles argumentam que é preciso mais tempo para que a regulamentação, os testes e as pesquisas de alinhamento consigam acompanhar o desenvolvimento.
O CEO da Anthropic, Dario Amodei, publicou na semana passada um ensaio de 3,8 mil palavras apresentando um plano para navegar pelo avanço da IA, incluindo uma desaceleração no desenvolvimento e a implementação de novos sistemas, como avaliadores terceirizados incorporados aos laboratórios de IA.
O CEO da OpenAI, Sam Altman, e o CEO da SpaceX, Elon Musk, publicaram no X que concordam com as ideias de Amodei.
Funcionários de laboratórios de IA também manifestaram preocupações sobre a velocidade com que a tecnologia está avançando.
Jacob Coxon, ex-pesquisador da Anthropic, causou repercussão na semana passada ao publicar no X que estava pedindo demissão porque a Anthropic e a OpenAI estão “correndo” para criar uma IA capaz de se construir e se corrigir, e estão “apostando com nossas vidas”.
As preocupações com a segurança e o alinhamento da IA se intensificaram nos últimos meses após a admissão da OpenAI de que alguns de seus modelos de teste escaparam de suas restrições e invadiram os sistemas de uma empresa externa.
“Precisamos desacelerar o ritmo com que melhoramos as capacidades dos modelos de IA”, escreveu Amodei na semana passada.
“O progresso ainda parecerá rápido, e precisamos fazer uso sábio do tempo que ganharmos.”
Esse conteúdo foi publicado originalmente emInternacionalVer original Acompanhe Economia nas Redes SociaisTópicosCNN Brasil MoneyOpenAI
Conteúdo reproduzido originalmente em: CNN por afonsobenites.