Esta Semana em IA: É surpreendentemente fácil criar um deepfake de Kamala Harris

Estou confiante de que a Cartesia não pretendia, exatamente, que suas ferramentas fossem usadas dessa maneira. Para habilitar a clonagem de voz, a Cartesia exige que você marque uma caixa indicando que não irá gerar nada prejudicial ou ilegal e que você consente com a clonagem das suas gravações de fala.

Mas isso é apenas um sistema de honra. Na ausência de salvaguardas reais, não há nada impedindo uma pessoa de criar quantos deepfakes “prejudiciais ou ilegais” desejar.

Esse é um problema, nem é preciso dizer. Então, qual é a solução? Existe uma? A Cartesia pode implementar verificação de voz, assim como algumas outras plataformas fizeram. Mas, quando isso acontecer, chances são de que uma nova ferramenta de clonagem de voz sem restrições já tenha surgido.

Falei sobre essa questão com especialistas na conferência Disrupt da TC na semana passada. Alguns apoiaram a ideia de marcas d’água invisíveis para facilitar a identificação de conteúdos gerados por IA. Outros mencionaram leis de moderação de conteúdo, como a Lei de Segurança Online no Reino Unido, que poderiam ajudar a conter a onda de desinformação.

Me chame de pessimista, mas eu acho que esses navios já zarparam. Estamos diante do que o CEO do Center for Countering Digital Hate, Imran Ahmed, descreveu como uma “máquina de besteira perpétua”.

A desinformação está se espalhando em um ritmo alarmante. Alguns exemplos de alto perfil do ano passado incluem uma rede de bots no X direcionada às eleições federais dos EUA e um deepfake de voicemail do presidente Joe Biden desencorajando os residentes de New Hampshire a votarem. Mas os eleitores dos EUA e as pessoas entendidas em tecnologia não são os alvos da maior parte desse conteúdo, conforme análise da True Media.org, por isso tendemos a subestimar sua presença em outros lugares.

O volume de deepfakes gerados por IA cresceu 900% entre 2019 e 2020, de acordo com dados do Fórum Econômico Mundial.

Enquanto isso, existem relativamente poucas leis que visam combater o deepfake. E a detecção de deepfake está prestes a se tornar uma corrida armamentista sem fim. Algumas ferramentas, inevitavelmente, não optarão por usar medidas de segurança, como marca d’água, ou serão implementadas com aplicações expressamente maliciosas em mente.

A menos que ocorra uma mudança drástica, eu acho que o melhor que podemos fazer é ser intensamente céticos em relação ao que existe por aí — especialmente conteúdos virais. Não é tão fácil quanto antes distinguir a verdade da ficção online. Mas ainda temos controle sobre o que compartilhamos e o que não compartilhamos. E isso é muito mais impactante do que pode parecer.

Notícias

Revisão do ChatGPT Search: Meu colega Max testou a nova integração de busca da OpenAI para ChatGPT, o ChatGPT Search. Ele achou impressionante em alguns aspectos, mas pouco confiável para consultas curtas com apenas algumas palavras.

Drones da Amazon em Phoenix: Alguns meses após encerrar seu programa de entrega baseado em drones, Prime Air, na Califórnia, a Amazon anunciou que começou a fazer entregas para clientes selecionados via drone em Phoenix, Arizona.

Ex-líder de AR da Meta se junta à OpenAI: A ex-chefe dos esforços de óculos AR da Meta, incluindo o Orion, anunciou na segunda-feira que está se juntando à OpenAI para liderar robótica e hardware consumidor. A notícia vem após a OpenAI contratar o cofundador da plataforma rival da X (anteriormente Twitter), Pebble.

Limitada pela computação: Em uma AMA no Reddit, o CEO da OpenAI, Sam Altman, admitiu que a falta de capacidade computacional é um dos principais fatores que impedem a empresa de lançar produtos com a frequência desejada.

Recapitulações geradas por IA: A Amazon lançou o “X-Ray Recaps”, um recurso impulsionado por IA generativa que cria resumos concisos de temporadas de TV inteiras, episódios individuais e até partes de episódios.

Aumento de preços do Haiku da Anthropic: O mais novo modelo de IA da Anthropic chegou: Claude 3.5 Haiku. Mas ele é mais caro que a geração anterior e, ao contrário dos outros modelos da Anthropic, ainda não pode analisar imagens, gráficos ou diagramas.

Apple adquire Pixelmator: O editor de imagens com IA, Pixelmator, anunciou na sexta-feira que está sendo adquirido pela Apple. O acordo ocorre em um momento em que a Apple tem se mostrado mais agressiva em integrar IA em seus aplicativos de imagem.

Uma Alexa “agente”: O CEO da Amazon, Andy Jassy, sugeriu na semana passada uma versão aprimorada e “agente” do assistente Alexa da empresa — uma que poderia agir em nome do usuário. A nova Alexa, no entanto, teria enfrentado atrasos e problemas técnicos, e pode não ser lançada até 2025.

Artigo de pesquisa da semana

Pop-ups na web também podem enganar a IA — não apenas os avós.

Em um novo artigo, pesquisadores do Georgia Tech, da Universidade de Hong Kong e de Stanford mostram que “agentes” de IA — modelos de IA que podem completar tarefas — podem ser sequestrados por “pop-ups adversariais” que instruem os modelos a fazer coisas como baixar extensões de arquivos maliciosos.

Alguns desses pop-ups são visivelmente armadilhas para o olho humano — mas a IA não é tão criteriosa. Os pesquisadores afirmam que os modelos de imagem e texto que testaram falharam em ignorar os pop-ups 86% das vezes e, como resultado, eram 47% menos propensos a completar tarefas.

Defesas básicas, como instruir os modelos a ignorar os pop-ups, não foram eficazes. “A implantação de agentes de uso computacional ainda sofre de riscos significativos,” escreveram os co-autores do estudo, “e sistemas de agentes mais robustos são necessários para garantir um fluxo de trabalho seguro dos agentes.”

Modelo da semana

A Meta anunciou ontem que está trabalhando com parceiros para tornar seus modelos de IA “abertos” Llama disponíveis para aplicações de defesa. Hoje, um desses parceiros, a Scale AI, anunciou o Defense Llama, um modelo construído sobre a Llama 3 da Meta que é “personalizado e ajustado para apoiar missões de segurança nacional americana.”

O Defense Llama, que está disponível na plataforma de chatbot Donavan para clientes do governo dos EUA, foi otimizado para planejamento de operações militares e de inteligência, segundo a Scale. O Defense Llama pode responder a perguntas relacionadas à defesa, como por exemplo, como um adversário poderia planejar um ataque contra uma base militar dos EUA.

Então, o que torna o Defense Llama diferente da Llama padrão? Bem, a Scale afirma que ele foi ajustado com conteúdo que pode ser relevante para operações militares, como doutrina militar e direito humanitário internacional, bem como as capacidades de várias armas e sistemas de defesa. Ele também não tem restrições para responder a perguntas sobre guerra, como um chatbot civil poderia ter:

Não está claro quem pode estar inclinado a usá-lo, no entanto.

O Exército dos EUA foi lento para adotar a IA generativa — e cético em relação ao seu ROI. Até agora, o Exército dos EUA é a única ala das forças armadas dos EUA com uma implantação de IA generativa. Funcionários militares expressaram preocupações sobre vulnerabilidades de segurança em modelos comerciais, bem como desafios legais associados ao compartilhamento de dados de inteligência e à imprevisibilidade dos modelos quando enfrentam situações extremas.

Miscellaneous

Spawning AI, uma startup que cria ferramentas para permitir que criadores optem por não participar do treinamento de IA generativa, lançou um conjunto de dados de imagens para treinamento de modelos de IA que afirma ser totalmente de domínio público.

A maioria dos modelos de IA generativa é treinada com dados da web pública, alguns dos quais podem ser protegidos por direitos autorais ou estar sob uma licença restritiva. A OpenAI e muitos outros fornecedores de IA argumentam que a doutrina de uso justo os protege de reivindicações de direitos autorais. Mas isso não impediu que os proprietários de dados entrou com processos.

A Spawning AI afirma que seu conjunto de dados de 12,4 milhões de pares de imagem-legend a inclui apenas conteúdo com “proveniência conhecida” e “rotulado com direitos claros e inequívocos” para treinamento em IA. Ao contrário de alguns outros conjuntos de dados, também está disponível para download de um host dedicado, eliminando a necessidade de web-scraping.

“Significativamente, o status de domínio público do conjunto de dados é integral a esses objetivos maiores,” escreve a Spawning em um post de blog. “Conjuntos de dados que incluem imagens protegidas por direitos autorais continuarão a depender de web-scraping, pois a hospedagem das imagens violaria direitos autorais.”

O conjunto de dados da Spawning, PD12M, e uma versão curada para “imagens esteticamente agradáveis”, PD3M, podem ser encontrados neste link.