Microsoft Copilot Vision chegou, permitindo que a IA veja o que você faz online.

Microsoft Copilot está se tornando mais inteligente a cada dia. A empresa liderada por Satya Nadella acaba de anunciar que seu assistente de IA agora possui capacidades de ‘visão’ que permitem que ele navegue na internet junto com os usuários.

Enquanto a nova funcionalidade foi inicialmente anunciada em outubro deste ano, a empresa agora a está apresentando para um conjunto selecionado de assinantes Pro. De acordo com a Microsoft, esses usuários poderão ativar o Copilot Vision em páginas da web abertas no navegador Edge e interagir com ele sobre os conteúdos visíveis na tela.

Ainda em estágios iniciais de desenvolvimento e bastante restrito, esse recurso, uma vez totalmente desenvolvido, poderá transformar a forma como os clientes empresariais da Microsoft realizam análises e tomam decisões enquanto interagem com os produtos da empresa (OneDrive, Excel, SharePoint, etc.).

Ao longo prazo, será interessante observar como o Copilot Vision se sairá em comparação com ofertas mais abertas e capacitadas, como as da Anthropic e da Emergence AI, que permitem que desenvolvedores integrem agentes para ver, raciocinar e tomar ações em aplicações de diferentes fornecedores.

O que esperar com o Copilot Vision?

Quando um usuário abre um site, ele pode ou não ter um objetivo em mente. Mas, quando tem, como ao pesquisar para um trabalho acadêmico, o processo de execução da tarefa desejada envolve passar pela página, ler todo o seu conteúdo e depois decidir (como se a informação do site deve ser usada como referência para o trabalho ou não). O mesmo se aplica a outras tarefas diárias na web, como compras.

Com a nova experiência do Copilot Vision, a Microsoft pretende simplificar todo esse processo. Essencialmente, o usuário agora conta com um assistente que fica na parte inferior de seu navegador e pode ser acionado quando necessário para ler os conteúdos do site, cobrindo todos os textos e imagens, e auxiliar na tomada de decisões.

Ele pode avaliar, analisar e fornecer imediatamente todas as informações necessárias, levando em consideração o objetivo pretendido pelo usuário — como um segundo par de olhos.

A capacidade traz benefícios de amplo alcance — ela pode acelerar seus fluxos de trabalho rapidamente — além de implicações significativas, uma vez que o agente está lendo e avaliando o que você está navegando. No entanto, a Microsoft garantiu que todo o contexto e informações compartilhadas pelos usuários são excluídos assim que a sessão do Vision é encerrada. A empresa também observou que os dados dos sites não são capturados/armazenados para treinar os modelos subjacentes.

“Em resumo, estamos priorizando direitos autorais, criadores e a privacidade e segurança de nossos usuários – colocando todos eles em primeiro lugar,” escreveu a equipe do Copilot em um post de blog anunciando a prévia da capacidade.

Expansão baseada em feedback

Atualmente, um conjunto selecionado de assinantes do Copilot Pro nos EUA, que se inscreveram no programa de acesso antecipado Copilot Labs, poderá utilizar as capacidades de visão em seu navegador Edge. A funcionalidade será opcional, o que significa que eles não precisam se preocupar com a IA lendo suas telas o tempo todo.

Além disso, neste estágio, ele funcionará apenas com sites selecionados. A Microsoft diz que irá coletar feedback dos usuários iniciais e gradualmente melhorar a capacidade enquanto expande o suporte a mais usuários Pro e outros sites.

A longo prazo, a empresa pode até expandir essas capacidades para outros produtos em seu ecossistema, como OneDrive e Excel, permitindo que os usuários empresariais trabalhem e tomem decisões com mais facilidade. No entanto, ainda não há confirmação oficial. Vale mencionar que, dada a abordagem cautelosa aqui sinalizada, pode levar algum tempo até que isso se torne uma realidade.

A decisão da Microsoft de lançar a prévia do Copilot Vision ocorre em um momento em que os concorrentes estão empurrando os limites no espaço de IA agentiva. A Salesforce já lançou o AgentForce em suas ofertas do Customer 360 para automatizar fluxos de trabalho em domínios como vendas, marketing e serviços.

Enquanto isso, a Anthropic lançou o ‘Computer Use’, que permite aos desenvolvedores integrar Claude para interagir com um ambiente de desktop de computador, realizando tarefas que antes eram executadas apenas por trabalhadores humanos, como abrir aplicativos, interagir com interfaces e preencher formulários.