Bolt42

A IA da Microsoft agora pode ler sua tela — ou melhor, os sites que você está navegando.

Na quinta-feira, a empresa começou a disponibilizar uma prévia limitada, exclusiva para os EUA, do Copilot Vision, uma ferramenta que pode entender e responder a perguntas sobre os sites que você está visitando usando o Microsoft Edge. Acesse por meio do Copilot Labs, um programa opt-in para capacidades experimentais de IA, o Copilot Vision pode analisar texto e imagens em páginas da web para responder a perguntas como “Qual é a receita para esta lasanha?”

Note que o Copilot Labs requer uma assinatura do plano Copilot Pro da Microsoft, que custa $20 por mês.

Além de responder perguntas, o Copilot Vision pode resumir e traduzir texto, e realizar tarefas como destacar produtos com desconto em um catálogo de loja. Ele também pode atuar como um assistente de jogo, oferecendo dicas durante partidas no Chess.com, por exemplo.

“Quando você escolhe habilitar o Copilot Vision, ele vê a página em que você está, lê junto com você, e você pode discutir o problema que está enfrentando juntos”, escreveu a Microsoft no blog compartilhado com o TechCrunch. “É uma nova maneira de convidar a IA para acompanhá-lo enquanto você navega na web, posicionada de forma discreta na parte inferior do seu navegador Edge sempre que você quiser pedir ajuda.”

Imagem: Créditos: Microsoft

Sem dúvida ansiosa para evitar mais má publicidade por erros de privacidade da IA, a Microsoft está enfatizando que o Copilot Vision exclui dados após cada sessão. Áudio, imagens ou texto processados não são armazenados ou usados para treinar modelos, diz a empresa — pelo menos não nesta versão de prévia.

O Copilot Vision também é limitado nos tipos de sites que pode visualizar. Por enquanto, a Microsoft está bloqueando a funcionalidade para que não funcione em conteúdos pagos e “sensíveis”, restringindo o Vision a uma lista pré-aprovada de sites “populares”.

O que exatamente “sensível” envolve? Pornografia? Violência gráfica? A Microsoft não disse.

“A lista de sites permitidos é determinada por categoria e caso a caso”, disse um porta-voz da Microsoft. “Estamos começando com uma pequena lista de sites que testamos minuciosamente e continuaremos a adicionar mais sites ao longo do tempo.”

A abordagem cautelosa da Microsoft é, em parte, o produto de disputas legais com veículos de notícias. Em uma ação judicial em andamento, o The New York Times alega que a Microsoft permitiu que usuários contornassem seu paywall ao servir artigos do NY Times através do chatbot Copilot no Bing.

Muitos editores importantes optaram por bloquear ferramentas de IA de vasculharem seus sites não apenas por medo de que seus dados sejam usados sem permissão, mas também para evitar que essas ferramentas aumentem seus custos com servidores. A Microsoft disse que o Copilot Vision respeitará os “controles legíveis por máquina sobre IA” dos sites, como regras que proíbem bots de coletarem dados para treinamento de IA. No entanto, a empresa não disse precisamente quais controles o Vision irá respeitar; há várias em uso.

Se a tendência atual continuar, o Copilot Vision pode não funcionar em alguns dos principais sites de notícias da web. Mas a Microsoft disse que está comprometida em “ouvir feedback” para aliviar as preocupações dos editores.

“Alguns dos que colaboramos são editores terceiros, que nos ajudam a entender como o Vision poderia ser usado para ajudar as pessoas a se engajar melhor e tomar decisões em suas páginas”, escreveu a empresa no blog. “Essas contribuições nos ajudarão a projetar o Vision para ser mais útil na forma como interage com as páginas da web.”

A TechCrunch tem um boletim informativo focado em IA! Inscreva-se aqui para recebê-lo em sua caixa de entrada todas as quartas-feiras.

    dezenove + 17 =

    Bolt42

    IA