Ecosia e Qwant, dois motores de busca europeus, unem forças para criar um índice e reduzir a dependência das grandes empresas de tecnologia.

Qwant, o motor de busca francês focado em privacidade, e Ecosia, um motor de busca sem fins lucrativos baseado em Berlim que usa receita de anúncios para financiar o plantio de árvores e outras iniciativas voltadas para o clima, estão se unindo em um esforço conjunto para desenvolver seu próprio índice de busca europeu.

As duas empresas esperam que essa movimentação ajude a impulsionar a inovação em seus respectivos motores de busca — especialmente em relação à IA generativa — e também a reduzir a dependência de índices de busca fornecidos por gigantes da tecnologia como Microsoft (Bing) e Google. No momento, ambas dependem das APIs de busca do Bing, enquanto a Ecosia também utiliza os resultados de busca do Google.

O aumento dos custos das APIs é um motivador claro para a movimentação que visa diminuir essa dependência da Big Tech, com a Microsoft aumentando drasticamente os preços das APIs de busca do Bing no ano passado.

Nem a Ecosia nem a Qwant deixarão de usar o Bing ou o Google totalmente. No entanto, elas buscam diversificar a tecnologia fundamental que sustenta seus serviços com seu próprio índice. Isso reduzirá seus custos operacionais e servirá como uma base técnica para impulsionar seu desenvolvimento de produtos à medida que as tecnologias de GenAI assumem um papel mais central em muitos serviços digitais voltados para o consumidor.

Ambos os motores de busca já experimentaram a integração de recursos de GenAI. Espere mais novidades nesse sentido, embora não pretendam desenvolver modelos de IA por conta própria. Eles afirmam que continuarão a depender do acesso por meio de APIs aos grandes modelos de linguagem (LLMs) das principais plataformas para alimentar essas adições.

As duas empresas também estão abertas a outras empresas europeias que queiram se juntar a elas em sua busca por maior soberania na pilha tecnológica — pelo menos como clientes do índice de busca, já que planejam licenciar o acesso por meio de uma API. Outras formas de parceria também podem ser consideradas, segundo disseram ao TechCrunch.

“A porta está aberta e estamos prontos para conversar com qualquer um,” disse o CEO da Qwant, Olivier Abecassis. “Mas também queremos focar e realmente garantir a capacidade de investir com nossos acionistas existentes.”

“Sabemos que vamos alimentar a empresa nos próximos anos, e sabemos que nossos acionistas estão prontos para apoiar isso e realmente esperam que nos movimentemos rapidamente,” acrescentou. “Vamos discutir com investidores para acelerar os desenvolvimentos e fazer mais — e com outros para se juntarem à parceria. Portanto, o plano é realmente se mover o mais rápido possível.”

Riscos e oportunidades gerados pela IA

A IA está criando uma urgência dupla para ambas as partes, pois rapidamente gera um cenário de novas oportunidades e potenciais armadilhas.

“Com o surgimento das ferramentas de IA, há uma demanda diferente agora por um índice de busca,” sugeriu o CEO da Ecosia, Christian Kroll. “Os dois provedores, Bing e Google, estão basicamente se tornando cada vez mais relutantes em tornar seus índices acessíveis. E, claro, como motor de busca, precisamos de um índice. Portanto, essa é parcialmente a razão pela qual queremos garantir acesso.”

“Mas também há agora um momento único onde você pode usar esse tipo de índice para construir uma experiência muito diferente — utilizando IA generativa para criar uma experiência diferente — e não queremos ser restringidos no uso dessa tecnologia.”

Kroll também apontou para um ambiente regulatório na Europa que está ansioso para fomentar a inovação tecnológica interna para fortalecer a autonomia estratégica do bloco como outra razão para fazer uma aposta em um índice de busca caseiro agora.

“A oportunidade acaba de ficar muito melhor,” disse. “Com a [Lei de Mercados Digitais da UE], pela primeira vez, dados de ‘clique e consulta’, por exemplo, serão compartilhados por outros motores de busca — então teremos acesso a isso. Além disso, o acesso às plataformas é diferente do que costumava ser. Portanto, temos pensado nisso há muito tempo, mas agora é o momento certo para realmente fazê-lo.”

“Acreditamos que, se quisermos oferecer uma experiência de usuário significativa em GenAI, precisamos de acesso a modelos LLM,” acrescentou Abecassis. “Mas também precisamos de acesso à tecnologia de busca.”

A combinação de modelos GenAI com informações atualizadas extraídas por meio de consultas de busca será fundamental para avançar na utilidade do produto de busca, argumentou ele.

“Acreditamos que a combinação dos dois será a próxima experiência do usuário para busca,” disse. “Busca e GenAI não são exatamente a mesma coisa. Acreditamos que ambos se beneficiarão um do outro, e a mistura será única.”

“O Google decidiu ter dois produtos fortes, mas não misturá-los. E eu consigo entender isso quando olho para o modelo de negócios legado do Google. Mas no futuro, algo vai acontecer entre [essas tecnologias] e é isso que queremos vivenciar. E para isso, qualquer jogador no mercado precisará ter acesso a uma tecnologia de busca. É por isso que queremos propor isso ao mercado.”

Em direção a uma perspectiva europeia

A nova joint venture do par, que está sendo chamada de Perspectiva de Busca Europeia, está sendo estabelecida com uma divisão de propriedade de 50:50. (Nota: EUP é o acrônimo escolhido por eles, em vez de ESP.)

A Ecosia e a Qwant não estão divulgando quanto cada uma está investindo, mas afirmaram que seus acionistas estão apoiando. Além disso, como uma entidade separada, a EUP estará fora do modelo de negócios sem fins lucrativos dos anteriores — permitindo que ela levante capital externo (supondo que os investidores possam ser persuadidos a se juntar ao projeto).

Espera-se que o índice comece a atender o tráfego de motor de busca baseado na França para Ecosia e Qwant até o primeiro trimestre do próximo ano. Em seguida, vai se expandir para incluir uma “porção significativa” de tráfego na Alemanha até o final de 2025.

O inglês seria o terceiro idioma que eles pretendem adicionar, disseram os dois, acrescentando que mais idiomas europeus poderiam seguir no futuro se o impulso aumentar.

No que diz respeito à operação, a equipe de engenharia da Qwant se mudará para a EUP, enquanto Abecassis — que assumiu o cargo de CEO do motor de busca há pouco mais de um ano — também será CEO da joint venture.

A Qwant foi adquirida por um grupo de tecnologia em nuvem chamado Synfonium no ano passado, que é apoiado pelos fundadores da empresa francesa de computação em nuvem OVHcloud, com o objetivo de construir um “campeão europeu” para serviços de nuvem.

Discutindo o plano para a EUP em uma chamada com o TechCrunch, Abecassis explicou que a Qwant estava trabalhando no desenvolvimento de seu próprio índice de busca mesmo antes de sua aquisição pela Synfonium. Esses esforços agora se moverão para a EUP, ele confirmou, com a transferência da equipe e dos ativos de propriedade intelectual.

União com a Ecosia aumenta a chance de sucesso, sugeriu ele, pois expande o conjunto de dados disponível para desenvolver o índice, além de aumentar o investimento no projeto e permitir um desenvolvimento mais rápido, como a contratação de mais engenheiros.

A Ecosia possui cerca de 20 milhões de usuários mensais globalmente, enquanto a Qwant conta com cerca de 6 milhões de usuários na França.

“Se quisermos ser realmente eficientes, temos que envolver mais pessoas… e ser mais ambiciosos,” disse Abecassis, relembrando como a Qwant se aproximou da Ecosia para pedir que considerasse uma parceria para desenvolver o índice de busca.

“Para a Qwant, é uma grande oportunidade de construir uma tecnologia melhor — porque as tecnologias de busca são boas se forem utilizadas… Portanto, quanto mais tecnologia for usada, mais dinheiro você pode investir, mas também mais dados você obtém. Uma das razões pelas quais o Google é tão forte é que é baseado em toneladas de dados.”

As duas empresas compartilham algumas características que fazem a parceria parecer uma boa combinação cultural, com ambas as alternativas de busca sendo desenvolvidas na Europa e com modelos de negócios que buscam fazer algo diferente em relação ao padrão de capitalismo de vigilância da Big Tech. A EUP, por sua vez, terá sua sede em Paris.

“Construir tal tecnologia do zero é quase impossível,” acrescentou Abecassis. “Quanto mais usuários tivermos e mais conjuntos de dados tivermos, mais valiosa a tecnologia se tornará.”

Kroll disse que a Ecosia está trazendo expertise, dados e financiamento para a parceria — notando que, além de desenvolver o motor de busca, outras tecnologias que a EUP precisará desenvolver, como widgets que podem ser exibidos como parte dos resultados de busca.

As duas empresas esperam que a parceria aumente a eficiência dos resultados de busca que podem oferecer a seus respectivos usuários à medida que a EUP aprimora seus algoritmos de classificação — mesmo que cada motor de busca continue a desenvolver sua própria experiência de usuário distinta.

Alternativas de classificação de busca

O motor de busca concorrente Brave, que assim como a Qwant tem como foco a privacidade, já construiu seu próprio índice de busca. Ele inclusive removeu as últimas chamadas de API para buscas baseadas em texto do Bing em abril do ano passado quando anunciou seu serviço como uma “verdadeira alternativa à busca da Big Tech.”

Ao ser questionado sobre isso, Abecassis sugeriu que o índice da Brave se aproxima mais do Google e do Bing na abordagem técnica. Enquanto ele enfatizou que a EUP está sendo construída do zero, afirmando que será “muito diferente” e fornecerá resultados de busca mais diversificados.

“Não estamos apenas copiando o Google ou a Microsoft e aprendendo com eles,” enfatizou. “Nós realmente indexamos todos os documentos que estão disponíveis. Nós compreendemos os documentos e, em seguida, temos uma equipe que trabalha para encontrar a melhor correspondência entre um documento e a [consulta] de busca.”

“Portanto, é verdade que há provavelmente algumas maneiras mais fáceis de construir tal tecnologia copiando os principais jogadores. Nós decidimos seguir em uma direção diferente e construir tudo do zero. É mais difícil, mas acreditamos que é mais sustentável.”

Uma grande diferença em comparação com a busca da Big Tech é que o índice de busca da EUP servirá resultados “prioritariamente baseados em privacidade”. O que isso significa na prática? Abecassis disse que isso é resultado da tecnologia desenvolvida pela Qwant que não personaliza resultados de busca com base no usuário (como faz o Google).

“Vamos continuar a trabalhar sem nenhum [dado do usuário personalizando resultados],” disse ele. “Então, melhoraremos nosso algoritmo baseado nos dados que estão disponíveis.”

“Acho que é uma grande vitória — uma grande vitória em privacidade,” acrescentou Kroll sobre a escolha da abordagem técnica. Mas ele também enfatizou o valor estratégico de ter uma infraestrutura de busca feita na Europa em um momento de crescente instabilidade geopolítica.

“De uma perspectiva europeia… o que significa [a dependência da infraestrutura de busca] para a dependência da União Europeia? Especialmente considerando os resultados das eleições [dos EUA]… Se o governo dos EUA decidir que não quer mais fornecer resultados de busca para os europeus, teríamos que voltar aos catálogos telefônicos.”

“Há um elemento de privacidade, mas também há um elemento de soberania de dados, que eu acho muito importante,” acrescentou ele. “Claro que espero que os EUA e a Europa sejam sempre aliados fortes. Mas eu não sei para onde os EUA estão indo, e também não sei para onde a Europa está indo. Portanto, esse é um elemento muito importante.”

Um negócio caro?

O TechCrunch perguntou à Brave sobre sua própria decisão de construir um índice de busca. Eles nos disseram que antes de mudar para sua própria tecnologia, “sempre corriam o risco de a Microsoft impor restrições a nós ou simplesmente nos cortar” — então a mudança visava liberar o negócio de uma dependência arriscada.

“De acordo com nossa equipe de avaliação de qualidade, que realiza avaliações cegas para a qualidade dos resultados, estamos à altura do Google e melhores do que o Bing nos países que medimos (aqueles em que a Brave Search é o padrão para usuários do navegador Brave),” a empresa também nos informou, acrescentando que a Brave Search é “o motor de busca que mais cresce desde o Bing” com mais de 1 bilhão de consultas por mês.

Discutindo os custos de desenvolvimento do índice, a Brave descreveu o processo como “longo e muito caro” — apontando para sua aquisição em 2021 do motor de busca de código aberto Tailcat, uma tecnologia cujo desenvolvimento, segundo a empresa, remonta a 2014.

“Há um motivo pelo qual há apenas três índices de busca independentes totalmente desenvolvidos no Ocidente,” acrescentou a Brave.

A empresa licencia seu índice de busca por meio da Brave Search API. A API está sendo usada por “muitas empresas líderes na área de IA”, segundo a Brave, que acrescentou que está rapidamente se tornando uma fonte de receita “significativa.”

O TechCrunch também perguntou ao engenheiro de busca Peter Popov sobre os custos envolvidos na construção de um índice de busca. Popov passou 15 anos na gigante de busca russa Yandex, trabalhando na busca e classificação, e agora é VP de anúncios na VK.

“Muito grosso modo, um índice de busca, que inclui hardware e o custo de redação de uma busca, não custa muito mais do que $10 milhões,” disse Popov, considerando tal desembolso como “não um investimento muito grande.” Ele sugeriu que os avanços em IA tornaram mais fácil produzir resultados de busca de qualidade sem a necessidade de grandes quantidades de usuários alimentando dados, “usando modelos LLM modernos que contêm conhecimento de semântica de busca embutido.”

Ao mesmo tempo, ele alertou que há um desafio crescente sobre onde bots de busca podem — ou não podem — rastrear livremente. Isso é um problema, uma vez que um índice de busca precisa de amplo acesso a fontes de informação para servir utilmente as consultas dos usuários.

“Plataformas proprietárias costumam ser bastante hostis a tentativas de coletar informações,” disse Popov ao TechCrunch.

“Criar um índice de busca para toda a Internet não é uma tarefa tão difícil do ponto de vista técnico. O volume de informações úteis na internet cresce mais lentamente do que o poder computacional. Por sinal, um dos problemas para escalar a IA é precisamente o volume relativamente pequeno de tais informações.”

“A internet útil para buscar informações não é tão grande assim,” continuou. “Não existe internet de sites para se pesquisar agora. E espere, dentre essas [principais plataformas web], apenas a Wikipedia está aberta à busca. Assim, isso deixa a busca na Wikipedia.”

“Após a Wikipedia, não há muitos sites úteis como o arxiv.org ou grandes bibliotecas online. Informações desse tipo podem ser utilizadas de duas maneiras — ou fornecendo dados durante o treinamento da rede, ou alimentando a rede neural com resultados de busca durante a inferência, em cujo caso a busca é um dos componentes do funcionamento das LLM.”

Em outras palavras, para que um índice de busca seja útil, ele também precisa ser capaz de rastrear livremente a internet. Mas com a Big Tech protegendo mais zelosamente as informações dentro de suas próprias plataformas atualmente, à medida que os gigantes competem para monetizar os dados dos usuários novamente para o treinamento de LLMs, isso também está complicando o negócio de tentar se libertar de sua sombra indexando a web para busca… De uma pedra em um lugar duro, então.