Mistral lança uma nova API que transforma qualquer documento PDF em um arquivo Markdown pronto para IA

Os LLMs dependem fortemente do Markdown para seus conjuntos de dados de treinamento. Da mesma forma, ao usar um assistente de IA, como o Le Chat da Mistral ou o ChatGPT da OpenAI, eles frequentemente geram Markdown para criar listas com marcadores, adicionar links ou destacar alguns elementos em negrito. Aplicativos assistentes formatam essa saída em Markdown de maneira fluida em uma saída de texto rico. É por isso que o texto bruto — e o Markdown — se tornaram mais importantes nos últimos anos à medida que o GenAI explodiu.

“Ao longo dos anos, as organizações acumularam inúmeros documentos, muitas vezes em formatos PDF ou de apresentação, que são inacessíveis aos LLMs, especialmente para sistemas RAG. Com a Mistral OCR, nossos clientes agora podem converter documentos ricos e complexos em conteúdo legível em todos os idiomas”, disse o cofundador e diretor científico da Mistral, Guillaume Lample.

“Este é um passo crucial para a ampla adoção de assistentes de IA em empresas que precisam simplificar o acesso à sua vasta documentação interna”, acrescentou.

A Mistral OCR está disponível na própria plataforma de API da Mistral ou através de seus parceiros de nuvem (AWS, Azure, Google Cloud Vertex, etc.). E para empresas que trabalham com dados classificados ou sensíveis, a Mistral oferece implantação local.

De acordo com a empresa de IA com sede em Paris, a Mistral OCR possui um desempenho melhor do que APIs do Google, Microsoft e OpenAI. A empresa testou seu modelo de OCR com documentos complexos que incluem expressões matemáticas (formatação LaTeX), layouts avançados ou tabelas. Também é suposto que tenha um desempenho melhor com documentos que não estão em inglês.

Considerando que a Mistral OCR faz uma única função, a empresa acredita que ela também é mais rápida do que as opções existentes. Isso não é uma surpresa se comparado a um LLM multimodal como o GPT-4o, que também possui capacidades de OCR (entre muitas outras funcionalidades).

A Mistral também está utilizando a Mistral OCR em seu próprio assistente de IA Le Chat. Quando um usuário faz o upload de um arquivo PDF, a empresa utiliza a Mistral OCR nos bastidores para entender o que há no documento antes de processar o texto.

Empresas e desenvolvedores provavelmente utilizarão a Mistral OCR com um sistema RAG (ou seja, Geração Aumentada por Recuperação) para usar documentos multimodais como entrada em um LLM. E há muitos casos de uso potenciais. Por exemplo, poderíamos imaginar escritórios de advocacia usando isso para ajudá-los a analisar rapidamente grandes volumes de documentos.

RAG é uma técnica usada para recuperar dados e utilizá-los como contexto com um modelo de IA generativa.