Por que os Modelos de Linguagem de Grande Escala Ignoram Instruções e Como Resolver o Problema

Modelos de Linguagem de Grande Escala (LLMs) tornaram-se ferramentas de Inteligência Artificial (IA) indispensáveis, alimentando aplicações que vão de chatbots e criação de conteúdo até assistência em programação. Apesar de suas impressionantes capacidades, um desafio comum enfrentado pelos usuários é que esses modelos, às vezes, ignoram partes das instruções que recebem, especialmente quando essas instruções são longas ou envolvem múltiplas etapas. Essa omissão leva a resultados incompletos ou imprecisos, o que pode causar confusão e erodir a confiança em sistemas de IA. Compreender por que LLMs ignoram instruções e como resolver esse problema é essencial para usuários que dependem desses modelos para resultados precisos e confiáveis.

Por que LLMs Ignoram Instruções?

Os LLMs funcionam lendo um texto de entrada como uma sequência de tokens. Tokens são as pequenas partes em que o texto é dividido. O modelo processa esses tokens um após o outro, do início ao fim. Isso significa que instruções no início da entrada tendem a receber mais atenção. Instruções posteriores podem receber menos foco e podem ser ignoradas.

Isso acontece porque os LLMs têm uma capacidade de atenção limitada. A atenção é o mecanismo que os modelos usam para decidir quais partes da entrada são essenciais ao gerar respostas. Quando a entrada é curta, a atenção funciona bem. Mas a atenção se torna menos efetiva à medida que a entrada fica mais longa ou as instruções se tornam complexas, enfraquecendo o foco nas partes posteriores e causando a omissão.

Além disso, muitas instruções de uma só vez aumentam a complexidade. Quando as instruções se sobrepõem ou se contradizem, os modelos podem ficar confusos. Eles podem tentar responder a tudo, mas produzem respostas vagas ou contraditórias, resultando frequentemente na omissão de algumas instruções.

Os LLMs também apresentam algumas limitações semelhantes às humanas. Por exemplo, humanos podem perder o foco ao ler textos longos ou repetitivos. Da mesma forma, os LLMs podem esquecer instruções posteriores ao processar mais tokens. Essa perda de foco faz parte do design do modelo e é uma limitação.

Outro motivo é como os LLMs são treinados. Eles veem muitos exemplos de instruções simples, mas menos de aquelas complexas e em várias etapas. Por causa disso, os modelos tendem a preferir seguir instruções mais simples que são mais comuns em seus dados de treinamento. Esse viés os leva a ignorar instruções complexas. Além disso, limites de tokens restringem a quantidade de entrada que o modelo pode processar; quando as entradas excedem esses limites, instruções além do limite são ignoradas.

Exemplo: Suponha que você dê a um LLM cinco instruções em um único prompt. O modelo pode focar principalmente nas duas primeiras instruções e ignorar total ou parcialmente as três últimas. Isso afeta diretamente como o modelo processa tokens sequencialmente e suas limitações de atenção.

Como os LLMs Gerenciam Instruções Sequenciais com Base nas Descobertas do SIFo 2024

Estudos recentes analisaram cuidadosamente como os LLMs seguem várias instruções dadas uma após a outra. Um estudo importante é o Benchmark de Seguimento de Instruções Sequenciais (SIFo) 2024. Este benchmark testa modelos em tarefas que exigem a conclusão passo a passo de instruções, como modificação de texto, respostas a perguntas, matemática e cumprimento de regras de segurança. Cada instrução na sequência depende da conclusão correta da anterior. Essa abordagem ajuda a verificar se o modelo seguiu toda a sequência corretamente.

Os resultados do SIFo mostram que mesmo os melhores LLMs, como GPT-4 e Claude-3, muitas vezes têm dificuldade em completar todas as instruções corretamente. Isso é especialmente verdadeiro quando as instruções são longas ou complicadas. A pesquisa aponta três problemas principais que os LLMs enfrentam ao seguir instruções:

• Compreensão: Compreender totalmente o que cada instrução significa.
• Raciocínio: Conectar várias instruções de forma lógica para manter a clareza da resposta.
• Saída Confiável: Produzir respostas completas e precisas, cobrindo todas as instruções fornecidas.

Técnicas como engenharia de prompt e ajuste fino ajudam a melhorar como os modelos seguem instruções. No entanto, esses métodos não resolvem completamente o problema de ignorar instruções. O uso de Aprendizado por Reforço com Feedback Humano (RLHF) melhora ainda mais a capacidade do modelo de responder de forma adequada. No entanto, os modelos têm dificuldade quando as instruções exigem muitas etapas ou são muito complexas.

O estudo também mostra que os LLMs funcionam melhor quando as instruções são simples, bem separadas e bem organizadas. Quando as tarefas exigem longas cadeias de raciocínio ou muitas etapas, a precisão do modelo cai. Essas descobertas ajudam a sugerir melhores maneiras de usar os LLMs de maneira eficaz e mostram a necessidade de construir modelos mais robustos que possam realmente seguir instruções uma após a outra.

Por que LLMs Ignoram Instruções: Desafios Técnicos e Considerações Práticas

Os LLMs podem ignorar instruções devido a vários fatores técnicos e práticos enraizados em como eles processam e codificam o texto de entrada.

Capacidade de Atenção Limitada e Diluição da Informação

Os LLMs dependem de mecanismos de atenção para atribuir importância a diferentes partes da entrada. Quando os prompts são concisos, a atenção do modelo é focada e eficaz. No entanto, à medida que o prompt cresce em comprimento ou repetitividade, a atenção se torna diluída, e tokens ou instruções posteriores recebem menos foco, aumentando a probabilidade de que sejam negligenciadas. Esse fenômeno, conhecido como diluição da informação, é especialmente problemático para instruções que aparecem no final de um prompt. Além disso, os modelos têm limites fixos de tokens (por exemplo, 2048 tokens); qualquer texto além desse limite é truncado e ignorado, fazendo com que as instruções no final sejam totalmente puladas.

Complexidade e Ambiguidade da Saída

Os LLMs podem ter dificuldade em gerar respostas claras e completas quando enfrentam múltiplas instruções ou instruções conflitantes. O modelo pode gerar respostas parciais ou vagas para evitar contradições ou confusão, efetivamente omitindo algumas instruções. A ambiguidade na forma como as instruções são formuladas também representa desafios: prompts pouco claros ou imprecisos dificultam a determinação das ações pretendidas pelo modelo, aumentando o risco de pular ou interpretar mal partes da entrada.

Design e Sensibilidade da Formatação do Prompt

A estrutura e a formulação dos prompts também desempenham um papel crítico no seguimento das instruções. Pesquisas mostram que até pequenas mudanças na forma como as instruções são escritas ou formatadas podem impactar significativamente se o modelo as adere ou não.

Prompts mal estruturados, que carecem de separação clara, listas numeradas ou tópicos, dificultam a distinção entre etapas, aumentando a chance de mesclar ou omitir instruções. A representação interna do modelo do prompt é altamente sensível a essas variações, o que explica por que a engenharia de prompt (reformulação ou reestruturação de prompts) pode melhorar substancialmente a adesão a instruções, mesmo que o conteúdo subjacente permaneça o mesmo.

Como Corrigir a Omissão de Instruções em LLMs

Melhorar a capacidade dos LLMs de seguir instruções com precisão é essencial para produzir resultados confiáveis e precisos. As seguintes melhores práticas devem ser consideradas para minimizar a omissão de instruções e melhorar a qualidade das respostas geradas por IA:

As Tarefas Devem Ser Divididas em Partes Menores

Prompts longos ou em várias etapas devem ser divididos em segmentos menores e mais focados. Fornecer uma ou duas instruções de cada vez permite que o modelo mantenha melhor atenção e reduz a probabilidade de ignorar quaisquer etapas.

Exemplo: Em vez de combinar todas as instruções em um único prompt, como: “Resuma o texto, liste os principais pontos, sugira melhorias e traduza para o francês”, cada instrução deve ser apresentada separadamente ou em grupos menores.

As Instruções Devem ser Formatadas Usando Listas Numeradas ou Tópicos

Organizar as instruções com formatação explícita, como listas numeradas ou tópicos, ajuda a indicar que cada item é uma tarefa individual. Essa clareza aumenta as chances de que a resposta aborde todas as instruções.

Exemplo:

• Resuma o texto abaixo.
• Liste os principais pontos.
• Sugira melhorias.

Esse tipo de formatação fornece dicas visuais que ajudam o modelo a reconhecer e separar tarefas distintas dentro de um prompt.

As Instruções Devem Ser Explícitas e Não Ambíguas

É essencial que as instruções afirmem claramente a necessidade de completar cada etapa. Linguagem ambígua ou vaga deve ser evitada. O prompt deve indicar explicitamente que nenhum passo pode ser ignorado.

Exemplo: “Por favor, complete todas as três tarefas abaixo. Pular quaisquer etapas não é aceitável.” Declarações diretas como esta reduzem a confusão e incentivam o modelo a fornecer respostas completas.

Prompts Separados Devem Ser Usados para Tarefas Críticas ou de Alto Risco

Cada instrução deve ser enviada como um prompt individual para tarefas em que precisão e completude são críticas. Embora essa abordagem possa aumentar o tempo de interação, melhora significativamente a probabilidade de obter saídas completas e precisas. Esse método garante que o modelo se concentre inteiramente em uma tarefa de cada vez, reduzindo o risco de instruções perdidas.

Estratégias Avançadas para Equilibrar Completa e Eficiência

Aguardar uma resposta após cada instrução pode ser demorado para os usuários. Para melhorar a eficiência enquanto se mantém clareza e se reduzem instruções puladas, as seguintes técnicas avançadas de prompt podem ser eficazes:

Instruções em Lote com Formatação Clara e Rótulos Explícitos

Múltiplas instruções relacionadas podem ser combinadas em um único prompt, mas cada uma deve ser separada usando numeração ou cabeçalhos. O prompt também deve instruir o modelo a responder a todas as instruções completamente e em ordem.

Exemplo de Prompt: Por favor, complete todas as seguintes tarefas cuidadosamente sem pular nenhuma: Resuma o texto abaixo. Liste os principais pontos do seu resumo. Sugira melhorias com base nos principais pontos. Traduza o texto melhorado para o francês.

Prompts no Estilo Cadeia de Pensamento

Os prompts no estilo cadeia de pensamento orientam o modelo a raciocinar sobre cada tarefa passo a passo antes de fornecer uma resposta. Incentivar o modelo a processar as instruções sequencialmente dentro de uma única resposta ajuda a garantir que nenhum passo seja negligenciado, reduzindo a chance de pular instruções e melhorando a completude.

Exemplo de Prompt: Leia o texto abaixo e realize as seguintes tarefas na ordem. Mostre seu trabalho claramente:

• Resuma o texto.
• Identifique os principais pontos do seu resumo.
• Sugira melhorias para o texto.
• Traduza o texto melhorado para o francês.

Por favor, responda a todas as tarefas completamente e separadamente em uma única resposta.

Adicione Instruções de Conclusão e Lembretes

Sem explicitamente lembrar o modelo de: “Responda a cada tarefa completamente.” “Não pule nenhuma instrução.” “Separe suas respostas claramente.” Esses lembretes ajudam o modelo a focar na completude quando várias instruções são combinadas.

Diferentes Modelos e Configurações de Parâmetros Devem Ser Testados

Nem todos os LLMs apresentam o mesmo desempenho ao seguir múltiplas instruções. É aconselhável avaliar vários modelos para identificar aqueles que se destacam nas tarefas em várias etapas. Além disso, ajustar parâmetros como temperatura, máximo de tokens e prompts do sistema pode melhorar ainda mais o foco e a completude das respostas. Testar essas configurações ajuda a adaptar o comportamento do modelo aos requisitos específicos da tarefa.

Ajustar Modelos e Utilizar Ferramentas Externas Deve Ser Considerado

Modelos devem ser ajustados em conjuntos de dados que incluam instruções em várias etapas ou sequenciais para melhorar sua adesão a prompts complexos. Técnicas como RLHF podem aprimorar ainda mais o seguimento das instruções. Para casos de uso avançados, a integração de ferramentas externas, como APIs, plugins específicos para tarefas ou sistemas de Geração Aumentada por Recuperação (RAG), pode fornecer contexto e controle adicionais, melhorando assim a confiabilidade e precisão das saídas.

A Conclusão

Os LLMs são ferramentas poderosas, mas podem ignorar instruções quando os prompts são longos ou complexos. Isso acontece devido a como eles leem a entrada e concentram sua atenção. As instruções devem ser claras, simples e bem organizadas para obter resultados melhores e mais confiáveis. Dividir tarefas em partes menores, usar listas e fornecer instruções diretas ajuda os modelos a seguir as etapas completamente.

Prompts separados podem melhorar a precisão para tarefas críticas, embora levem mais tempo. Além disso, métodos avançados de prompt, como cadeia de pensamento e formatação clara, ajudam a equilibrar velocidade e precisão. Além disso, testar diferentes modelos e fazer ajustes também pode melhorar os resultados. Essas ideias ajudarão os usuários a obter respostas consistentes e completas, tornando as ferramentas de IA mais úteis em trabalhos reais.

---