Está seu produto de IA realmente funcionando? Como desenvolver o sistema de métricas adequado.

Sure! Here’s the rewritten content in Portuguese, keeping the HTML tags intact:

<div>
    <div id="boilerplate_2682874" class="post-boilerplate boilerplate-before"><!-- wp:paragraph -->
        <p><em>Junte-se aos nossos boletins diários e semanais para as últimas atualizações e conteúdo exclusivo sobre cobertura de IA de ponta. Saiba mais</em></p>
        <!-- /wp:paragraph -->

        <!-- wp:separator {"opacity":"css","className":"is-style-wide"} -->
        <hr class="wp-block-separator has-css-opacity is-style-wide"/>
        <!-- /wp:separator --></div><p>Na minha primeira experiência como gerente de produto de aprendizado de máquina (ML), uma pergunta simples inspirou debates apaixonados entre funções e líderes: Como sabemos se este produto está realmente funcionando? O produto em questão que gerenciava atendia a clientes internos e externos. O modelo permitia que as equipes internas identificassem os principais problemas enfrentados pelos nossos clientes, para que pudessem priorizar o conjunto certo de experiências para resolver questões. Com uma rede tão complexa de interdependências entre clientes internos e externos, escolher as métricas certas para capturar o impacto do produto era crucial para direcioná-lo ao sucesso.</p>

    <p>Não acompanhar se seu produto está funcionando bem é como pousar um avião sem instruções do controle de tráfego aéreo. Não há como tomar decisões informadas para seu cliente sem saber o que está indo bem ou mal. Além disso, se você não definir ativamente as métricas, sua equipe identificará suas próprias métricas de backup. O risco de ter várias versões de uma métrica de 'precisão' ou 'qualidade' é que cada um desenvolverá sua própria versão, levando a um cenário em que vocês podem não estar todos trabalhando em direção ao mesmo resultado.</p>

    <p>Por exemplo, quando revisei meu objetivo anual e a métrica subjacente com nossa equipe de engenharia, o feedback imediato foi: “Mas esta é uma métrica de negócios, já rastreamos precisão e recall.”</p>

    <h2 class="wp-block-heading" id="h-first-identify-what-you-want-to-know-about-your-ai-product">Primeiro, identifique o que você deseja saber sobre seu produto de IA</h2>

    <p>Uma vez que você começa a tarefa de definir as métricas para seu produto — por onde começar? Na minha experiência, a complexidade de operar um produto de ML com vários clientes se traduz em definir métricas para o modelo também. O que eu uso para medir se um modelo está funcionando bem? Medir o resultado das equipes internas para priorizar lançamentos com base em nossos modelos não seria rápido o suficiente; medir se o cliente adotou soluções recomendadas por nosso modelo poderia nos levar a tirar conclusões com uma métrica de adoção muito ampla (e se o cliente não adotou a solução porque só queria chegar a um agente de suporte?).</p>

    <p>Avançando para a era dos grandes modelos de linguagem (LLMs) — onde não temos apenas uma saída de um modelo de ML, mas também respostas textuais, imagens e músicas como saídas. As dimensões do produto que requerem métricas aumentam rapidamente — formatos, clientes, tipo … a lista continua.</p>

    <p>Em todos os meus produtos, quando tento desenvolver métricas, meu primeiro passo é destilar o que quero saber sobre seu impacto nos clientes em algumas perguntas-chave. Identificar o conjunto certo de perguntas facilita a identificação do conjunto certo de métricas. Aqui estão alguns exemplos:</p>

    <ol class="wp-block-list">
        <li>O cliente obteve uma saída? → métrica para cobertura</li>

        <li>Quanto tempo levou para o produto fornecer uma saída? → métrica para latência</li>

        <li>O usuário gostou da saída? → métricas para feedback do cliente, adoção e retenção</li>
    </ol>

    <p>Depois de identificar suas perguntas-chave, o próximo passo é identificar um conjunto de sub-perguntas para sinais de 'entrada' e 'saída'. As métricas de saída são indicadores retardatários onde você pode medir um evento que já aconteceu. As métricas de entrada e os indicadores liderantes podem ser usados para identificar tendências ou prever resultados. Veja abaixo algumas maneiras de adicionar as sub-perguntas certas para indicadores retardatários e liderantes às perguntas acima. Nem todas as perguntas precisam ter indicadores liderantes/retardatários.</p>

    <ol class="wp-block-list">
        <li>O cliente obteve uma saída? → cobertura</li>

        <li>Quanto tempo levou para o produto fornecer uma saída? → latência</li>

        <li>O usuário gostou da saída? → feedback do cliente, adoção e retenção
            <ol class="wp-block-list">
                <li>O usuário indicou que a saída está certa/errada? (saída)</li>

                <li>A saída foi boa/fair? (entrada)</li>
            </ol>
        </li>
    </ol>

    <p>O terceiro e último passo é identificar o método para coletar métricas. A maioria das métricas é coletada em escala por meio de nova instrumentação via engenharia de dados. No entanto, em algumas instâncias (como a pergunta 3 acima), especialmente para produtos baseados em ML, você tem a opção de avaliações manuais ou automatizadas que avaliam as saídas do modelo. Embora seja sempre melhor desenvolver avaliações automatizadas, começar com avaliações manuais para "a saída foi boa/fair" e criar um critério para as definições de bom, justo e não bom ajudará você a estabelecer a base para um processo de avaliação automatizado rigoroso e testado também.</p>

    <h2 class="wp-block-heading" id="h-example-use-cases-ai-search-listing-descriptions">Exemplos de casos de uso: busca de IA, descrições de listagens</h2>

    <p>O framework acima pode ser aplicado a qualquer produto baseado em ML para identificar a lista de métricas primárias para seu produto. Vamos tomar a busca como exemplo.</p>

    <figure class="wp-block-table"><table class="has-fixed-layout"><thead><tr><th><strong>Pergunta </strong></th><th><strong>Métricas</strong></th><th><strong>Natureza da Métrica</strong></th></tr></thead><tbody><tr><td>O cliente obteve uma saída? → Cobertura</td><td>% das sessões de busca com resultados mostrados ao cliente<br/></td><td>Saída</td></tr><tr><td>Quanto tempo levou para o produto fornecer uma saída? → Latência</td><td>Tempo necessário para exibir resultados de busca ao usuário</td><td>Saída</td></tr><tr><td>O usuário gostou da saída? → Feedback do cliente, adoção e retenção<p>O usuário indicou que a saída está certa/errada? (Saída) A saída foi boa/fair? (Entrada)</p></td><td>% das sessões de busca com feedback 'positivo' sobre os resultados da busca do cliente ou % das sessões de busca com cliques do cliente<p>% dos resultados de busca marcados como 'bons/justos' para cada termo de busca, conforme critério de qualidade</p></td><td>Saída<p>Entrada</p></td></tr></tbody></table></figure>

    <p>Que tal um produto para gerar descrições para uma listagem (seja um item no menu do Doordash ou uma listagem de produto na Amazon)?</p>

    <figure class="wp-block-table"><table class="has-fixed-layout"><thead><tr><th><strong>Pergunta </strong></th><th><strong>Métricas</strong></th><th><strong>Natureza da Métrica</strong></th></tr></thead><tbody><tr><td>O cliente obteve uma saída? → Cobertura</td><td>% das listagens com descrição gerada<br/></td><td>Saída</td></tr><tr><td>Quanto tempo levou para o produto fornecer uma saída? → Latência</td><td>Tempo necessário para gerar descrições ao usuário</td><td>Saída</td></tr><tr><td>O usuário gostou da saída? → Feedback do cliente, adoção e retenção<p>O usuário indicou que a saída está certa/errada? (Saída) A saída foi boa/fair? (Entrada)</p></td><td>% das listagens com descrições geradas que exigiram edições da equipe de conteúdo técnico/vendedor/cliente<p>% das descrições de listagens marcadas como 'boas/justas', conforme critério de qualidade</p></td><td>Saída<p>Entrada</p></td></tr></tbody></table></figure>

    <p>A abordagem descrita acima é extensível a vários produtos baseados em ML. Espero que este framework ajude você a definir o conjunto certo de métricas para seu modelo de ML.</p>

    <p><em>Sharanya Rao é gerente de produto em grupo na <a target="_blank" href="https://www.intuit.com/" target="_blank" rel="noreferrer noopener">Intuit</a>. </em></p>
    <div id="boilerplate_2660155" class="post-boilerplate boilerplate-after"><!-- wp:shortcode -->
        <div class="Boilerplate__newsletter-container vb">
            <div class="Boilerplate__newsletter-main">
                <p><strong>Insights diários sobre casos de uso de negócios com VB Daily</strong></p>
                <p class="copy">Se você quer impressionar seu chefe, o VB Daily te cobre. Nós trazemos as novidades sobre o que as empresas estão fazendo com a IA generativa, desde mudanças regulatórias até implantações práticas, para que você possa compartilhar insights para o máximo ROI.</p>

                <p class="Form__newsletter-legal">Leia nossa Política de Privacidade</p>
                <p class="Form__success" id="boilerplateNewsletterConfirmation">
                    Obrigado por se inscrever. Confira mais boletins do VB aqui.
                </p>
                <p class="Form__error">Ocorreu um erro.</p>
            </div>

            <div class="image-container">
                <img src="https://venturebeat.com/wp-content/themes/vb-news/brand/img/vb-daily-phone.png" alt=""/>
            </div>
        </div>

        <!-- /wp:shortcode --></div>
</div>

---