🧪 Fase 5: Avaliação (Evaluation)

A Fase 5: Avaliação (Evaluation) é a penúltima fase do ciclo CRISP-DM, vindo após a Fase 4 (Modelagem). O principal objetivo desta fase é avaliar rigorosamente o(s) modelo(s) construído(s) à luz dos objetivos de negócio originais. Diferentemente da tarefa de avaliação técnica do modelo na Fase 4 (Assess Model), que foca em métricas de desempenho técnico, a Fase 5 se concentra em como os resultados do data mining (incluindo os modelos) se alinham com os critérios de sucesso de negócio definidos no início do projeto.

Image description

Nesta fase, o engenheiro de data mining colabora com analistas de negócio e especialistas de domínio para discutir os resultados no contexto do negócio. A Fase 5 também leva em consideração todos os outros resultados produzidos ao longo do projeto, não se limitando apenas aos modelos técnicos. Com base nesta avaliação abrangente, são determinados os próximos passos, que podem incluir a implantação (Deployment), uma nova iteração em fases anteriores, ou até mesmo o encerramento do projeto.

📝 Principais tarefas dentro da fase de Avaliação

  1. Evaluate Results (Avaliar Resultados): Esta tarefa avalia a extensão em que o modelo atende aos objetivos de negócio. A avaliação aqui vai além de fatores técnicos como acurácia ou generalidade do modelo. Procura determinar se há alguma razão de negócio pela qual o modelo seja deficiente. Os resultados do data mining são avaliados em relação aos critérios de sucesso de negócio. Uma opção de avaliação é testar o(s) modelo(s) em aplicações de teste no ambiente real, se tempo e orçamento permitirem.

    • Exemplo:
      • Avaliar se um modelo de previsão de churn (abandono de cliente) não só tem alta acurácia na previsão (avaliação técnica na Fase 4), mas também identifica um número suficiente de clientes de alto valor em risco para que as equipes de retenção possam agir de forma eficaz, gerando valor para o negócio. Os resultados são comparados com os critérios de sucesso de negócio, por exemplo, "reduzir a taxa de churn em 10%".
      • Analisar se os clusters (segmentos) de clientes identificados por um modelo de clustering são significativos do ponto de vista de marketing e se podem ser usados para campanhas direcionadas que gerem receita adicional, conforme o objetivo de negócio.
      • Testar um modelo de recomendação de produtos em um pequeno grupo de usuários reais (teste A/B) para ver se as recomendações aumentam as taxas de clique ou venda, comparando com um grupo de controle.
      • Verificar se as association rules (regras de associação) descobertas levam a sugestões acionáveis para a disposição de produtos na loja ou no site que realmente impulsionem as vendas, validando o impacto no negócio.
    • Saídas (Outputs): Avaliação dos Resultados de Data Mining em relação aos Critérios de Sucesso de Negócio. Modelos Aprovados.

  2. Review Process (Revisar Processo): Esta tarefa envolve revisar o processo do projeto até o momento para identificar o que funcionou bem, o que não funcionou, e o que pode ser melhorado para futuras iterações ou projetos (embora descreva o Task 6.4 Review Project, o conceito de revisar o processo se aplica aqui também, focando na experiência da execução até a fase 5).

    • Exemplos:
      • Discutir se o tempo gasto na preparação dos dados foi adequado ou se foram encontrados problemas inesperados que indicam a necessidade de melhorar a qualidade dos dados na fonte ou o pipeline de preparação.
      • Avaliar se as técnicas de modelagem selecionadas na Fase 4 foram apropriadas ou se outras técnicas deveriam ter sido consideradas.
      • Revisar a comunicação e a colaboração entre as equipes de negócio e de data science ao longo do projeto.
      • Documentar lições aprendidas sobre a aplicação de algoritmos específicos a este tipo de dados.
    • Saída (Output): Revisão do Processo.

  3. Determine Next Steps (Determinar Próximos Passos): Com base na avaliação dos resultados e na revisão do processo, decide-se sobre os próximos passos a serem tomados. As possíveis ações são listadas, e a decisão final é documentada. Esta decisão pode ser prosseguir para a implantação (Fase 6), realizar novas iterações nas fases anteriores (por exemplo, coletar mais dados, refinar a preparação ou experimentar outras técnicas de modelagem), ou concluir que o projeto não é viável no momento.

    • Exemplos:
      • Decisão: Implantar o modelo de churn aprovado porque ele atendeu aos critérios de sucesso de negócio e as equipes de retenção estão prontas para usá-lo.
      • Decisão: Voltar à Fase 4 (Modelagem) porque, embora o modelo tenha boa performance técnica, a avaliação de negócio revelou que ele não segmenta os clientes de forma útil para as campanhas de marketing planejadas.
      • Decisão: Voltar à Fase 3 (Preparação dos Dados) porque a avaliação mostrou que a qualidade de um conjunto de dados crucial era pior do que se pensava, impactando a validade dos resultados.
      • Decisão: Encerrar o projeto temporariamente porque os custos e benefícios não justificam a implantação no momento.
    • Saídas (Outputs): Lista de Possíveis Ações. Decisão.

A fase de Avaliação é um ponto crítico de decisão. É aqui que o projeto, os modelos e os resultados são validados do ponto de vista do negócio, e o caminho a seguir (normalmente para a Fase 6: Deployment, mas potencialmente para outra fase) é claramente definido.

🧠 A Fase de Business Understanding (Compreensão do Negócio)
📊 A Fase de Business Data Understanding (Compreensão dos Dados do Negócio)
🛠️ A Fase de Preparação dos Dados do Negócio (Business Data Preparation)
📈 A Fase de Modeling (Modelagem)
🧪 A Fase de Avaliação (Evaluation)
🚀 A Fase de Implantação (Deployment)

📚 Referências