Agente de IA para Avaliação de Impacto de Intervenções Educacionais

19 de December de 2025 • Tempo de leitura: 5 min

Como criar um agente de IA que avalia o impacto de intervenções educacionais, analisando dados de desempenho e feedbacks para ajustar estratégias pedagógicas.

1. Propósito e Escopo

Este documento define todos os prompts, configurações de memória, transição entre estados e demais requisitos funcionais para o Fluxo de Agentes "Avaliação de Impacto de Intervenções Educacionais", uma solução projetada para mensurar e ajustar estratégias pedagógicas com base em dados de desempenho e feedbacks. Essa documentação é um modelo de PRD ou Documento de Requisitos de Produto específicos para construção de Agentes de IA.

O objetivo principal é transformar dados brutos em insights acionáveis que orientem a melhoria contínua das práticas educacionais, garantindo que as intervenções tenham o impacto desejado.

2. Contexto e Problema

Cenário Atual

As instituições educacionais enfrentam desafios significativos ao tentar avaliar o impacto real de suas intervenções pedagógicas. Os principais problemas incluem:

  • Dificuldade em mensurar o impacto real de intervenções educacionais.
  • Falta de dados concretos para ajustar estratégias pedagógicas.

Atualmente, a análise do impacto de intervenções é muitas vezes feita de forma manual, subjetiva e com base em dados limitados, o que leva a ajustes ineficazes e a uma compreensão imprecisa de como as intervenções estão realmente afetando o desempenho acadêmico.

3. Impactos Esperados

A implementação deste fluxo de agentes de IA visa alcançar os seguintes resultados:

  • Melhorar a precisão da avaliação de impacto das intervenções educacionais.
  • Fornecer insights acionáveis para ajustes rápidos e eficazes em estratégias pedagógicas.
  • Reduzir o tempo e o esforço necessários para analisar e interpretar dados educacionais.
  • Aumentar o envolvimento e a satisfação de alunos e professores com as práticas educacionais.

4. Visão Geral da Solução

O agente de IA para avaliação de impacto de intervenções educacionais analisa dados de desempenho e feedbacks de alunos e professores para fornecer insights e recomendações sobre ajustes nas estratégias pedagógicas. A seguir são detalhadas todas as regras de negócio e especificações funcionais necessárias para que esse agente atue como um assistente útil e autônomo na avaliação de intervenções educacionais.

A solução consiste em um fluxo de automação composto por três agentes de IA. O processo inicia com a análise de desempenho acadêmico e termina com a geração de insights e recomendações pedagógicas.

Agentes Função Principal
Agente de Análise de Desempenho Acadêmico e Impacto Quantitativo (RF 1) Mensurar o impacto de intervenções educacionais comparando desempenho antes e depois, consolidando métricas agregadas e sinalizando a qualidade dos dados para apoiar decisões pedagógicas.
Agente de Interpretação de Feedbacks de Alunos e Docentes (RF 2) Sintetizar feedbacks qualitativos para identificar temas recorrentes, sentimento predominante, evidências acionáveis e riscos percebidos sobre a intervenção.
Agente de Geração de Insights e Recomendações Pedagógicas (RF 3) Integrar resultados quantitativos e qualitativos para produzir recomendações priorizadas, hipóteses testáveis e plano de monitoramento para ajustes de estratégias educacionais.

5. Protótipos

Para proporcionar uma visão clara e tangível da solução proposta, criamos protótipos interativos que demonstram tanto o fluxo de trabalho dos agentes quanto o resultado final que a instituição educacional receberá. Explore os links abaixo para entender melhor a solução em ação.

6. Requisitos Funcionais

RF 1. Agente de Análise de Desempenho Acadêmico e Impacto Quantitativo

1.1 Tarefa do Agente

Mensurar o impacto de intervenções educacionais comparando desempenho antes e depois, consolidando métricas agregadas e sinalizando a qualidade dos dados para apoiar decisões pedagógicas.

1.2 Prompt ou Instruções do Agente
 # 1. Contexto e explicações sobre inputs iniciais
Você está recebendo dados estruturados sobre o desempenho acadêmico de alunos antes e após uma intervenção educacional. Esses dados incluem informações sobre grupos de controle, escalas de avaliação e frequência de participação.

# 2. Objetivo
Mensurar o impacto das intervenções educacionais, consolidando métricas e sinalizando a qualidade dos dados para apoiar decisões pedagógicas.

# 3. Regras que você deve seguir para gerar sua resposta
- Padronização de escala: para cada registro com pre/post, normalize para 0-100 usando: norm = 100*(valor - escala_min)/(escala_max - escala_min). Se escala_max == escala_min, marcar flag 'escala_invalida' e excluir registro.
- Elegibilidade do aluno: definir 'incluido' = true somente se: (a) pre_norm e post_norm não são nulos; (b) frequencia >= politicas.min_frequencia quando fornecida; (c) não houve violação de escala. Caso contrário, 'incluido' = false com 'motivo_exclusao' explícito entre: 'faltante_pre', 'faltante_post', 'baixa_frequencia', 'escala_invalida', 'outro'.
- Winsorização: aplicar limites de winsorizacao_percentis apenas nos valores normalizados pre_norm e post_norm antes de calcular deltas. Se percentis não fornecidos, usar inf=1 e sup=99. Registrar flag 'winsorizacao_aplicada'.
- Cálculo por aluno: delta_pp = post_norm - pre_norm. delta_pct = (delta_pp / max(pre_norm, 1e-6)) * 100, limitando entre -100% e +100%. impacto_label: 'positivo' se delta_pp >= politicas.delta_pos_threshold_positivo_pp (padrão 5 pp); 'neutro' se dentro de politicas.neutral_range_pp (padrão -2 a +5 pp, limite inferior exclusivo e superior exclusivo); 'negativo' se delta_pp < limite inferior.
- Agregação (apenas incluidos): pre_medio, post_medio, delta_medio_pp, delta_medio_pct (média do delta_pct), prop_melhoria = proporção de alunos com impacto_label='positivo'.
- Controle (quando houver): calcular efeito_did = (média delta_pp do grupo intervencao) - (média delta_pp do grupo controle). Definir dados_controle_presente adequadamente.
- Tamanho de efeito: calcular cohen_d com base nos deltas_pp dos incluidos do grupo de intervenção; se controle presente, usar pooled SD entre grupos; caso contrário, SD dentro do grupo intervenção. Se SD=0 ou amostra < 2, retornar null e flag 'sd_insuficiente'.
- Confiabilidade qualitativa: 'alta' se n_incluidos >= 30 e proporção de exclusões <= 10%; 'media' se 10 <= n_incluidos < 30 ou exclusões entre 10% e 25%; 'baixa' se n_incluidos < 10 ou exclusões > 25%.
- Slices: se campos 'turma' ou 'perfil' existirem, calcular delta_medio_pp e, se houver controle em ambas as categorias, efeito_did por categoria (somente com n>=5 na categoria). Incluir até 5 maiores ganhos e 5 maiores quedas em 'resumo_para_recomendacoes'.
- Flags de qualidade: adicionar mensagens claras e específicas, dentre: 'dados_controle_ausentes', 'alto_percentual_exclusoes', 'tempo_curto_entre_testes', 'valores_fora_da_escala', 'sd_insuficiente', 'winsorizacao_aplicada'.
- Robustez mínima: se n_incluidos=0, retornar agregados e slices como null onde aplicável, impacto_global_label='indefinido' e incluir flag 'sem_amostra_valida'.
- Impacto global label: baseado em delta_medio_pp e, quando houver, efeito_did: priorizar efeito_did se controle presente; caso |efeito| < 1 pp, considerar 'neutro'; se >= politicas.delta_pos_threshold_positivo_pp, 'positivo'; se <= -politicas.neutral_range_pp.min em valor absoluto, 'negativo'.
1.3 Configurações do Agente

1.3.1 Especificação do Input

  • Mecanismo de Acionamento: Este agente é o ponto de partida do fluxo e deve ser acionado pelo envio de dados estruturados de desempenho acadêmico via API. Na fase de testes, o fluxo será iniciado pelo envio manual dos dados, que serão enviados para o agente diretamente por upload de um arquivo na interface da Prototipe AI, para acelerar o processo de validação.
  • Tipo do input: O input inicial para o fluxo é um arquivo JSON, que contém dados de desempenho acadêmico antes e depois das intervenções.
  • Formatos Suportados: Esse agente deve ser capaz de receber dados no formato: .json.
  • Número de caracteres esperado: Este agente deve ter capacidade para processar um input de texto com até 100.000 caracteres.

1.3.2 Especificação do Output

  • Formato de output: O output deve ser um arquivo no formato JSON detalhando o impacto quantitativo das intervenções, incluindo métricas por aluno e agregadas.
  • Exemplo de Estrutura de Output:
     {
      "por_aluno": [{ "aluno_id": "string", "incluido": true|false, "motivo_exclusao": "string|null", "pre_norm": number|null, "post_norm": number|null, "delta_pp": number|null, "delta_pct": number|null, "impacto_label": "positivo"|"neutro"|"negativo"|null, "grupo": "intervencao"|"controle"|null, "turma": "string"|null, "perfil": "string"|null }],
      "agregado": { "n_total": number, "n_incluidos": number, "pre_medio": number|null, "post_medio": number|null, "delta_medio_pp": number|null, "delta_medio_pct": number|null, "prop_melhoria": number|null, "efeito_did": number|null, "efeito_tamanho_cohen_d": number|null, "confianca_qualitativa": "alta"|"media"|"baixa", "dados_controle_presente": true|false },
      "slices": [{ "eixo": "turma"|"perfil", "categoria": "string", "n": number, "delta_medio_pp": number|null, "efeito_did": number|null }],
      "flags_qualidade_dados": ["string"...],
      "resumo_para_recomendacoes": { "impacto_global_label": "positivo"|"neutro"|"negativo"|"indefinido", "maiores_ganhos": [{ "eixo": "turma"|"perfil", "categoria": "string", "delta_medio_pp": number }], "maiores_quedas": [{ "eixo": "turma"|"perfil", "categoria": "string", "delta_medio_pp": number }] }
    } 
  • Número de caracteres esperado: O JSON gerado deve ser claro e direto, com um tamanho estimado em 10.000 caracteres.

1.3.3 Parâmetros de Geração

  • Modelo: GPT-5
  • Temperatura: 0.6

1.3.4 Ferramentas do Agente

  • Documentos: Não consulta documentos externos.
  • Calculadora: Utiliza lógica interna para calcular métricas de impacto.
  • Busca Online: Não utiliza.
  • Sistemas Externos: Não se conecta a sistemas externos.

1.3.5 Memória

1.3.6 Regras de Orquestração e Transição

Ao concluir sua execução, esse agente aciona o Agente de Interpretação de Feedbacks de Alunos e Docentes (RF 2).

RF 2. Agente de Interpretação de Feedbacks de Alunos e Docentes

2.1 Tarefa do Agente

Sintetizar feedbacks qualitativos para identificar temas recorrentes, sentimento predominante, evidências acionáveis e riscos percebidos sobre a intervenção.

2.2 Prompt ou Instruções do Agente
 # 1. Contexto e explicações sobre inputs iniciais
Você está recebendo feedbacks qualitativos de alunos e professores sobre uma intervenção educacional. Estes feedbacks incluem avaliações de sentimento e temas abordados.

# 2. Objetivo
Sintetizar feedbacks para identificar temas recorrentes, sentimento predominante, evidências acionáveis e riscos percebidos sobre a intervenção.

# 3. Regras que você deve seguir para gerar sua resposta
- Determinação de sentimento: quando 'rating' existir, mapear 4-5 como positivo, 3 como neutro, 1-2 como negativo; quando ausente, inferir pelo texto com base na presença de qualificadores positivos (ex.: 'gostei', 'útil', 'claro') e negativos (ex.: 'difícil', 'confuso', 'demorado'), considerando intensificadores ('muito', 'pouco') para ajustar a intensidade. Se houver sinais claros nos dois sentidos, classificar como 'misto'. Converter para 'escala_0a100' usando âncoras: negativo=25, neutro=50, positivo=75, misto=50, ajustando ±10 conforme intensificadores.
- Mapeamento de temas: varrer cada feedback e atribuir a um ou mais itens da 'taxonomia_temas' por correspondência semântica direta (ex.: menções a 'participação', 'atenção' -> 'engajamento'; 'prova', 'nota' -> 'avaliacao'). Se nada casar, classificar como 'outros'.
- Cobertura e polaridade por tema: 'ocorrencias' = número de feedbacks que citam o tema; 'cobertura_pct' = ocorrencias / total_feedbacks * 100. 'polaridade' do tema é a predominante entre os feedbacks atribuídos (desempate -> 'mista').
- Seleção de argumentos exemplares: para cada tema, escolher até 3 trechos curtos representativos, textuais, sem identificação pessoal, que sustentem a polaridade observada.
- Itens acionáveis: detectar frases que combinem 'palavras_acao' com objeto educacional (ex.: 'reduzir carga de leitura'). Consolidar em itens únicos por tema. Classificar 'forca_evidencia' como 'alta' se citado por ≥15% dos feedbacks ou por múltiplos perfis de autores; 'media' se entre 5%-15%; 'baixa' se <5%.
- Sinais de alerta: marcar 'linguagem_inadequada' se houver termos ofensivos explícitos; 'risco_baixo_engajamento' se a polaridade de 'engajamento' for negativa e a cobertura_pct desse tema ≥20%; 'potencial_inequidade' se houver discrepâncias evidentes entre autores (ex.: alunos negativos e docentes positivos no mesmo tema) com cobertura ≥10% por grupo.
- Resumo para recomendações: 'top_positivos' = até 3 temas com maior cobertura_pct e polaridade positiva; 'top_dores' = até 3 com maior cobertura_pct e polaridade negativa ou mista com tendência negativa.
2.3 Configurações do Agente

2.3.1 Especificação do Input

  • Mecanismo de Acionamento: Este agente deve ser acionado automaticamente após a conclusão do agente anterior (RF 1).
  • Tipo do input: Este agente deve ser apto a receber como input um arquivo JSON, que contém feedbacks qualitativos de alunos e professores.
  • Formatos Suportados: Esse agente deve ser capaz de receber inputs no formato: .json.
  • Número de caracteres esperado: Este agente deve ter capacidade para processar um input de texto com até 50.000 caracteres.

2.3.2 Especificação do Output

  • Formato de output: O output deve ser um arquivo no formato JSON detalhando a síntese dos feedbacks, incluindo temas, sentimento e itens acionáveis.
  • Exemplo de Estrutura de Output:
     {
      "sentimento_geral": { "label": "positivo"|"neutro"|"negativo"|"misto", "escala_0a100": number },
      "temas": [{ "tema": "string", "ocorrencias": number, "cobertura_pct": number, "polaridade": "positiva"|"neutra"|"negativa"|"mista", "argumentos_exemplares": ["string", ...] }],
      "itens_acionaveis": [{ "descricao": "string", "tema_relacionado": "string", "forca_evidencia": "alta"|"media"|"baixa" }],
      "sinais_alerta": ["linguagem_inadequada","risco_baixo_engajamento","potencial_inequidade"],
      "resumo_para_recomendacoes": { "top_positivos": [{ "tema": "string", "justificativa": "string" }], "top_dores": [{ "tema": "string", "justificativa": "string" }] }
    } 
  • Número de caracteres esperado: O JSON gerado deve ser claro e direto, com um tamanho estimado em 5.000 caracteres.

2.3.3 Parâmetros de Geração

  • Modelo: GPT-5
  • Temperatura: 0.6

2.3.4 Ferramentas do Agente

  • Documentos: Não consulta documentos externos.
  • Calculadora: Não utiliza.
  • Busca Online: Não utiliza.
  • Sistemas Externos: Não se conecta a sistemas externos.

2.3.5 Memória

2.3.6 Regras de Orquestração e Transição

Ao concluir sua execução, esse agente aciona o Agente de Geração de Insights e Recomendações Pedagógicas (RF 3).

RF 3. Agente de Geração de Insights e Recomendações Pedagógicas

3.1 Tarefa do Agente

Integrar resultados quantitativos e qualitativos para produzir recomendações priorizadas, hipóteses testáveis e plano de monitoramento para ajustes de estratégias educacionais.

3.2 Prompt ou Instruções do Agente
 # 1. Contexto e explicações sobre inputs iniciais
Você está recebendo resultados de análises quantitativas e qualitativas sobre intervenções educacionais, além de objetivos e restrições para ajustes pedagógicos.

# 2. Objetivo
Integrar resultados para produzir recomendações priorizadas, hipóteses testáveis e plano de monitoramento para ajustes de estratégias educacionais.

# 3. Regras que você deve seguir para gerar sua resposta
- Integração de sinais: cruzar 'resumo_para_recomendacoes' do quantitativo com 'top_dores' e 'top_positivos' do qualitativo. Priorizar temas onde há convergência (ex.: queda em delta_medio_pp e queixa qualitativa elevada).
- Priorização: ordenar recomendações por impacto potencial (|efeito_did| ou |delta_medio_pp| do subgrupo-alvo), cobertura de dor no qualitativo e esforço presumido. Esforço: baixo (ajustes de instrução/cronograma), médio (revisão de atividades/avaliações), alto (mudança curricular/treinamento docente).
- Alvos: se 'subgrupos_prioritarios' informados, direcionar pelo menos 50% das recomendações a esses subgrupos. Caso contrário, selecionar subgrupos com piores 'maiores_quedas' no quantitativo.
- Efeito esperado: definir intervalo com base em referências internas do próprio resultado: usar quantil 75% de ganhos observados como 'max' plausível e quantil 25% como 'min'. Se controle presente, basear no efeito_did; se não, no delta_medio_pp do subgrupo. Se dados insuficientes, retornar null e acrescentar limitação correspondente.
- Limite de escopo: respeitar 'max_itens_por_ciclo' quando informado; caso contrário, sugerir 3 a 5 recomendações. Garantir diversidade: pelo menos 1 recomendação de baixo esforço e 1 de foco em avaliação/metodologia quando pertinentes.
- Monitoramento: sempre incluir 'delta_pp', 'frequencia' e um indicador de engajamento qualitativo (ex.: sentimento_geral >= 60). Definir frequência de medição proporcional à 'confianca_qualitativa' do quantitativo: 'alta' -> mensal; 'media' -> quinzenal; 'baixa' -> semanal.
- Plano de experimentos: escolher desenho conforme restrições e amostra: n_incluidos >= 60 -> A/B; 30-59 -> piloto por turma; <30 -> rollout sequencial pequeno. Definir 'criterio_alocacao' coerente (por_turma quando slices relevantes por turma; por_aluno caso contrário). Estimar 'tamanho_amostral_qualitativo' como 'alto' se n_incluidos>=60, 'medio' se 30-59, 'baixo' se <30.
- Limitações: listar explicitamente restrições de dados (ex.: 'sem grupo controle', 'amostra pequena', 'alto percentual de exclusões', 'polaridade mista no tema-chave') e qualquer suposição usada.
- Consistência: cada 'acao' deve ter 'racional' citando explicitamente o dado que a motivou (ex.: "delta_medio_pp=-4, tema 'metodologia' negativo com 28% de cobertura").
3.3 Configurações do Agente

3.3.1 Especificação do Input

  • Mecanismo de Acionamento: Este agente deve ser acionado automaticamente após a conclusão do agente anterior (RF 2).
  • Tipo do input: Este agente deve ser apto a receber como input dados em formato JSON, integrando resultados quantitativos e qualitativos.
  • Formatos Suportados: Esse agente deve ser capaz de receber inputs no formato: .json.
  • Número de caracteres esperado: Este agente deve ter capacidade para processar um input de texto com até 60.000 caracteres.

3.3.2 Especificação do Output

  • Formato de output: O output deve ser um arquivo no formato JSON contendo insights, recomendações priorizadas e plano de monitoramento.
  • Exemplo de Estrutura de Output:
     {
      "insights": ["string"...],
      "recomendacoes": [{ "acao": "string", "racional": "string", "alvo": "todos"|"subgrupo:tuma/perfil=", "efeito_esperado_pp": { "min": number|null, "max": number|null }, "esforco_implementacao": "baixo"|"medio"|"alto", "dependencias": ["string"...], "riscos": ["string"...], "monitoramento": { "indicadores": ["delta_pp","frequencia","engajamento"], "frequencia_medicao": "semanal"|"quinzenal"|"mensal", "criterios_sucesso": ["string"...] }, "prioridade": 1 }, ...],
      "plano_experimentos": { "hipotese_principal": "string", "desenho": "A/B"|"rollout_sequencial"|"piloto_turma", "criterio_alocacao": "por_turma"|"por_aluno", "tamanho_amostral_qualitativo": "baixo"|"medio"|"alto", "duracao_estimada_semanas": number },
      "limitacoes": ["string"...]
    } 
  • Número de caracteres esperado: O JSON gerado deve ser claro e direto, com um tamanho estimado em 8.000 caracteres.

3.3.3 Parâmetros de Geração

  • Modelo: GPT-5
  • Temperatura: 0.6

3.3.4 Ferramentas do Agente

  • Documentos: Não consulta documentos externos.
  • Calculadora: Utiliza lógica interna para gerar recomendações e planos de monitoramento.
  • Busca Online: Não utiliza.
  • Sistemas Externos: Não se conecta a sistemas externos.

3.3.5 Memória

  • Visibilidade das Instruções (Prompt): As instruções deste agente não devem ser visíveis para nenhum agente subsequente.
  • Visibilidade da Resposta: A resposta gerada por este agente não precisa ser visível para agentes subsequentes, pois representa o resultado final do fluxo.

3.3.6 Regras de Orquestração e Transição

A execução deste agente finaliza o fluxo de avaliação de impacto de intervenções educacionais. Os insights e recomendações gerados são o entregável final para a instituição educacional.

© 2025 prototipe.ai. Todos os direitos reservados.