1. Propósito e Escopo
Este documento define todos os prompts, configurações de memória, transição entre estados e demais requisitos funcionais para o Fluxo de Agentes "Avaliação de Impacto de Intervenções Educacionais", uma solução projetada para mensurar e ajustar estratégias pedagógicas com base em dados de desempenho e feedbacks. Essa documentação é um modelo de PRD ou Documento de Requisitos de Produto específicos para construção de Agentes de IA.
O objetivo principal é transformar dados brutos em insights acionáveis que orientem a melhoria contínua das práticas educacionais, garantindo que as intervenções tenham o impacto desejado.
2. Contexto e Problema
Cenário Atual
As instituições educacionais enfrentam desafios significativos ao tentar avaliar o impacto real de suas intervenções pedagógicas. Os principais problemas incluem:
- Dificuldade em mensurar o impacto real de intervenções educacionais.
- Falta de dados concretos para ajustar estratégias pedagógicas.
Atualmente, a análise do impacto de intervenções é muitas vezes feita de forma manual, subjetiva e com base em dados limitados, o que leva a ajustes ineficazes e a uma compreensão imprecisa de como as intervenções estão realmente afetando o desempenho acadêmico.
3. Impactos Esperados
A implementação deste fluxo de agentes de IA visa alcançar os seguintes resultados:
- Melhorar a precisão da avaliação de impacto das intervenções educacionais.
- Fornecer insights acionáveis para ajustes rápidos e eficazes em estratégias pedagógicas.
- Reduzir o tempo e o esforço necessários para analisar e interpretar dados educacionais.
- Aumentar o envolvimento e a satisfação de alunos e professores com as práticas educacionais.
4. Visão Geral da Solução
O agente de IA para avaliação de impacto de intervenções educacionais analisa dados de desempenho e feedbacks de alunos e professores para fornecer insights e recomendações sobre ajustes nas estratégias pedagógicas. A seguir são detalhadas todas as regras de negócio e especificações funcionais necessárias para que esse agente atue como um assistente útil e autônomo na avaliação de intervenções educacionais.
A solução consiste em um fluxo de automação composto por três agentes de IA. O processo inicia com a análise de desempenho acadêmico e termina com a geração de insights e recomendações pedagógicas.
| Agentes | Função Principal |
|---|---|
Agente de Análise de Desempenho Acadêmico e Impacto Quantitativo (RF 1)
| Mensurar o impacto de intervenções educacionais comparando desempenho antes e depois, consolidando métricas agregadas e sinalizando a qualidade dos dados para apoiar decisões pedagógicas. |
Agente de Interpretação de Feedbacks de Alunos e Docentes (RF 2)
| Sintetizar feedbacks qualitativos para identificar temas recorrentes, sentimento predominante, evidências acionáveis e riscos percebidos sobre a intervenção. |
Agente de Geração de Insights e Recomendações Pedagógicas (RF 3)
| Integrar resultados quantitativos e qualitativos para produzir recomendações priorizadas, hipóteses testáveis e plano de monitoramento para ajustes de estratégias educacionais. |
5. Protótipos
Para proporcionar uma visão clara e tangível da solução proposta, criamos protótipos interativos que demonstram tanto o fluxo de trabalho dos agentes quanto o resultado final que a instituição educacional receberá. Explore os links abaixo para entender melhor a solução em ação.
6. Requisitos Funcionais
RF 1. Agente de Análise de Desempenho Acadêmico e Impacto Quantitativo
1.1 Tarefa do Agente
Mensurar o impacto de intervenções educacionais comparando desempenho antes e depois, consolidando métricas agregadas e sinalizando a qualidade dos dados para apoiar decisões pedagógicas.
1.2 Prompt ou Instruções do Agente
# 1. Contexto e explicações sobre inputs iniciais Você está recebendo dados estruturados sobre o desempenho acadêmico de alunos antes e após uma intervenção educacional. Esses dados incluem informações sobre grupos de controle, escalas de avaliação e frequência de participação. # 2. Objetivo Mensurar o impacto das intervenções educacionais, consolidando métricas e sinalizando a qualidade dos dados para apoiar decisões pedagógicas. # 3. Regras que você deve seguir para gerar sua resposta - Padronização de escala: para cada registro com pre/post, normalize para 0-100 usando: norm = 100*(valor - escala_min)/(escala_max - escala_min). Se escala_max == escala_min, marcar flag 'escala_invalida' e excluir registro. - Elegibilidade do aluno: definir 'incluido' = true somente se: (a) pre_norm e post_norm não são nulos; (b) frequencia >= politicas.min_frequencia quando fornecida; (c) não houve violação de escala. Caso contrário, 'incluido' = false com 'motivo_exclusao' explícito entre: 'faltante_pre', 'faltante_post', 'baixa_frequencia', 'escala_invalida', 'outro'. - Winsorização: aplicar limites de winsorizacao_percentis apenas nos valores normalizados pre_norm e post_norm antes de calcular deltas. Se percentis não fornecidos, usar inf=1 e sup=99. Registrar flag 'winsorizacao_aplicada'. - Cálculo por aluno: delta_pp = post_norm - pre_norm. delta_pct = (delta_pp / max(pre_norm, 1e-6)) * 100, limitando entre -100% e +100%. impacto_label: 'positivo' se delta_pp >= politicas.delta_pos_threshold_positivo_pp (padrão 5 pp); 'neutro' se dentro de politicas.neutral_range_pp (padrão -2 a +5 pp, limite inferior exclusivo e superior exclusivo); 'negativo' se delta_pp < limite inferior. - Agregação (apenas incluidos): pre_medio, post_medio, delta_medio_pp, delta_medio_pct (média do delta_pct), prop_melhoria = proporção de alunos com impacto_label='positivo'. - Controle (quando houver): calcular efeito_did = (média delta_pp do grupo intervencao) - (média delta_pp do grupo controle). Definir dados_controle_presente adequadamente. - Tamanho de efeito: calcular cohen_d com base nos deltas_pp dos incluidos do grupo de intervenção; se controle presente, usar pooled SD entre grupos; caso contrário, SD dentro do grupo intervenção. Se SD=0 ou amostra < 2, retornar null e flag 'sd_insuficiente'. - Confiabilidade qualitativa: 'alta' se n_incluidos >= 30 e proporção de exclusões <= 10%; 'media' se 10 <= n_incluidos < 30 ou exclusões entre 10% e 25%; 'baixa' se n_incluidos < 10 ou exclusões > 25%. - Slices: se campos 'turma' ou 'perfil' existirem, calcular delta_medio_pp e, se houver controle em ambas as categorias, efeito_did por categoria (somente com n>=5 na categoria). Incluir até 5 maiores ganhos e 5 maiores quedas em 'resumo_para_recomendacoes'. - Flags de qualidade: adicionar mensagens claras e específicas, dentre: 'dados_controle_ausentes', 'alto_percentual_exclusoes', 'tempo_curto_entre_testes', 'valores_fora_da_escala', 'sd_insuficiente', 'winsorizacao_aplicada'. - Robustez mínima: se n_incluidos=0, retornar agregados e slices como null onde aplicável, impacto_global_label='indefinido' e incluir flag 'sem_amostra_valida'. - Impacto global label: baseado em delta_medio_pp e, quando houver, efeito_did: priorizar efeito_did se controle presente; caso |efeito| < 1 pp, considerar 'neutro'; se >= politicas.delta_pos_threshold_positivo_pp, 'positivo'; se <= -politicas.neutral_range_pp.min em valor absoluto, 'negativo'.
1.3 Configurações do Agente
1.3.1 Especificação do Input
- Mecanismo de Acionamento: Este agente é o ponto de partida do fluxo e deve ser acionado pelo envio de dados estruturados de desempenho acadêmico via API. Na fase de testes, o fluxo será iniciado pelo envio manual dos dados, que serão enviados para o agente diretamente por upload de um arquivo na interface da Prototipe AI, para acelerar o processo de validação.
- Tipo do input: O input inicial para o fluxo é um arquivo JSON, que contém dados de desempenho acadêmico antes e depois das intervenções.
-
Formatos Suportados: Esse agente deve ser capaz de receber dados no formato:
.json. - Número de caracteres esperado: Este agente deve ter capacidade para processar um input de texto com até 100.000 caracteres.
1.3.2 Especificação do Output
- Formato de output: O output deve ser um arquivo no formato JSON detalhando o impacto quantitativo das intervenções, incluindo métricas por aluno e agregadas.
-
Exemplo de Estrutura de Output:
{ "por_aluno": [{ "aluno_id": "string", "incluido": true|false, "motivo_exclusao": "string|null", "pre_norm": number|null, "post_norm": number|null, "delta_pp": number|null, "delta_pct": number|null, "impacto_label": "positivo"|"neutro"|"negativo"|null, "grupo": "intervencao"|"controle"|null, "turma": "string"|null, "perfil": "string"|null }], "agregado": { "n_total": number, "n_incluidos": number, "pre_medio": number|null, "post_medio": number|null, "delta_medio_pp": number|null, "delta_medio_pct": number|null, "prop_melhoria": number|null, "efeito_did": number|null, "efeito_tamanho_cohen_d": number|null, "confianca_qualitativa": "alta"|"media"|"baixa", "dados_controle_presente": true|false }, "slices": [{ "eixo": "turma"|"perfil", "categoria": "string", "n": number, "delta_medio_pp": number|null, "efeito_did": number|null }], "flags_qualidade_dados": ["string"...], "resumo_para_recomendacoes": { "impacto_global_label": "positivo"|"neutro"|"negativo"|"indefinido", "maiores_ganhos": [{ "eixo": "turma"|"perfil", "categoria": "string", "delta_medio_pp": number }], "maiores_quedas": [{ "eixo": "turma"|"perfil", "categoria": "string", "delta_medio_pp": number }] } } - Número de caracteres esperado: O JSON gerado deve ser claro e direto, com um tamanho estimado em 10.000 caracteres.
1.3.3 Parâmetros de Geração
- Modelo: GPT-5
- Temperatura: 0.6
1.3.4 Ferramentas do Agente
- Documentos: Não consulta documentos externos.
- Calculadora: Utiliza lógica interna para calcular métricas de impacto.
- Busca Online: Não utiliza.
- Sistemas Externos: Não se conecta a sistemas externos.
1.3.5 Memória
- Visibilidade das Instruções (Prompt): As instruções deste agente não devem ser visíveis para nenhum agente subsequente.
- Visibilidade da Resposta: A resposta gerada por este agente deve ser visível para o Agente de Interpretação de Feedbacks de Alunos e Docentes (RF 2).
1.3.6 Regras de Orquestração e Transição
Ao concluir sua execução, esse agente aciona o Agente de Interpretação de Feedbacks de Alunos e Docentes (RF 2).
RF 2. Agente de Interpretação de Feedbacks de Alunos e Docentes
2.1 Tarefa do Agente
Sintetizar feedbacks qualitativos para identificar temas recorrentes, sentimento predominante, evidências acionáveis e riscos percebidos sobre a intervenção.
2.2 Prompt ou Instruções do Agente
# 1. Contexto e explicações sobre inputs iniciais
Você está recebendo feedbacks qualitativos de alunos e professores sobre uma intervenção educacional. Estes feedbacks incluem avaliações de sentimento e temas abordados.
# 2. Objetivo
Sintetizar feedbacks para identificar temas recorrentes, sentimento predominante, evidências acionáveis e riscos percebidos sobre a intervenção.
# 3. Regras que você deve seguir para gerar sua resposta
- Determinação de sentimento: quando 'rating' existir, mapear 4-5 como positivo, 3 como neutro, 1-2 como negativo; quando ausente, inferir pelo texto com base na presença de qualificadores positivos (ex.: 'gostei', 'útil', 'claro') e negativos (ex.: 'difícil', 'confuso', 'demorado'), considerando intensificadores ('muito', 'pouco') para ajustar a intensidade. Se houver sinais claros nos dois sentidos, classificar como 'misto'. Converter para 'escala_0a100' usando âncoras: negativo=25, neutro=50, positivo=75, misto=50, ajustando ±10 conforme intensificadores.
- Mapeamento de temas: varrer cada feedback e atribuir a um ou mais itens da 'taxonomia_temas' por correspondência semântica direta (ex.: menções a 'participação', 'atenção' -> 'engajamento'; 'prova', 'nota' -> 'avaliacao'). Se nada casar, classificar como 'outros'.
- Cobertura e polaridade por tema: 'ocorrencias' = número de feedbacks que citam o tema; 'cobertura_pct' = ocorrencias / total_feedbacks * 100. 'polaridade' do tema é a predominante entre os feedbacks atribuídos (desempate -> 'mista').
- Seleção de argumentos exemplares: para cada tema, escolher até 3 trechos curtos representativos, textuais, sem identificação pessoal, que sustentem a polaridade observada.
- Itens acionáveis: detectar frases que combinem 'palavras_acao' com objeto educacional (ex.: 'reduzir carga de leitura'). Consolidar em itens únicos por tema. Classificar 'forca_evidencia' como 'alta' se citado por ≥15% dos feedbacks ou por múltiplos perfis de autores; 'media' se entre 5%-15%; 'baixa' se <5%.
- Sinais de alerta: marcar 'linguagem_inadequada' se houver termos ofensivos explícitos; 'risco_baixo_engajamento' se a polaridade de 'engajamento' for negativa e a cobertura_pct desse tema ≥20%; 'potencial_inequidade' se houver discrepâncias evidentes entre autores (ex.: alunos negativos e docentes positivos no mesmo tema) com cobertura ≥10% por grupo.
- Resumo para recomendações: 'top_positivos' = até 3 temas com maior cobertura_pct e polaridade positiva; 'top_dores' = até 3 com maior cobertura_pct e polaridade negativa ou mista com tendência negativa. 2.3 Configurações do Agente
2.3.1 Especificação do Input
- Mecanismo de Acionamento: Este agente deve ser acionado automaticamente após a conclusão do agente anterior (RF 1).
- Tipo do input: Este agente deve ser apto a receber como input um arquivo JSON, que contém feedbacks qualitativos de alunos e professores.
-
Formatos Suportados: Esse agente deve ser capaz de receber inputs no formato:
.json. - Número de caracteres esperado: Este agente deve ter capacidade para processar um input de texto com até 50.000 caracteres.
2.3.2 Especificação do Output
- Formato de output: O output deve ser um arquivo no formato JSON detalhando a síntese dos feedbacks, incluindo temas, sentimento e itens acionáveis.
-
Exemplo de Estrutura de Output:
{ "sentimento_geral": { "label": "positivo"|"neutro"|"negativo"|"misto", "escala_0a100": number }, "temas": [{ "tema": "string", "ocorrencias": number, "cobertura_pct": number, "polaridade": "positiva"|"neutra"|"negativa"|"mista", "argumentos_exemplares": ["string", ...] }], "itens_acionaveis": [{ "descricao": "string", "tema_relacionado": "string", "forca_evidencia": "alta"|"media"|"baixa" }], "sinais_alerta": ["linguagem_inadequada","risco_baixo_engajamento","potencial_inequidade"], "resumo_para_recomendacoes": { "top_positivos": [{ "tema": "string", "justificativa": "string" }], "top_dores": [{ "tema": "string", "justificativa": "string" }] } } - Número de caracteres esperado: O JSON gerado deve ser claro e direto, com um tamanho estimado em 5.000 caracteres.
2.3.3 Parâmetros de Geração
- Modelo: GPT-5
- Temperatura: 0.6
2.3.4 Ferramentas do Agente
- Documentos: Não consulta documentos externos.
- Calculadora: Não utiliza.
- Busca Online: Não utiliza.
- Sistemas Externos: Não se conecta a sistemas externos.
2.3.5 Memória
- Visibilidade das Instruções (Prompt): As instruções deste agente não devem ser visíveis para nenhum agente subsequente.
- Visibilidade da Resposta: A resposta gerada por este agente deve ser visível para o Agente de Geração de Insights e Recomendações Pedagógicas (RF 3).
2.3.6 Regras de Orquestração e Transição
Ao concluir sua execução, esse agente aciona o Agente de Geração de Insights e Recomendações Pedagógicas (RF 3).
RF 3. Agente de Geração de Insights e Recomendações Pedagógicas
3.1 Tarefa do Agente
Integrar resultados quantitativos e qualitativos para produzir recomendações priorizadas, hipóteses testáveis e plano de monitoramento para ajustes de estratégias educacionais.
3.2 Prompt ou Instruções do Agente
# 1. Contexto e explicações sobre inputs iniciais Você está recebendo resultados de análises quantitativas e qualitativas sobre intervenções educacionais, além de objetivos e restrições para ajustes pedagógicos. # 2. Objetivo Integrar resultados para produzir recomendações priorizadas, hipóteses testáveis e plano de monitoramento para ajustes de estratégias educacionais. # 3. Regras que você deve seguir para gerar sua resposta - Integração de sinais: cruzar 'resumo_para_recomendacoes' do quantitativo com 'top_dores' e 'top_positivos' do qualitativo. Priorizar temas onde há convergência (ex.: queda em delta_medio_pp e queixa qualitativa elevada). - Priorização: ordenar recomendações por impacto potencial (|efeito_did| ou |delta_medio_pp| do subgrupo-alvo), cobertura de dor no qualitativo e esforço presumido. Esforço: baixo (ajustes de instrução/cronograma), médio (revisão de atividades/avaliações), alto (mudança curricular/treinamento docente). - Alvos: se 'subgrupos_prioritarios' informados, direcionar pelo menos 50% das recomendações a esses subgrupos. Caso contrário, selecionar subgrupos com piores 'maiores_quedas' no quantitativo. - Efeito esperado: definir intervalo com base em referências internas do próprio resultado: usar quantil 75% de ganhos observados como 'max' plausível e quantil 25% como 'min'. Se controle presente, basear no efeito_did; se não, no delta_medio_pp do subgrupo. Se dados insuficientes, retornar null e acrescentar limitação correspondente. - Limite de escopo: respeitar 'max_itens_por_ciclo' quando informado; caso contrário, sugerir 3 a 5 recomendações. Garantir diversidade: pelo menos 1 recomendação de baixo esforço e 1 de foco em avaliação/metodologia quando pertinentes. - Monitoramento: sempre incluir 'delta_pp', 'frequencia' e um indicador de engajamento qualitativo (ex.: sentimento_geral >= 60). Definir frequência de medição proporcional à 'confianca_qualitativa' do quantitativo: 'alta' -> mensal; 'media' -> quinzenal; 'baixa' -> semanal. - Plano de experimentos: escolher desenho conforme restrições e amostra: n_incluidos >= 60 -> A/B; 30-59 -> piloto por turma; <30 -> rollout sequencial pequeno. Definir 'criterio_alocacao' coerente (por_turma quando slices relevantes por turma; por_aluno caso contrário). Estimar 'tamanho_amostral_qualitativo' como 'alto' se n_incluidos>=60, 'medio' se 30-59, 'baixo' se <30. - Limitações: listar explicitamente restrições de dados (ex.: 'sem grupo controle', 'amostra pequena', 'alto percentual de exclusões', 'polaridade mista no tema-chave') e qualquer suposição usada. - Consistência: cada 'acao' deve ter 'racional' citando explicitamente o dado que a motivou (ex.: "delta_medio_pp=-4, tema 'metodologia' negativo com 28% de cobertura").
3.3 Configurações do Agente
3.3.1 Especificação do Input
- Mecanismo de Acionamento: Este agente deve ser acionado automaticamente após a conclusão do agente anterior (RF 2).
- Tipo do input: Este agente deve ser apto a receber como input dados em formato JSON, integrando resultados quantitativos e qualitativos.
-
Formatos Suportados: Esse agente deve ser capaz de receber inputs no formato:
.json. - Número de caracteres esperado: Este agente deve ter capacidade para processar um input de texto com até 60.000 caracteres.
3.3.2 Especificação do Output
- Formato de output: O output deve ser um arquivo no formato JSON contendo insights, recomendações priorizadas e plano de monitoramento.
-
Exemplo de Estrutura de Output:
{ "insights": ["string"...], "recomendacoes": [{ "acao": "string", "racional": "string", "alvo": "todos"|"subgrupo:tuma/perfil=", "efeito_esperado_pp": { "min": number|null, "max": number|null }, "esforco_implementacao": "baixo"|"medio"|"alto", "dependencias": ["string"...], "riscos": ["string"...], "monitoramento": { "indicadores": ["delta_pp","frequencia","engajamento"], "frequencia_medicao": "semanal"|"quinzenal"|"mensal", "criterios_sucesso": ["string"...] }, "prioridade": 1 }, ...], "plano_experimentos": { "hipotese_principal": "string", "desenho": "A/B"|"rollout_sequencial"|"piloto_turma", "criterio_alocacao": "por_turma"|"por_aluno", "tamanho_amostral_qualitativo": "baixo"|"medio"|"alto", "duracao_estimada_semanas": number }, "limitacoes": ["string"...] } - Número de caracteres esperado: O JSON gerado deve ser claro e direto, com um tamanho estimado em 8.000 caracteres.
3.3.3 Parâmetros de Geração
- Modelo: GPT-5
- Temperatura: 0.6
3.3.4 Ferramentas do Agente
- Documentos: Não consulta documentos externos.
- Calculadora: Utiliza lógica interna para gerar recomendações e planos de monitoramento.
- Busca Online: Não utiliza.
- Sistemas Externos: Não se conecta a sistemas externos.
3.3.5 Memória
- Visibilidade das Instruções (Prompt): As instruções deste agente não devem ser visíveis para nenhum agente subsequente.
- Visibilidade da Resposta: A resposta gerada por este agente não precisa ser visível para agentes subsequentes, pois representa o resultado final do fluxo.
3.3.6 Regras de Orquestração e Transição
A execução deste agente finaliza o fluxo de avaliação de impacto de intervenções educacionais. Os insights e recomendações gerados são o entregável final para a instituição educacional.