1. Propósito e Escopo
Este documento define todos os prompts e detalhes de requisitos para o desenvolvimento do Agente de IA para Análise de Eficácia de Métodos de Ensino, uma solução projetada para avaliar a eficácia dos métodos de ensino aplicados, correlacionando-os com os dados de desempenho dos alunos. Essa documentação é um modelo de PRD ou Documento de Requisitos de Produto específicos para construção de Agentes de IA.
O objetivo principal é transformar dados educacionais em insights valiosos que auxiliem na melhoria contínua dos métodos de ensino, proporcionando uma visão clara sobre quais abordagens pedagógicas são mais eficazes em diferentes contextos.
2. Contexto e Problema
Cenário Atual
As instituições educacionais enfrentam desafios significativos ao tentar avaliar de forma precisa a eficácia dos métodos de ensino aplicados. A falta de padronização nos dados e a dificuldade em correlacionar diretamente os métodos de ensino com o desempenho dos alunos tornam essa tarefa complexa.
- Avaliação da eficácia dos métodos de ensino aplicados.
- Correlação entre métodos de ensino e desempenho dos alunos.
Atualmente, a análise é feita manualmente, com base em observações e relatórios esparsos, o que pode levar a conclusões enviesadas e não representativas da realidade.
Problemas Identificados
- Falta de padronização: A diversidade de metodologias e a ausência de critérios unificados dificultam a análise comparativa.
- Dados dispersos: Informações sobre métodos de ensino e desempenho dos alunos estão fragmentadas em diferentes sistemas e formatos.
- Subjetividade: A avaliação manual está sujeita a interpretações pessoais, comprometendo a objetividade dos resultados.
- Tempo e recursos: O processo atual consome tempo e recursos consideráveis, que poderiam ser direcionados para o desenvolvimento de novas estratégias pedagógicas.
3. Impactos Esperados
A implementação deste agente de IA visa alcançar os seguintes resultados:
- Melhoria da qualidade do ensino através da identificação de métodos eficazes.
- Padronização dos dados para facilitar análises futuras.
- Aumento da objetividade nas avaliações de métodos de ensino.
- Eficiência operacional, liberando tempo e recursos para iniciativas pedagógicas inovadoras.
4. Visão Geral da Solução
O agente de IA para análise de eficácia de métodos de ensino processa dados educacionais, correlaciona métodos de ensino com o desempenho dos alunos e gera insights acionáveis. A seguir são detalhadas todas as regras de negócio e especificações funcionais necessárias para que esse agente atue como um assistente útil e autônomo na avaliação e aprimoramento dos métodos de ensino.
A solução consiste em um fluxo de automação composto por três agentes de IA. O processo inicia com a validação e padronização dos dados educacionais e termina com a geração de um relatório executivo que traduz os achados estatísticos em decisões pedagógicas acionáveis.
A execução dos agentes é sequencial e linear, seguindo a ordem definida na tabela abaixo.
| Agentes | Função Principal |
|---|---|
Agente de Validação e Padronização de Dados Educacionais (RF 1)
| Validar, higienizar e padronizar o conjunto de dados de desempenho dos alunos e métodos de ensino. |
Agente de Análise de Eficácia e Correlação de Métodos (RF 2)
| Estimar a eficácia relativa dos métodos de ensino e correlacioná-los com o desempenho dos alunos. |
Agente de Síntese e Recomendações Pedagógicas (RF 3)
| Gerar um relatório executivo e técnico que traduza os achados estatísticos em decisões pedagógicas acionáveis. |
5. Protótipos
Para proporcionar uma visão clara e tangível da solução proposta, criamos protótipos interativos que demonstram tanto o fluxo de trabalho dos agentes quanto o resultado final que o cliente receberá. Explore os links abaixo para entender melhor a solução em ação.
6. Requisitos Funcionais
RF 1. Agente de Validação e Padronização de Dados Educacionais
1.1 Tarefa do Agente
Validar, higienizar e padronizar o conjunto de dados de desempenho dos alunos e métodos de ensino, garantindo consistência mínima para análises comparativas.
1.2 Prompt ou Instruções do Agente
# 1. Contexto e explicações sobre inputs iniciais Você está recebendo um arquivo tabular contendo dados de desempenho dos alunos e métodos de ensino. Este arquivo pode estar em formato CSV ou JSON, e contém informações essenciais para a análise de eficácia educacional. # 2. Objetivo Validar, higienizar e padronizar o conjunto de dados de desempenho dos alunos e métodos de ensino, garantindo consistência mínima para análises comparativas. # 3. Regras que você deve seguir para gerar sua resposta - Exigências mínimas: reprovar se qualquer uma das colunas obrigatórias (aluno_id, metodo_ensino, nota_avaliacao) estiver ausente ou 100% nula. - Tipagem: forçar nota_avaliacao para numérico; se conversão falhar, descartar linha e registrar em motivos_descarte. - Normalização de nomes: aplicar trim, caixa baixa e remover espaços duplicados em metodo_ensino; unificar variações óbvias (ex.: "aula expositiva", "expositiva" -> "aula_expositiva"; "aprendizagem baseada em projetos", "abp" -> "abp"). Se não houver correspondência inequívoca, manter valor original e marcar como categoria_outra. - Deduplicação: considerar duplicado registros com mesmo aluno_id, metodo_ensino, disciplina e avaliacao_data; manter apenas o de maior peso_avaliacao (se existir), senão o mais recente. - Escala de notas: detectar escala máxima provável (ex.: 10, 100); se múltiplas escalas coexistirem, normalizar internamente para 0–100 registrando regra de conversão por linha. - Outliers de nota: marcar como outlier valores fora de [0, escala_max] após normalização; descartar da amostra analítica, mas manter no output com flag_outlier=true e motivo. - Amostras por método: computar contagem por metodo_ensino; se n<5, marcar metodo_insuficiente=true para alertar baixa robustez na análise. - Datas: validar avaliacao_data no formato ISO; se inválida, tentar interpretar DD/MM/YYYY; se falhar, setar nulo e apontar no relatório. - Pesos: se peso_avaliacao faltar, assumir 1; garantir peso >=0. - Indicador de aprovação: definir aprovado_para_analise=true somente se: (i) >=2 métodos distintos com n>=5 cada; (ii) >=50% das linhas totais válidas; (iii) nenhuma inconsistência crítica pendente (ex.: todas notas fora da escala). - Qualidade_score: compor escore 0–100 com pesos: completude (30), consistência de tipos (20), duplicidades baixas (15), outliers baixos (15), equilíbrio entre métodos (10), datas válidas (10).
1.3 Configurações do Agente
1.3.1 Especificação do Input
- Mecanismo de Acionamento: Este agente é o ponto de partida do fluxo e deve ser acionado pelo envio de um arquivo tabular (CSV ou JSON) contendo dados de desempenho dos alunos e métodos de ensino. Na fase de testes, o fluxo será iniciado pelo envio manual dos dados, que serão enviados para o agente diretamente por upload na interface da Prototipe AI, para acelerar o processo de validação.
- Tipo do input: O input inicial para o fluxo é um arquivo tabular contendo dados educacionais.
-
Formatos Suportados: Esse agente deve ser capaz de receber arquivos nos formatos:
.csv,.json. - Número de caracteres esperado: Este agente deve ter capacidade para processar um input de texto com até 150.000 caracteres.
1.3.2 Especificação do Output
- Formato de output: O output deve ser um objeto JSON com dados padronizados, métricas de qualidade, e indicadores de validação.
-
Exemplo de Estrutura de Output:
{ "dados_padronizados": [...], "relatorio_qualidade": { "linhas_totais": 1000, "linhas_validas": 950, "duplicidades": 5, "valores_ausentes_por_campo": {...}, "outliers_detectados_por_regra": {...}, "amplitude_notas": "0-100", "escala_detectada": 100 }, "dicionario_de_dados": {...}, "mapeamento_metodos": {...}, "indicadores_validacao": { "aprovado_para_analise": true, "motivos_reprovação": [], "qualidade_score": 85 } } - Número de caracteres esperado: O JSON gerado deve ser conciso e informativo, com um tamanho estimado em torno de 5.000 caracteres, podendo variar conforme a complexidade dos dados.
1.3.3 Parâmetros de Geração
- Modelo: GPT-5
- Temperatura: 0.6
1.3.4 Ferramentas do Agente
- Documentos: Não consulta documentos externos.
- Calculadora: Não utiliza.
- Busca Online: Não utiliza.
- Sistemas Externos: Não se conecta a sistemas externos.
1.3.5 Memória
- Visibilidade das Instruções (Prompt): As instruções deste agente não devem ser visíveis para nenhum agente subsequente.
- Visibilidade da Resposta: A resposta gerada por este agente deve ser visível para o Agente de Análise de Eficácia e Correlação de Métodos (RF 2).
1.3.6 Regras de Orquestração e Transição
Ao concluir sua execução, esse agente aciona o Agente de Análise de Eficácia e Correlação de Métodos (RF 2).
RF 2. Agente de Análise de Eficácia e Correlação de Métodos
2.1 Tarefa do Agente
Estimar a eficácia relativa dos métodos de ensino e correlacioná-los com o desempenho dos alunos, produzindo métricas comparativas e evidências de robustez.
2.2 Prompt ou Instruções do Agente
# 1. Contexto e explicações sobre inputs iniciais Você está recebendo um JSON proveniente do Agente de Validação contendo dados padronizados, mapeamento de métodos e indicadores de validação aprovados para análise. # 2. Objetivo Estimar a eficácia relativa dos métodos de ensino e correlacioná-los com o desempenho dos alunos, produzindo métricas comparativas e evidências de robustez. # 3. Regras que você deve seguir para gerar sua resposta - Usar apenas linhas com flag_outlier=false e com nota válida 0–100. - Estatísticas por método: calcular n, média, mediana, p25, p75, desvio_padrao_aprox (regra de aproximação por desvio médio absoluto se necessário), proporcao_top10 (nota>=90), proporcao_aprovacao (nota>=60, ajustando ao critério da escala detectada se diferente). Marcar confiabilidade_baixa se n<10. - Ranking: ordenar por média desc; em caso de empate, usar maior mediana; persistindo, maior n; persistindo, maior p75. - Comparações pareadas: para cada método M, comparar com baseline (o mais comum) e com o top-1: relatar diferenca_media (M - comparador), tamanho_de_efeito_aprox = diferenca_media / sd_pooled_aprox; qualificar força do efeito: pequeno(|d|<0.2), moderado(0.2–0.5), grande(>0.5). Se sd_pooled ~0, reportar apenas diferença de médias. - Métodos categóricos múltiplos: quando mais de 2 métodos, evitar correlação linear direta; usar estratégia de "um-versus-rest" para estimar vantagem média de cada método sobre os demais. - Estratificações: quando houver turma_id, professor_id ou disciplina, calcular médias por estrato e reportar variação interestratos (amplitude e desvio). Se o ranking mudar drasticamente por estrato, marcar potencial_confounding=true e descrever. - Controle qualitativo de confundidores: se métodos estiverem desbalanceados por estrato (ex.: um método só em uma turma), classificar a inferência como fraca para causalidade e limitar recomendações a contexto similar. - Robustez: marcar metodos_com_baixa_robustez quando n<10 ou alta variância (desvio_padrao_aprox > 20 pontos). Incluir isso em limitacoes_estatisticas. - Uplift estimado: para top-1 vs baseline, reportar uplift_medio = diferenca_media em pontos na escala 0–100, acompanhado de interpretação prática (ex.: "+6,5 pontos na média"). - Coerência: se a diferença entre média e mediana > 15 pontos, indicar distribuição assimétrica e recomendar análise por percentis. - Saída máquina-legível: garantir chaves estáveis e numéricos em ponto decimal, sem texto misturado nos campos numéricos.
2.3 Configurações do Agente
2.3.1 Especificação do Input
- Mecanismo de Acionamento: Este agente deve ser acionado automaticamente após a conclusão bem-sucedida do agente anterior (RF 1).
- Tipo do input: Este agente deve ser apto a receber como input um JSON contendo dados padronizados e aprovados para análise.
-
Formatos Suportados: Esse agente deve ser capaz de receber inputs no formato:
.json. - Número de caracteres esperado: Este agente deve ter capacidade para processar um input de texto com até 20.000 caracteres.
2.3.2 Especificação do Output
- Formato de output: O output deve ser um JSON analítico contendo estatísticas por método, comparações, ranking, análises estratificadas, sinais de sesgo e confounding, limitações estatísticas e recomendações preliminares.
-
Exemplo de Estrutura de Output:
{ "estatisticas_por_metodo": { "metodo_a": { "n": 50, "media": 75.4, "mediana": 78, "p25": 70, "p75": 80, "desvio_padrao_aprox": 5.6, "proporcao_top10": 0.2, "proporcao_aprovacao": 0.85 } }, "comparacoes_pares": [...], "ranking_metodos": [...], "analises_estratificadas": [...], "sinais_de_sesgo_e_confounding": [...], "limitacoes_estatisticas": [...], "recomendacoes_preliminares": [...] } - Número de caracteres esperado: O JSON gerado deve ser informativo e detalhado, com um tamanho estimado em torno de 10.000 caracteres.
2.3.3 Parâmetros de Geração
- Modelo: GPT-5
- Temperatura: 0.6
2.3.4 Ferramentas do Agente
- Documentos: Não consulta documentos externos.
- Calculadora: Utiliza lógica interna para cálculos estatísticos.
- Busca Online: Não utiliza.
- Sistemas Externos: Não se conecta a sistemas externos.
2.3.5 Memória
- Visibilidade das Instruções (Prompt): As instruções deste agente não devem ser visíveis para nenhum agente subsequente.
- Visibilidade da Resposta: A resposta gerada por este agente deve ser visível para o Agente de Síntese e Recomendações Pedagógicas (RF 3).
2.3.6 Regras de Orquestração e Transição
Ao concluir sua execução, esse agente aciona o Agente de Síntese e Recomendações Pedagógicas (RF 3).
RF 3. Agente de Síntese e Recomendações Pedagógicas
3.1 Tarefa do Agente
Gerar um relatório executivo e técnico que traduza os achados estatísticos em decisões pedagógicas acionáveis, com limitações e próximos passos claros.
3.2 Prompt ou Instruções do Agente
# 1. Contexto e explicações sobre inputs iniciais Você está recebendo um JSON analítico do Agente de Análise contendo estatísticas, comparações, ranking, estratificações, limitações e recomendações preliminares; bem como o relatorio_qualidade do Agente de Validação. # 2. Objetivo Gerar um relatório executivo e técnico que traduza os achados estatísticos em decisões pedagógicas acionáveis, com limitações e próximos passos claros. # 3. Regras que você deve seguir para gerar sua resposta - Linguagem clara e objetiva, evitando jargão estatístico excessivo; quando necessário, incluir definição curta entre parênteses. - Evidências primeiro: apresentar ranking_metodos e uplift estimado no início do documento com alertas de robustez ao lado de cada método. - Contextualização: quando houver variação por estrato, emitir recomendações condicionais (ex.: "funciona melhor em turmas grandes"). - Limitações: listar explicitamente todas as limitações computadas (amostras pequenas, desbalanceamento entre estratos, variância alta, outliers excluídos) e o impacto potencial na decisão. - Ação: para cada recomendação, indicar: pré-requisitos de aplicação, métrica primária de sucesso (ex.: média de nota, taxa de aprovação), janela de medição sugerida e tamanho mínimo de amostra por método. - Neutralidade: não prescrever mudanças estruturais quando a robustez for baixa; sugerir piloto controlado com amostra mínima por método >=30 quando aplicável. - Consistência de formatação: títulos numerados, bullets concisos, valores em escala 0–100 com uma casa decimal, indicar baseline claramente. - Reprodutibilidade: descrever como estatísticas foram derivadas (média, mediana, um-versus-rest, tamanho de efeito aproximado) sem detalhar técnicas internas ou bibliotecas.
3.3 Configurações do Agente
3.3.1 Especificação do Input
- Mecanismo de Acionamento: Este agente deve ser acionado automaticamente após a conclusão bem-sucedida do agente anterior (RF 2).
- Tipo do input: Este agente deve ser apto a receber como input um JSON analítico e um relatório de qualidade.
-
Formatos Suportados: Esse agente deve ser capaz de receber inputs no formato:
.json. - Número de caracteres esperado: Este agente deve ter capacidade para processar um input de texto com até 25.000 caracteres.
3.3.2 Especificação do Output
- Formato de output: O output deve ser um relatório em markdown estruturado com sumário executivo, achados por método, comparações, robustez e limitações, recomendações pedagógicas, métricas a monitorar e apêndice de metodologia.
-
Exemplo de Estrutura de Output:
# Relatório de Análise de Métodos de Ensino ## Sumário Executivo - Método A mostrou maior eficácia geral. - Recomendações incluem aumento de carga horária para método B. ## Principais Achados | Método | Média | Mediana | Desvio Padrão | |--------|-------|---------|---------------| | A | 75.4 | 78 | 5.6 | ## Comparações - Método A vs B: +6,5 pontos na média. ## Robustez e Limitações - Amostra pequena para Método C. ## Recomendações Pedagógicas - Método A recomendado para turmas grandes. ## Apêndice - Metodologia: cálculo de médias, mediana, um-versus-rest.
- Número de caracteres esperado: O relatório gerado deve ser detalhado e abrangente, com um tamanho estimado em torno de 15.000 caracteres.
3.3.3 Parâmetros de Geração
- Modelo: GPT-5
- Temperatura: 0.6
3.3.4 Ferramentas do Agente
- Documentos: Não consulta documentos externos.
- Calculadora: Não utiliza.
- Busca Online: Não utiliza.
- Sistemas Externos: Não se conecta a sistemas externos.
3.3.5 Memória
- Visibilidade das Instruções (Prompt): As instruções deste agente não devem ser visíveis para nenhum agente subsequente.
- Visibilidade da Resposta: A resposta (relatório em markdown) é o entregável final e não é passada para outros agentes internos.
3.3.6 Regras de Orquestração e Transição
A execução deste agente finaliza o fluxo. O relatório gerado é o resultado que deve ser disponibilizado ao usuário.