1. Propósito e Escopo
Este documento define todos os prompts, configurações de memória, transição entre estados e demais requisitos funcionais para o Fluxo de Agentes "Avaliação de Projetos Estudantis", uma solução de automação projetada para fornecer feedback detalhado e sugestões de melhoria em projetos estudantis. Essa documentação é um modelo de PRD ou Documento de Requisitos de Produto específicos para construção de Agentes de IA.
O objetivo principal é garantir uma avaliação justa e eficaz, padronizando os critérios de avaliação e fornecendo feedback consistente e detalhado para os alunos.
2. Contexto e Problema
Cenário Atual
A avaliação de projetos estudantis frequentemente carece de feedback detalhado e consistente. Além disso, há uma necessidade de critérios uniformes para avaliar projetos de forma justa e eficaz.
Problemas Identificados
- Falta de feedback detalhado: Os alunos frequentemente não recebem feedback suficiente para melhorar seus projetos.
- Critérios inconsistentes: A ausência de critérios uniformes resulta em avaliações injustas ou ineficazes.
- Imparcialidade: Garantir que a avaliação seja justa e baseada em dados é um desafio contínuo.
3. Impactos Esperados
A implementação deste fluxo de automação visa alcançar os seguintes resultados:
- Melhoria na qualidade do feedback fornecido aos alunos.
- Padronização dos critérios de avaliação, assegurando justiça e eficácia.
- Aumento na imparcialidade das avaliações, baseando-as em dados e critérios definidos.
4. Visão Geral da Solução
O agente de IA para avaliação de projetos estudantis analisa projetos com base em critérios pré-estabelecidos, fornecendo feedback detalhado e sugestões de melhoria. A seguir são detalhadas todas as regras de negócio e especificações funcionais necessárias para que esse agente atue como um assistente útil e autônomo na avaliação de projetos estudantis.
A solução consiste em um fluxo de automação composto por 3 agentes de IA. O processo inicia com a preparação dos critérios e contexto e termina com a verificação de qualidade e imparcialidade do feedback.
A execução dos agentes é sequencial, seguindo a ordem definida na tabela abaixo.
| Agentes | Função Principal |
|---|---|
Agente de Preparação de Critérios e Contexto (RF 1)
| Interpretar e normalizar os critérios de avaliação e segmentar o projeto estudantil em componentes avaliáveis. |
Agente de Avaliação e Feedback de Projetos Estudantis (RF 2)
| Aplicar a rubrica normalizada ao projeto, atribuir pontuações justificadas e fornecer feedback detalhado. |
Agente de Verificação de Imparcialidade e Qualidade (RF 3)
| Revisar a saída de avaliação para consistência numérica, aderência aos critérios e neutralidade do feedback. |
5. Protótipos
Para proporcionar uma visão clara e tangível da solução proposta, criamos protótipos interativos que demonstram tanto o fluxo de trabalho dos agentes quanto o resultado final que o aluno receberá. Explore os links abaixo para entender melhor a solução em ação.
6. Requisitos Funcionais
RF 1. Agente de Preparação de Critérios e Contexto
1.1 Tarefa do Agente
Interpretar e normalizar os critérios de avaliação em uma rubrica padronizada e segmentar o projeto estudantil em componentes avaliáveis.
1.2 Prompt ou Instruções do Agente
# 1. Contexto e explicações sobre inputs iniciais
Você está recebendo o texto completo de um projeto estudantil e os critérios de avaliação pré-estabelecidos.
# 2. Objetivo
Interpretar e normalizar os critérios de avaliação em uma rubrica padronizada e segmentar o projeto em componentes avaliáveis.
# 3. Regras que você deve seguir para gerar sua resposta
- Normalização da rubrica: se pesos forem fornecidos, normalize-os para que a soma = 1; se ausentes, atribua pesos iguais.
- Estrutura de cada item da rubrica: {id_curto, nome, descricao, peso, escala_min, escala_max, niveis}.
- Segmentação do projeto: quebre o texto em secoes_projeto com campos {secao, conteudo}.
- Detecção de idioma: defina idioma_projeto como 'pt-BR' ou detecte outro idioma dominante.
- Conflitos de critérios: quando houver sobreposição, liste-os em conflitos_criterios.
- Validações mínimas: garanta que existam pelo menos 3 itens na rubrica.
# 4. Exemplo de Output que você deve produzir
{
"idioma_projeto": "pt-BR",
"metadados_projeto": {},
"secoes_projeto": [],
"rubrica_normalizada": {"itens": [], "pesos_normalizados": [], "escala_min": 0, "escala_max": 4},
"conflitos_criterios": [],
"avisos": []
} 1.3 Configurações do Agente
1.3.1 Especificação do Input
- Mecanismo de Acionamento: Este agente é o ponto de partida do fluxo e deve ser acionado pelo envio do texto completo do projeto e dos critérios via API. Na fase de testes, o fluxo será iniciado pelo envio manual dos dados, que serão enviados para o agente diretamente por upload dos documentos na interface da Prototipe AI, para acelerar o processo de validação.
- Tipo do input: O input inicial para o fluxo é um texto do projeto e critérios de avaliação.
-
Formatos Suportados: Esse agente deve ser capaz de receber textos nos formatos:
.docx,.pdf. - Número de caracteres esperado: Este agente deve ter capacidade para processar um input de texto com até 100.000 caracteres.
1.3.2 Especificação do Output
- Formato de output: O output deve ser um arquivo JSON estruturado com a rubrica normalizada e as seções do projeto.
-
Exemplo de Estrutura de Output:
{ "idioma_projeto": "pt-BR", "metadados_projeto": {}, "secoes_projeto": [], "rubrica_normalizada": {"itens": [], "pesos_normalizados": [], "escala_min": 0, "escala_max": 4}, "conflitos_criterios": [], "avisos": [] } - Número de caracteres esperado: O JSON final deve ter um tamanho estimado em torno de 5.000 caracteres.
1.3.3 Parâmetros de Geração
- Modelo: GPT-5
- Temperatura: 0.6
1.3.4 Ferramentas do Agente
- Documentos: Não consulta documentos externos.
- Calculadora: Não utiliza.
- Busca Online: Não utiliza.
- Sistemas Externos: Não se conecta a sistemas externos.
1.3.5 Memória
- Visibilidade das Instruções (Prompt): As instruções deste agente não devem ser visíveis para nenhum agente.
- Visibilidade da Resposta: A resposta gerada por este agente deve ser visível para o Agente de Avaliação e Feedback de Projetos Estudantis (RF 2).
1.3.6 Regras de Orquestração e Transição
Ao concluir sua execução, esse agente aciona o Agente de Avaliação e Feedback de Projetos Estudantis (RF 2).
RF 2. Agente de Avaliação e Feedback de Projetos Estudantis
2.1 Tarefa do Agente
Aplicar a rubrica normalizada ao projeto, atribuir pontuações justificadas, identificar lacunas e fornecer feedback detalhado com sugestões de melhoria.
2.2 Prompt ou Instruções do Agente
# 1. Contexto e explicações sobre inputs iniciais
Você está recebendo a rubrica normalizada e as seções do projeto estudantil.
# 2. Objetivo
Aplicar a rubrica ao projeto, atribuir notas, identificar lacunas e fornecer feedback detalhado.
# 3. Regras que você deve seguir para gerar sua resposta
- Escoragem por item: atribua nota inteira na escala [0..4].
- Justificativas baseadas em evidência: para cada item avaliado, inclua justificativa clara.
- Cálculo da nota final: nota_final_ponderada = soma(contribuicoes)/escala_max.
- Pontos fortes: identifique no mínimo 3 aspectos positivos específicos.
- Lacunas: liste deficiências objetivas e sugestões de melhoria.
# 4. Exemplo de Output que você deve produzir
{
"pontuacoes_por_item": [],
"justificativas": [],
"citacoes_de_evidencia": [],
"pontos_fortes": [],
"lacunas": [],
"sugestoes_melhoria": [],
"nota_final_ponderada": 0.0,
"relatorio_consistencia": "",
"feedback_markdown": ""
} 2.3 Configurações do Agente
2.3.1 Especificação do Input
- Mecanismo de Acionamento: Este agente deve ser acionado automaticamente após a conclusão bem-sucedida do agente anterior (RF 1).
- Tipo do input: Este agente deve ser apto a receber como input um JSON com a rubrica normalizada e as seções do projeto.
-
Formatos Suportados: Esse agente deve ser capaz de receber inputs no formato:
.json(JSON). - Número de caracteres esperado: Este agente deve ter capacidade para processar um input de até 10.000 caracteres.
2.3.2 Especificação do Output
- Formato de output: O output deve ser um arquivo JSON com as pontuações, justificativas e feedback detalhado.
-
Exemplo de Estrutura de Output:
{ "pontuacoes_por_item": [], "justificativas": [], "citacoes_de_evidencia": [], "pontos_fortes": [], "lacunas": [], "sugestoes_melhoria": [], "nota_final_ponderada": 0.0, "relatorio_consistencia": "", "feedback_markdown": "" } - Número de caracteres esperado: O JSON gerado terá um tamanho aproximado de 7.000 caracteres.
2.3.3 Parâmetros de Geração
- Modelo: GPT-5
- Temperatura: 0.6
2.3.4 Ferramentas do Agente
- Documentos: Não consulta documentos externos.
- Calculadora: Não utiliza.
- Busca Online: Não utiliza.
- Sistemas Externos: Não se conecta a sistemas externos.
2.3.5 Memória
- Visibilidade das Instruções (Prompt): As instruções deste agente não devem ser visíveis para nenhum agente.
- Visibilidade da Resposta: A resposta gerada por este agente deve ser visível para o Agente de Verificação de Imparcialidade e Qualidade (RF 3).
2.3.6 Regras de Orquestração e Transição
Ao concluir sua execução, esse agente aciona o Agente de Verificação de Imparcialidade e Qualidade (RF 3).
RF 3. Agente de Verificação de Imparcialidade e Qualidade
3.1 Tarefa do Agente
Revisar a saída de avaliação para consistência numérica, aderência aos critérios e neutralidade do feedback, consolidando a versão final.
3.2 Prompt ou Instruções do Agente
# 1. Contexto e explicações sobre inputs iniciais
Você está recebendo a saída completa da avaliação e feedback junto com a rubrica normalizada.
# 2. Objetivo
Revisar a avaliação para garantir consistência, imparcialidade e qualidade, consolidando a versão final.
# 3. Regras que você deve seguir para gerar sua resposta
- Recalcular a nota_final_ponderada e verificar consistência.
- Checar cobertura dos itens da rubrica.
- Verificar imparcialidade e ajustar linguagem conforme necessário.
- Garantir que o feedback_markdown final contenha todas as seções obrigatórias.
# 4. Exemplo de Output que você deve produzir
{
"avaliacao_aprovada": true,
"ajustes_realizados": [],
"checklist_qualidade": {},
"indicadores": {"imparcialidade_ok": true, "consistencia_pontuacao_ok": true, "cobertura_itens_ok": true},
"diff_pontual": "",
"feedback_markdown_final": ""
} 3.3 Configurações do Agente
3.3.1 Especificação do Input
- Mecanismo de Acionamento: Este agente deve ser acionado automaticamente após a conclusão do agente anterior (RF 2).
- Tipo do input: Este agente deve ser apto a receber como input um JSON com a saída da avaliação e feedback.
-
Formatos Suportados: Esse agente deve ser capaz de receber inputs no formato:
.json(JSON). - Número de caracteres esperado: Este agente deve ter capacidade para processar um input de até 15.000 caracteres.
3.3.2 Especificação do Output
- Formato de output: O output deve ser um arquivo JSON consolidado com a aprovação da avaliação e ajustes realizados.
-
Exemplo de Estrutura de Output:
{ "avaliacao_aprovada": true, "ajustes_realizados": [], "checklist_qualidade": {}, "indicadores": {"imparcialidade_ok": true, "consistencia_pontuacao_ok": true, "cobertura_itens_ok": true}, "diff_pontual": "", "feedback_markdown_final": "" } - Número de caracteres esperado: O JSON final terá um tamanho aproximado de 5.000 caracteres.
3.3.3 Parâmetros de Geração
- Modelo: GPT-5
- Temperatura: 0.6
3.3.4 Ferramentas do Agente
- Documentos: Não consulta documentos externos.
- Calculadora: Não utiliza.
- Busca Online: Não utiliza.
- Sistemas Externos: Não se conecta a sistemas externos.
3.3.5 Memória
- Visibilidade das Instruções (Prompt): As instruções deste agente não devem ser visíveis para nenhum agente.
- Visibilidade da Resposta: A resposta gerada por este agente é o entregável final e não é passada para outros agentes internos.
3.3.6 Regras de Orquestração e Transição
A execução deste agente finaliza o fluxo. O JSON gerado é o resultado que deve ser disponibilizado ao usuário.