CURADOR IA

Buscamos uma pessoa para garantir que soluções de inteligência artificial sejam confiáveis, seguras, éticas e relevantes para o negócio — com respostas corretas, consistentes e adequadas às necessidades dos usuários.

A posição atuará na avaliação de respostas de IA, criação de critérios e conjuntos de testes, curadoria de dados e melhoria de prompts. Também será responsável por testar a segurança dos modelos, monitorar a qualidade em produção e apoiar práticas de governança, documentação e uso responsável da IA.

Procuramos alguém com experiência em IA generativa e modelos de linguagem, conhecimento de prompt engineering e avaliação de modelos, além de familiaridade com RAG, bases de conhecimento e segurança para LLMs. Conhecimentos em análise de dados, SQL e, preferencialmente, Python são diferenciais. Para o nível sênior, é importante ter visão técnica para dialogar com equipes de engenharia e orientar outros profissionais — sem que seja necessário ser cientista de dados ou desenvolvedor avançado

Responsabilidades

• Avaliar respostas de IA quanto à precisão, clareza, relevância, completude, segurança e aderência ao contexto do negócio.
• Identificar alucinações, vieses, contradições, falhas de compreensão e possíveis exposições de dados.
• Definir critérios, métricas e rubricas de avaliação; criar casos de teste, benchmarks e cenários-limite.
• Selecionar, revisar e organizar dados e exemplos, garantindo qualidade, diversidade, privacidade e rastreabilidade.
• Criar, testar e otimizar prompts, instruções e templates em parceria com as áreas de Produto, Tecnologia e Negócio.
• Realizar testes de segurança, como prompt injection e jailbreak, e apoiar atividades de red teaming e testes de regressão.
• Monitorar a qualidade da IA em produção, analisar feedbacks e incidentes e recomendar melhorias contínuas.
• Documentar avaliações, decisões, limitações e resultados, contribuindo para a governança e o uso responsável da IA.
• Orientar profissionais da equipe, revisar avaliações e estabelecer boas práticas e padrões de qualidade.

Requisitos

• Experiência com modelos de linguagem e inteligência artificial generativa.
• Conhecimento de engenharia de prompts e avaliação humana e/ou automatizada de modelos.
• Experiência na criação de datasets de teste, métricas de qualidade ou critérios de avaliação.
• Familiaridade com RAG, embeddings, agentes e bases de conhecimento.
• Noções de segurança para LLMs, privacidade, LGPD e uso responsável de IA.
• Capacidade de analisar dados e interpretar resultados; conhecimento de SQL e, preferencialmente, Python.
• Familiaridade com ferramentas de anotação, avaliação ou observabilidade de IA, além de versionamento e documentação.
• Para uma posição sênior, capacidade de compreender tecnicamente os sistemas de IA, dialogar com equipes de engenharia e orientar outros profissionais. Não é necessário ser cientista de dados ou desenvolvedor avançado.