🏢 Sobre a empresa:

A contratante é uma organização americana do setor de Productivity Software focada no desenvolvimento e aprimoramento de soluções de inteligência artificial.

📋 Descrição e Requisitos:

🚀 Avaliação de sistemas LLM e RAG para identificação de falhas em retrieval, ranking, prompts e modelos.

📊 Manutenção e evolução de datasets de avaliação, rubricas e workflows de LLM-as-a-judge.

🐍 Análise de resultados e automação de avaliações utilizando Python, SQL, notebooks e APIs.

💡 Experiência mínima de 4 anos em Data Research, Applied Analytics ou Evaluation.

🔍 Sólido conhecimento em prompting, sistemas de retrieval e manutenção de datasets de alta qualidade.

⚙️ Capacidade de trabalhar de forma autônoma em problemas ambíguos e criação de métricas ou dashboards.

✅ Diferencial conhecimento em ferramentas como LangSmith, Ragas, DeepEval ou Braintrust.

🔗 Candidate-se aqui

#InteligenciaArtificial #DataScience #RemoteWork #LLM #RAG