Member of Technical Staff (Evaluation Infrastructure)

Join our RL infrastructure team as a Member of Technical Staff. You will be responsible for developing our evaluation infrastructure, collaborating with modeling and evaluation teams, and identifying and resolving performance bottlenecks. Enjoy comprehensive health insurance, flexible vacation, visa sponsorship, and a 401(k) plan.

• Contribuer au développement d'une infrastructure d'évaluation fiable, efficace et facile à utiliser pour exécuter toutes les évaluations à grande échelle.
• Collaborer étroitement avec les équipes de modélisation et d'évaluation pour développer de nouvelles évaluations, maintenir la qualité du signal d'évaluation et construire des outils internes.
• Identifier et résoudre les goulets d'étranglement en matière de performance dans toutes les couches de la pile d'infrastructure d'évaluation.

• Willingness to dive deep and solve hard problems at all levels of the stack
• Experience in building, debugging, and optimizing efficiency of large-scale distributed systems
• Experience in LLM inference
• Experience in developing interfaces for comparing models and evals
• Experience in GPU compute management, workload scheduling, and dynamic resource optimization