DevOps Engineer - AI Model Evaluator
400 $/meseMercor
Roma
- Lavoro da remoto
About the job
Mercor connects elite creative and technical talent with leading AI research labs. Headquartered in San Francisco, our investors include Benchmark , General Catalyst , Peter Thiel , Adam D'Angelo , Larry Summers , and Jack Dorsey .
Position: DevOps / SRE / Cloud Engineer (Coding Agent Experience)
Type: Contract
Compensation: $85/hour
Location: Remote
Role Responsibilities
- Use frontier AI coding agents to complete and evaluate complex infrastructure engineering tasks.
- Review model-generated implementations involving cloud platforms , Kubernetes , CI/CD systems , observability , and infrastructure automation .
- Identify bugs, edge cases, reliability issues, and failure modes in model outputs.
- Compare outputs from multiple frontier models to assess their strengths and weaknesses.
- Apply professional engineering judgment to realistic infrastructure engineering scenarios.
Qualifications
Must-Have
- 2+ years of professional DevOps , SRE , or Cloud Engineering experience.
- Experience with AWS , Azure , GCP , Kubernetes , Terraform , CI/CD pipelines , or observability tooling.
- Regular use of AI coding agents such as Cursor, Claude Code, Codex, Windsurf, Gemini CLI, or similar tools.
- Ability to evaluate model-generated infrastructure and reliability engineering solutions.
Preferred
- Experience supporting production-scale systems.
Compensation & Legal
- $400 per accepted task
- Compensation tied to accepted work.
Application Process (Takes 20–30 mins to complete)
- Upload resume
- AI interview based on your resume
- Submit form
Resources & Support
- For details about the interview process and platform information, please check:
- For any help or support, reach out to: Mostrare email
PS: Our team reviews applications daily. Please complete your AI interview and application steps to be considered for this opportunity.
Offerta di lavoro pubblicata 17 ore fa
Offerte di lavoro simili
40 $/ora
...specialists with project-based AI opportunities for... ...companies, focused on testing, evaluating, and improving AI... ...re building a dataset to evaluate AI coding agents - how well a model handles real-world... ...labeling Not prompt engineering Not writing code from...ConsigliatoTemporaneoPart-timeImpiego permanenteLibero professionistaOrario flessibile- ...An enterprise client is seeking CFD & Aerodynamic Engineers to help train and evaluate next-generation AI systems by contributing real-world engineering expertise... ...CFD and aerodynamics tasks that evaluate AI models' engineering reasoning. Create clear and technically...ConsigliatoPaga orariaLibero professionistaRemoto39 h/sett.Orario flessibile
- ...seeking experienced Structural Engineers to help train and evaluate next-generation AI systems. This opportunity is part... ...initiative focused on improving how AI models solve complex structural... ...machine learning, or engineering model evaluation. Additional Information...ConsigliatoPaga orariaRemoto39 h/sett.Orario flessibile
8,5 €/ora
...technologies, Generative AI, knowledge... ...Geospatial Platform Engineer to help design,... ...Database, Large Language Models (LLMs), Geospatial... ...following DevOps and Platform Engineering... ...Contribute to evaluating emerging technologies... ...infrastructure, model serving platforms,...ConsigliatoTempo determinatoLavoro ibrido- ...Software Model-Based Desing Engineer In Capgemini Engineering , leader mondiale nei servizi di ingegneria, uniamo un team globale di talenti... ...tecnologica e di business delle aziende, che sfrutta la potenza dell’AI per offrire valore ai propri clienti. Immaginiamo il futuro...ConsigliatoImpiego permanenteRemotoOrario flessibile
23.000 € - 25.000 €
ONYX TECHNOLOGY , dinamica società di consulenza in forte crescita sul mercato dell’ Information Technology, ricerca: DevOps Engineer Junior La risorsa ha maturato 1-2 anni di esperienza in ambito DevOps o sistemistico. Requisiti essenziali: Inglese ≥ B1 Buona conoscenza...Tempo pienoDisponibilità immediataRemoto- ...Senior Model Based System Engineer In Capgemini Engineering , leader mondiale nei servizi di ingegneria, uniamo un team globale di talenti dell... ...e di business delle aziende, che sfrutta la potenza dell’AI per offrire valore ai propri clienti. Immaginiamo il futuro...Impiego permanenteLavoro ibrido
- ...territorio nazionale, ricerca per importante cliente un/una Cloud Devops Engineer Sede: Remoto Requisiti : Almeno 3 anni di esperienza nel... ...conoscenza di Kubernetes, Google Cloud Platform e Google Kubernetes Engine Ottima conoscenza del sistema operativo Linux Esperienza in...Tempo pienoContratto con partita IVARemoto
34.000 € - 40.000 €
...specializzata nella ricerca e selezione di profili ICT, ricerca per importante realtà operante come System Integrator un/a: DEVOPS ENGINEER Il nostro cliente è un solido System Integrator che offre soluzioni tecnologiche avanzate e collabora con importanti...Impiego permanente38.000 € - 58.000 €
...Translated Translated is a leading provider of AI-powered language solutions. Founded in... ...challenges from our customers and engineer tailored solutions that often become part... ...believe in humans. We are looking for a DevOps Engineer for our Infrastructure Team....Tempo pieno24.000 € - 34.600 €
...Role Description Kick-start your engineering career at Accenture as an Early Talent AI Native Engineer. This is an entry... ...hired with a clear hire-to-train model and developed into a client-... ...while learning to leverage cloud, DevOps, and AI tools to accelerate delivery...Stage/Tirocinio- ...artificiale e pone le persone al centro della rivoluzione dell’AI. Presente in Europa, Africa, Asia e America, Everience offre... ...valore dei capital markets, siamo alla ricerca di un Senior SRE / DevOps Engineer da inserire all'interno di un programma strategico di...Smart workingTempo pienoImpiego permanenteLavoro ibrido
- ...consolidata nel mercato delle soluzioni e dei servizi ICT . Per ampliamento dell’organico ricerchiamo la figura di un/a Junior DevOps Engineer, che supporterà la progettazione, implementazione e gestione dell’infrastruttura come codice (IaC) e delle pipeline CI/CD per...Tempo pienoLavoro ibrido
- ...2002 nello sviluppo software e nella consulenza IT per la Pubblica Amministrazione e grandi imprese, è alla ricerca di un DEVOPS ENGINEER (remoto) Requisiti: 5+ anni exp: Terraform Gitlab pipelines Azure Soft skills: • Strong teamwork ability, mental...Tempo pienoImpiego permanenteTempo determinatoRemotoOrario flessibile
40.000 € - 55.000 €
...Stip AI sta trasformando il modo in cui le aziende interagiscono con i propri clienti... ...Stip AI è alla ricerca di un Senior AI Engineer che assuma un ruolo di riferimento tecnico... ...strumenti per la gestione dati ai servizi di model serving. Requisiti: ~2+ anni di...Tempo pienoImpiego permanente- ...decennale in soluzioni e servizi nellambito dellInformation & Communication Technology, sta cercando per ampliamento organico: DevOps Il candidato ideale ha almeno 2 anni di esperienza come DevOps Competenze richieste obbligatorie: • Esperienza pratica...Remoto
- ...CY4GATE tra i player rappresentativi nel campo della Composite AI , a conferma del valore delle sue soluzioni nell’integrare tecniche... ...continua . Posizione: Siamo alla ricerca di un AI Engineer con almeno 2 anni di esperienza da inserire all’interno di un...Lavoro ibrido
- ...Deep AI Native Software Engineering Location: Italy YOU ARE As an AI/ML Computational... ...clients, combining custom models with cloud and third-party... ...scalable data and DevOps & MLOps pipelines for training... ...data pipelines to support model training and production...
- ...soluzioni ICT offerte ai propri partner. La nostra divisione Recruiting è alla ricerca, per conto di un nostro cliente, di un/una: DevOps Engineer (Azure) Sede: Roma (zona centro) Modalità di lavoro: Ibrida (2-3 giorni onsite) Descrizione del ruolo Stiamo cercando un DevOps...Tempo pienoContratto con partita IVALavoro ibrido
10 $/ora
...Immediately Duration: TBC Rate: 10 USD per hour What You’ll Do Media Evaluation: Watch and analyze short-form video clips to identify all... ...the standards required for training automated machine learning models. What we’re looking for: Must be currently living in South Korea...Paga orariaPart-timeLibero professionistaDisponibilità immediataLavoro da casa4 h/giornoOrario flessibile- ...BRAIN-IT S.r.L. Brain IT srl seleziona n.1 figura Security Devops È necessario valutare attentamente quali competenze, esperienze... ...processi di sviluppo (sviluppo di modelli delle minacce – Threat Model). Monitoraggio continuo della postura di sicurezza e la...Impiego permanente
36.000 €
...Application Management e Quality Assurance. Chi cerchiamo? AI Engineer (GenAI & LLM) 3 anni di esperienza lavorativa Dove e... ...di sistemi GenAI (LLM-as-Judge, metriche RAG, Trajectory Evaluation). • Sviluppo e deployment cloud-native con AWS/Azure/Google...Tempo pienoImpiego permanenteStage/TirocinioRemoto- Siamo una digital company che trasforma e migliora il modo in cui le aziende affrontano il mercato. Dal 1981 diamo alle imprese la possibilità di accelerare il proprio sviluppo con un pensiero strategico, un approccio pratico e un ampio portafoglio di soluzioni innovative...Impiego permanenteStage/TirocinioTempo determinatoContratto con partita IVA
45.000 €
...consulenza e servizi di Application Management e Quality Assurance. Chi cerchiamo? Siamo alla ricerca di un Java Software Engineer (Full Stack & DevOps) con consolidata esperienza nello sviluppo software enterprise e nelle architetture moderne cloud-native. Dove e...Tempo pienoStage/TirocinioLavoro ibridoRemoto3 giorni/sett.- ...You build the systems that actually make AI work in enterprise environments, not demos... .... The difference between an AI Engineer and what we are looking for is straightforward... ...OpenAI, Anthropic, Vertex AI, and open-source models — with fallback routing, token, cost, and...
28.000 € - 32.000 €
...inizieremo questo percorso insieme, entrerai a far parte del nostro team AI Solutions e sarai in prima linea nello sviluppo di modelli di... ..., database); Lavorerai a stretto contatto con data engineer, data scientist e altri AI engineer per trasformare prototipi in...Smart workingTempo pienoTempo determinatoLavoro ibridoOrario flessibile19.000 € - 21.000 €
...costruzione di percorsi di crescita professionale solidi, in un ambiente inclusivo e orientato al merito. Stiamo cercando un/una Junior DevOps Engineer da inserire nel nostro team tecnico, all'interno di progetti internazionali. La risorsa sarà affiancata da professionisti...Tempo pienoApprendistatoLavoro ibridoRemoto800 €/mese
...of Machine Learning and AI techniques to analyze... ...quantitative and financial models, also in the Credit... ...Management, Management Engineering, Computer Science, Statistics... ..., risk management, model development, or related... ..., based on the tutors' evaluation, the internship can...Smart workingStage/TirocinioApprendistatoLavoro ibridoRemotoOrario flessibile32.000 € - 38.000 €
...supporto/integrazione in Go o Python. * Buona conoscenza dei sistemi operativi Linux e programmazione Bash. * Familiarità con i paradigmi DevOps (Git, flussi CI/CD). Costituiscono un Plus * Esperienza d'uso con strumenti di containerizzazione (Docker, Kubernetes). *...Lavoro ibridoLaser Romae
Roma28 giorni fa35.000 € - 55.000 €
...and professionals to leverage AI’s transformative capabilities.... ...We are looking for an EO AI Engineer (Agents & Integrations) to work... ...knowledge nexus between Earth AI models, data, tools, and resources.... ...or SentinelHub, Google Earth Engine, xarray, rasterio, or similar....Tempo pieno
