knowmad mood logo

Senior QA AI Engineer

knowmad mood Madrid, Community of Madrid, Spain

remotefull-time
Posted Apr 22, 2026

**Role & seniority: ** AI Software QA Engineer (QA / Software Testing, 3–6 years; mid-level)

**Stack/tools: **

  • API testing: Postman, Newman

  • Automation: Playwright (JS/TS/Python) or Selenium

  • AI/LLM testing: Promptfoo, DeepEval; knowledge of Responsible AI / LLM testing

  • CI/CD: Azure DevOps, Jenkins, GitHub Actions

  • Defect tracking/test mgmt: Jira, TestRail

  • Validation: SQL (intermediate–advanced)

  • Other: GitHub Copilot/ChatGPT; (preferred awareness) LangChain, LangGraph; Azure AI Foundry / Azure OpenAI

**Top 3 responsibilities: **

  • Design, execute, and maintain manual + automated tests for APIs, web apps, and AI components

  • Perform API-first validation (contracts/schema/JSON), including regression, system, and performance testing

  • Test AI/heuristic/LLM outputs (accuracy, consistency, edge/adversarial cases) and integrate validation into CI/CD pipelines

**Must-have skills: **

  • Backend/API QA experience (Postman/Newman, JSON/schema compliance)

  • Automation using Playwright or Selenium (JS/TS/Python acceptable)

  • SQL-based data validation across API/processing/output layers

  • CI/CD test execution (Azure DevOps/Jenkins/GitHub Actions) and defect tracking (Jira/TestRail)

  • Hands-on Responsible AI / LLM testing fundamentals (bias, safety, hallucination)

**Nice-to-haves: **

  • Experience with Promptfoo/DeepEval; LLM evalu

Full Description

We are knowmad mood! Somos una compañía líder en transformación digital, en constante evolución y a la vanguardia de la tecnología. Nacimos para provocar un cambio real a través de la innovación y el desarrollo sostenible, con la misión de aportar valor a los clientes e impulsar nuestro talento. Formado por más de 3.000 personas creativas, digitales e innovadoras conectadas a un propósito y capaces de generar conexiones con personas de todo el mundo. Un equipo responsable, flexible y con alta capacidad de adaptación a las necesidades de nuestros clientes y del mercado, a la vez que proporciona valor, visión, creatividad, expertise, profesionalidad y pasión por la tecnología en cada proyecto. Los valores que marcan nuestro rumbo y nos guían hacia la excelencia son la colaboración, la innovación, el compromiso, la diversión y la confianza. Acerca del rol The AI Software QA Engineer is responsible for testing, validating, and ensuring the quality and reliability of applications, APIs, and AI-enabled systems within the TP.ai ecosystem, focusing on validating backend APIs, heuristic models, and AI-driven systems using modern automation tools and AI-aware testing techniques in an API-first environment. The candidate should be self-driven, proactive, and passionate about learning emerging AI technologies, with the ability to quickly adapt in a fast-evolving AI landscape. ¿Qué es lo que valoramos? Quality Assurance & Testing

  • Design, execute, and maintain manual and automated test cases for APIs, web applications, and AI components

  • Conduct regression, system, and performance testing prior to production releases

  • API Testing

  • Perform API testing using Postman and Newman

  • Validate JSON responses, API contracts, and schema compliance

  • AI & Heuristic Model Testing

  • Test AI/ML and rule-based systems for accuracy and consistency

  • Validate outputs using pattern-based, range-based, and semantic validation

  • Perform prompt-based testing including edge cases and adversarial inputs

  • Use tools such as Promptfoo and DeepEval for validation.

  • Hands-on experience in Responsible AI, LLM testing, and model evaluation with strong understanding of bias, safety, and hallucination testing.

  • Automation

  • Develop and maintain automation scripts using Playwright (JS/TS/Python) or Selenium

  • Use AI-assisted tools such as GitHub Copilot and ChatGPT

  • Data Validation

  • Perform SQL-based validation

  • Validate data across API, processing, and output layers

  • CI/CD Integration

  • Execute automated tests in CI/CD pipelines (Azure DevOps, Jenkins, GitHub Actions)

  • Support regression and release validation

  • Defect Management

  • Identify, document, and track defects using Jira and TestRail

  • Support debugging and root cause analysis

  • Collaboration

  • Work closely with developers, product owners, and AI engineers during agile sprints

  • Contribute to sprint planning and UAT activities

  • Experience

  • 3–6 years in QA / Software Testing

  • Experience in API and backend testing

  • Exposure to AI systems preferred

  • Technical Skills

  • API Testing: Postman, Newman

  • Automation: Playwright / Selenium

  • Programming: Basic Python / JavaScript

  • SQL: Intermediate to advanced

  • CI/CD: Azure DevOps / Jenkins

  • Tools: Jira, TestRail

  • AI & Modern Tools

  • Promptfoo

  • DeepEval

  • Azure AI Foundry / Azure OpenAI

  • Awareness of LangChain / LangGraph

Y con nosotros podrás disfrutar de

👩 💻Plan de Carrera: Todos nuestros profesionales tienen a su disposición procesos diseñados específicamente para sus funciones dentro de la compañía: modelo de competencias, evaluaciones, planes de formación y certificación, proyectos y eventos.

✈Vacaciones: 22 días laborables + 2 días de libre disposición + 24 y 31 de diciembre (cierre empresa)

✨ Formación: Tendrás opciones para formarte en las últimas tecnologías y en INGLES! Además, podrás contar con nuestro programa de certificaciones oficiales y las licencias de Udemy Business.

🎁Sorpresas: Recibirás sorpresas en momentos especiales como en aniversarios con nosotros, en tus cumples y nacimientos de vuestros bebés👼.

🎈Plan Amigo: Puedes ser Embajador de nuestra marca a través de nuestro Plan Amigo y recibir una recompensa 🤑.

🌱Quokka: programa de actividades para promover el bienestar emocional, la actividad física, y la nutrición saludable

🏆Club de ventajas: Programa de beneficios y descuentos (ocio, tecnología, bienestar y salud...)

🤍Kudos: Iniciativa para fomentar una cultura de feedback y reconocimiento. ¡Los eventos son lo nuestro! Tenemos dos grandes congresos además de webinars y formaciones ¡Ah! Se nos olvidaba decirte que Los Reyes Magos también se pasan por knowmad mood...🫅🪄 Para estar al corriente de nuestras novedades síguenos aquí --> knowmad mood Nos comprometemos con la igualdad de oportunidades y el respeto a la diversidad. Aplicamos nuestro Plan de Igualdad y el principio de no discriminación en todos nuestros procesos de selección

API testingPostmanNewmanPlaywrightSeleniumPythonJavaScriptSQLAzure DevOpsJenkinsJiraTestRailPromptfooDeepEvalAzure AI FoundryLLM testingmulti-location

Cookies & analytics consent

We serve candidates globally, so we only activate Google Tag Manager and other analytics after you opt in. This keeps us aligned with GDPR/UK DPA, ePrivacy, LGPD, and similar rules. Essential features still run without analytics cookies.

Read how we use data in our Privacy Policy and Terms of Service.