
Senior QA AI Engineer
knowmad mood • Madrid, Community of Madrid, Spain
**Role & seniority: ** AI Software QA Engineer (QA / Software Testing, 3–6 years; mid-level)
**Stack/tools: **
-
API testing: Postman, Newman
-
Automation: Playwright (JS/TS/Python) or Selenium
-
AI/LLM testing: Promptfoo, DeepEval; knowledge of Responsible AI / LLM testing
-
CI/CD: Azure DevOps, Jenkins, GitHub Actions
-
Defect tracking/test mgmt: Jira, TestRail
-
Validation: SQL (intermediate–advanced)
-
Other: GitHub Copilot/ChatGPT; (preferred awareness) LangChain, LangGraph; Azure AI Foundry / Azure OpenAI
**Top 3 responsibilities: **
-
Design, execute, and maintain manual + automated tests for APIs, web apps, and AI components
-
Perform API-first validation (contracts/schema/JSON), including regression, system, and performance testing
-
Test AI/heuristic/LLM outputs (accuracy, consistency, edge/adversarial cases) and integrate validation into CI/CD pipelines
**Must-have skills: **
-
Backend/API QA experience (Postman/Newman, JSON/schema compliance)
-
Automation using Playwright or Selenium (JS/TS/Python acceptable)
-
SQL-based data validation across API/processing/output layers
-
CI/CD test execution (Azure DevOps/Jenkins/GitHub Actions) and defect tracking (Jira/TestRail)
-
Hands-on Responsible AI / LLM testing fundamentals (bias, safety, hallucination)
**Nice-to-haves: **
- Experience with Promptfoo/DeepEval; LLM evalu
Full Description
We are knowmad mood! Somos una compañía líder en transformación digital, en constante evolución y a la vanguardia de la tecnología. Nacimos para provocar un cambio real a través de la innovación y el desarrollo sostenible, con la misión de aportar valor a los clientes e impulsar nuestro talento. Formado por más de 3.000 personas creativas, digitales e innovadoras conectadas a un propósito y capaces de generar conexiones con personas de todo el mundo. Un equipo responsable, flexible y con alta capacidad de adaptación a las necesidades de nuestros clientes y del mercado, a la vez que proporciona valor, visión, creatividad, expertise, profesionalidad y pasión por la tecnología en cada proyecto. Los valores que marcan nuestro rumbo y nos guían hacia la excelencia son la colaboración, la innovación, el compromiso, la diversión y la confianza. Acerca del rol The AI Software QA Engineer is responsible for testing, validating, and ensuring the quality and reliability of applications, APIs, and AI-enabled systems within the TP.ai ecosystem, focusing on validating backend APIs, heuristic models, and AI-driven systems using modern automation tools and AI-aware testing techniques in an API-first environment. The candidate should be self-driven, proactive, and passionate about learning emerging AI technologies, with the ability to quickly adapt in a fast-evolving AI landscape. ¿Qué es lo que valoramos? Quality Assurance & Testing
-
Design, execute, and maintain manual and automated test cases for APIs, web applications, and AI components
-
Conduct regression, system, and performance testing prior to production releases
-
API Testing
-
Perform API testing using Postman and Newman
-
Validate JSON responses, API contracts, and schema compliance
-
AI & Heuristic Model Testing
-
Test AI/ML and rule-based systems for accuracy and consistency
-
Validate outputs using pattern-based, range-based, and semantic validation
-
Perform prompt-based testing including edge cases and adversarial inputs
-
Use tools such as Promptfoo and DeepEval for validation.
-
Hands-on experience in Responsible AI, LLM testing, and model evaluation with strong understanding of bias, safety, and hallucination testing.
-
Automation
-
Develop and maintain automation scripts using Playwright (JS/TS/Python) or Selenium
-
Use AI-assisted tools such as GitHub Copilot and ChatGPT
-
Data Validation
-
Perform SQL-based validation
-
Validate data across API, processing, and output layers
-
CI/CD Integration
-
Execute automated tests in CI/CD pipelines (Azure DevOps, Jenkins, GitHub Actions)
-
Support regression and release validation
-
Defect Management
-
Identify, document, and track defects using Jira and TestRail
-
Support debugging and root cause analysis
-
Collaboration
-
Work closely with developers, product owners, and AI engineers during agile sprints
-
Contribute to sprint planning and UAT activities
-
Experience
-
3–6 years in QA / Software Testing
-
Experience in API and backend testing
-
Exposure to AI systems preferred
-
Technical Skills
-
API Testing: Postman, Newman
-
Automation: Playwright / Selenium
-
Programming: Basic Python / JavaScript
-
SQL: Intermediate to advanced
-
CI/CD: Azure DevOps / Jenkins
-
Tools: Jira, TestRail
-
AI & Modern Tools
-
Promptfoo
-
DeepEval
-
Azure AI Foundry / Azure OpenAI
-
Awareness of LangChain / LangGraph
Y con nosotros podrás disfrutar de
👩 💻Plan de Carrera: Todos nuestros profesionales tienen a su disposición procesos diseñados específicamente para sus funciones dentro de la compañía: modelo de competencias, evaluaciones, planes de formación y certificación, proyectos y eventos.
✈Vacaciones: 22 días laborables + 2 días de libre disposición + 24 y 31 de diciembre (cierre empresa)
✨ Formación: Tendrás opciones para formarte en las últimas tecnologías y en INGLES! Además, podrás contar con nuestro programa de certificaciones oficiales y las licencias de Udemy Business.
🎁Sorpresas: Recibirás sorpresas en momentos especiales como en aniversarios con nosotros, en tus cumples y nacimientos de vuestros bebés👼.
🎈Plan Amigo: Puedes ser Embajador de nuestra marca a través de nuestro Plan Amigo y recibir una recompensa 🤑.
🌱Quokka: programa de actividades para promover el bienestar emocional, la actividad física, y la nutrición saludable
🏆Club de ventajas: Programa de beneficios y descuentos (ocio, tecnología, bienestar y salud...)
🤍Kudos: Iniciativa para fomentar una cultura de feedback y reconocimiento. ¡Los eventos son lo nuestro! Tenemos dos grandes congresos además de webinars y formaciones ¡Ah! Se nos olvidaba decirte que Los Reyes Magos también se pasan por knowmad mood...🫅🪄 Para estar al corriente de nuestras novedades síguenos aquí --> knowmad mood Nos comprometemos con la igualdad de oportunidades y el respeto a la diversidad. Aplicamos nuestro Plan de Igualdad y el principio de no discriminación en todos nuestros procesos de selección