Role & seniority
- QA Engineer con mentalidad crítica (seniority no especificada)
- Foco en fiabilidad de sistemas de IA no deterministas (razonamiento, sesgos, regresiones)
Stack/tools
- Prompt testing / LLM evaluation
- Semantic regression
- Agent evaluation (flujos y edge cases)
- Graph/data integrity validation
- Validación SQL / Code Gen por LLMs
- Testing clásico: Unit, Integration, E2E
- Automatización UI: Playwright o Cypress
- Cloud: AWS / Azure / GCP
Top 3 responsibilities
- Diseñar estrategias de pruebas para sistemas con resultados variables (consistencia/razonamiento)
- Detectar fallos sistémicos de reasoning, conclusiones incompletas o lógicamente incorrectas
- Validar integridad de grafos/arquitectura y definir KPIs (Correctness, Robustness, Latency)
Must-have skills
- Testing de sistemas de IA: prompt/LLM evaluation, semantic regression, agent testing
- Dominio de pruebas unit/integration/E2E
- Capacidad para validar grafo y coherencia de relaciones
- Experiencia en automatización con Playwright o Cypress
- Experiencia en entornos cloud (AWS/Azure/GCP)
Nice-to-haves
- Curaduría de datasets de prueba y colaboración con AI Engineers
- Experiencia específica probando SQL/Code generated automáticamente por LLMs (si no está cubierta por lo anterior)
Location & work type

Full Description

Sobre el Puesto Buscamos un QA Engineer con mentalidad crítica para asegurar la fiabilidad de sistemas de IA no deterministas. Tu misión no será solo encontrar bugs puntuales, sino identificar fallos en el razonamiento de agentes, sesgos estructurales y regresiones semánticas.

Responsabilidades Principales

Estrategia para Sistemas No Deterministas: Diseñar planes de prueba para sistemas cuyo resultado varía, enfocándote en la consistencia y el razonamiento.

Detección de Errores de "Reasoning": Identificar fallos sistémicos donde el modelo de IA genera conclusiones incompletas o lógicamente incorrectas.

Validación de Grafos: Detectar sesgos estructurales y relaciones incorrectas dentro de la arquitectura de datos/grafo.

Métricas de Calidad de IA: Definir y monitorear KPIs específicos como Correctness (Precisión), Robustness (Robustez) y Latency (Latencia).

Curaduría de Datos: Colaborar con AI Engineers para la creación de datasets de prueba robustos y casos de borde (edge cases).

Requisitos Técnicos (Skills)

Testing de Sistemas de IA

Prompt Testing y evaluación de respuestas de LLMs.

Regresión Semántica: Asegurar que las actualizaciones del modelo no degraden la calidad de las respuestas previas.

Evaluación de Agentes: Pruebas de flujo y casos extremos en agentes autónomos.

Integridad del Grafo: Verificación de la estructura y coherencia del grafo de conocimiento.

Validación de SQL/Code Gen: Testear la precisión de queries generadas automáticamente por LLMs.

Testing Clásico

Dominio de niveles de prueba: Unit, Integration y E2E.

Automatización

Experiencia avanzada en herramientas como Playwright o Cypress.

Infraestructura

Experiencia trabajando en entornos Cloud (AWS, Azure o GCP).

Ubicación deseada

MÁLAGA, SEVILLA, ALICANTE. El esquema es híbrido con un 40% on site.