Ejecución automatizada de pruebas
Estas cuatro skills se encargan de la parte automatizada del flujo: generar la suite ejecutable en el framework del proyecto, ejecutarla y reparar automáticamente lo que falla por motivos menores —ya sea a partir de una ejecución real fallida o de un diff de PR que rompió selectores—, y reestructurar una suite Gherkin existente para que sea data-driven.
lippia-neo-generate-test-suite
Cuándo usarla
Cuando existe un plan de tests y hay que generar la suite ejecutable en el framework
configurado (lee qa-stack.yaml para elegir el adaptador: Playwright, playwright-bdd,
playwright-cucumberjs, Lippia o Cypress; Pytest está en estado stub y aborta). Soporta suites FE,
BE o híbridas.
También cubre modos alternativos sin plan completo: modo TDD (un único criterio de aceptación)
y modo "ampliación de casuística" (solo los casos faltantes). Regla clave: si algún escenario
ejecutado falló (status: "fail"), generar su test de regresión es obligatorio e incondicional
al modo activo — la única excepción es que ya exista un archivo con el tag bug-id de ese
mismo bug. Antes de generar cada caso revisa si un test existente ya cubre el mismo flujo
(precondición, acción y resultado) para no duplicarlo. No escribe reportes: eso lo hace
lippia-neo-write-generation-report.
Suites en Gherkin (playwright-bdd y playwright-cucumberjs)
Con estos dos frameworks, cada caso es un Scenario dentro del .feature de su flujo de
negocio (no hay un archivo por caso ni carpetas por historia) y los datos siguen los
lineamientos de Data-driven testing: los casos que solo
difieren en datos van a un Scenario Outline con un bloque Examples por caso, los casos
sugerido llevan @sugerido, los bloqueado quedan con @fixme (playwright-bdd) o no se
escriben (playwright-cucumberjs), y los sin resultado esperado no se generan. Nunca agrega filas
a un Scenario Outline que ya existía. Al terminar corre el lint de datos (L1–L7). Ver
playwright-bdd y
playwright-cucumberjs.
{
"config": {
"test_framework": "playwright",
"app_type": "web",
"tests_dir": "tests/",
"test_plans_dir": "test-plans/",
"auth": "basic_auth",
"language": "javascript"
}
}
| Input | Tipo | Descripción |
|---|---|---|
config.test_framework, config.app_type, config.tests_dir, config.test_plans_dir, config.auth, config.language |
Requerido | Todo resuelto desde qa-stack.yaml. |
config.env_file |
Opcional | Ruta de credenciales/tokens del ambiente; si es null, los templates dejan TODO en vez de la variable de entorno real. |
config.lippia_config_path |
Opcional | Solo relevante si test_framework es Lippia. |
input.manual_execution_report_path |
Opcional | Artefacto de handoff (ui_selectors, executed_scenarios, findings, summary) producido por cualquier skill que reproduzca o explore la app. |
input.tdd_single_ac |
Opcional | Modo TDD: string con el AC-ID; genera solo ese test. |
input.existing_tests |
Opcional | Output de lippia-neo-find-existing-tests; si hay matches del mismo módulo, los archivos nuevos se agregan a esa misma carpeta. |
input.missing_cases |
Opcional | Output de lippia-neo-review-test-coverage; si está presente (aunque vacío), activa el modo "ampliación de casuística". |
input.test_plan |
Opcional | El plan ya estructurado (salida tipada de lippia-neo-read-test-plan). Si viene, el alcance, el estado y los datos de cada caso salen de acá en vez de leer el Markdown. |
input.test_data |
Opcional | Registros de datos por caso (scenario_id, _meta con case_type/description/expected, data). Cada registro es una fila del caso; description se usa como columna caso del Examples. Si no viene, los datos salen del plan. |
Frameworks de performance
Con test_framework: k6 o jmeter esta skill no aplica: aborta con status: "aborted" sin generar nada, con el motivo framework_not_supported_by_this_skill. Esos frameworks se trabajan con las skills de performance.
Salida
| Campo | Descripción |
|---|---|
status |
success / partial (algún caso saltado) / aborted (adaptador en stub o plan no encontrado). |
generated_files |
path, test_case_id, suite_type (fe/be) de cada archivo generado. En Gherkin hay una entrada por caso y path es el .feature del flujo: varias entradas pueden compartir el mismo path. |
skipped_scenarios |
Casos saltados, con test_case_id y reason (por ejemplo, ya cubierto por un test existente, filtrado por modo TDD, bloqueado por datos: … o sin resultado esperado). |
warnings |
TODOs pendientes u otras degradaciones. En Gherkin, también los archivos de soporte creados o modificados (steps, page objects, glue y archivos de data/) y los hallazgos del lint de datos. |
Se encadena con
Consume existing_tests, missing_cases y manual_execution_report_path de las skills anteriores; su
salida alimenta a lippia-neo-run-and-heal y luego a lippia-neo-write-generation-report/
lippia-neo-write-test-report.
lippia-neo-run-and-heal
Cuándo usarla
Para ejecutar la suite de tests (en cualquier framework configurado) y auto-reparar los que
fallan hasta que todos pasen o se alcance el máximo de iteraciones (lee qa-stack.yaml para
elegir el adaptador: Playwright, playwright-bdd, playwright-cucumberjs, Lippia o Cypress; Pytest
está en estado stub y aborta). Nunca
supera max_iterations (tope 3); antes de escalar, completa todos
los TODOs pendientes y reemplaza credenciales hardcodeadas por variables de entorno — ninguna
de las dos cosas se escala como excusa, siempre se resuelven.
Suites en Gherkin (playwright-bdd y playwright-cucumberjs)
Los fixes de selectores y timeouts van al page object y los de aserciones al step definition:
nunca cambia el texto de un step en el .feature para que coincida. Un step faltante,
duplicado o ambiguo se trata como código incompleto (se completa en steps/), no como un test
en rojo. Un caso bloqueado por datos (@fixme con # bloqueado:) no se repara.
Publicar el resultado en LTM
En proyectos Lippia, la ejecución puede publicarse en Lippia Test Manager mientras corre, con
QA_RESULTS_EXPORT=ltm. La skill no lo activa en las iteraciones de reparación: se publica
una ejecución final. Si el export falla, lo escala como environment.
Ver Configurar Lippia.
{
"config": {
"test_framework": "playwright",
"tests_dir": "tests/",
"reports_dir": "test-results/reports/",
"commands": {
"run_tests": "npx playwright test"
}
}
}
| Input | Tipo | Descripción |
|---|---|---|
config.test_framework, config.tests_dir, config.reports_dir, config.commands.run_tests |
Requerido | |
config.max_iterations |
Opcional | Por defecto 3; usar 1 para un smoke post-deploy sin healing. |
config.plateau_detection |
Opcional | Por defecto true; pasar false cuando max_iterations=1. |
config.run_label |
Opcional | Etiqueta de la ejecución en el reporte (post-fix, regresion-modulo, smoke). |
config.include_dirs / config.exclude_dirs |
Opcional | Subcarpetas a incluir/excluir (Playwright, playwright-bdd, playwright-cucumberjs y Cypress, mutuamente excluyentes). En los frameworks Gherkin son subcarpetas de features/. |
config.target_tests |
Opcional | Archivos puntuales a ejecutar en vez de la suite completa (strings o objetos con path; ej. existing_tests de lippia-neo-find-existing-tests o repaired_tests de lippia-neo-repair-selectors-by-diff); tiene prioridad sobre include/exclude_dirs. Playwright, playwright-bdd, playwright-cucumberjs y Cypress (en los Gherkin, un .feature ejecuta todos los escenarios de su flujo) — en Lippia se ignora (no soporta scoping por carpeta ni archivo) y queda anotado en escalation_notes. |
Frameworks de performance
Con test_framework: k6 o jmeter esta skill no aplica: aborta sin ejecutar nada, con el motivo framework_not_supported_by_this_skill. Esos frameworks se trabajan con las skills de performance.
Salida
| Campo | Descripción |
|---|---|
status |
green / plateau_abort / max_iter_abort. |
iterations_used, final_pass_count, final_fail_count |
|
healed_tests |
file, failure_category (selector_broken/timeout/assertion_mismatch/api_error/environment/unknown), fix_applied, fix_successful. |
escalation_required, escalation_notes |
Si hace falta intervención humana: tests que siguen fallando, fixes intentados y sugerencia concreta. |
report_path |
JSON de la ejecución, escrito en reports_dir. |
Se encadena con
Se ejecuta después de lippia-neo-generate-test-suite (o directo sobre tests existentes); cuando
escalation_required es true, ese resultado se reporta a un humano vía
lippia-neo-write-test-report. También es el paso 3 del plan ui-selector-repair y el único
paso de ui-selector-regression, acotado con target_tests a los tests que reparó
lippia-neo-repair-selectors-by-diff.
lippia-neo-repair-selectors-by-diff
Cuándo usarla
Justo después de lippia-neo-find-ui-tests-by-code-diff, en un flujo de reparación de selectores:
repara estáticamente los selectores de los tests devueltos
en matched_tests, reescribiéndolos según lo que el propio diff cambió (atributos de testing,
aria-label, role, id, ruta, clase o texto renombrado/eliminado). Si el diff agrega un atributo
de testing (data-testid, data-test, data-qa, data-pw) a un elemento que el test
buscaba por clase, texto o rol con nombre, migra el selector a ese atributo ("promoción").
No ejecuta la suite ni abre navegador — el PR todavía no está deployado en ningún ambiente, así
que el diff es la única fuente de verdad. Nunca "adivina" un reemplazo: si el diff no establece una relación old→new
no ambigua, el caso queda en unresolved para revisión humana.
{
"input": {
"pr_diff_path": "tmp/pr-1234.diff",
"matched_tests": [
{
"path": "tests/checkout.spec.ts",
"suite_type": "fe",
"matched_on": [
{ "term": "apply-coupon", "matched_location": "structured_body", "match_strength": "partial", "match_mode": "exact" }
]
}
]
},
"config": {
"test_framework": "playwright"
}
}
| Input | Tipo | Descripción |
|---|---|---|
input.pr_diff_path |
Requerido | El mismo diff que consumió lippia-neo-find-ui-tests-by-code-diff. |
input.matched_tests |
Requerido | El array que devolvió esa skill, nunca reconstruido a mano; se evalúan todos los términos de cada archivo. Si viene vacío, devuelve none sin abrir nada. |
config.test_framework |
Requerido | Determina cómo luce un selector en el código de test (playwright/playwright-bdd/playwright-cucumberjs/lippia/pytest; con otro framework, incluido cypress, aborta con un warning). En los frameworks Gherkin repara page objects y steps, nunca el texto de un .feature. |
Salida
| Campo | Descripción |
|---|---|
status |
repaired (todo resuelto) / partial (hay reemplazos y también unresolved) / blocked (solo unresolved) / none (nada mecánicamente reparable). |
repaired_tests |
Por archivo, changes con selector_type, old_value, new_value, occurrences, y old_selector_type solo cuando hubo promoción (el tipo de selector cambió). |
unresolved |
path, matched_on (el término, como string), reason. |
warnings |
Matches de solo alcance sin nada que reparar, promociones de selector aplicadas, trazabilidad de términos recibidos/evaluados/reparados/unresolved. |
Se encadena con
Paso 2 del plan ui-selector-repair, gateado por has_matches de
lippia-neo-find-ui-tests-by-code-diff; unresolved es la señal para escalar a un humano. Su
repaired_tests alimenta config.target_tests de lippia-neo-run-and-heal (paso 3 del mismo
plan y, después del deploy, plan ui-selector-regression).
lippia-neo-refactor-gherkin-features
Cuándo usarla
Cuando ya tenés una suite Gherkin escrita (a mano o con una versión anterior de NEO) con
escenarios que repiten los mismos pasos con distintos valores, conteos escritos en los steps
(muestra 4 productos) o el mismo catálogo copiado en varios escenarios, y querés llevarla a los
lineamientos de Data-driven testing sin cambiar qué
verifica. Unifica en un Scenario Outline (con un bloque Examples por caso) los escenarios
que solo difieren en datos, y mueve a archivos de datos los datos de referencia que la suite ya
tiene escritos. También sirve para ver qué cambiaría (preview) antes de tocar nada.
Se dispara con frases como "refactorizá los .feature", "pasá la suite Gherkin a data-driven"
o "unificá los escenarios repetidos en un Scenario Outline".
{
"input": {
"features": ["tests/playwright-bdd/features/catalogo.feature"],
"apply": false
}
}
| Input | Tipo | Descripción |
|---|---|---|
input.features |
Requerido | Rutas a archivos .feature o a carpetas que los contienen, relativas a la raíz del repositorio. Solo se reestructuran esos archivos. |
input.apply |
Opcional | Por defecto false: solo preview, no escribe nada. Con true, escribe los cambios, los valida y, si algo falla, restaura todo. |
Además lee de qa-stack.yaml el framework (stack.test_framework), el lenguaje (stack.language) y
la carpeta de la suite (paths.tests_dir). Nunca lee el archivo de credenciales (paths.env_file).
Salida
| Campo | Descripción |
|---|---|
status |
preview (hay cambios y no se pidió apply) / applied (se aplicaron y pasaron las tres validaciones) / no_changes (no hay nada que reestructurar; puede haber sugerencias) / not_supported (el framework no es un runner Gherkin soportado) / blocked (una validación falló y se restauraron los archivos) / failed (falta qa-stack.yaml, Node.js o no hay .feature en las rutas). |
scenario_mapping |
Un ítem por test ejecutable: dónde estaba (file, line, title, tags) y dónde queda (file, title, kind: scenario o examples_row, changed). |
changes |
Archivos que se modifican o crean (feature, steps, glue o data), con un resumen y el diff. Los datos sensibles aparecen enmascarados (********). |
suggestions |
Lo que la skill detecta pero no aplica, con archivo y línea: imperative_steps, multiple_behaviors, count_without_records, repeated_value, secret_in_feature, excluded_scenario, lint. |
metrics |
Antes y después: cantidad de .feature, escenarios, tests ejecutables, steps, líneas y hallazgos del lint. after es null si no se aplicó. |
validation |
Resultado de las tres validaciones (runner, tests, lint). null sin apply. |
warnings |
Rutas ignoradas, archivos de datos que ya existían, enmascarados y, en playwright-bdd, el aviso de cambio de ruta en el historial de CI. |
Qué cambia (y qué no)
| Situación en la suite | Qué hace |
|---|---|
| Varios escenarios con los mismos pasos que solo cambian en valores entre comillas o números | Los unifica en un Scenario Outline con un bloque Examples por escenario original, con sus tags y comentarios arriba del bloque. Solo si los valores son datos del caso (no secretos), los steps ya los reciben como parámetro (o se puede agregar uno nuevo sin tocar los existentes) y los títulos se pueden conservar |
Un conteo escrito (muestra 4 productos) cuyos registros están en la suite (una Data Table) |
Mueve los registros a data/default/<dominio>.json y cambia el step para que calcule el conteo del archivo (el catálogo muestra todos los productos) |
| Un catálogo copiado en dos o más escenarios | Lo mueve a un archivo de referencia, con _meta.source apuntando al .feature de donde salió |
| Un conteo sin registros en la suite, o un valor corto que se repite | No lo toca: queda como sugerencia (count_without_records, repeated_value) |
Steps imperativos, o un When después de un Then |
No los reescribe: quedan como sugerencia (imperative_steps, multiple_behaviors) |
Qué garantiza
- Ningún test se pierde ni se agrega. Cada test de antes termina en exactamente un test después, en el mismo archivo, con el mismo título (en un Outline, el título interpolado de su fila) y los mismos tags.
- No cambia qué se verifica. Cada
Thensigue verificando lo mismo con el mismo valor. Los datos que se mueven son exactamente los que estaban escritos: nunca se inventan ni se completan. - Se conservan los comentarios (
bug-id, regresión, TDD,# bloqueado:) encima de su escenario o de su bloqueExamples. - No se rompen otros
.feature: nunca cambia ni borra un step definition que use un archivo fuera deinput.features. Los que quedan sin uso se informan como sugerencia.
Qué nunca se unifica
- Escenarios con
@fixme,@skip,@only,@fail,@ignore,@wipo@manual. - Tests de regresión (comentario
bug-id:) y tests TDD: siempre son un test propio. - Escenarios con un secreto escrito (contraseña, token, email): quedan como están y se
informan como
secret_in_featurepara moverlos a una variable de entorno a mano. Un alias de credenciales (credenciales "inválidas") o un texto esperado ("Username and password do not match") no cuentan como secreto. - Escenarios con doc strings, y
Scenario Outlineque ya existían. - Escenarios de distintos
.feature: solo se unifican dentro del mismo archivo.
Cómo valida (con apply: true)
Antes de escribir guarda una copia de cada archivo. Después de escribir (en orden: datos, glue,
steps y .feature) corre tres validaciones, sin ejecutar la suite contra la app:
| Validación | Qué chequea | playwright-bdd | playwright-cucumberjs |
|---|---|---|---|
runner |
Que no haya steps faltantes, duplicados o ambiguos, y que la cantidad de tests no cambie | npx bddgen + npx playwright test --list |
npx cucumber-js --dry-run |
tests |
Que estén los mismos tests, con los mismos títulos, tags y comentarios | Comparación antes / después de los .feature |
Igual |
lint |
Que el lint de datos no tenga más errores que antes | lint-ddt.mjs |
Igual |
Si cualquiera falla, restaura todos los archivos, borra los creados y devuelve blocked, con el
motivo como primer aviso.
playwright-bdd: historial de CI
playwright-bdd agrupa las filas de un Scenario Outline dentro de un bloque con el título del
Outline. El título de cada test no cambia, pero sí su ruta completa en el reporte: si tu CI
guarda historial por ruta completa, va a ver esos tests como nuevos una vez. La skill lo avisa en
warnings.
Ejemplo
@US-003 @TC-03
Scenario: TC-03 — La búsqueda encuentra un producto por nombre
When el usuario busca "teclado"
Then ve el producto "Teclado Mecánico RGB" en los resultados
@US-003 @TC-04
Scenario: TC-04 — La búsqueda no distingue mayúsculas
When el usuario busca "MOUSE"
Then ve el producto "Mouse Inalámbrico" en los resultados
# bug-id: BUG-12
@US-003 @TC-05 @regression
Scenario: TC-05 — La búsqueda encuentra un producto por categoría
When el usuario busca "audio"
Then ve el producto "Auriculares Wireless Pro" en los resultados
Scenario Outline: <id> — <caso>
When el usuario busca "<busqueda>"
Then ve el producto "<producto>" en los resultados
@US-003 @TC-03
Examples:
| id | caso | busqueda | producto |
| TC-03 | La búsqueda encuentra un producto por nombre | teclado | Teclado Mecánico RGB |
@US-003 @TC-04
Examples:
| id | caso | busqueda | producto |
| TC-04 | La búsqueda no distingue mayúsculas | MOUSE | Mouse Inalámbrico |
# bug-id: BUG-12
@US-003 @TC-05 @regression
Scenario: TC-05 — La búsqueda encuentra un producto por categoría
When el usuario busca "audio"
Then ve el producto "Auriculares Wireless Pro" en los resultados
TC-03 y TC-04 pasan a ser filas del mismo Outline y siguen llamándose TC-03 — … y TC-04 — …,
con sus tags. TC-05 es un test de regresión: queda como estaba.
Runners soportados
Hoy, playwright-bdd y playwright-cucumberjs. Con cualquier otro framework devuelve
not_supported sin leer ni escribir nada. Lippia y Cypress están pendientes.
Se encadena con
No forma parte de ningún playbook: se invoca directamente sobre una suite existente. Un flujo
típico es correrla primero en preview, revisar los diffs y las sugerencias, volver a correrla con
apply: true y después ejecutar la suite con lippia-neo-run-and-heal para confirmar que sigue
en verde contra la app.