Saltar a contenido

Ejecución automatizada de pruebas

Estas cuatro skills se encargan de la parte automatizada del flujo: generar la suite ejecutable en el framework del proyecto, ejecutarla y reparar automáticamente lo que falla por motivos menores —ya sea a partir de una ejecución real fallida o de un diff de PR que rompió selectores—, y reestructurar una suite Gherkin existente para que sea data-driven.


lippia-neo-generate-test-suite

Cuándo usarla

Cuando existe un plan de tests y hay que generar la suite ejecutable en el framework configurado (lee qa-stack.yaml para elegir el adaptador: Playwright, playwright-bdd, playwright-cucumberjs, Lippia o Cypress; Pytest está en estado stub y aborta). Soporta suites FE, BE o híbridas. También cubre modos alternativos sin plan completo: modo TDD (un único criterio de aceptación) y modo "ampliación de casuística" (solo los casos faltantes). Regla clave: si algún escenario ejecutado falló (status: "fail"), generar su test de regresión es obligatorio e incondicional al modo activo — la única excepción es que ya exista un archivo con el tag bug-id de ese mismo bug. Antes de generar cada caso revisa si un test existente ya cubre el mismo flujo (precondición, acción y resultado) para no duplicarlo. No escribe reportes: eso lo hace lippia-neo-write-generation-report.

Suites en Gherkin (playwright-bdd y playwright-cucumberjs)

Con estos dos frameworks, cada caso es un Scenario dentro del .feature de su flujo de negocio (no hay un archivo por caso ni carpetas por historia) y los datos siguen los lineamientos de Data-driven testing: los casos que solo difieren en datos van a un Scenario Outline con un bloque Examples por caso, los casos sugerido llevan @sugerido, los bloqueado quedan con @fixme (playwright-bdd) o no se escriben (playwright-cucumberjs), y los sin resultado esperado no se generan. Nunca agrega filas a un Scenario Outline que ya existía. Al terminar corre el lint de datos (L1–L7). Ver playwright-bdd y playwright-cucumberjs.

Ejemplo de invocación
{
  "config": {
    "test_framework": "playwright",
    "app_type": "web",
    "tests_dir": "tests/",
    "test_plans_dir": "test-plans/",
    "auth": "basic_auth",
    "language": "javascript"
  }
}
Input Tipo Descripción
config.test_framework, config.app_type, config.tests_dir, config.test_plans_dir, config.auth, config.language Requerido Todo resuelto desde qa-stack.yaml.
config.env_file Opcional Ruta de credenciales/tokens del ambiente; si es null, los templates dejan TODO en vez de la variable de entorno real.
config.lippia_config_path Opcional Solo relevante si test_framework es Lippia.
input.manual_execution_report_path Opcional Artefacto de handoff (ui_selectors, executed_scenarios, findings, summary) producido por cualquier skill que reproduzca o explore la app.
input.tdd_single_ac Opcional Modo TDD: string con el AC-ID; genera solo ese test.
input.existing_tests Opcional Output de lippia-neo-find-existing-tests; si hay matches del mismo módulo, los archivos nuevos se agregan a esa misma carpeta.
input.missing_cases Opcional Output de lippia-neo-review-test-coverage; si está presente (aunque vacío), activa el modo "ampliación de casuística".
input.test_plan Opcional El plan ya estructurado (salida tipada de lippia-neo-read-test-plan). Si viene, el alcance, el estado y los datos de cada caso salen de acá en vez de leer el Markdown.
input.test_data Opcional Registros de datos por caso (scenario_id, _meta con case_type/description/expected, data). Cada registro es una fila del caso; description se usa como columna caso del Examples. Si no viene, los datos salen del plan.

Frameworks de performance

Con test_framework: k6 o jmeter esta skill no aplica: aborta con status: "aborted" sin generar nada, con el motivo framework_not_supported_by_this_skill. Esos frameworks se trabajan con las skills de performance.

Salida

Campo Descripción
status success / partial (algún caso saltado) / aborted (adaptador en stub o plan no encontrado).
generated_files path, test_case_id, suite_type (fe/be) de cada archivo generado. En Gherkin hay una entrada por caso y path es el .feature del flujo: varias entradas pueden compartir el mismo path.
skipped_scenarios Casos saltados, con test_case_id y reason (por ejemplo, ya cubierto por un test existente, filtrado por modo TDD, bloqueado por datos: … o sin resultado esperado).
warnings TODOs pendientes u otras degradaciones. En Gherkin, también los archivos de soporte creados o modificados (steps, page objects, glue y archivos de data/) y los hallazgos del lint de datos.
Se encadena con

Consume existing_tests, missing_cases y manual_execution_report_path de las skills anteriores; su salida alimenta a lippia-neo-run-and-heal y luego a lippia-neo-write-generation-report/ lippia-neo-write-test-report.


lippia-neo-run-and-heal

Cuándo usarla

Para ejecutar la suite de tests (en cualquier framework configurado) y auto-reparar los que fallan hasta que todos pasen o se alcance el máximo de iteraciones (lee qa-stack.yaml para elegir el adaptador: Playwright, playwright-bdd, playwright-cucumberjs, Lippia o Cypress; Pytest está en estado stub y aborta). Nunca supera max_iterations (tope 3); antes de escalar, completa todos los TODOs pendientes y reemplaza credenciales hardcodeadas por variables de entorno — ninguna de las dos cosas se escala como excusa, siempre se resuelven.

Suites en Gherkin (playwright-bdd y playwright-cucumberjs)

Los fixes de selectores y timeouts van al page object y los de aserciones al step definition: nunca cambia el texto de un step en el .feature para que coincida. Un step faltante, duplicado o ambiguo se trata como código incompleto (se completa en steps/), no como un test en rojo. Un caso bloqueado por datos (@fixme con # bloqueado:) no se repara.

Publicar el resultado en LTM

En proyectos Lippia, la ejecución puede publicarse en Lippia Test Manager mientras corre, con QA_RESULTS_EXPORT=ltm. La skill no lo activa en las iteraciones de reparación: se publica una ejecución final. Si el export falla, lo escala como environment. Ver Configurar Lippia.

Ejemplo de invocación
{
  "config": {
    "test_framework": "playwright",
    "tests_dir": "tests/",
    "reports_dir": "test-results/reports/",
    "commands": {
      "run_tests": "npx playwright test"
    }
  }
}
Input Tipo Descripción
config.test_framework, config.tests_dir, config.reports_dir, config.commands.run_tests Requerido
config.max_iterations Opcional Por defecto 3; usar 1 para un smoke post-deploy sin healing.
config.plateau_detection Opcional Por defecto true; pasar false cuando max_iterations=1.
config.run_label Opcional Etiqueta de la ejecución en el reporte (post-fix, regresion-modulo, smoke).
config.include_dirs / config.exclude_dirs Opcional Subcarpetas a incluir/excluir (Playwright, playwright-bdd, playwright-cucumberjs y Cypress, mutuamente excluyentes). En los frameworks Gherkin son subcarpetas de features/.
config.target_tests Opcional Archivos puntuales a ejecutar en vez de la suite completa (strings o objetos con path; ej. existing_tests de lippia-neo-find-existing-tests o repaired_tests de lippia-neo-repair-selectors-by-diff); tiene prioridad sobre include/exclude_dirs. Playwright, playwright-bdd, playwright-cucumberjs y Cypress (en los Gherkin, un .feature ejecuta todos los escenarios de su flujo) — en Lippia se ignora (no soporta scoping por carpeta ni archivo) y queda anotado en escalation_notes.

Frameworks de performance

Con test_framework: k6 o jmeter esta skill no aplica: aborta sin ejecutar nada, con el motivo framework_not_supported_by_this_skill. Esos frameworks se trabajan con las skills de performance.

Salida

Campo Descripción
status green / plateau_abort / max_iter_abort.
iterations_used, final_pass_count, final_fail_count
healed_tests file, failure_category (selector_broken/timeout/assertion_mismatch/api_error/environment/unknown), fix_applied, fix_successful.
escalation_required, escalation_notes Si hace falta intervención humana: tests que siguen fallando, fixes intentados y sugerencia concreta.
report_path JSON de la ejecución, escrito en reports_dir.
Se encadena con

Se ejecuta después de lippia-neo-generate-test-suite (o directo sobre tests existentes); cuando escalation_required es true, ese resultado se reporta a un humano vía lippia-neo-write-test-report. También es el paso 3 del plan ui-selector-repair y el único paso de ui-selector-regression, acotado con target_tests a los tests que reparó lippia-neo-repair-selectors-by-diff.


lippia-neo-repair-selectors-by-diff

Cuándo usarla

Justo después de lippia-neo-find-ui-tests-by-code-diff, en un flujo de reparación de selectores: repara estáticamente los selectores de los tests devueltos en matched_tests, reescribiéndolos según lo que el propio diff cambió (atributos de testing, aria-label, role, id, ruta, clase o texto renombrado/eliminado). Si el diff agrega un atributo de testing (data-testid, data-test, data-qa, data-pw) a un elemento que el test buscaba por clase, texto o rol con nombre, migra el selector a ese atributo ("promoción"). No ejecuta la suite ni abre navegador — el PR todavía no está deployado en ningún ambiente, así que el diff es la única fuente de verdad. Nunca "adivina" un reemplazo: si el diff no establece una relación old→new no ambigua, el caso queda en unresolved para revisión humana.

Ejemplo de invocación
{
  "input": {
    "pr_diff_path": "tmp/pr-1234.diff",
    "matched_tests": [
      {
        "path": "tests/checkout.spec.ts",
        "suite_type": "fe",
        "matched_on": [
          { "term": "apply-coupon", "matched_location": "structured_body", "match_strength": "partial", "match_mode": "exact" }
        ]
      }
    ]
  },
  "config": {
    "test_framework": "playwright"
  }
}
Input Tipo Descripción
input.pr_diff_path Requerido El mismo diff que consumió lippia-neo-find-ui-tests-by-code-diff.
input.matched_tests Requerido El array que devolvió esa skill, nunca reconstruido a mano; se evalúan todos los términos de cada archivo. Si viene vacío, devuelve none sin abrir nada.
config.test_framework Requerido Determina cómo luce un selector en el código de test (playwright/playwright-bdd/playwright-cucumberjs/lippia/pytest; con otro framework, incluido cypress, aborta con un warning). En los frameworks Gherkin repara page objects y steps, nunca el texto de un .feature.

Salida

Campo Descripción
status repaired (todo resuelto) / partial (hay reemplazos y también unresolved) / blocked (solo unresolved) / none (nada mecánicamente reparable).
repaired_tests Por archivo, changes con selector_type, old_value, new_value, occurrences, y old_selector_type solo cuando hubo promoción (el tipo de selector cambió).
unresolved path, matched_on (el término, como string), reason.
warnings Matches de solo alcance sin nada que reparar, promociones de selector aplicadas, trazabilidad de términos recibidos/evaluados/reparados/unresolved.
Se encadena con

Paso 2 del plan ui-selector-repair, gateado por has_matches de lippia-neo-find-ui-tests-by-code-diff; unresolved es la señal para escalar a un humano. Su repaired_tests alimenta config.target_tests de lippia-neo-run-and-heal (paso 3 del mismo plan y, después del deploy, plan ui-selector-regression).


lippia-neo-refactor-gherkin-features

Cuándo usarla

Cuando ya tenés una suite Gherkin escrita (a mano o con una versión anterior de NEO) con escenarios que repiten los mismos pasos con distintos valores, conteos escritos en los steps (muestra 4 productos) o el mismo catálogo copiado en varios escenarios, y querés llevarla a los lineamientos de Data-driven testing sin cambiar qué verifica. Unifica en un Scenario Outline (con un bloque Examples por caso) los escenarios que solo difieren en datos, y mueve a archivos de datos los datos de referencia que la suite ya tiene escritos. También sirve para ver qué cambiaría (preview) antes de tocar nada. Se dispara con frases como "refactorizá los .feature", "pasá la suite Gherkin a data-driven" o "unificá los escenarios repetidos en un Scenario Outline".

Ejemplo de invocación
{
  "input": {
    "features": ["tests/playwright-bdd/features/catalogo.feature"],
    "apply": false
  }
}
Input Tipo Descripción
input.features Requerido Rutas a archivos .feature o a carpetas que los contienen, relativas a la raíz del repositorio. Solo se reestructuran esos archivos.
input.apply Opcional Por defecto false: solo preview, no escribe nada. Con true, escribe los cambios, los valida y, si algo falla, restaura todo.

Además lee de qa-stack.yaml el framework (stack.test_framework), el lenguaje (stack.language) y la carpeta de la suite (paths.tests_dir). Nunca lee el archivo de credenciales (paths.env_file).

Salida

Campo Descripción
status preview (hay cambios y no se pidió apply) / applied (se aplicaron y pasaron las tres validaciones) / no_changes (no hay nada que reestructurar; puede haber sugerencias) / not_supported (el framework no es un runner Gherkin soportado) / blocked (una validación falló y se restauraron los archivos) / failed (falta qa-stack.yaml, Node.js o no hay .feature en las rutas).
scenario_mapping Un ítem por test ejecutable: dónde estaba (file, line, title, tags) y dónde queda (file, title, kind: scenario o examples_row, changed).
changes Archivos que se modifican o crean (feature, steps, glue o data), con un resumen y el diff. Los datos sensibles aparecen enmascarados (********).
suggestions Lo que la skill detecta pero no aplica, con archivo y línea: imperative_steps, multiple_behaviors, count_without_records, repeated_value, secret_in_feature, excluded_scenario, lint.
metrics Antes y después: cantidad de .feature, escenarios, tests ejecutables, steps, líneas y hallazgos del lint. after es null si no se aplicó.
validation Resultado de las tres validaciones (runner, tests, lint). null sin apply.
warnings Rutas ignoradas, archivos de datos que ya existían, enmascarados y, en playwright-bdd, el aviso de cambio de ruta en el historial de CI.

Qué cambia (y qué no)

Situación en la suite Qué hace
Varios escenarios con los mismos pasos que solo cambian en valores entre comillas o números Los unifica en un Scenario Outline con un bloque Examples por escenario original, con sus tags y comentarios arriba del bloque. Solo si los valores son datos del caso (no secretos), los steps ya los reciben como parámetro (o se puede agregar uno nuevo sin tocar los existentes) y los títulos se pueden conservar
Un conteo escrito (muestra 4 productos) cuyos registros están en la suite (una Data Table) Mueve los registros a data/default/<dominio>.json y cambia el step para que calcule el conteo del archivo (el catálogo muestra todos los productos)
Un catálogo copiado en dos o más escenarios Lo mueve a un archivo de referencia, con _meta.source apuntando al .feature de donde salió
Un conteo sin registros en la suite, o un valor corto que se repite No lo toca: queda como sugerencia (count_without_records, repeated_value)
Steps imperativos, o un When después de un Then No los reescribe: quedan como sugerencia (imperative_steps, multiple_behaviors)

Qué garantiza

  • Ningún test se pierde ni se agrega. Cada test de antes termina en exactamente un test después, en el mismo archivo, con el mismo título (en un Outline, el título interpolado de su fila) y los mismos tags.
  • No cambia qué se verifica. Cada Then sigue verificando lo mismo con el mismo valor. Los datos que se mueven son exactamente los que estaban escritos: nunca se inventan ni se completan.
  • Se conservan los comentarios (bug-id, regresión, TDD, # bloqueado:) encima de su escenario o de su bloque Examples.
  • No se rompen otros .feature: nunca cambia ni borra un step definition que use un archivo fuera de input.features. Los que quedan sin uso se informan como sugerencia.

Qué nunca se unifica

  • Escenarios con @fixme, @skip, @only, @fail, @ignore, @wip o @manual.
  • Tests de regresión (comentario bug-id:) y tests TDD: siempre son un test propio.
  • Escenarios con un secreto escrito (contraseña, token, email): quedan como están y se informan como secret_in_feature para moverlos a una variable de entorno a mano. Un alias de credenciales (credenciales "inválidas") o un texto esperado ("Username and password do not match") no cuentan como secreto.
  • Escenarios con doc strings, y Scenario Outline que ya existían.
  • Escenarios de distintos .feature: solo se unifican dentro del mismo archivo.

Cómo valida (con apply: true)

Antes de escribir guarda una copia de cada archivo. Después de escribir (en orden: datos, glue, steps y .feature) corre tres validaciones, sin ejecutar la suite contra la app:

Validación Qué chequea playwright-bdd playwright-cucumberjs
runner Que no haya steps faltantes, duplicados o ambiguos, y que la cantidad de tests no cambie npx bddgen + npx playwright test --list npx cucumber-js --dry-run
tests Que estén los mismos tests, con los mismos títulos, tags y comentarios Comparación antes / después de los .feature Igual
lint Que el lint de datos no tenga más errores que antes lint-ddt.mjs Igual

Si cualquiera falla, restaura todos los archivos, borra los creados y devuelve blocked, con el motivo como primer aviso.

playwright-bdd: historial de CI

playwright-bdd agrupa las filas de un Scenario Outline dentro de un bloque con el título del Outline. El título de cada test no cambia, pero sí su ruta completa en el reporte: si tu CI guarda historial por ruta completa, va a ver esos tests como nuevos una vez. La skill lo avisa en warnings.

Ejemplo

  @US-003 @TC-03
  Scenario: TC-03 — La búsqueda encuentra un producto por nombre
    When el usuario busca "teclado"
    Then ve el producto "Teclado Mecánico RGB" en los resultados

  @US-003 @TC-04
  Scenario: TC-04 — La búsqueda no distingue mayúsculas
    When el usuario busca "MOUSE"
    Then ve el producto "Mouse Inalámbrico" en los resultados

  # bug-id: BUG-12
  @US-003 @TC-05 @regression
  Scenario: TC-05 — La búsqueda encuentra un producto por categoría
    When el usuario busca "audio"
    Then ve el producto "Auriculares Wireless Pro" en los resultados
  Scenario Outline: <id> — <caso>
    When el usuario busca "<busqueda>"
    Then ve el producto "<producto>" en los resultados

    @US-003 @TC-03
    Examples:
      | id    | caso                                         | busqueda | producto             |
      | TC-03 | La búsqueda encuentra un producto por nombre | teclado  | Teclado Mecánico RGB |

    @US-003 @TC-04
    Examples:
      | id    | caso                                | busqueda | producto          |
      | TC-04 | La búsqueda no distingue mayúsculas | MOUSE    | Mouse Inalámbrico |

  # bug-id: BUG-12
  @US-003 @TC-05 @regression
  Scenario: TC-05 — La búsqueda encuentra un producto por categoría
    When el usuario busca "audio"
    Then ve el producto "Auriculares Wireless Pro" en los resultados

TC-03 y TC-04 pasan a ser filas del mismo Outline y siguen llamándose TC-03 — … y TC-04 — …, con sus tags. TC-05 es un test de regresión: queda como estaba.

Runners soportados

Hoy, playwright-bdd y playwright-cucumberjs. Con cualquier otro framework devuelve not_supported sin leer ni escribir nada. Lippia y Cypress están pendientes.

Se encadena con

No forma parte de ningún playbook: se invoca directamente sobre una suite existente. Un flujo típico es correrla primero en preview, revisar los diffs y las sugerencias, volver a correrla con apply: true y después ejecutar la suite con lippia-neo-run-and-heal para confirmar que sigue en verde contra la app.