Feature - New End-to-End
Esta guía explica qué hace el engine de NEO cuando ejecuta este plan. La idea es que puedas leerla, entender qué pasa en cada paso sin que nadie intervenga, y saber qué tiene que traer el MR para que el trabajo salga bien.
En resumen
- Para qué sirve: dejar probada de punta a punta una funcionalidad nueva, sin intervención humana: desde la historia de usuario hasta una suite de pruebas automáticas funcionando y un reporte final.
- Cuándo se ejecuta: cuando se abre un MR con el label
feature. Lo dispara una regla del CI (Modelo 4), no una persona. - Qué necesita: que la descripción del MR tenga la ruta o el link (Jira / Azure DevOps) de la historia de usuario, y el
qa-stack.yamldel proyecto ya armado. - Qué deja: un plan de pruebas, la evidencia de la exploración, una suite de pruebas automáticas ejecutada y reparada, y un reporte final.
- Pasos: 6 — leer la historia, armar el plan de pruebas, explorar la app, generar la suite, ejecutar y reparar, reportar. Sin pausas.
¿Qué es un plan? (si es la primera vez que ves uno)
Un plan es una receta que ejecuta una máquina en lugar de una persona. Igual que un playbook, encadena varias skills en un orden fijo. La diferencia es que el playbook lo sigue el asistente de IA junto a vos, con pausas para que decidas; el plan lo ejecuta el engine de NEO solo, de punta a punta, normalmente desde el pipeline de CI.
Ver Planes para la comparación completa entre plan y playbook.
1. ¿Qué hace este plan?
Es la versión automática del playbook Feature - New End-to-End: cuando llega una funcionalidad nueva, la deja probada de punta a punta sin que nadie tenga que pedírselo al asistente.
Su intención es que ninguna funcionalidad nueva llegue a revisión sin pruebas. En cuanto el equipo marca el MR como feature, el pipeline:
- Busca la historia de usuario (en un archivo del repo, en Jira o en Azure DevOps) y extrae sus criterios de aceptación.
- Arma un plan de pruebas que cubre todos esos criterios.
- Recorre la aplicación real siguiendo ese plan, como lo haría una persona, y registra lo que encuentra.
- Convierte esa exploración en pruebas automáticas, en el framework del proyecto.
- Las ejecuta y repara las que fallan por motivos menores (por ejemplo, un botón que cambió de nombre).
- Escribe un reporte final que junta todo.
Al terminar, el MR queda con toda la evidencia de QA de la funcionalidad, lista para que el equipo la revise.
2. ¿Cuándo se ejecuta?
| Situación | Ejemplo de negocio |
|---|---|
Se abre un MR con el label feature |
El equipo de TechStore termina de programar el cupón de descuento en el carrito y abre el MR con el label feature |
| Se quiere que cada funcionalidad nueva llegue a revisión con sus pruebas sin depender de que alguien se acuerde de pedirlo | El líder de QA de TechStore quiere que todos los MR de funcionalidades nuevas traigan plan, pruebas y reporte, sin excepción |
Lo dispara una regla del CI (Modelo 4 — Declarativo puro). La decisión de qué plan ejecutar vive en el pipeline, no en el plan ni en el engine. Los templates de CI que genera lippia-neo-ci-bootstrap ya traen esta regla (ver Configurar el CI).
Importante
- La descripción del MR tiene que tener la ruta o el link de la historia de usuario (por ejemplo,
user-stories/US-045.mdo la URL del ticket de Jira). No sirve un texto libre que la describa: el plan no inventa la historia. - Si la historia está en Jira o en Azure DevOps, el proyecto tiene que tener configurado ese MCP en
qa-stack.yaml(ver Configurar los MCP). - El plan asume que el proyecto ya tiene el QA automatizado configurado (
qa-stack.yaml). Si no, primero hay que ejecutar el playbook de puesta en marcha del proyecto. - La aplicación tiene que estar desplegada y accesible en la URL que figura en la historia: el Paso 3 la recorre en vivo.
3. ¿En qué se diferencia del playbook?
El plan hace el mismo trabajo que el playbook Feature - New End-to-End, pero sin nadie del otro lado:
| Playbook | Plan | |
|---|---|---|
| Quién lo ejecuta | El asistente de IA, conversando con vos | El engine, solo, desde el CI |
| Cómo arranca | Le pedís al asistente que pruebe la historia | Se abre un MR con el label feature |
| Pausas para revisar | Dos: validar el plan de pruebas y revisar la reparación | Ninguna. La revisión humana se hace después, sobre el MR, con el reporte |
| Si la historia no alcanza para probar | El asistente te pregunta y espera | El plan se detiene y deja registrado el motivo |
| Pull request con la evidencia | El Paso 7 lo crea | No lo crea: el plan ya se ejecuta sobre un MR abierto, y el CI puede comentar el resultado ahí con neo report |
4. Ejemplo guía: "TechStore" suma un cupón de descuento
Seguimos con el mismo caso de negocio que en el playbook: TechStore, la tienda online de electrónica, suma la posibilidad de aplicar un cupón de descuento en el carrito de compras. Esta vez nadie le pide nada al asistente: el developer abre el MR con el label feature y el pipeline hace el resto.
4.1 Lo que el plan necesita recibir
El plan tiene un único dato obligatorio. En el CI, lo completa solo el comando neo event a partir del MR:
| Dato | Qué es | Ejemplo con TechStore |
|---|---|---|
description |
La referencia a la historia de usuario: una ruta a un .md del repo, o la URL de un ticket de Jira o Azure DevOps |
user-stories/US-045.md (es la descripción del MR) |
Todo lo demás (carpetas, framework de pruebas, lenguaje, URL de la app, credenciales) sale de la historia y del qa-stack.yaml del proyecto.
4.2 Cómo se dispara
En el pipeline, la regla del CI arma el input a partir del MR y ejecuta el plan:
rules:
- if: '$CI_PIPELINE_SOURCE == "merge_request_event" && $CI_MERGE_REQUEST_LABELS =~ /feature/'
script:
- neo event --provider gitlab --out input.json
- neo run plans/feature-new-end-to-end.yaml --input-file input.json --workspace . --out result.json
Para probarlo desde tu computadora, sin CI:
neo run plans/feature-new-end-to-end.yaml --workspace . \
--data '{"description":"user-stories/US-045.md"}'
4.3 Paso a paso
Paso 1 de 6 — Encontrar y leer la historia de usuario
Skills que se usan: lippia-neo-resolve-user-story-source, lippia-neo-fetch-user-story (trae el ticket de Jira o de Azure DevOps, según dónde esté), y lippia-neo-read-user-story
Qué pasa: primero el plan decide dónde está la historia: si es una ruta, la lee del repo; si es un link de Jira o de Azure DevOps, la trae de ahí (solo se ejecuta el paso que corresponde, el otro se saltea). Después la lee y extrae lo esencial: el resumen, los criterios de aceptación, la URL de la app y las credenciales de prueba.
Con TechStore: lee user-stories/US-045.md y extrae los criterios del cupón de descuento (por ejemplo, "al aplicar un cupón válido, el total se recalcula").
Primer punto de corte
Si la historia no tiene lo mínimo para poder probarla (por ejemplo, no tiene criterios de aceptación), el plan se detiene acá con estado stopped. No es un error del engine: es un corte previsto, para no generar pruebas sobre una historia incompleta.
Paso 2 de 6 — Armar el plan de pruebas
Skill que se usa: lippia-neo-create-test-plan
Qué pasa: a partir de los criterios de aceptación, arma un plan de pruebas exhaustivo: un escenario por cada caso a probar, con sus pasos y su resultado esperado.
Qué queda: el plan de pruebas en test-plans/US-045-test-plan.md.
Segundo punto de corte
Si el plan de pruebas sale sin ningún escenario, el plan se detiene acá (stopped): no tiene sentido explorar ni generar pruebas sin nada que probar.
Paso 3 de 6 — Explorar la aplicación siguiendo el plan de pruebas
Skill que se usa: lippia-neo-run-manual-testing
Qué pasa: el engine abre un navegador y recorre la aplicación real siguiendo cada escenario del plan de pruebas, como lo haría una persona: aplica el cupón, mira el total, prueba un cupón vencido. Registra qué pasó en cada escenario, los hallazgos (cosas que no se comportan como dice la historia), capturas de pantalla y los selectores reales de la pantalla.
Qué queda: un reporte de la exploración y un archivo de "traspaso" (execution/US-045/US-045-scripted-execution-report.json) que usa el paso siguiente.
Paso 4 de 6 — Generar la suite de pruebas automáticas
Skill que se usa: lippia-neo-generate-test-suite
Qué pasa: convierte lo que se exploró en el Paso 3 en pruebas automáticas, escritas en el framework del proyecto (Playwright, Lippia, Cypress o Pytest, según qa-stack.yaml). Usa los selectores reales que se encontraron en la exploración, así las pruebas nacen apuntando a la pantalla verdadera.
Qué queda: los archivos de prueba nuevos, en la carpeta de pruebas del proyecto.
Paso 5 de 6 — Ejecutar y reparar las pruebas
Skill que se usa: lippia-neo-run-and-heal
Qué pasa: ejecuta la suite y, si alguna prueba falla por un motivo menor (un selector frágil, una espera corta), la repara y vuelve a ejecutar. Repite ese ciclo hasta 10 veces o hasta que todo pase.
Repara pruebas, no la aplicación
Si una prueba falla porque la aplicación realmente no cumple un criterio de aceptación, este paso no la "arregla" para que pase: queda como fallo en el reporte. Reparar es corregir la prueba, nunca esconder un bug.
Paso 6 de 6 — Escribir el reporte final
Skill que se usa: lippia-neo-write-test-report
Qué pasa: junta todo lo anterior en un único reporte: los criterios de aceptación de la historia, qué escenarios se exploraron y qué se encontró, qué pruebas automáticas se generaron y cómo terminó su ejecución. Incluye una matriz que relaciona cada criterio de aceptación con las pruebas que lo cubren.
Qué queda: el reporte, con fecha y hora, en la carpeta de reportes del proyecto (por defecto test-results/reports/).
4.4 ¿Cómo termina?
| Cómo terminó | Estado del plan | Qué significa | Qué se hace |
|---|---|---|---|
| ✅ Todos los pasos se ejecutaron | success |
La funcionalidad quedó con plan, pruebas y reporte | El equipo revisa el reporte y las pruebas en el MR |
| ⏹ La historia no alcanzaba para probar, o el plan de pruebas salió vacío | stopped |
Corte previsto en el Paso 1 o en el Paso 2 | Completar la historia (criterios de aceptación, URL) y volver a ejecutar el pipeline |
| ❌ Una skill devolvió algo mal formado, o algo se rompió | failed / error |
Falla del paso, no de la aplicación | Revisar el log del job y result.json |
En el CI, stopped sale con código 0 y failed/error con código 1 (ver Cómo ejecutarlo). Todo lo que escribió cada paso queda en result.json.
5. Problemas comunes (y qué hacer)
| Lo que ves | Por qué puede pasar | Qué hacer |
|---|---|---|
El plan termina stopped en el Paso 1 |
La historia no tiene criterios de aceptación, o la descripción del MR no tiene la ruta o el link de la historia | Completar la historia, o poner su ruta/link en la descripción del MR, y volver a ejecutar |
| El Paso 1 no encuentra la historia de Jira o Azure DevOps | El MCP no está configurado en qa-stack.yaml, o faltan las credenciales en las variables del CI |
Ver Configurar los MCP y Configurar el CI |
| El Paso 3 no puede abrir la aplicación | La app no está desplegada, o la URL de la historia no es accesible desde el CI | Confirmar que la URL responde desde el runner y volver a ejecutar |
| Hay pruebas que siguen fallando después del Paso 5 | La aplicación no cumple algún criterio de aceptación, o el fallo no se pudo reparar en 10 ciclos | Revisar el reporte: si es un bug real, seguir con el playbook Bug Fix Cycle |
| Las pruebas fallan en el login | Las credenciales de prueba (.env.tests) están vacías o incompletas en el CI |
Completar las variables del CI; nunca se escriben a mano dentro de las pruebas |
6. Resumen visual del flujo
flowchart TD
A([🏷 MR con label feature<br/>ej: TechStore, cupón de descuento]) --> B["<b>Paso 1</b> — Encontrar y leer<br/>la historia de usuario"]
B --> C{¿La historia<br/>alcanza para probar?}
C -->|No| X([⏹ stopped])
C -->|Sí| D["<b>Paso 2</b> — Armar el plan de pruebas"]
D --> E{¿Tiene escenarios?}
E -->|No| X
E -->|Sí| F["<b>Paso 3</b> — Explorar la app"]
F --> G["<b>Paso 4</b> — Generar la suite"]
G --> H["<b>Paso 5</b> — Ejecutar y reparar"]
H --> I["<b>Paso 6</b> — Reporte final"]
I --> J([✅ MR con plan, pruebas y reporte])
Plan original
El archivo del plan es plans/feature-new-end-to-end.yaml, en el repositorio del engine (crowdar-engine-mvp). Está comentado paso por paso; la referencia del formato está en Anatomía de un plan.