Saltar a contenido

Feature - New End-to-End

Esta guía está pensada para entender qué hace el asistente de IA cuando ejecuta este playbook. La idea es que puedas leerla, entender qué pasa en cada paso, y saber qué información tenés que darle al asistente para que el trabajo salga bien — sin necesidad de saber programar.

En resumen

  • Para qué sirve: dejar probada de punta a punta una funcionalidad nueva, desde los criterios de aceptación hasta un reporte final y un pull request con toda la evidencia.
  • Cuándo usarlo: cuando entra al sprint una historia de usuario nueva que todavía no tiene ninguna prueba.
  • Qué necesitás: la historia de usuario con sus criterios de aceptación, la URL de la aplicación y el qa-stack.yaml del proyecto ya armado.
  • Qué te llevás: un plan de pruebas aprobado, una suite de pruebas automáticas funcionando, un reporte final y un pull request listo para revisar.
  • Pasos: 7 — leer la historia, armar el plan, explorar la app, generar la suite, ejecutar y reparar, reportar y abrir el pull request (con dos pausas de revisión humana en el medio).
¿Qué es un playbook? (si es la primera vez que usás uno)

Pensalo como una receta de cocina para el asistente de IA. El playbook es la receta que tenés que seguir e interactuar con el asistente paso a paso, en orden, sin saltarte nada, para que el resultado sea siempre el mismo sin importar quién lo pida.

Cada paso de la receta usa una herramienta puntual (en la jerga técnica se las llama "skills"), algo así como un utensilio de cocina: uno sirve para pelar, otro para cortar, otro para hornear. Vos no necesitás saber cómo funciona cada utensilio por dentro — solo necesitás saber qué ingrediente hay que poner en cada paso (por ejemplo, la historia de usuario, o la URL de la aplicación) para que el plato final salga bien.

Un playbook = una guía ordenada de pasos. Una skill = la herramienta puntual que ejecuta cada paso. Interactuás con el playbook — el asistente se encarga de usar la herramienta correcta en cada momento.


También existe como plan automático

Este mismo flujo se puede ejecutar sin el asistente, desde el pipeline de CI, con el plan Feature - New End-to-End: lo ejecuta el engine de NEO solo, sin pausas, cuando se abre un MR con el label feature.


1. ¿Qué hace este playbook?

Es el playbook que usás cuando llega una funcionalidad nueva al proyecto y hay que dejarla probada de punta a punta, desde cero: desde los criterios de aceptación hasta un reporte final y un pull request (propuesta de cambios que el equipo de desarrollo revisa antes de aceptarla) con toda la evidencia.

A diferencia de otros playbooks pensados para ejecutar todo de una sola vez sin pausas, este se detiene dos veces para que una persona revise y apruebe antes de seguir:

  1. Después de armar el plan de pruebas (para confirmar que se va a probar lo correcto).
  2. Después de reparar las pruebas que fallaron (para confirmar que la reparación fue real y no un maquillaje).

Esas dos pausas son la razón principal para elegir este playbook por sobre otro: te da visibilidad y control sobre los resultados intermedios, algo clave cuando el equipo necesita esa evidencia antes de aprobar el merge (integración) del código.

Al terminar, la funcionalidad nueva queda con:

  • Un plan de pruebas completo, ya revisado y aprobado por una persona.
  • Una suite de pruebas automáticas generada y funcionando.
  • Un reporte final con el resultado.
  • Un pull request con todos esos artefactos, listo para que el equipo lo revise.

2. ¿Cuándo tengo que usar este playbook?

Usalo cuando estés frente a alguna de estas situaciones:

Situación Ejemplo de negocio
Entra una historia de usuario nueva al sprint y no existe ninguna prueba previa para esa funcionalidad El equipo agrega la posibilidad de aplicar un cupón de descuento en el carrito de compras, algo que nunca se probó antes
Se quiere pasar de "criterios de aceptación" a "pruebas automáticas funcionando" en una sola sesión de trabajo El Product Owner (PO) define 3 criterios de aceptación para el cupón de descuento y se necesita, en el mismo día, tener pruebas automáticas cubriéndolos
Se necesita evidencia completa antes de aprobar el pase a producción (plan + pruebas + reporte, como parte de la Definición de Terminado) El equipo no puede dar por cerrada la funcionalidad del cupón de descuento sin adjuntar el plan de pruebas y el reporte al pull request

Importante

Este playbook asume que el proyecto ya tiene el QA automatizado configurado (ya existe el archivo con la configuración técnica del proyecto, qa-stack.yaml, y el pipeline de pruebas). Si el proyecto es totalmente nuevo y todavía no tiene nada de eso armado, primero hay que ejecutar el playbook de puesta en marcha del proyecto — este playbook es para sumar una funcionalidad nueva, no para dejar listo un proyecto desde cero.


3. Ejemplo guía: "TechStore" suma una funcionalidad nueva

Seguimos con el mismo caso de negocio: TechStore, la tienda online de electrónica con carrito de compras. TechStore ya pasó por el playbook de bootstrap — ya tiene su QA automatizado funcionando para lo que existía hasta ahora.

Ahora el equipo de desarrollo agrega una funcionalidad nueva: la posibilidad de aplicar un cupón de descuento en el carrito de compras. Nadie probó todavía esta funcionalidad — recién se terminó de programar. Ese es exactamente el escenario para el que se usa este playbook.

A lo largo de los pasos siguientes vamos a ver qué le responderías al asistente en cada momento, usando el cupón de descuento como ejemplo.

3.1 Antes de arrancar: lo que necesitás tener a mano

No hace falta saber programar, pero sí tener a mano estos datos:

Dato Ejemplo con TechStore
Una historia de usuario en un archivo o URL de Jira/Confluence donde se encuentre, con sus criterios de aceptación, la URL de la app y las credenciales para entrar "Como cliente quiero poder aplicar un cupón de descuento en el carrito de compras", guardada en user-stories/US-045.md o donde hayas definido en el archivo que contiene la configuración técnica del proyecto, qa-stack.yaml
La URL de la aplicación donde se va a probar la funcionalidad https://techstore-staging.com
El archivo qa-stack.yaml del proyecto ya armado Ahí el asistente encuentra solo las carpetas, la herramienta de pruebas y el lenguaje del proyecto — no hace falta que se los digas

Playbook original

El playbook general se encuentra en el repositorio NEO-releases.

3.2 Cómo arrancar la conversación

Antes de arrancar, contale al asistente qué historia vas a trabajar y en qué ambiente, algo así:

💬 Prompt para el asistente
Te brindo la información, quiero que solo la guardes como contexto:
Quiero ejecutar el flujo completo para la historia del cupón de descuento
(user-stories/US-045.md). La app está en https://techstore-staging.com.

El asistente va a recordar ese contexto durante todos los pasos siguientes — no hace falta repetirlo cada vez.

De dónde sale cada dato

  • La historia: la mencionás vos en este mensaje (la ruta al archivo).
  • La URL de la app: el asistente la saca de la historia en el Paso 1. Si la historia no la trae, la deja vacía (no la inventa) y, al armar el plan, usa la URL del ambiente configurada en qa-stack.yaml.
  • Carpetas, herramienta de pruebas y lenguaje: el asistente los lee solo de qa-stack.yaml.

3.3 Paso a paso

Aclaración

Este es un ejemplo: vos tenés que seguir el playbook original.

Paso 1 de 7 — Leer la historia de usuario

Skill que se usa: lippia-neo-read-user-story

Qué pasa: el asistente abre el archivo de la historia y saca de ahí el resumen, los criterios de aceptación, la URL de la app y las credenciales necesarias para entrar. Con eso arma el contexto base que van a usar todos los pasos siguientes. El resultado lo ves ahí mismo, en la conversación con el asistente.

Ejemplo con el cupón de descuento: el asistente identifica criterios de aceptación como "un cupón válido descuenta el 10% del total", "un cupón vencido muestra un mensaje de error" y "un cupón inexistente no se aplica".

Checkpoint — Criterios completos

Revisá que los criterios que el asistente extrajo estén completos y realmente correspondan a la historia. Si algo quedó ambiguo o incompleto, es mejor resolverlo con el Product Owner antes de seguir.


Paso 2 de 7 — Armar el plan de pruebas

Skill que se usa: lippia-neo-create-test-plan

Qué pasa: el asistente convierte cada criterio de aceptación en escenarios de prueba concretos — no solo el "camino feliz" (que el cupón funcione bien), sino también los casos límite (cupón vencido, cupón inexistente, cupón ya usado, carrito vacío, etc.). Todo esto queda guardado en un plan de pruebas, con los casos numerados, en la carpeta de planes del proyecto (por defecto test-plans/), por ejemplo: test-plans/US-045-test-plan.md.


⏸ Pausa para control humano 1 — Validar el plan de pruebas

Pausa obligatoria — acción requerida antes de continuar al Paso 3

Antes de que el asistente siga de largo, alguien tiene que revisar el plan y confirmar:

  • Hay al menos un caso de prueba por cada criterio de aceptación
  • Los casos más importantes y los casos límite más críticos están cubiertos
  • Los casos de prueba son realmente posibles de hacer en el ambiente de pruebas
  • No hay casos de prueba repetidos o que se contradigan entre sí

Si encontrás algo raro, se lo pedís corregir al asistente directamente, por ejemplo:

💬 Prompt — Ajustar el plan
Ajustar el plan: el caso 04 asume un cupón que no existe en el ambiente de staging,
reemplazarlo por uno que sí exista.

Recién cuando el plan queda aprobado, se continúa con el Paso 3.


Paso 3 de 7 — Exploración manual de la funcionalidad guiada por el plan de pruebas del paso previo

Skill que se usa: lippia-neo-run-manual-testing

Qué pasa: el asistente ejecuta los escenarios del plan navegando de verdad la aplicación en un navegador, como lo haría una persona. Mientras lo hace, anota cómo se llaman los botones y campos que usa (para que las pruebas automáticas los encuentren después), va guardando capturas de pantalla como evidencia y documenta cualquier comportamiento raro que encuentre como un posible defecto.

Con el cupón de descuento: el asistente entra al carrito de TechStore, escribe un cupón válido y confirma que el descuento se aplica correctamente; después prueba con uno vencido y confirma que aparece el mensaje de error esperado — y así con cada caso del plan.

La exploración solo recorre pantallas

Esta exploración solo navega la interfaz (las pantallas de la app). No envía pedidos directos a una API. Si la funcionalidad es solo una API, o combina pantallas y API, la parte de API no se explora acá: sus pruebas automáticas se arman directamente a partir del plan en el Paso 4.

Qué te queda al final de este paso: un informe de la exploración en la carpeta execution/US-045/ (uno legible para personas y otro que usa el asistente en el paso siguiente), junto con las capturas de pantalla.

Checkpoint — Exploración bien documentada

Revisá que la exploración haya quedado bien documentada, con evidencia clara de cada caso probado y con los botones y campos que se usaron bien identificados — es el insumo que se usa para armar las pruebas automáticas del paso siguiente.


Paso 4 de 7 — Generar la suite de pruebas automáticas

Skill que se usa: lippia-neo-generate-test-suite

Qué pasa: con el plan del Paso 2 y lo que se descubrió navegando la app en el Paso 3, el asistente genera los archivos de prueba automática correspondientes, usando la herramienta de testing que ya tiene configurada el proyecto y que está especificada en el archivo con la configuración técnica del proyecto, qa-stack.yaml.

Qué te queda al final: un archivo de prueba automática por cada caso del plan (por ejemplo, uno para "cupón válido", otro para "cupón vencido", otro para "cupón inexistente"). Quedan todos juntos en una carpeta con el ID de la historia, dentro de la carpeta de tests del proyecto: con la configuración por defecto, tests/playwright/US-045/. Cada archivo se llama con el número del caso y una descripción corta, por ejemplo tc-001-cupon-valido.spec.ts.

Checkpoint — Un archivo por caso

Revisá que exista un archivo generado por cada caso de prueba del plan — si falta alguno, algo quedó sin cubrir.


Paso 5 de 7 — Ejecutar y reparar las pruebas

Skill que se usa: lippia-neo-run-and-heal

Qué pasa: el asistente ejecuta toda la suite de pruebas generada. Si alguna falla, analiza por qué y trata de arreglarla sola — repite este intento hasta 3 veces, hasta que todas las pruebas pasen o hasta que deja de haber mejoras entre un intento y otro, lo que ocurra primero. Al final, deja un resumen de qué se reparó y cuántos intentos usó, guardado también como archivo en la carpeta de reportes (por defecto test-results/reports/).

Para limitar la ejecución a las pruebas de esta historia, pasale este mensaje completo (reemplazando US-045 por el ID de tu historia):

💬 Prompt para el asistente
/lippia-neo-run-and-heal
Ejecutá con max_iterations=3 e include_dirs=["US-045"]

Al final de este paso, puede pasar una de estas situaciones:

Resultado Qué significa
✅ Todo en verde Todas las pruebas pasaron (algunas quizás después de una reparación)
⚠️ Se frenó porque dejó de mejorar Entre un intento y el siguiente no se arregló ninguna prueba más, así que el asistente se detuvo antes de los 3 intentos
❌ Se agotaron los 3 intentos Quedaron pruebas fallando — hay que revisar si es un defecto real de la app o una limitación del ambiente

Checkpoint — Anotá el resumen de la reparación

Antes de seguir, anotá el resultado (cuál de los tres de la tabla), cuántas pruebas pasaron y cuántas fallaron al final, y cuántos intentos se usaron de los 3.


⏸ Pausa para control humano 2 — Revisar la reparación

Pausa obligatoria — acción requerida antes de continuar al Paso 6

Antes de dar por buena la reparación, alguien tiene que confirmar:

  • Las pruebas que fallaron al principio ahora pasan por el motivo correcto (se corrigió el problema real, no se "apagó" la validación para que deje de fallar)
  • Ninguna prueba quedó desactivada sin una razón documentada
  • Si alguna prueba sigue fallando: quedó documentado si es un defecto real de la app o una limitación del ambiente de pruebas

Si alguna reparación no te convence, se lo decís al asistente:

💬 Prompt — Revertir una reparación
El caso del cupón vencido fue reparado cambiando el selector, pero el comportamiento
esperado no es el correcto — revertir el arreglo y marcarlo como defecto conocido.

Recién cuando la reparación queda aprobada, se continúa con el Paso 6.


Paso 6 de 7 — Generar el reporte final

Skill que se usa: lippia-neo-write-test-report

Qué pasa: el asistente junta todo lo que pasó en la exploración manual (Paso 3) y en la reparación (Paso 5) en un solo reporte final, y compara el resultado contra los criterios de aceptación que sacó de la historia en el Paso 1. Cada vez que se ejecuta este paso se genera un reporte nuevo — nunca se pisa un reporte anterior, así queda el historial completo.

Dónde queda: en la carpeta de reportes del proyecto (por defecto test-results/reports/), con fecha y hora en el nombre, por ejemplo: test-results/reports/US-045-test-report-2026-07-17-1015.md.

Checkpoint — Reporte completo

Revisá que el reporte incluya un resumen del resultado final, el listado de defectos encontrados, el detalle de qué se reparó (y en cuántos intentos), y qué criterios de aceptación quedaron efectivamente validados.

¿Por qué la cobertura puede decir \"no evaluable\"?

La cobertura se mide contra los criterios de aceptación de la historia. Si el asistente no los tiene a mano (por ejemplo, porque la conversación se retomó en otra ventana), esa sección queda marcada como "no evaluable" en lugar de inventarla. En ese caso, pedile que vuelva a leer la historia antes de generar el reporte.


Paso 7 de 7 — Crear el pull request con la evidencia

Skill que se usa: ninguna — es un paso manual.

Paso manual

Este es el único paso completamente manual: el asistente puede ayudarte a redactar el texto, pero la persona es quien sube los cambios y abre el pull request.

Qué hay que hacer:

  1. Crear una rama nueva para los archivos de prueba, partiendo de la rama principal (por ejemplo, qa/US-045-tests). Si no sabés cómo, preguntale al equipo de desarrollo para seguir la forma estándar que hayan definido como equipo.
  2. Subir el plan de pruebas (test-plans/US-045-test-plan.md), la suite generada (la carpeta tests/playwright/US-045/) y el reporte final (en test-results/reports/).
  3. Abrir el pull request, con la descripción enlazada a la historia de usuario original.

Antes de dar por cerrado el trabajo, verificar:

  • El plan de pruebas está subido
  • La suite de pruebas quedó en verde (o los casos en rojo están documentados como defectos conocidos)
  • El reporte final está subido
  • El pull request está abierto y enlazado a la historia de usuario

3.4 ¿Qué me queda al finalizar los siete pasos?

Qué obtenés Para qué te sirve
Un plan de pruebas revisado y aprobado Evidencia de qué se decidió probar y por qué
Un registro de la exploración guiada por el plan con capturas Evidencia visual de cómo se comportó la funcionalidad nueva
Una suite de pruebas automáticas Para que la funcionalidad se siga probando sola de ahora en más
Un resumen de la reparación de pruebas Registro de qué se arregló y cómo
Un reporte final Evidencia consolidada para adjuntar a la Definición de Terminado
Un pull request con todo lo anterior El paquete completo, listo para que el equipo lo revise y apruebe

A partir de acá, la funcionalidad del cupón de descuento en TechStore queda con cobertura de pruebas automáticas — lista para sumarse al conjunto de pruebas que se ejecutan solas cada vez que se sube código nuevo.


4. Problemas comunes (y qué hacer)

Lo que ves Por qué puede pasar Qué hacer
El plan de pruebas queda con casos incompletos o muy genéricos Los criterios de aceptación de la historia son ambiguos Completar la historia con el Product Owner y repetir el Paso 2
La exploración manual falla al navegar la app La URL está mal, o el ambiente de pruebas está caído Verificar que la URL de TechStore esté accesible (y que sea la correcta en qa-stack.yaml)
Se generan pruebas automáticas "vacías" o que no sirven La exploración manual del Paso 3 no quedó bien documentada Repetir el Paso 3 poniendo foco en documentar bien cada pantalla y botón usado
La reparación de pruebas no converge después de 3 intentos Las pruebas dependen de datos que cambian entre ejecuciones (por ejemplo, un cupón que ya se usó) Pedir que se agreguen datos de prueba fijos y repetir desde el Paso 5
El asistente avisa que no puede generar la suite porque la herramienta de pruebas está "en estado STUB" La herramienta de testing configurada en el proyecto todavía no está soportada por completo Avisarle al equipo técnico — hay que usar otra herramienta soportada o esperar a que esté lista
Las pruebas fallan en el login Las credenciales de prueba del proyecto (archivo .env.tests) están vacías o incompletas Avisarle a alguien del equipo técnico para que complete los valores reales — nunca se escriben a mano dentro de las pruebas — y repetir el Paso 5
El pull request no pasa la revisión del equipo Las pruebas quedaron muy frágiles (por ejemplo, tiempos de espera fijos que no se ajustan a la realidad) Revisar los archivos de prueba generados y ajustarlos junto al equipo técnico

5. Resumen visual del flujo

flowchart TD
    A([🆕 Historia de usuario nueva<br/>ej: cupón de descuento]) --> B
    B["<b>Paso 1</b> — Leer la historia<br/>de usuario"] --> C
    C["<b>Paso 2</b> — Armar el plan<br/>de pruebas"] --> D{¿Plan aprobado<br/>por una persona?}
    D -->|No, ajustar| C
    D -->|Sí| E["<b>Paso 3</b> — Exploración de<br/>la funcionalidad"]
    E --> F["<b>Paso 4</b> — Generar la suite<br/>de pruebas automáticas"]
    F --> G["<b>Paso 5</b> — Ejecutar y reparar<br/>las pruebas"]
    G --> H{¿Reparación aprobada<br/>por una persona?}
    H -->|No, revertir o corregir| G
    H -->|Sí| I["<b>Paso 6</b> — Generar el<br/>reporte final"]
    I --> J["<b>Paso 7</b> — Crear el pull request<br/>con la evidencia"]
    J --> K([✅ Funcionalidad nueva con<br/>cobertura automática])