Saltar a contenido

Configurar el CI

Esta sección explica cómo hacer que NEO se ejecute solo en el pipeline del repositorio, en GitLab, GitHub, Bitbucket o Jenkins, sin que nadie tenga que abrir el asistente de IA.

Plataforma Estado Guía
GitLab CI ✅ El más completo: se dispara solo, guarda los resultados en un MR nuevo y comenta el MR original Configurar GitLab CI
GitHub Actions ⚠️ Funciona, pero no abre el PR de resultados automáticamente Configurar GitHub Actions
Bitbucket Pipelines ⚠️ El pipeline está, pero hoy no se dispara solo por label: hay que lanzarlo a mano Configurar Bitbucket Pipelines
Jenkins (+ Bitbucket Cloud) ⚠️ Corre en cada PR y comenta el resultado; sin rama de resultados y todavía sin prueba de punta a punta Configurar Jenkins

1. ¿Qué hace NEO en el CI?

En el CI, NEO se ejecuta en el Modelo 4 (declarativo) (ver Los 4 modelos de orquestación): no hay una persona conversando con el asistente, sino un plan fijo que el engine de Crowdar ejecuta paso a paso.

El flujo principal es este:

Alguien abre (o actualiza) un MR/PR y le pone el label  feature
            │
            ▼
El pipeline ejecuta el job  feature-e2e  dentro de la imagen  crowdar-engine-mvp
   1. Clona las skills de NEO (crowdar-qa-skills)
   2. Detecta el framework desde qa-stack.yaml e instala dependencias
   3. Arma .env.tests con las credenciales de la app (desde variables del CI)
   4. Lee el MR/PR (neo event) y ejecuta el plan  feature-new-end-to-end
      (leer historia → plan → exploración → suite → ejecutar y reparar → reporte)
   5. Guarda los resultados (planes, tests, reportes) en una rama nueva
            │
            ▼
publish-report  comenta el resultado en el MR/PR (pase o falle)

Por qué con un label: el plan usa un modelo de IA y una aplicación real, así que tarda y consume créditos. En lugar de ejecutarse en cada commit, se ejecuta solo en los MR/PR que tienen el label feature, y se vuelve a ejecutar en cada push mientras el label siga puesto.


2. Cómo se generan los archivos: lippia-neo-ci-bootstrap

No hace falta escribir el pipeline a mano. La skill lippia-neo-ci-bootstrap lo genera a partir de qa-stack.yaml:

Generá el CI del proyecto con lippia-neo-ci-bootstrap

Antes de ejecutarla:

  1. Tiene que existir qa-stack.yaml con stack.pipeline_provider (gitlab, github, bitbucket o jenkins; Jenkins además necesita stack.scm_provider). Si no existe, la skill se detiene y te pide ejecutar primero lippia-neo-bootstrap-stack. Está en el playbook New Project Bootstrap.
  2. Si el framework es Playwright, @playwright/test tiene que estar en el package.json del proyecto. Si no, el runner instala una versión cualquiera en vez de la del proyecto.
  3. Si el framework es Cypress, los jobs generados todavía no instalan sus dependencias (en GitHub y Bitbucket se trata como Playwright; en GitLab y Jenkins no se instala nada). Agregá a mano npm ci y npx cypress install en el paso de instalación. Ver Configurar Cypress.

La skill completa los datos del proyecto en los archivos que genera, a partir de qa-stack.yaml: test_framework, tests_dir, test_plans_dir, scripted_dir y reports_dir.

No pisa tu pipeline

Si el repositorio ya tiene un pipeline propio, lippia-neo-ci-bootstrap no lo sobreescribe. Los jobs de NEO viven siempre en su propia carpeta neo-ci-jobs/:

Plataforma Archivos de NEO Si ya tenés un pipeline
GitLab .gitlab/neo-ci-jobs/ Agrega una línea include: a tu .gitlab-ci.yml
GitHub .github/workflows/neo-ci-jobs/ Crea un workflow aparte (neo-ci-jobs.yml). No toca los tuyos
Bitbucket bitbucket-pipelines.yml (+ una copia de referencia en .bitbucket/neo-ci-jobs/) Bitbucket no permite repartir el pipeline en varios archivos: la skill te muestra la fusión propuesta y te pide confirmación antes de escribir
Jenkins .jenkins/neo-ci-jobs/Jenkinsfile No hay nada que fusionar: un job de Jenkins aparte apunta a ese archivo, y tu Jenkinsfile no se toca

3. Qué hay que configurar en la plataforma

Los archivos generados no alcanzan: también hay que cargar variables secretas en la configuración del repositorio. Las comunes a las tres plataformas:

Variable Para qué ¿Obligatoria?
ANTHROPIC_API_KEY El engine usa modelos de Claude Sí (o OPENAI_API_KEY, según el plan)
OPENAI_API_KEY Si el plan usa modelos de OpenAI Según el plan
CROWDAR_CI_TOKEN Comentar en el MR/PR y subir la rama de resultados Sí
APP_USER / APP_PASSWORD Usuario de prueba de la app; se escriben en .env.tests Si la app tiene login
APP_BASE_URL URL de la app bajo prueba Sí

En GitHub y Bitbucket hacen falta además:

Variable Para qué
CROWDAR_REGISTRY_USER / CROWDAR_REGISTRY_TOKEN Descargar la imagen crowdar-engine-mvp, que está en el registry privado de GitLab de Crowdar
SKILLS_REPO_TOKEN Clonar crowdar-qa-skills, que está en el GitLab de Crowdar

En GitLab estas dos cosas se resuelven solas, porque la imagen y las skills están en la misma instancia de GitLab ($CI_REGISTRY y $CI_JOB_TOKEN).

Si las historias vienen de Jira o Azure DevOps

En el CI no se usa .mcp.json: ese archivo está en .gitignore y no llega al runner. El engine lanza los servidores MCP con las variables de entorno del job, así que hay que cargar como variables del CI las mismas claves que configuraste en Jira o Azure DevOps:

Proveedor Variables
Jira JIRA_URL, JIRA_USERNAME, JIRA_API_TOKEN, CONFLUENCE_URL, CONFLUENCE_USERNAME, CONFLUENCE_API_TOKEN
Azure DevOps AZURE_DEVOPS_ORG_URL, AZURE_DEVOPS_AUTH_METHOD (pat), AZURE_DEVOPS_PAT, AZURE_DEVOPS_DEFAULT_PROJECT (opcional)

Para el CI conviene usar una cuenta de servicio (no tu usuario personal), con permisos de solo lectura.

⚠️ GitHub: el workflow generado hoy no pasa estas variables al job del plan. Ver la guía de GitHub.


4. Comparación rápida

GitLab GitHub Bitbucket Jenkins
Archivo de entrada .gitlab-ci.yml .github/workflows/qa.yml bitbucket-pipelines.yml .jenkins/neo-ci-jobs/Jenkinsfile (job Multibranch)
Cómo se dispara MR con label feature PR con label feature A mano (pipeline custom qa-feature-e2e) En cada PR (Bitbucket no tiene labels)
Dónde se cargan los secretos Settings → CI/CD → Variables Settings → Secrets and variables → Actions Repository settings → Repository variables Manage Jenkins → Credentials
Comentario con el resultado ✅ En el MR ✅ En el PR ✅ En el PR ✅ En el PR de Bitbucket
MR/PR automático con los resultados ✅ ❌ Sube la rama, pero no abre el PR ❌ Sube la rama ❌ Los resultados quedan como artefactos del build
Imagen del engine $CI_REGISTRY/.../crowdar-engine-mvp La misma, con usuario y token de registry La misma, con usuario y token de registry La misma, con la credencial crowdar-gitlab

5. Cosas que conviene saber

  • Las skills se clonan desde la rama main de crowdar-qa-skills (variable SKILLS_REF). Si querés probar una versión de otra rama, cambiá esa variable en el archivo generado.
  • La imagen del engine está fijada a una versión (crowdar-engine-mvp:c4cd2740-playwright). Para actualizarla, cambiá la etiqueta en el archivo generado.
  • Hay jobs "legacy" comentados o de ejemplo (test-suite-chromium, test-suite-firefox, api-suite) del diseño anterior. No se ejecutan, salvo los pipelines de ejemplo de Bitbucket, que solo hacen echo.
  • Los resultados quedan como artefactos del job durante una semana (result.json, planes, tests y reportes).