Hvordan automatisk teste AI-agentferdigheter mot raskt endrende API-er

I vm0-ai/vm0-skills-repoet har vi utviklet dusinvis av ferdigheter for integrasjon med ulike tredjeparts SaaS-plattformer. Disse ferdighetene gjør det mulig for Claude Code- og Codex-agenter å samhandle sømløst med tjenester som GitHub, Slack, Discord og mange flere.

Selv om disse integrasjonene er svært verdifulle, gir de betydelige testutfordringer. Uten riktig testinfrastruktur kan vi ikke pålitelig verifisere om ferdighetene fungerer som forventet eller oppdage ødeleggende endringer når tredjeparts-API-er utvikler seg.

Hvorfor testing av tredjeparts AI-agentferdigheter er vanskelig

Testing av tredjepartsintegrasjoner er i seg selv utfordrende. Hver ferdighet er avhengig av eksterne API-er som kan endres uten forvarsel, og krever kontinuerlig oppfølging for å opprettholde pålitelighet. Tradisjonelle enhetstester strekker ofte ikke til fordi de ikke kan etterligne reell API-adferd, autentiseringsflyter og spesielle tilfeller som bare oppstår i produksjonsmiljøer.

Uten omfattende testing forblir flere kritiske problemer uadressert:

• Funksjonsverifisering: Vi kan ikke bekrefte at ferdighetene fungerer som tiltenkt i faktiske bruksscenarier
• Oppdagelse av ødeleggende endringer: Når tredjeparts SaaS-API-er endres, har vi ingen automatisert måte å identifisere kompatibilitetsproblemer på
• Autentiseringsvalidering: OAuth-flyter, tokenfornyelse og tillatelsesområder må kontinuerlig verifiseres
• Feilhåndtering: Vi må sikre at systemet håndterer feil elegant når eksterne tjenester er utilgjengelige

Dette skaper en betydelig vedlikeholdsbyrde og potensielle pålitelighetsproblemer som kan påvirke produksjonsarbeidsflyter.

Bruke AI-agenter til å teste AI-agentferdigheter i virkelige miljøer

Siden disse ferdighetene er spesielt utviklet for Claude Code- og Codex-agenter, er den mest naturlige og effektive tilnærmingen å bruke de samme agentene til å teste dem. Dette skaper et selvvaliderende økosystem hvor verktøyene tester seg selv i sitt tiltenkte miljø.

VM0 gir den skyinfrastrukturen som trengs for å kjøre Claude Code- og Codex-agenter pålitelig, og er derfor en ideell plattform for å implementere denne teststrategien.

En ende-til-ende automatisert arbeidsflyt for testing av AI-agentferdigheter

Den komplette arbeidsflyten for automatisert ferdighetstesting er beskrevet nedenfor. Denne agenten tester systematisk hver ferdighet i repoet, genererer omfattende rapporter og varsler teamet via flere kanaler.

# Skills Tester Agent

## Overview

This agent performs automated testing of all skills in the vm0-skills repository.

## Critical Requirements

**MANDATORY: Complete All Tests Without Exception**

- No matter how long the task takes, it MUST be completed in full
- Continue until ALL items in `TODO.md` are tested - no early termination
- **NO skipping tasks** - every skill must be tested
- **NO selective testing** - do not cherry-pick which skills to test
- **Every example MUST have a result** - each example command in every skill's SKILL.md must be executed and recorded
- If a test fails, record the failure and continue to the next test
- Do not stop or pause until the entire test suite is complete

## Instructions

1. **Clone and Initialize**
   - Clone the repo `vm0-ai/vm0-skills`
   - Create a `TODO.md` file to track testing progress

2. **Generate Todo List**
   - For each skill folder in the repo, add a todo item to `TODO.md`

3. **Test Each Skill**
   - Create a sub-agent for each skill to test
   - Each sub-agent should:
     - Verify all required environment variables exist
     - Test each example command in the skill's SKILL.md
     - Write a temporary test result markdown file
     - Record whether the test passed, and specifically note any shell command failures or jq parsing errors

4. **Summarize Results**
   - Aggregate all test results into `result.md`

5. **Update README**
   - Based on `result.md`, update the `README.md`
   - Update or insert a skill list section with:
     - Brief description of each skill's capabilities
     - Test status (passed/failed)

6. **Commit and Push**
   - Only commit `README.md`
   - Push to the repository using `GITHUB_TOKEN` for authentication

7. **Report Issues**
   - For skills with test failures, create a GitHub issue summarizing all problems

8. **Notify Slack**
   - Post a message to Slack channel `#dev` with:
     - Total number of skills
     - Number of passed tests
     - Number of failed tests
     - Brief summary of issues
     - Link to the GitHub issue (if created)

9. **Notify Discord**
   - Post a message to the Discord `skills` channel with:
     - Confirmation that routine testing is complete
     - Number of skills that passed
     - Total number of skills tested

Konfigurere agenten med vm0.yaml

Deretter trenger du bare å planlegge at VM0 skal kjøre denne arbeidsflyten. Opprett en vm0.yaml-fil for å beskrive agentens containerkonfigurasjon. Denne filen spesifiserer hvilke ferdigheter agenten trenger, hvilke miljøvariabler som skal settes inn, og hvordan testarbeidsflyten skal kjøres.

version: "1.0"

agents:
  skills-tester:
    image: skills-tester:latest
    provider: claude-code
    instructions: AGENTS.md
    skills:
      - https://github.com/vm0-ai/vm0-skills/tree/main/github
      - https://github.com/vm0-ai/vm0-skills/tree/main/slack
      - https://github.com/vm0-ai/vm0-skills/tree/main/discord
    environment:
      CLAUDE_CODE_OAUTH_TOKEN: ${{ secrets.CLAUDE_CODE_OAUTH_TOKEN }}
      GITHUB_TOKEN: ${{ secrets.GITHUB_TOKEN }}
      SLACK_BOT_TOKEN: ${{ secrets.SLACK_BOT_TOKEN }}
      DISCORD_BOT_TOKEN: ${{ secrets.DISCORD_BOT_TOKEN }}
      # ... additional environment variables as needed

For hele konfigurasjonsfilen, se vm0-skills/.vm0/vm0.yaml. Noen miljøvariabler er utelatt i dette eksemplet for oversiktens skyld.

Denne agentkonfigurasjonen inkluderer tre essensielle ferdigheter:

• GitHub-ferdighet: For repo-operasjoner, opprettelse av saker og oppdatering av README
• Slack-ferdighet: For å poste testresultater til teamkanaler
• Discord-ferdighet: For varslinger til fellesskapet om testfullføring

Lage Docker-imaget

Du må også konfigurere et Docker-image som installerer nødvendige avhengigheter, spesielt GitHub CLI (gh) som agenten bruker for repo-operasjoner.

Opprett en Dockerfile:

FROM node:20-slim

RUN apt-get update && apt-get install -y \\
    git \\
    curl \\
    python3 \\
    python3-pip \\
    python3-venv \\
    jq \\
    && rm -rf /var/lib/apt/lists/*

RUN curl -fsSL <https://cli.github.com/packages/githubcli-archive-keyring.gpg> | dd of=/usr/share/keyrings/githubcli-archive-keyring.gpg \\
    && chmod go+r /usr/share/keyrings/githubcli-archive-keyring.gpg \\
    && echo "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/githubcli-archive-keyring.gpg] <https://cli.github.com/packages> stable main" | tee /etc/apt/sources.list.d/github-cli.list > /dev/null \\
    && apt-get update \\
    && apt-get install -y gh \\
    && rm -rf /var/lib/apt/lists/*

RUN npm install -g @anthropic-ai/claude-code

Denne Dockerfilen lager en lett container med:

• Node.js 20: Kjøremiljø for Claude Code
• Git: Versjonskontrolloperasjoner
• GitHub CLI: Effektiv samhandling med GitHub API
• Python 3: For å kjøre ferdighetstestskript
• jq: JSON-parsing i shell-kommandoer

Sette sammen AI-ferdighetstestingssystemet

Det er alt du trenger! Med disse tre filene på plass: AGENTS.md, Dockerfile og vm0.yaml, har du et komplett automatisert testingssystem. Du kan se hele implementasjonen på vm0-skills/.vm0.

Kjør følgende kommandoer i prosjektmappen din for å bygge og distribuere agenten:

$ vm0 image build -f Dockerfile --name skills-tester
$ vm0 compose vm0.yaml

Den første kommandoen bygger Docker-imaget med alle nødvendige avhengigheter. Den andre kommandoen registrerer agentkonfigurasjonen hos VM0-plattformen.

Kjøre arbeidsflyten

Nå kan du kjøre hele testarbeidsflyten med én enkelt kommando:

$ vm0 run skills-tester "do the job"

Agenten vil autonomt:

1. Klone vm0-skills-repoet
2. Generere en test-sjekkliste for alle ferdigheter
3. Utføre tester for hver ferdighet systematisk
4. Kompilere omfattende resultater
5. Oppdatere repoets README
6. Opprette GitHub-saker for feil
7. Sende varsler til Slack og Discord

Feilsøking steg for steg

Hvis du ønsker å feilsøke arbeidsflyten trinnvis eller teste én ferdighet først, kan du bruke målrettede prompt:

$ vm0 run skills-tester "Only do the first step, using a single skill."

Etter at agenten har fullført første steg, kan du fortsette økten basert på økt-ID-en som vises i utdataene:

$ vm0 run continue SESSION_ID "Do the next step."

Denne interaktive tilnærmingen lar deg:

• Verifisere hvert steg før du går videre
• Inspisere mellomresultater
• Justere arbeidsflyten ved behov
• Feilsøke problemer mer effektivt

Resultater og varslinger

Når arbeidsflyten er fullført, mottar du varsler via flere kanaler som bekrefter testresultatene.

Discord-varsel til fellesskapet som viser sammendrag av testfullføring

Slack-teamvarsel med detaljerte testresultater

For ferdigheter som feiler testingen, oppretter agenten automatisk en GitHub-sak med utfyllende feildetaljer. Se Skill Test Failures - Issue #2 for et eksempel på formatet for genererte saker.

Viktige lærdommer fra automatisert testing av AI-agentferdigheter

Å implementere automatisert ferdighetstesting med VM0-agenter gir flere viktige fordeler:

• Kontinuerlig validering: Oppdag ødeleggende endringer fra tredjeparts-API-er umiddelbart, før de påvirker produksjon
• Reelt testmiljø: Agenter tester ferdigheter i nøyaktig den konteksten de brukes, og eliminerer gapet mellom test og produksjon
• Ingen manuell innsats: Når det er konfigurert, kjører testarbeidsflyten automatisk etter tidsplan, uten menneskelig inngripen
• Omfattende dekning: Hver ferdighet testes systematisk, slik at ingenting blir oversett
• Teambevissthet: Varsler på flere kanaler holder alle informert om testresultater og problemer

Ved å utnytte VM0s skyinfrastruktur og Claudes agentkapasiteter kan du opprettholde pålitelige integrasjoner med eksterne tjenester og samtidig minimere den løpende vedlikeholdsbyrden. Denne tilnærmingen gjør ferdighetstesting om fra en manuell, feilutsatt prosess til et fullautomatisert kvalitetssikringssystem.

Kom i gang med VM0 i dag

Klar til å automatisere dine egne arbeidsflyter med AI-agenter? VM0 gjør det enkelt å distribuere produksjonsklare agenter på minutter, ikke uker.

Dette kan du bygge med VM0

• Automatiserte testpipelines

  Kjør planlagte testjobber som denne ferdighetstesteren for å oppdage ødeleggende endringer i tredjeparts-API-er tidlig.

• Arbeidsflyter for innholdsgenerering

  Gjør research, notater eller rådata om til blogginnlegg, dokumentasjon eller utgivelsesnotater uten manuell kopiering.

• Databehandlingsagenter

  Hent data fra flere kilder, rens dem og send dem videre, med eksplisitt håndtering av feil og gjentakelser.

• Automatisering av kundestøtte

  Sorter innkommende henvendelser, utkast svar og overfør spesielle saker til mennesker ved behov.

• Kodegjennomgang og analyse

  Gjennomgå pull requests, flagg potensielle problemer og håndhev grunnleggende regler før en person ser på koden.

Besøk vm0.ai for å opprette din gratis konto og distribuere din første agent i dag.

Begynn å bygge fremtidens automatiserte arbeidsflyter.