In de vm0-ai/vm0-skills repository hebben we tientallen vaardigheden ontwikkeld voor integratie met diverse SaaS-platforms van derden. Deze vaardigheden stellen Claude Code- en Codex-agents in staat om naadloos te communiceren met diensten zoals GitHub, Slack, Discord en vele anderen.
Hoewel deze integraties enorm waardevol zijn, vormen ze een aanzienlijke testuitdaging. Zonder een goede testinfrastructuur kunnen we niet betrouwbaar verifiëren of vaardigheden naar behoren werken of brekende wijzigingen detecteren wanneer API's van derden veranderen.
Waarom het testen van AI-agentvaardigheden van derden lastig is
Het testen van integraties van derden is van nature moeilijk. Elke vaardigheid is afhankelijk van externe API's die zonder waarschuwing kunnen veranderen, waardoor voortdurende waakzaamheid vereist is om betrouwbaarheid te waarborgen. Traditionele unittests schieten vaak tekort omdat ze het gedrag van echte API's, authenticatiestromen en randgevallen die alleen in productie voorkomen, niet kunnen nabootsen.
Zonder uitgebreide tests blijven verschillende kritieke problemen onopgelost:
- Verificatie van functionaliteit: We kunnen niet bevestigen dat vaardigheden werken zoals bedoeld in echte gebruiksscenario's
- Detectie van brekende wijzigingen: Wanneer SaaS-API's van derden veranderen, hebben we geen geautomatiseerde manier om compatibiliteitsproblemen te identificeren
- Validatie van authenticatie: OAuth-stromen, tokenvernieuwing en permissies moeten continu worden gecontroleerd
- Foutafhandeling: We moeten zorgen voor een nette afhandeling wanneer externe diensten niet beschikbaar zijn
Dit zorgt voor een aanzienlijke onderhoudslast en potentiële betrouwbaarheidsproblemen die productieprocessen kunnen beïnvloeden.
AI-agents inzetten om AI-agentvaardigheden in echte omgevingen te testen
Omdat deze vaardigheden specifiek zijn ontworpen voor Claude Code- en Codex-agents, is het meest natuurlijke en effectieve om deze agents zelf te gebruiken voor het testen. Zo ontstaat een zelfvaliderend ecosysteem waarin de tools zichzelf testen in hun beoogde omgeving.
VM0 biedt de cloudinfrastructuur die nodig is om Claude Code- en Codex-agents betrouwbaar uit te voeren, waardoor het een ideaal platform is voor deze teststrategie.
Een volledig geautomatiseerde workflow voor het testen van AI-agentvaardigheden
De volledige workflow voor geautomatiseerd vaardighedentesten wordt hieronder beschreven. Deze agent test systematisch elke vaardigheid in de repository, genereert uitgebreide rapporten en stelt het team op de hoogte via meerdere kanalen.
# Skills Tester Agent
## Overview
This agent performs automated testing of all skills in the vm0-skills repository.
## Critical Requirements
**MANDATORY: Complete All Tests Without Exception**
- No matter how long the task takes, it MUST be completed in full
- Continue until ALL items in `TODO.md` are tested - no early termination
- **NO skipping tasks** - every skill must be tested
- **NO selective testing** - do not cherry-pick which skills to test
- **Every example MUST have a result** - each example command in every skill's SKILL.md must be executed and recorded
- If a test fails, record the failure and continue to the next test
- Do not stop or pause until the entire test suite is complete
## Instructions
1. **Clone and Initialize**
- Clone the repo `vm0-ai/vm0-skills`
- Create a `TODO.md` file to track testing progress
2. **Generate Todo List**
- For each skill folder in the repo, add a todo item to `TODO.md`
3. **Test Each Skill**
- Create a sub-agent for each skill to test
- Each sub-agent should:
- Verify all required environment variables exist
- Test each example command in the skill's SKILL.md
- Write a temporary test result markdown file
- Record whether the test passed, and specifically note any shell command failures or jq parsing errors
4. **Summarize Results**
- Aggregate all test results into `result.md`
5. **Update README**
- Based on `result.md`, update the `README.md`
- Update or insert a skill list section with:
- Brief description of each skill's capabilities
- Test status (passed/failed)
6. **Commit and Push**
- Only commit `README.md`
- Push to the repository using `GITHUB_TOKEN` for authentication
7. **Report Issues**
- For skills with test failures, create a GitHub issue summarizing all problems
8. **Notify Slack**
- Post a message to Slack channel `#dev` with:
- Total number of skills
- Number of passed tests
- Number of failed tests
- Brief summary of issues
- Link to the GitHub issue (if created)
9. **Notify Discord**
- Post a message to the Discord `skills` channel with:
- Confirmation that routine testing is complete
- Number of skills that passed
- Total number of skills tested
De agent configureren met vm0.yaml
Vervolgens hoeft u alleen VM0 in te plannen om deze workflow uit te voeren. Maak een vm0.yaml-bestand aan om de configuratie van de agentcontainer te beschrijven. Dit bestand specificeert welke vaardigheden de agent nodig heeft, welke omgevingsvariabelen moeten worden geïnjecteerd en hoe de testworkflow wordt uitgevoerd.
version: "1.0"
agents:
skills-tester:
image: skills-tester:latest
provider: claude-code
instructions: AGENTS.md
skills:
- https://github.com/vm0-ai/vm0-skills/tree/main/github
- https://github.com/vm0-ai/vm0-skills/tree/main/slack
- https://github.com/vm0-ai/vm0-skills/tree/main/discord
environment:
CLAUDE_CODE_OAUTH_TOKEN: ${{ secrets.CLAUDE_CODE_OAUTH_TOKEN }}
GITHUB_TOKEN: ${{ secrets.GITHUB_TOKEN }}
SLACK_BOT_TOKEN: ${{ secrets.SLACK_BOT_TOKEN }}
DISCORD_BOT_TOKEN: ${{ secrets.DISCORD_BOT_TOKEN }}
# ... additional environment variables as needed
Voor het volledige configuratiebestand, zie vm0-skills/.vm0/vm0.yaml. Sommige omgevingsvariabelen zijn in dit voorbeeld weggelaten om het kort te houden.
Deze agentconfiguratie bevat drie essentiële vaardigheden:
- GitHub-vaardigheid: Voor repositorybewerkingen, het aanmaken van issues en het bijwerken van de README
- Slack-vaardigheid: Voor het posten van testresultaten in teamkanalen
- Discord-vaardigheid: Voor communitymeldingen over het voltooien van tests
De Docker-image maken
U moet ook een Docker-image configureren die de benodigde afhankelijkheden installeert, met name de GitHub CLI (gh) die de agent gebruikt voor repositorybewerkingen.
Maak een Dockerfile aan:
FROM node:20-slim
RUN apt-get update && apt-get install -y \\
git \\
curl \\
python3 \\
python3-pip \\
python3-venv \\
jq \\
&& rm -rf /var/lib/apt/lists/*
RUN curl -fsSL <https://cli.github.com/packages/githubcli-archive-keyring.gpg> | dd of=/usr/share/keyrings/githubcli-archive-keyring.gpg \\
&& chmod go+r /usr/share/keyrings/githubcli-archive-keyring.gpg \\
&& echo "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/githubcli-archive-keyring.gpg] <https://cli.github.com/packages> stable main" | tee /etc/apt/sources.list.d/github-cli.list > /dev/null \\
&& apt-get update \\
&& apt-get install -y gh \\
&& rm -rf /var/lib/apt/lists/*
RUN npm install -g @anthropic-ai/claude-code
Deze Dockerfile creëert een lichtgewicht container met:
- Node.js 20: Uitvoeringsomgeving voor Claude Code
- Git: Versiebeheerbewerkingen
- GitHub CLI: Eenvoudige interactie met de GitHub API
- Python 3: Voor het uitvoeren van vaardighedentest-scripts
- jq: JSON-parsing in shellopdrachten
Het AI-vaardighedentestingssysteem samenstellen
Dat is alles wat u nodig heeft! Met deze drie bestanden: AGENTS.md, Dockerfile en vm0.yaml heeft u een volledig geautomatiseerd testsysteem. Zie de volledige implementatie op vm0-skills/.vm0.
Voer de volgende opdrachten uit in uw projectmap om de agent te bouwen en te implementeren:
$ vm0 image build -f Dockerfile --name skills-tester
$ vm0 compose vm0.yaml
Het eerste commando bouwt de Docker-image met alle benodigde afhankelijkheden. Het tweede commando registreert de agentconfiguratie bij het VM0-platform.
De workflow uitvoeren
Nu kunt u de volledige testworkflow uitvoeren met één enkel commando:
$ vm0 run skills-tester "do the job"
De agent zal autonoom:
- De vm0-skills-repository klonen
- Een testchecklist genereren voor alle vaardigheden
- Systematisch tests uitvoeren voor elke vaardigheid
- Uitgebreide resultaten samenstellen
- De README van de repository bijwerken
- GitHub-issues aanmaken bij fouten
- Meldingen sturen naar Slack en Discord
Stap-voor-stap debuggen
Als u de workflow stapsgewijs wilt debuggen of eerst één vaardigheid wilt testen, kunt u gerichte prompts gebruiken:
$ vm0 run skills-tester "Only do the first step, using a single skill."
Nadat de agent de eerste stap heeft voltooid, kunt u de sessie voortzetten op basis van het sessie-ID in de uitvoer:
$ vm0 run continue SESSION_ID "Do the next step."
Deze interactieve aanpak stelt u in staat om:
- Elke stap te verifiëren voordat u doorgaat
- Tussenresultaten te inspecteren
- De workflow aan te passen indien nodig
- Problemen effectiever te debuggen
Resultaten en meldingen
Na voltooiing van de workflow ontvangt u meldingen via meerdere kanalen ter bevestiging van de testresultaten.
Discord-communitymelding met samenvatting van de testafronding
Slack-teamnotificatie met gedetailleerde testresultaten
Voor vaardigheden die niet slagen, maakt de agent automatisch een GitHub-issue aan met uitgebreide foutdetails. Zie Skill Test Failures - Issue #2 voor een voorbeeld van het gegenereerde issueformaat.
Belangrijkste lessen uit het automatiseren van AI-agentvaardighedentests
Het implementeren van geautomatiseerde vaardighedentests met VM0-agents biedt diverse belangrijke voordelen:
- Continue validatie: Brekende wijzigingen in API's van derden worden direct opgemerkt, nog vóór ze productie beïnvloeden
- Realistische testomgeving: Agents testen vaardigheden in exact de context waarin ze worden gebruikt, waardoor het verschil tussen test en productie verdwijnt
- Geen handmatig werk: Na configuratie draait de testworkflow automatisch volgens schema, zonder menselijke tussenkomst
- Uitgebreide dekking: Elke vaardigheid wordt systematisch getest, zodat niets over het hoofd wordt gezien
- Team-bewustzijn: Meldingen via meerdere kanalen houden iedereen op de hoogte van testresultaten en problemen
Door gebruik te maken van de cloudinfrastructuur van VM0 en de agentmogelijkheden van Claude, kunt u betrouwbare integraties met externe diensten behouden en de onderhoudslast minimaliseren. Deze aanpak verandert vaardighedentesten van een handmatig, foutgevoelig proces in een volledig geautomatiseerd kwaliteitsborgingssysteem.
Begin vandaag nog met VM0
Klaar om uw eigen workflows te automatiseren met AI-agents? Met VM0 implementeert u productieklare agents in minuten, niet weken.
Wat u kunt bouwen met VM0
-
Geautomatiseerde testpijplijnen
Voer geplande testtaken uit zoals deze vaardighedentester om brekende wijzigingen in API's van derden vroegtijdig te signaleren.
-
Contentgeneratieworkflows
Zet onderzoek, notities of ruwe input om in blogposts, documentatie of releasenotes zonder handmatig knippen en plakken.
-
Dataverwerkingsagents
Haal data uit meerdere bronnen, maak deze schoon en stuur ze door, met expliciete afhandeling van fouten en herhalingen.
-
Automatisering van klantenondersteuning
Sorteer binnenkomende verzoeken, stel antwoorden op en draag randgevallen over aan mensen indien nodig.
-
Code review en analyse
Beoordeel pull requests, markeer potentiële problemen en handhaaf basisregels voordat een mens naar de code kijkt.
Bezoek vm0.ai om uw gratis account aan te maken en vandaag nog uw eerste agent te implementeren.
Begin nu met het bouwen aan de toekomst van geautomatiseerde workflows.
