Olemme kehittäneet vm0-ai/vm0-skills -repositoriossa kymmeniä taitoja, joiden avulla voi integroitua erilaisiin kolmannen osapuolen SaaS-alustoihin. Näiden taitojen ansiosta Claude Code- ja Codex-agentit voivat toimia saumattomasti esimerkiksi GitHubin, Slackin, Discordin ja monien muiden palveluiden kanssa.
Vaikka nämä integraatiot ovat erittäin hyödyllisiä, ne tuovat mukanaan merkittäviä testaushaasteita. Ilman asianmukaista testausinfrastruktuuria emme voi luotettavasti varmistaa, että taidot toimivat odotetusti tai havaita murtavia muutoksia, kun kolmannen osapuolen API-rajapinnat muuttuvat.
Miksi kolmannen osapuolen AI-agenttien taitojen testaaminen on vaikeaa
Kolmannen osapuolen integraatioiden testaaminen on luonteeltaan haastavaa. Jokainen taito on riippuvainen ulkoisista API-rajapinnoista, jotka voivat muuttua ilman ennakkovaroitusta, mikä vaatii jatkuvaa valppautta luotettavuuden ylläpitämiseksi. Perinteiset yksikkötestit eivät usein riitä, koska ne eivät kykene jäljittelemään todellista API-käyttäytymistä, autentikointiprosesseja ja tuotantoympäristössä ilmeneviä poikkeustapauksia.
Ilman kattavaa testausta useat kriittiset ongelmat jäävät ratkaisematta:
- Toiminnallisuuden varmistus: Emme voi vahvistaa, että taidot toimivat tarkoitetulla tavalla todellisissa käyttötilanteissa
- Murtavien muutosten tunnistus: Kun kolmannen osapuolen SaaS-API:t muuttuvat, meillä ei ole automaattista tapaa havaita yhteensopivuusongelmia
- Autentikoinnin validointi: OAuth-prosessit, tokenien päivitysmekanismit ja käyttöoikeudet vaativat jatkuvaa tarkistusta
- Virheenkäsittely: On varmistettava, että järjestelmä toimii hallitusti myös silloin, kun ulkoiset palvelut eivät ole saatavilla
Tämä aiheuttaa merkittävän ylläpitotaakan ja mahdollisia luotettavuusongelmia, jotka voivat vaikuttaa tuotantotyönkulkuihin.
AI-agenttien käyttäminen AI-agenttien taitojen testaamiseen oikeissa ympäristöissä
Koska nämä taidot on suunniteltu erityisesti Claude Code- ja Codex-agenteille, luonnollisin ja tehokkain tapa testata niitä on käyttää samoja agentteja testaukseen. Näin syntyy itseään validoiva ekosysteemi, jossa työkalut testaavat itseään omassa käyttöympäristössään.
VM0 tarjoaa pilvi-infrastruktuurin, jonka avulla Claude Code- ja Codex-agentit voidaan ajaa luotettavasti, mikä tekee siitä ihanteellisen alustan tämän testausstrategian toteuttamiseen.
Päästä päähän -automaattinen työnkulku AI-agenttien taitojen testaamiseen
Koko automaattisen taitotestauksen työnkulku on kuvattu alla. Tämä agentti testaa järjestelmällisesti jokaisen taidon repositoriossa, tuottaa kattavat raportit ja ilmoittaa tiimille useiden kanavien kautta.
# Skills Tester Agent
## Overview
This agent performs automated testing of all skills in the vm0-skills repository.
## Critical Requirements
**MANDATORY: Complete All Tests Without Exception**
- No matter how long the task takes, it MUST be completed in full
- Continue until ALL items in `TODO.md` are tested - no early termination
- **NO skipping tasks** - every skill must be tested
- **NO selective testing** - do not cherry-pick which skills to test
- **Every example MUST have a result** - each example command in every skill's SKILL.md must be executed and recorded
- If a test fails, record the failure and continue to the next test
- Do not stop or pause until the entire test suite is complete
## Instructions
1. **Clone and Initialize**
- Clone the repo `vm0-ai/vm0-skills`
- Create a `TODO.md` file to track testing progress
2. **Generate Todo List**
- For each skill folder in the repo, add a todo item to `TODO.md`
3. **Test Each Skill**
- Create a sub-agent for each skill to test
- Each sub-agent should:
- Verify all required environment variables exist
- Test each example command in the skill's SKILL.md
- Write a temporary test result markdown file
- Record whether the test passed, and specifically note any shell command failures or jq parsing errors
4. **Summarize Results**
- Aggregate all test results into `result.md`
5. **Update README**
- Based on `result.md`, update the `README.md`
- Update or insert a skill list section with:
- Brief description of each skill's capabilities
- Test status (passed/failed)
6. **Commit and Push**
- Only commit `README.md`
- Push to the repository using `GITHUB_TOKEN` for authentication
7. **Report Issues**
- For skills with test failures, create a GitHub issue summarizing all problems
8. **Notify Slack**
- Post a message to Slack channel `#dev` with:
- Total number of skills
- Number of passed tests
- Number of failed tests
- Brief summary of issues
- Link to the GitHub issue (if created)
9. **Notify Discord**
- Post a message to the Discord `skills` channel with:
- Confirmation that routine testing is complete
- Number of skills that passed
- Total number of skills tested
Agentin konfigurointi vm0.yaml-tiedostolla
Seuraavaksi sinun tarvitsee vain ajastaa VM0 suorittamaan tämä työnkulku. Luo vm0.yaml-tiedosto, jossa määritellään agenttikontin konfiguraatio. Tässä tiedostossa kerrotaan, mitä taitoja agentti tarvitsee, mitkä ympäristömuuttujat lisätään ja miten testausprosessi suoritetaan.
version: "1.0"
agents:
skills-tester:
image: skills-tester:latest
provider: claude-code
instructions: AGENTS.md
skills:
- https://github.com/vm0-ai/vm0-skills/tree/main/github
- https://github.com/vm0-ai/vm0-skills/tree/main/slack
- https://github.com/vm0-ai/vm0-skills/tree/main/discord
environment:
CLAUDE_CODE_OAUTH_TOKEN: ${{ secrets.CLAUDE_CODE_OAUTH_TOKEN }}
GITHUB_TOKEN: ${{ secrets.GITHUB_TOKEN }}
SLACK_BOT_TOKEN: ${{ secrets.SLACK_BOT_TOKEN }}
DISCORD_BOT_TOKEN: ${{ secrets.DISCORD_BOT_TOKEN }}
# ... additional environment variables as needed
Täydellinen konfiguraatiotiedosto löytyy osoitteesta vm0-skills/.vm0/vm0.yaml. Tässä esimerkissä osa ympäristömuuttujista on jätetty pois selkeyden vuoksi.
Tämä agenttikonfiguraatio sisältää kolme olennaista taitoa:
- GitHub-taito: Repositorion hallintaan, issueiden luontiin ja README-päivityksiin
- Slack-taito: Testitulosten julkaisemiseen tiimin kanaville
- Discord-taito: Yhteisöilmoituksiin testien valmistumisesta
Docker-kuvan luominen
Sinun tulee myös määrittää Docker-kuva, joka asentaa tarvittavat riippuvuudet, erityisesti GitHub CLI:n (gh), jota agentti käyttää repositorio-operaatioihin.
Luo Dockerfile:
FROM node:20-slim
RUN apt-get update && apt-get install -y \\
git \\
curl \\
python3 \\
python3-pip \\
python3-venv \\
jq \\
&& rm -rf /var/lib/apt/lists/*
RUN curl -fsSL <https://cli.github.com/packages/githubcli-archive-keyring.gpg> | dd of=/usr/share/keyrings/githubcli-archive-keyring.gpg \\
&& chmod go+r /usr/share/keyrings/githubcli-archive-keyring.gpg \\
&& echo "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/githubcli-archive-keyring.gpg] <https://cli.github.com/packages> stable main" | tee /etc/apt/sources.list.d/github-cli.list > /dev/null \\
&& apt-get update \\
&& apt-get install -y gh \\
&& rm -rf /var/lib/apt/lists/*
RUN npm install -g @anthropic-ai/claude-code
Tämä Dockerfile luo kevyen kontin, jossa on:
- Node.js 20: Suoritusaika Claude Code -agentille
- Git: Versionhallintaoperaatioihin
- GitHub CLI: Tehokkaaseen GitHub API -käyttöön
- Python 3: Taitotestiskriptien suorittamiseen
- jq: JSON-datan käsittelyyn shell-komentoina
AI-taitojen testausjärjestelmän kokoaminen
Siinä kaikki! Kun nämä kolme tiedostoa ovat käytössä: AGENTS.md, Dockerfile ja vm0.yaml, sinulla on valmis automaattinen testausjärjestelmä. Koko toteutuksen löydät osoitteesta vm0-skills/.vm0.
Suorita seuraavat komennot projektihakemistossasi rakentaaksesi ja käyttöönottaaksesi agentin:
$ vm0 image build -f Dockerfile --name skills-tester
$ vm0 compose vm0.yaml
Ensimmäinen komento rakentaa Docker-kuvan kaikilla tarvittavilla riippuvuuksilla. Toinen komento rekisteröi agenttikonfiguraation VM0-alustalle.
Työnkulun suorittaminen
Nyt voit ajaa koko testausprosessin yhdellä komennolla:
$ vm0 run skills-tester "do the job"
Agentti suorittaa itsenäisesti seuraavat vaiheet:
- Kloonaa vm0-skills-repositorion
- Laatii testauslistan kaikille taidoille
- Suorittaa testit jokaiselle taidolle järjestelmällisesti
- Kokoaa kattavat tulokset
- Päivittää repositorion README:n
- Luo GitHub-issueita epäonnistumisista
- Lähettää ilmoitukset Slackiin ja Discordiin
Vaiheittainen vianmääritys
Jos haluat debugata työnkulkua vaiheittain tai testata ensin vain yhtä taitoa, voit käyttää kohdennettuja kehotteita:
$ vm0 run skills-tester "Only do the first step, using a single skill."
Kun agentti on suorittanut ensimmäisen vaiheen, voit jatkaa istuntoa tulosteessa annetun session ID:n perusteella:
$ vm0 run continue SESSION_ID "Do the next step."
Tämä interaktiivinen lähestymistapa mahdollistaa:
- Jokaisen vaiheen tarkistamisen ennen etenemistä
- Väliarvojen tarkastelun
- Työnkulun muokkaamisen tarvittaessa
- Tehokkaamman virheiden selvittämisen
Tulokset ja ilmoitukset
Kun työnkulku on valmis, saat ilmoitukset useissa kanavissa testituloksista.
Discord-yhteisöilmoitus, jossa näkyy testin valmistumisen yhteenveto
Slack-tiimi-ilmoitus, jossa on yksityiskohtaiset testitulokset
Jos jokin taito epäonnistuu testissä, agentti luo automaattisesti GitHub-issuen, jossa on kattavat tiedot epäonnistumisesta. Katso esimerkki luodusta issue-formaatista: Skill Test Failures - Issue #2.
Tärkeimmät opit AI-agenttien taitojen automaattisesta testauksesta
Automaattisen taitotestauksen toteuttaminen VM0-agenteilla tuo useita keskeisiä hyötyjä:
- Jatkuva validointi: Havaitse kolmannen osapuolen API-muutokset heti, ennen kuin ne vaikuttavat tuotantoon
- Realistinen testausympäristö: Agentit testaavat taitoja juuri siinä kontekstissa, jossa niitä käytetään, jolloin testin ja tuotannon välinen kuilu poistuu
- Ei manuaalista työtä: Kun työnkulku on konfiguroitu, testausprosessi pyörii automaattisesti ajastetusti ilman ihmisen väliintuloa
- Kattava testaus: Jokainen taito testataan järjestelmällisesti, jolloin mikään ei jää huomaamatta
- Tiimin tietoisuus: Monikanavaiset ilmoitukset pitävät kaikki ajan tasalla testituloksista ja ongelmista
Hyödyntämällä VM0:n pilvi-infrastruktuuria ja Clauden agenttikyvykkyyksiä voit ylläpitää luotettavia integraatioita ulkoisiin palveluihin samalla kun jatkuva ylläpitotaakka minimoituu. Tämä lähestymistapa muuttaa taitojen testauksen manuaalisesta ja virhealttiista prosessista täysin automatisoiduksi laadunvarmistusjärjestelmäksi.
Aloita VM0:n käyttö jo tänään
Haluatko automatisoida omat työnkulkusi AI-agenteilla? VM0:n avulla voit ottaa tuotantovalmiit agentit käyttöön minuuteissa – ei viikoissa.
Mitä voit rakentaa VM0:lla
-
Automaattiset testausputket
Aja ajastettuja testejä, kuten tämä taitotestaaja, ja havaitse kolmannen osapuolen API-muutokset ajoissa.
-
Sisällöntuotannon työnkulut
Muunna tutkimus, muistiinpanot tai raakadata blogikirjoituksiksi, dokumentaatioksi tai julkaisumuistiinpanoiksi ilman manuaalista kopiointia.
-
Datankäsittelyagentit
Hae dataa useista lähteistä, puhdista se ja siirrä eteenpäin, käsitellen virheet ja uudelleenyrittämiset selkeästi.
-
Asiakastuen automaatio
Lajittele saapuvat pyynnöt, luonnostele vastaukset ja ohjaa poikkeustapaukset ihmisille tarvittaessa.
-
Koodin tarkastus ja analyysi
Tarkista pull requestit, merkitse mahdolliset ongelmat ja varmista perussäännöt ennen kuin ihminen tarkistaa koodin.
Vieraile osoitteessa vm0.ai, luo ilmainen tili ja ota ensimmäinen agenttisi käyttöön jo tänään.
Aloita automatisoitujen työnkulkujen tulevaisuuden rakentaminen.
