כיצד לבדוק אוטומטית כישורי סוכן AI מול API-ים שמשתנים במהירות

במאגר vm0-ai/vm0-skills פיתחנו עשרות כישורים לשילוב עם פלטפורמות SaaS צד שלישי שונות. כישורים אלו מאפשרים לסוכני Claude Code ו-Codex לתקשר בצורה חלקה עם שירותים כמו GitHub, Slack, Discord ועוד רבים.

למרות שהאינטגרציות הללו יקרות ערך, הן מציבות אתגר בדיקה משמעותי. ללא תשתית בדיקות מתאימה, לא נוכל לאמת באופן אמין שכישורים פועלים כמצופה או לזהות שינויים שוברים כאשר API-ים צד שלישי משתנים.

מדוע קשה לבדוק כישורי סוכן AI צד שלישי

בדיקת אינטגרציות צד שלישי היא מטבעה משימה מורכבת. כל כישור תלוי ב-API חיצוני שעשוי להשתנות ללא התרעה, ודורש ערנות מתמדת לשמירה על אמינות. בדיקות יחידה מסורתיות לרוב אינן מספיקות, כי הן לא מסוגלות לשחזר התנהגות API אמיתית, תהליכי אימות זהות ומקרי קצה שמופיעים רק בסביבת ייצור.

ללא בדיקות מקיפות, מספר בעיות קריטיות נשארות ללא מענה:

• אימות פונקציונליות: אין לנו דרך לאשר שכישורים פועלים כמתוכנן בתרחישי שימוש אמיתיים
• זיהוי שינויים שוברים: כאשר API-ים של SaaS משתנים, אין לנו דרך אוטומטית לזהות בעיות תאימות
• אימות תהליכי התחברות: תהליכי OAuth, רענון אסימונים והרשאות דורשים בדיקה מתמדת
• טיפול בשגיאות: יש לוודא שהמערכת מתמודדת בחן כאשר שירותים חיצוניים אינם זמינים

מצב זה יוצר עומס תחזוקה משמעותי וסיכון לאמינות שעלול להשפיע על תהליכי עבודה בייצור.

שימוש בסוכני AI לבדיקת כישורי סוכן AI בסביבות אמיתיות

מכיוון שכישורים אלו פותחו במיוחד עבור סוכני Claude Code ו-Codex, הדרך הטבעית והיעילה ביותר לבדוק אותם היא באמצעות אותם סוכנים עצמם. כך נוצרה מערכת שמאמתת את עצמה, כאשר הכלים בודקים את עצמם בסביבה הייעודית שלהם.

VM0 מספק את תשתית הענן הנדרשת להרצת סוכני Claude Code ו-Codex בצורה אמינה, מה שהופך אותו לפלטפורמה אידיאלית ליישום אסטרטגיית בדיקות זו.

תהליך אוטומטי מקצה לקצה לבדיקת כישורי סוכן AI

להלן תיאור התהליך המלא לבדיקת כישורים אוטומטית. סוכן זה בודק באופן שיטתי כל כישור במאגר, יוצר דוחות מקיפים ומעדכן את הצוות במספר ערוצים.

# Skills Tester Agent

## Overview

This agent performs automated testing of all skills in the vm0-skills repository.

## Critical Requirements

**MANDATORY: Complete All Tests Without Exception**

- No matter how long the task takes, it MUST be completed in full
- Continue until ALL items in `TODO.md` are tested - no early termination
- **NO skipping tasks** - every skill must be tested
- **NO selective testing** - do not cherry-pick which skills to test
- **Every example MUST have a result** - each example command in every skill's SKILL.md must be executed and recorded
- If a test fails, record the failure and continue to the next test
- Do not stop or pause until the entire test suite is complete

## Instructions

1. **Clone and Initialize**
   - Clone the repo `vm0-ai/vm0-skills`
   - Create a `TODO.md` file to track testing progress

2. **Generate Todo List**
   - For each skill folder in the repo, add a todo item to `TODO.md`

3. **Test Each Skill**
   - Create a sub-agent for each skill to test
   - Each sub-agent should:
     - Verify all required environment variables exist
     - Test each example command in the skill's SKILL.md
     - Write a temporary test result markdown file
     - Record whether the test passed, and specifically note any shell command failures or jq parsing errors

4. **Summarize Results**
   - Aggregate all test results into `result.md`

5. **Update README**
   - Based on `result.md`, update the `README.md`
   - Update or insert a skill list section with:
     - Brief description of each skill's capabilities
     - Test status (passed/failed)

6. **Commit and Push**
   - Only commit `README.md`
   - Push to the repository using `GITHUB_TOKEN` for authentication

7. **Report Issues**
   - For skills with test failures, create a GitHub issue summarizing all problems

8. **Notify Slack**
   - Post a message to Slack channel `#dev` with:
     - Total number of skills
     - Number of passed tests
     - Number of failed tests
     - Brief summary of issues
     - Link to the GitHub issue (if created)

9. **Notify Discord**
   - Post a message to the Discord `skills` channel with:
     - Confirmation that routine testing is complete
     - Number of skills that passed
     - Total number of skills tested

הגדרת הסוכן עם vm0.yaml

כעת, כל שנותר הוא לתזמן את VM0 להריץ את התהליך. צור קובץ vm0.yaml כדי להגדיר את קונפיגורציית מכולת הסוכן. קובץ זה מגדיר אילו כישורים דרושים לסוכן, אילו משתני סביבה להזריק וכיצד להריץ את תהליך הבדיקה.

version: "1.0"

agents:
  skills-tester:
    image: skills-tester:latest
    provider: claude-code
    instructions: AGENTS.md
    skills:
      - https://github.com/vm0-ai/vm0-skills/tree/main/github
      - https://github.com/vm0-ai/vm0-skills/tree/main/slack
      - https://github.com/vm0-ai/vm0-skills/tree/main/discord
    environment:
      CLAUDE_CODE_OAUTH_TOKEN: ${{ secrets.CLAUDE_CODE_OAUTH_TOKEN }}
      GITHUB_TOKEN: ${{ secrets.GITHUB_TOKEN }}
      SLACK_BOT_TOKEN: ${{ secrets.SLACK_BOT_TOKEN }}
      DISCORD_BOT_TOKEN: ${{ secrets.DISCORD_BOT_TOKEN }}
      # ... additional environment variables as needed

לקובץ קונפיגורציה מלא, עיין ב-vm0-skills/.vm0/vm0.yaml. חלק ממשתני הסביבה הושמטו כאן לצורך קיצור.

הגדרת סוכן זו כוללת שלושה כישורים חיוניים:

• כישור GitHub: לפעולות מאגר, יצירת Issues ועדכון README
• כישור Slack: לשליחת תוצאות בדיקה לערוצי הצוות
• כישור Discord: להודעות קהילתיות על סיום בדיקות

יצירת תמונת Docker

יהיה עליך גם להגדיר תמונת Docker שמתקינה את כל התלויות הנדרשות, ובמיוחד את GitHub CLI (gh) בו הסוכן משתמש לפעולות מאגר.

צור Dockerfile:

FROM node:20-slim

RUN apt-get update && apt-get install -y \\
    git \\
    curl \\
    python3 \\
    python3-pip \\
    python3-venv \\
    jq \\
    && rm -rf /var/lib/apt/lists/*

RUN curl -fsSL <https://cli.github.com/packages/githubcli-archive-keyring.gpg> | dd of=/usr/share/keyrings/githubcli-archive-keyring.gpg \\
    && chmod go+r /usr/share/keyrings/githubcli-archive-keyring.gpg \\
    && echo "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/githubcli-archive-keyring.gpg] <https://cli.github.com/packages> stable main" | tee /etc/apt/sources.list.d/github-cli.list > /dev/null \\
    && apt-get update \\
    && apt-get install -y gh \\
    && rm -rf /var/lib/apt/lists/*

RUN npm install -g @anthropic-ai/claude-code

Dockerfile זה יוצר מכולה קלת משקל עם:

• Node.js 20: סביבת הרצה ל-Claude Code
• Git: לפעולות ניהול גרסאות
• GitHub CLI: לאינטראקציה יעילה עם GitHub API
• Python 3: להרצת סקריפטי בדיקת כישורים
• jq: לניתוח JSON בפקודות shell

חיבור מערכת בדיקת כישורי AI

זה כל מה שנדרש! עם שלושת הקבצים: AGENTS.md, Dockerfile ו-vm0.yaml, יש לך מערכת בדיקות אוטומטית מלאה. ניתן לראות את המימוש המלא ב-vm0-skills/.vm0.

הרץ את הפקודות הבאות בתיקיית הפרויקט שלך כדי לבנות ולפרוס את הסוכן:

$ vm0 image build -f Dockerfile --name skills-tester
$ vm0 compose vm0.yaml

הפקודה הראשונה בונה את תמונת ה-Docker עם כל התלויות. השנייה רושמת את קונפיגורציית הסוכן בפלטפורמת VM0.

הרצת התהליך

כעת תוכל להריץ את כל תהליך הבדיקה בפקודה אחת:

$ vm0 run skills-tester "do the job"

הסוכן יבצע באופן עצמאי:

1. ישכפל את מאגר vm0-skills
2. ייצור רשימת בדיקות לכל הכישורים
3. יריץ בדיקות לכל כישור באופן שיטתי
4. ירכז תוצאות מקיפות
5. יעדכן את README של המאגר
6. ייצור Issues ב-GitHub עבור כשלים
7. ישלח התראות ל-Slack ו-Discord

ניפוי שגיאות שלב-אחר-שלב

אם ברצונך לנפות שגיאות בתהליך בהדרגה או לבדוק כישור בודד תחילה, תוכל להשתמש בהנחיות ממוקדות:

$ vm0 run skills-tester "Only do the first step, using a single skill."

לאחר שהסוכן מסיים את השלב הראשון, תוכל להמשיך את הסשן לפי מזהה הסשן שמופיע בפלט:

$ vm0 run continue SESSION_ID "Do the next step."

גישה אינטראקטיבית זו מאפשרת לך:

• לאמת כל שלב לפני ההמשך
• לבדוק תוצאות ביניים
• להתאים את התהליך במידת הצורך
• לנפות תקלות ביעילות רבה יותר

תוצאות והתראות

לאחר סיום התהליך, תקבל התראות במספר ערוצים המאשרות את תוצאות הבדיקה.

התראת קהילה ב-Discord המציגה סיכום סיום בדיקות

התראת צוות ב-Slack עם תוצאות בדיקה מפורטות

עבור כל כישור שנכשל בבדיקה, הסוכן יוצר אוטומטית Issue ב-GitHub עם פרטי כשל מלאים. ראה Skill Test Failures - Issue #2 לדוגמה של פורמט ה-Issue שנוצר.

תובנות עיקריות מאוטומציה של בדיקות כישורי סוכן AI

אוטומציה של בדיקות כישורים עם סוכני VM0 מספקת יתרונות קריטיים:

• אימות מתמשך: זיהוי מיידי של שינויים שוברים ב-API-ים צד שלישי, לפני שהם משפיעים על הייצור
• סביבת בדיקה ריאלית: הסוכנים בודקים כישורים בדיוק בהקשר בו הם פועלים, ללא פער בין בדיקה לייצור
• ללא מאמץ ידני: לאחר ההגדרה, תהליך הבדיקה רץ אוטומטית לפי לוח זמנים, ללא צורך בהתערבות אנושית
• כיסוי מלא: כל כישור נבדק שיטתית, כך ששום דבר לא מתפספס
• מודעות צוותית: התראות רב-ערוציות שומרות את כולם מעודכנים בתוצאות ובעיות

באמצעות תשתית הענן של VM0 ויכולות הסוכן של Claude, ניתן לשמור על אינטגרציות אמינות עם שירותים חיצוניים תוך מזעור עומס התחזוקה השוטפת. גישה זו הופכת את בדיקות הכישורים מתהליך ידני ומועד לטעויות למערכת הבטחת איכות אוטומטית לחלוטין.

התחילו עם VM0 עוד היום

מוכנים לאוטומציה של תהליכים עם סוכני AI? VM0 מאפשר לפרוס סוכנים מוכנים לייצור תוך דקות, לא שבועות.

מה אפשר לבנות עם VM0

• צינורות בדיקה אוטומטיים

  הרץ משימות בדיקה מתוזמנות כמו בודק הכישורים הזה כדי לזהות שינויים שוברים ב-API-ים צד שלישי מוקדם.

• תהליכי יצירת תוכן

  הפוך מחקר, הערות או קלט גולמי לפוסטים, מסמכים או הערות שחרור – ללא העתקה ידנית.

• סוכני עיבוד נתונים

  שלוף נתונים ממקורות שונים, נקה אותם והעבר הלאה, תוך טיפול בכשלים וניסיונות חוזרים.

• אוטומציה של תמיכת לקוחות

  מיין פניות נכנסות, נסח תגובות והעבר מקרים מורכבים לאדם לפי הצורך.

• בדיקת קוד וניתוח

  בדוק Pull Requests, סמן בעיות פוטנציאליות ואכוף כללים בסיסיים לפני בדיקה אנושית.

בקר ב-vm0.ai כדי ליצור חשבון בחינם ולפרוס את הסוכן הראשון שלך כבר היום.

התחל לבנות את עתיד תהליכי העבודה האוטומטיים.