Yapay Zeka Ajanı Yeteneklerini Hızla Değişen API'lere Karşı Otomatik Test Etme

vm0-ai/vm0-skills deposunda, çeşitli üçüncü taraf SaaS platformlarıyla entegrasyon için onlarca yetenek geliştirdik. Bu yetenekler, Claude Code ve Codex ajanlarının GitHub, Slack, Discord ve daha birçok hizmetle sorunsuz şekilde etkileşime girmesini sağlar.

Bu entegrasyonlar son derece değerli olsa da, önemli bir test zorluğu sunar. Uygun bir test altyapısı olmadan, yeteneklerin beklendiği gibi çalışıp çalışmadığını güvenilir şekilde doğrulayamaz veya üçüncü taraf API'lerdeki yıkıcı değişiklikleri tespit edemeyiz.

Üçüncü Taraf Yapay Zeka Ajanı Yeteneklerini Test Etmek Neden Zordur?

Üçüncü taraf entegrasyonlarını test etmek doğası gereği zordur. Her yetenek, haber verilmeden değişebilen harici API'lere bağlıdır ve güvenilirliği korumak için sürekli dikkat gerektirir. Geleneksel birim testleri genellikle yetersiz kalır; çünkü gerçek dünya API davranışını, kimlik doğrulama akışlarını ve yalnızca üretim ortamında ortaya çıkan uç durumları çoğaltamazlar.

Kapsamlı testler olmadan, birkaç kritik sorun yanıtsız kalır:

• İşlevsellik doğrulaması: Yeteneklerin gerçek kullanım senaryolarında beklendiği gibi çalıştığını teyit edemeyiz
• Yıkıcı değişiklik tespiti: Üçüncü taraf SaaS API'leri değiştiğinde, uyumluluk sorunlarını otomatik olarak tespit etmenin bir yolu yoktur
• Kimlik doğrulama doğrulaması: OAuth akışları, token yenileme mekanizmaları ve izin kapsamları sürekli olarak doğrulanmalıdır
• Hata yönetimi: Harici hizmetler kullanılamadığında zarif bir şekilde bozulmanın sağlanması gerekir

Bu durum, önemli bir bakım yükü ve üretim iş akışlarını etkileyebilecek potansiyel güvenilirlik sorunları yaratır.

Gerçek Ortamlarda Yapay Zeka Ajanı Yeteneklerini Test Etmek İçin Yapay Zeka Ajanları Kullanmak

Bu yetenekler özellikle Claude Code ve Codex ajanları için tasarlandığından, en doğal ve etkili yaklaşım, aynı ajanları test için de kullanmaktır. Böylece araçların kendi ortamlarında kendilerini test ettiği, kendini doğrulayan bir ekosistem oluşur.

VM0, Claude Code ve Codex ajanlarını güvenilir şekilde çalıştırmak için gerekli bulut altyapısını sağlar ve bu test stratejisini uygulamak için ideal bir platformdur.

Yapay Zeka Ajanı Yeteneklerini Test Etmek İçin Uçtan Uca Otomatik İş Akışı

Otomatik yetenek testi için tam iş akışı aşağıda açıklanmıştır. Bu ajan, depodaki her yeteneği sistematik olarak test eder, kapsamlı raporlar üretir ve ekibi birden fazla kanal üzerinden bilgilendirir.

# Skills Tester Agent

## Overview

This agent performs automated testing of all skills in the vm0-skills repository.

## Critical Requirements

**MANDATORY: Complete All Tests Without Exception**

- No matter how long the task takes, it MUST be completed in full
- Continue until ALL items in `TODO.md` are tested - no early termination
- **NO skipping tasks** - every skill must be tested
- **NO selective testing** - do not cherry-pick which skills to test
- **Every example MUST have a result** - each example command in every skill's SKILL.md must be executed and recorded
- If a test fails, record the failure and continue to the next test
- Do not stop or pause until the entire test suite is complete

## Instructions

1. **Clone and Initialize**
   - Clone the repo `vm0-ai/vm0-skills`
   - Create a `TODO.md` file to track testing progress

2. **Generate Todo List**
   - For each skill folder in the repo, add a todo item to `TODO.md`

3. **Test Each Skill**
   - Create a sub-agent for each skill to test
   - Each sub-agent should:
     - Verify all required environment variables exist
     - Test each example command in the skill's SKILL.md
     - Write a temporary test result markdown file
     - Record whether the test passed, and specifically note any shell command failures or jq parsing errors

4. **Summarize Results**
   - Aggregate all test results into `result.md`

5. **Update README**
   - Based on `result.md`, update the `README.md`
   - Update or insert a skill list section with:
     - Brief description of each skill's capabilities
     - Test status (passed/failed)

6. **Commit and Push**
   - Only commit `README.md`
   - Push to the repository using `GITHUB_TOKEN` for authentication

7. **Report Issues**
   - For skills with test failures, create a GitHub issue summarizing all problems

8. **Notify Slack**
   - Post a message to Slack channel `#dev` with:
     - Total number of skills
     - Number of passed tests
     - Number of failed tests
     - Brief summary of issues
     - Link to the GitHub issue (if created)

9. **Notify Discord**
   - Post a message to the Discord `skills` channel with:
     - Confirmation that routine testing is complete
     - Number of skills that passed
     - Total number of skills tested

vm0.yaml ile Ajanı Yapılandırmak

Sonraki adımda, bu iş akışını çalıştırmak için VM0'ı zamanlamanız gerekir. Ajan konteyner yapılandırmasını tanımlamak için bir vm0.yaml dosyası oluşturun. Bu dosya, ajanın hangi yeteneklere ihtiyaç duyduğunu, hangi ortam değişkenlerinin ekleneceğini ve test iş akışının nasıl çalıştırılacağını belirtir.

version: "1.0"

agents:
  skills-tester:
    image: skills-tester:latest
    provider: claude-code
    instructions: AGENTS.md
    skills:
      - https://github.com/vm0-ai/vm0-skills/tree/main/github
      - https://github.com/vm0-ai/vm0-skills/tree/main/slack
      - https://github.com/vm0-ai/vm0-skills/tree/main/discord
    environment:
      CLAUDE_CODE_OAUTH_TOKEN: ${{ secrets.CLAUDE_CODE_OAUTH_TOKEN }}
      GITHUB_TOKEN: ${{ secrets.GITHUB_TOKEN }}
      SLACK_BOT_TOKEN: ${{ secrets.SLACK_BOT_TOKEN }}
      DISCORD_BOT_TOKEN: ${{ secrets.DISCORD_BOT_TOKEN }}
      # ... additional environment variables as needed

Tam yapılandırma dosyası için vm0-skills/.vm0/vm0.yaml adresine bakabilirsiniz. Bu örnekte bazı ortam değişkenleri kısalık açısından atlanmıştır.

Bu ajan yapılandırması üç temel yetenek içerir:

• GitHub yeteneği: Depo işlemleri, sorun oluşturma ve README güncellemeleri için
• Slack yeteneği: Test sonuçlarını ekip kanallarına göndermek için
• Discord yeteneği: Test tamamlanması hakkında topluluk bildirimleri için

Docker İmajı Oluşturmak

Ayrıca, ajanın depo işlemleri için kullandığı GitHub CLI (gh) başta olmak üzere gerekli bağımlılıkları yükleyen bir Docker imajı yapılandırmanız gerekir.

Bir Dockerfile oluşturun:

FROM node:20-slim

RUN apt-get update && apt-get install -y \\
    git \\
    curl \\
    python3 \\
    python3-pip \\
    python3-venv \\
    jq \\
    && rm -rf /var/lib/apt/lists/*

RUN curl -fsSL <https://cli.github.com/packages/githubcli-archive-keyring.gpg> | dd of=/usr/share/keyrings/githubcli-archive-keyring.gpg \\
    && chmod go+r /usr/share/keyrings/githubcli-archive-keyring.gpg \\
    && echo "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/githubcli-archive-keyring.gpg] <https://cli.github.com/packages> stable main" | tee /etc/apt/sources.list.d/github-cli.list > /dev/null \\
    && apt-get update \\
    && apt-get install -y gh \\
    && rm -rf /var/lib/apt/lists/*

RUN npm install -g @anthropic-ai/claude-code

Bu Dockerfile, aşağıdaki bileşenlerle hafif bir konteyner oluşturur:

• Node.js 20: Claude Code için çalışma zamanı ortamı
• Git: Sürüm kontrol işlemleri
• GitHub CLI: GitHub API ile kolay etkileşim
• Python 3: Yetenek test betiklerini çalıştırmak için
• jq: Kabuk komutlarında JSON ayrıştırma

Yapay Zeka Yetenek Test Sistemi Nasıl Birleştirilir?

Hepsi bu kadar! Bu üç dosya: AGENTS.md, Dockerfile ve vm0.yaml ile eksiksiz bir otomatik test sistemine sahip olursunuz. Tam uygulamayı vm0-skills/.vm0 adresinde görebilirsiniz.

Ajanı oluşturmak ve dağıtmak için proje dizininizde aşağıdaki komutları çalıştırın:

$ vm0 image build -f Dockerfile --name skills-tester
$ vm0 compose vm0.yaml

İlk komut, gerekli tüm bağımlılıklarla Docker imajını oluşturur. İkinci komut ise ajan yapılandırmasını VM0 platformuna kaydeder.

İş Akışını Çalıştırmak

Artık tüm test iş akışını tek bir komutla çalıştırabilirsiniz:

$ vm0 run skills-tester "do the job"

Ajan otomatik olarak şunları yapacaktır:

1. vm0-skills deposunu klonlar
2. Tüm yetenekler için bir test kontrol listesi oluşturur
3. Her yetenek için testleri sistematik olarak yürütür
4. Kapsamlı sonuçları derler
5. Depo README dosyasını günceller
6. Başarısızlıklar için GitHub sorunları oluşturur
7. Slack ve Discord'a bildirim gönderir

Adım Adım Hata Ayıklama

İş akışını kademeli olarak hata ayıklamak veya önce tek bir yeteneği test etmek isterseniz, hedefli istemler kullanabilirsiniz:

$ vm0 run skills-tester "Only do the first step, using a single skill."

Ajan ilk adımı tamamladıktan sonra, çıktıda verilen oturum kimliğine göre oturuma devam edebilirsiniz:

$ vm0 run continue SESSION_ID "Do the next step."

Bu etkileşimli yaklaşım sayesinde şunları yapabilirsiniz:

• Her adımı ilerlemeden önce doğrulamak
• Ara sonuçları incelemek
• Gerekirse iş akışını ayarlamak
• Sorunları daha etkili şekilde hata ayıklamak

Sonuçlar ve Bildirimler

İş akışı tamamlandığında, test sonuçlarını onaylayan bildirimleri birden fazla kanal üzerinden alırsınız.

Test tamamlanma özetini gösteren Discord topluluk bildirimi

Ayrıntılı test sonuçlarıyla Slack ekip bildirimi

Testte başarısız olan yetenekler için, ajan otomatik olarak kapsamlı hata ayrıntılarıyla bir GitHub sorunu oluşturur. Oluşturulan sorun formatı örneği için Skill Test Failures - Issue #2 adresine bakabilirsiniz.

Yapay Zeka Ajanı Yetenek Testini Otomatikleştirmenin Temel Dersleri

VM0 ajanlarıyla otomatik yetenek testi uygulamak, birkaç önemli avantaj sağlar:

• Sürekli doğrulama: Üçüncü taraf API'lerdeki yıkıcı değişiklikleri, üretimi etkilemeden hemen yakalayın
• Gerçekçi test ortamı: Ajanlar, yetenekleri tam olarak kullanıldıkları bağlamda test eder; test ve üretim arasındaki farkı ortadan kaldırır
• Sıfır manuel çaba: Yapılandırıldıktan sonra, test iş akışı otomatik olarak zamanlanır ve insan müdahalesi gerekmez
• Kapsamlı kapsama: Her yetenek sistematik olarak test edilir, hiçbir şey gözden kaçmaz
• Ekip farkındalığı: Çok kanallı bildirimler, herkesin test sonuçları ve sorunlardan haberdar olmasını sağlar

VM0'ın bulut altyapısı ve Claude'un ajan yeteneklerinden yararlanarak, harici hizmetlerle güvenilir entegrasyonlarınızı sürdürebilir ve sürekli bakım yükünü en aza indirebilirsiniz. Bu yaklaşım, yetenek testini manuel ve hataya açık bir süreçten tamamen otomatik bir kalite güvence sistemine dönüştürür.

VM0 ile Bugün Başlayın

Kendi iş akışlarınızı yapay zeka ajanlarıyla otomatikleştirmeye hazır mısınız? VM0, üretime hazır ajanları dakikalar içinde dağıtmanızı kolaylaştırır.

VM0 ile Neler Geliştirebilirsiniz

• Otomatik test hatları

  Bu yetenek testçisi gibi zamanlanmış test görevleri çalıştırarak üçüncü taraf API'lerdeki yıkıcı değişiklikleri erken yakalayın.

• İçerik üretim iş akışları

  Araştırma, not veya ham girdileri manuel kopyala-yapıştır olmadan blog yazılarına, dokümantasyona veya sürüm notlarına dönüştürün.

• Veri işleme ajanları

  Birden fazla kaynaktan veri çekin, temizleyin ve aşağı akışa aktarın; başarısızlıkları ve yeniden denemeleri açıkça yönetin.

• Müşteri destek otomasyonu

  Gelen talepleri önceliklendirin, yanıt taslakları oluşturun ve uç durumları gerektiğinde insanlara devredin.

• Kod inceleme ve analiz

  Çekme isteklerini inceleyin, potansiyel sorunları işaretleyin ve temel kuralları bir insan incelemeden önce uygulayın.

vm0.ai adresini ziyaret ederek ücretsiz hesabınızı oluşturun ve ilk ajanınızı bugün dağıtın.

Otomatik iş akışlarının geleceğini inşa etmeye başlayın.