Як використовувати Claude для керування 100+ AI агентами паралельно

Запускати десятки AI агентів вручну — це як диригувати оркестром із зав’язаними очима. Цей туторіал покаже, як побудувати систему, де Claude виступає головним оркестрантом і координує роботу 100+ спеціалізованих агентів одночасно. Ти витратиш приблизно 3–4 години на початкове налаштування, після чого система працюватиме автономно. Для старту потрібен акаунт Anthropic з доступом до API, базові знання Python та розуміння концепції async/await.

🛠️ Що знадобиться

• Claude API (Anthropic Console) — головний мозок системи, координує всіх агентів; тарифний план Pro або вищий, від $20/міс
• Python 3.12+ з бібліотекою anthropic — для написання логіки оркестрації; безкоштовно
• Redis 7.x — черга задач і спільна пам’ять між агентами; безкоштовно для self-hosted
• Prefect 3.x або Temporal.io — планувальник воркфлоу, стежить щоб жоден агент не завис; є безкоштовний tier
• Docker + Docker Compose — ізолює кожного агента в окремому контейнері; безкоштовно
• Grafana + Prometheus — моніторинг стану всіх агентів у реальному часі; безкоштовно

📋 Покрокова інструкція

Крок 1: Налаштування середовища та отримання API ключа

Зайди на console.anthropic.com → натисни “API Keys” у лівому меню → клікни “Create Key” → назви ключ “orchestrator-main” → скопіюй значення одразу, бо воно показується лише раз. Відкрий термінал і виконай: pip install anthropic redis prefect asyncio aiohttp python-dotenv. Створи файл .env у корені проєкту і запиши туди ANTHROPIC_API_KEY=sk-ant-твій_ключ. Перевір що всe працює командою python -c "import anthropic; print('OK')" — якщо бачиш “OK”, можна рухатись далі.

Крок 2: Створення архітектури оркестратора на базі Claude

Головна ідея: один “Claude-оркестратор” отримує велике завдання, розбиває його на підзадачі та роздає їх агентам-виконавцям. Створи файл orchestrator.py і напиши клас ClaudeOrchestrator з методом decompose_task(). У системному промпті для оркестратора обов’язково вкажи: “Ти менеджер AI агентів. Отримавши задачу, поверни JSON масив підзадач з полями: id, type, priority, dependencies, estimated_tokens”. Саме через JSON-відповідь Claude розподілятиме роботу між агентами — без чіткої схеми відповіді система перетвориться на хаос. Підводний камінь: встанови max_tokens=4096 для оркестратора, інакше він обріже список задач посередині.

Крок 3: Розгортання пулу агентів через Docker

Кожен агент — це окремий Python процес у Docker контейнері з власною роллю (researcher, writer, coder, validator тощо). Створи docker-compose.yml де опиши сервіс agent-worker з параметром deploy: replicas: 100 — Docker автоматично підніме 100 ідентичних контейнерів. У змінних середовища кожного контейнера передай AGENT_TYPE та AGENT_ID щоб агент знав свою роль. Запусти командою docker-compose up --scale agent-worker=100 -d і перевір що всі контейнери живі: docker ps | grep agent-worker | wc -l має повернути “100”. Якщо менше — перевір ліміти пам’яті Docker Desktop (Settings → Resources → Memory, постав мінімум 16GB).

Крок 4: Підключення Redis як спільної шини даних

Redis тут виконує три ролі одночасно: черга задач, спільна пам’ять агентів та система сигналів. У своєму коді підключись до Redis через redis.asyncio.from_url("redis://localhost:6379") і створи три ключові структури: RPUSH tasks:pending — для нових задач від оркестратора, HSET agent:status:{id} — для статусу кожного агента, PUBLISH results:channel — для публікації результатів. Агенти підписуються на чергу через BLPOP tasks:pending 30 (чекають 30 секунд на нову задачу). Важливо: встанови maxmemory 4gb і maxmemory-policy allkeys-lru у redis.conf, щоб Redis не з’їв всю оперативну пам’ять коли результати накопичуються.

Крок 5: Запуск системи та моніторинг через Grafana

Запусти оркестратор командою python orchestrator.py --task "Проаналізуй 500 статей і склади звіт" --agents 100 — Claude автоматично розіб’є задачу на підзадачі і почне заповнювати Redis чергу. Відкрий Grafana на localhost:3000 (логін admin/admin за замовчуванням) → Import Dashboard → встав ID 11835 для Redis метрик → додай панель з метрикою agent_tasks_completed_total. Ти побачиш графік де лінія задач, що виконуються, зростає паралельно по всіх 100 агентах. Фінальний результат: через 15–30 хвилин (залежно від складності) всі агенти завершать роботу, оркестратор зберера результати з Redis і Claude синтезує фінальний звіт у файл output/final_report.md.

⚠️ Типові помилки та як їх уникнути

• Rate limit помилки від Anthropic API — Claude API має ліміти на кількість запитів за хвилину. Використовуй exponential backoff: при отриманні помилки 429 чекай 2^n секунд (2, 4, 8, 16…) перед повтором. Додай у код asyncio.Semaphore(50) щоб одночасно не більше 50 агентів стукали в API.
• Агенти зависають і не повертають результат — встанови таймаут на кожне звернення до Claude: async with asyncio.timeout(120). Prefect автоматично перезапустить завдання якщо агент не відповів за 2 хвилини. Без таймаутів один завислий агент може заблокувати всю чергу.
• Втрата контексту між агентами — агенти не знають що зробили інші, тому передавай короткий summary через Redis: після завершення кожної підзадачі агент пише HSET shared:context {task_id} {summary_200_words}. Оркестратор на початку кожного нового батчу задач завантажує цей контекст і додає його в системний промпт.
• Перевитрата токенів і рахунку — встанови жорсткий ліміт у Anthropic Console: Settings → Limits → Monthly spend limit → вкажи максимальну суму. Також логуй кожен виклик API в БД з кількістю токенів, щоб аналізувати де агенти “балакають зайвого”.

💡 Поради для кращого результату

Ієрархія агентів замість плоскої структури. Замість 100 рівноправних агентів створи 3 рівні: 1 оркестратор → 10 менеджерів → 90 виконавців. Менеджери координують свою групу і повертають оркестратору вже агрегований результат — це зменшує навантаження на головний Claude у 10 разів.

Спеціалізовані системні промпти для кожного типу агента. Агент-дослідник має промпт “Шукай тільки факти, завжди вказуй джерело”, агент-аналітик — “Порівнюй дані, шукай суперечності”. Не давай всім агентам однаковий промпт — спеціалізація підвищує якість результату на 40–60%.

Кешуй повторювані запити через Semantic Cache. Встанови бібліотеку GPTCache або використовуй вбудований кеш Anthropic API — якщо 10 різних агентів запитують схожу інформацію, відповідь береться з кешу без нового API виклику. Це може знизити витрати на токени до 30%.

Використовуй Claude claude-3-5-haiku для простих задач. Не гони всі задачі через claude-opus-4 — сортування, валідацію формату, прості трансформації даних довір claude-haiku який у 10 разів дешевший. Оркестратор на claude-opus-4 нехай вирішує тільки складні задачі декомпозиції і синтезу.

❓ Часті запитання (FAQ)

1. Скільки агентів можна запустити паралельно без проблем?
Технічно Docker і Redis легко витягнуть 500+ агентів на сервері з 32GB RAM. Практичне обмеження — ліміти Anthropic API: на тарифі “Tier 4” це 4000 RPM (запитів за хвилину). При 100 агентах кожен може робити 40 запитів на хвилину — цілком достатньо для більшості задач.

2. Чи можна змішувати Claude з іншими моделями (GPT-4, Gemini) в одній системі?
Так, і це навіть рекомендується. Claude як оркестратор відмінно справляється з плануванням і синтезом, а для специфічних задач (наприклад, генерація зображень через DALL-E або аналіз відео через Gemini) підключай інші моделі як спеціалізованих агентів через єдиний інтерфейс.

3. Що робити якщо задача надто велика і Claude не може її розбити за один раз?
Використовуй рекурсивну декомпозицію: оркестратор розбиває задачу на 10 великих блоків, потім кожен блок передається суб-оркестратору який ділить його ще на 10 частин. Глибина рекурсії 2–3 рівні дозволяє обробляти задачі практично необмеженого розміру.

4. Як забезпечити безпеку якщо агенти мають доступ до зовнішніх API і баз даних?
Кожен агент повинен працювати з мінімальними привілеями — давай йому тільки той токен доступу, який потрібен для конкретної задачі. Використовуй мережеву ізоляцію Docker: агенти можуть звертатись тільки до Redis і дозволених зовнішніх ендпоінтів, але не один до одного напряму.

5. Як зберігати та аналізувати результати роботи 100+ агентів?
Записуй всі результати в PostgreSQL з полями: agent_id, task_id, timestamp, tokens_used, result_json, quality_score. Якість автоматично оцінює окремий агент-валідатор за шкалою 1–10. Оркестратор при фінальному синтезі враховує тільки результати з оцінкою 7 і вище — це фільтрує “сміттєві” відповіді.

🏁 Підсумок

Ти навчився будувати повноцінну мульти-агентну систему: від налаштування Claude як оркестратора до розгортання 100+ паралельних агентів з моніторингом і контролем витрат. При правильному налаштуванні така система виконує за годину роботу, на яку людській команді знадобився б тиждень.

Почни прямо зараз з малого: підніми 5 агентів замість 100, дай їм просту задачу — наприклад, проаналізувати 50 статей вашої ніші. Коли побачиш що система працює і результати якісні — масштабуй до 50, потім до 100 агентів. Зайди на console.anthropic.com, отримай API ключ і запусти перший docker-compose up вже сьогодні.