Firecrawl /agent — AI собирает данные с любых сайтов по описанию

TL;DR: Firecrawl запустили /agent — API, который собирает данные с сайтов по текстовому описанию. Не нужно указывать URL или писать парсеры — просто говоришь «найди все компании YC W24 с фаундерами» и получаешь структурированный JSON. 5 бесплатных запросов в день.

Если ты когда-нибудь писал парсеры или скрейперы, знаешь эту боль: каждый сайт уникален, структура меняется, капчи, блокировки… Firecrawl решили убрать эту головную боль полностью.

Что такое /agent

Это API-эндпоинт, который принимает текстовое описание нужных данных и сам разбирается, где их искать. Буквально: ты пишешь промпт вроде «найди все листинги Nike Air Jordan с ценами» — агент сам ищет в вебе, переходит по страницам, собирает данные и возвращает чистый JSON.

По сути это эволюция их /extract — раньше нужно было указывать конкретный URL, теперь даже это опционально.

Как это работает

Агент умеет: - Искать по вебу нужную информацию - Переходить по страницам и собирать данные - Возвращать как единичные значения, так и целые датасеты - Работать с «труднодоступными» местами (динамический контент, SPA)

Интеграция простая — есть Python SDK, API и даже MCP-сервер для Claude:

from firecrawl import FirecrawlApp
from pydantic import BaseModel

app = FirecrawlApp(api_key="fc-YOUR-API-KEY")

class Company(BaseModel):
    name: str
    founders: list[str]
    website: str

result = app.agent(
    prompt="Get all YC W24 companies",
    schema=Company
)

Примеры использования

Ребята показывают несколько кейсов: - Лидогенерация — собрать список компаний с контактами фаундеров - E-commerce — спарсить товары с ценами с маркетплейсов - Маркет-дата — получить капитализацию топ-50 компаний - Датасеты — собрать все AI-пейперы с arXiv - Недвижимость — найти квартиры по параметрам

Цены

Пока это research preview с динамическим ценообразованием: - 5 бесплатных запросов в день - Простые запросы тратят меньше кредитов - Сложные — больше - Можно ставить лимит через параметр maxCredits

Что думаю

Штука реально крутая для прототипирования и небольших задач. Вместо того чтобы писать парсер под каждый сайт, просто описываешь что нужно. Для продакшена с большими объёмами пока вопрос — нужно смотреть на реальную стоимость и надёжность.

Но для быстрого сбора данных, ресёрча или построения MVP — самое то.

Что ещё почитать

• Vellum — AI-агенты на простом английском — ещё один no-code инструмент для создания AI-агентов
• Scouts by Yutori — AI-агенты мониторят веб за тебя — похожая идея, но для мониторинга изменений на сайтах

📚 Источники - [Firecrawl /agent](https://firecrawl.dev/agent) - [Product Hunt: /agent by Firecrawl](https://www.producthunt.com/posts/agent-by-firecrawl)