Дані та AI

Сервіси збору й обробки даних

Чотири системи на Python: збір даних з сотні джерел, прийом контенту з модерацією, видавнича платформа з SEO-шаром і лабораторія ринкових даних, побудована агентним пайплайном.

Обговорити схожу задачуПослуга: AI-агенти
100+
джерел даних: сайти, відкриті API, Telegram
25
парсерів під конкретні сайти
4
біржові API в потоковій обробці
40+
параметрів ризику в механізмі правил

Задача

Перетворити розрізнені джерела на нормалізовані дані без дублів

Дані приходять із сайтів, відкритих API, Telegram і бірж — у різних форматах, з дублями й збоями. Разові скрипти тут не працюють: джерела змінюються, парсери ламаються, а помилки тихо псують дані.

Потрібні сервіси, які збирають, нормалізують і перевіряють дані постійно, а там, де результат іде до людей, — пропускають його через модерацію.

Технології

Стек сервісів

Бекенд

PythonFastAPIasync SQLAlchemyCeleryJinja2

Збір

PlaywrightRabbitMQTelegram

Дані

PostgreSQLTimescaleDB

SEO й розгортання

SitemapAMPJSON-LDDockerNginxCloudflareGitHub Actions

Рішення

Що зроблено

Платформа збору даних

Збір зі 100+ джерел — сайтів, відкритих API й Telegram — з нормалізацією, дедуплікацією та моніторингом збоїв, а поруч сервіси на FastAPI для збагачення каталогу й даних.

  • 100+ джерел
  • Нормалізація
  • Дедуплікація
  • Моніторинг збоїв

Прийом контенту з модерацією

25 парсерів під конкретні сайти на Celery, RabbitMQ і Playwright, дедуплікація за адресою джерела. Матеріали йдуть REST-контрактом у чергу модерації й публікуються після перевірки.

  • 25 парсерів
  • Дедуплікація за адресою
  • REST-контракт у чергу модерації

Видавнича платформа

FastAPI, async SQLAlchemy і PostgreSQL; фронтенд на Jinja2 з кількома темами й адмін-CMS з редакційною чергою модерації.

  • Кілька тем оформлення
  • Редакційна черга модерації
  • SEO-шар: sitemap, AMP, JSON-LD
  • Транслітеровані адреси

Лабораторія ринкових даних

Чотири біржові API потоково пишуться в TimescaleDB, поверх — механізм правил на 40+ параметрів ризику. Систему від початку до кінця побудовано агентним пайплайном.

  • 4 біржові API потоком у TimescaleDB
  • Механізм правил на 40+ параметрів

Підсумок

Що вийшло

Сервіси працюють постійно: збір не зупиняється через зміну одного джерела, збої видно в моніторингу, а матеріали, що йдуть до людей, проходять модерацію.

  • Нормалізовані й дедупліковані дані з сотні джерел
  • Публікація лише після редакційної модерації
  • Потокова аналітика з правилами ризику, зібрана агентним пайплайном

Контакти

Розкажіть про задачу

Опишіть у двох абзацах, що не працює. Відповімо, чи беремося, і з чого пропонуємо почати. Зустріч — онлайн або особисто в Ужгороді чи Києві.

Відповідаємо протягом робочого дня.

Пошта info@sairas.com.ua Телефон +380 98 907 03 18 Telegram Написати в чат LinkedIn Профіль засновника
Локація Ужгород, Київ і віддалено по Україні
Telegram