Стихийный подход | Enterprise | |
---|---|---|
Масштабирование | Новые данные — новые проблемы | Легко масштабировать по количеству таблиц и их объемам |
Документирование | Не узнал свой код через 2 месяца | Не открывал решение год, а когда открыл — вспомнил все за 5 минут |
Поддержка | Чем больше сделал — тем сложнее поддерживать | Сложность и трудозатраты поддержки не растут с кол-вом отчетов |
Делегирование | Любые операции с данными могу делать только я, и все меня дергают | Могу передать часть работы другим без риска все сломать |
Простота | Зато все быстро! | Долго внедрять, сложно соблюдать стандарты (или нет? 🤔) |
Исследователь аналитических горизонтов
Евгений Стучалкин
11 лет опыта разработки BI-проектов. Автор методологии сбора универсальной модели данных. Консультант по внедрению Self-Service аналитики
Yandex Cloud в рамках марафона используется как инструмент для быстрого развертывания ClickHouse без знаний администрирования этой СУБД и Linux. Использовать ли его в ваших рабочих проектах, или развернуть на своей стороне самостоятельно или с помощью аутсорса — выбор за вами
Он точно не повредит, потому что:
Вам необязательно реализовывать на своей стороне то же самое, что уже построено централизованным IT. Но вы можете повысить свою гибкость и автономность в разработке надежных аналитических решений, не дожидаясь пока (если) централизованное IT дойдет до реализации ваших запросов. Ресурсы централизованного хранилища будут просто внешним поставщиком данных для вашей собственной инфраструктуры.
Предложенные подходы и инструменты легко масштабируются как по объемам данных (за счет возможностей ClickHouse), так и по сложности моделей данных (автоматизированная генерация моделей). С точки зрения объемов потолок высок настолько, что можно не волноваться о его достижении.
При этом ряд важных для систематизированного управления данными вещей (документация, проверки, оповещения, контроль стандартов) автоматизированы до уровня, когда при разработке вы о них не думаете. Это позволяет вести разработку в режиме self-service, но на выходе получать enterprise — инфраструктуру. Она позволяет удовлетворять потребности любого кол-ва потребителей данных и self-service разработчиков силами небольшой централизованной дата-команды (3-5 человек).
При росте масштабов (десятки дата-команд в рамках компании, занимающихся инжинирингом данных) можно будет подключать специализированные enterprise-решения (планировщики, дата-каталоги) поверх выстроенной инфраструктуры.