Выгрузка данных 1С в БД Clickhouse

Содержание

• Технические особенности экстрактора
• Идея Решения
• Преимущества решения
• Общая схема Экстрактора
• Краткое описание выгрузки данных из 1С в Yandex Datalens
• Версия 1.3.1

Назначение продукта

«Экстрактор данных 1С 8 в BI» - это ETL-инструмент автоматизации массивной выгрузки данных из 1С в аналитическую базу данных Clickhouse для работы с такими инструментами BI-аналитики как:

• Yandex Datalens
• Apache Superset
• Microsoft Power BI
• Qlik Sense
• Tableau
• Processet
• Omega BI
• LuxmsBI
• Visiology
• Loginom
• Форсайт
• Modus
• Polymatica
• и т.д.

«Экстрактор данных» полностью автоматизирует извлечение, трансформацию и выгрузку данных в БД Clickhouse, для последующей обработки в BI-системах.

«Экстрактор данных» реализует:

1. Данные с помощью экстрактора формируются в пользовательском режиме из 1С на основе объектов метаданных и запросов, в том числе с поддержкой вычисляемых полей, параметров, временных таблиц
2. Автоматическая генерация и модификация структуры таблиц с маппингом к наборам данных в БД Clickhouse, при этом:
3. БД Clickhouse поддерживается как в облаке Яндекс, так и self-hosted (http и https – доступ)
4. Поддержка партицирования таблиц в БД Clickhouse
5. Полная выгрузка экстрактором и выгрузка только изменений (в рамках партиции)
6. С помощью экстрактора данные осуществляются в многопоточную выгрузку
7. Работа с клиент-серверными и файловыми базами
8. Экстрактор полностью автоматизирует работу в фоновом режиме

Технические особенности экстрактора (далее Решение):

Базово, наше Решение реализовано как «Расширение» 1С 8.3, т.е. оно встраивается в вашу 1С и дополняет возможности программы необходимым функционалом.

В каждой поставке мы предоставляем Заказчикам две версии:

1. Как «Расширение»
2. Как «Конфигурацию» для встраивания (методом объединения конфигураций)

Мы осуществляем полную методическую и консультационную поддержку нашего Решения.

Разработка выполнена на Управляемых формах (поэтому, если у вас не запрещен запуск вашей конфигурации в режиме управляемых форм, то наше Решение будет там работать вполне успешно). Мы использовали стандартные методы и подходы 1С 8.3 и частично задействовали механизмы БСП (Библиотека стандартных подсистем), но только в части встраивания и создания регламентных заданий.

Решение имеет систему лицензирования и защиты, лицензируется на количество баз 1С, где устанавливается. Также, Решение нормально (без доработок и адаптации) работает с любыми конфигурациями с версии платформы 8.3.16 (Для платформы ниже 8.3.16 необходима проверка под совместимость. На данный момент реализованы проекты, работающие с кастомными конфигурациями под 8.3.10 и 8.3.11 (потребовалась небольшая адаптация и внедрение в конфигурацию, так как данные платформы 1С полноценно не поддерживают механизм Расширений).

Решение уже протестировано на стандартных (типовых) конфигурациях:

Так как Решение является универсальным, то технически может быть запущено на любой конфигурации 1С 8.3.

Идея Решения

Идея состоит в том, чтобы без участия программистов 1С, бизнес-аналитик мог сам:

1. Собрать себе набор данных (Датасет) в терминах 1С
2. На его основе создать таблицу в Базе данных “одной кнопкой”
3. при необходимости, добавить новые поля в набор данных и обновить таблицу-приемник новыми полями
4. Настроить регулярную автоматическую выгрузку, на то чтобы данные передавались в базу данных
5. Обеспечить многопоточную фоновую выгрузку, чтобы данные выгружались «по расписанию»
6. При определенных настройках можно реализовать фактически real-time выгрузку данных в БД Clickhouse(все зависит от того, какого объёма данные и поставленной задачи бизнес-аналитиком)
7. заниматься своей работой здесь и сейчас, не ожидая какие-то разработки, доработки, ручные выгрузки отчетов от программистов 1С и т.д.
8. получать большие массивы данных здесь и сейчас для анализа в своей BI-системе

Какие данные можно выгрузить с "Экстрактор данных 1С в BI" от ДЕНВИК

Наше решение позволяет выгружать любые данные из 1С в таблицы Clickhouse, для последующей работы в BI:

• Продажи;
• Расходы;
• Закупки;
• Документы;
• Справочники;
• Перечисления;
• Константы;
• Планы видов характеристик;
• Планы счетов;
• Хозяйственные операции (проводки);
• Регистры сведений (цены и т.д.);
• Регистры расчета (зарплатные);
• Бизнес-процессы;
• Задачи;
• Планы обмена.
• и т.д.
• И все это вместе и как единый набор данных для выгрузки и как отдельные наборы данных

Преимущества решения

Использование Экстрактора данных позволит вам не только упростить переносимые данные из 1С в yandex Datalens или Power BI, но и:

• делать автоматическую выгрузку данных из любой конфигурации (даже из файловой);
• настроить выгрузку по расписанию;
• подключить и настроить передаваемые данные без участия программистов;
• гибко добавлять и изменять таблицы в базе данных, куда выгружаются данные
• все данные хранятся в облаке Яндекса, поэтому не нужно тратиться на администрирование серверов и контроль базы данных;
• Это прямая выгрузка по расписанию из 1С в базу данных, для работы с Yandex Datalens и Power BI

Общая схема Экстрактора выглядит так:

Краткое описание выгрузки данных из 1С в Yandex Datalens

Выгрузка данных происходит следующим образом:

Экстрактор данных 1С в BI:

• Подходит для всех конфигураций 1С 8.3 (тестировалось начиная с платформы 8.3.16);
  
• Умеет выгружать абсолютно все сущности, в том числе и нетиповые;
  
• Устанавливается как "Расширение 1С" (описание как установить по ссылке), а также как "Конфигурация для объединения".
  

Тестировалось и отлично работает под:

• 1С Управление торговлей 11
• 1С комплексная автоматизация 2
• 1С ERP 2.4 и 2.5
• 1С Розница 2 и 3
• 1С УНФ 1.6 и 3
• 1С Управление Холдингом
• Далион
• АСТОР Торговая Сеть и АСТОР Ваш Магазин
• 1С Управление Отелем
• и другие...

Для работы требует установленный и настроенный сервер Clickhouse (в облаке или у вас на компьютере)

• Описание как развернуть Managed Service for Clickhouse в облаке Яндекс находится по ссылке
  
• По запросу предоставим образы для развертывания Clickhouse под Hyper-V/VirtualBox)
  

Чтобы выгрузить данные, нужно открыть экстрактор данных через 1С и выбрать необходимые для выгрузки сущности.

Далее переименовать поля, если это нужно, чтобы они корректно выгрузились в Yandex Datalens и указать, как нужно отфильтровать данные. Следующим этапом настроить расписание для выгрузки.

Теперь можно подключаться к своей базе данных через Yandex Datalens и настраивать визуализации.

Как выполняется настройка, можно посмотреть вот в этом видео:

Версия 1.3.1

У нас вышла новая версия "Экстрактора данных", которая включает в себя:

• Многопоточную выгрузку данных
• Пред- и пост-обработчики выгрузки для каждого "проекта"
• Специализированную "очередь" выгрузки, с помощью которой программист конфигурации может гибко управлять выгрузкой изменений" из базы 1С
• Работу с партициями таблиц Clickhouse (теперь система умеет перезаписывать не всю таблицу-приемник целиком, а перезаписывать отдельные ее партиции (например месяцы или дни и т.д.)
• Проведена значительная оптимизация кода, которая позволила еще более ускорить выгрузку, в том числе и за счет "тонкой" настройки экранирования спецсимволов
• Теперь "Экстрактор данных" поставляется и как "Расширение" и как "Конфигурация для объединения"

Вот небольшое видео по работе с многопоточностью:

Примеры настроенных дашбордов в Yandex Datalens по данным, получаемым нашим решением из 1С

• Демо на котором демонстрируются выгружаемые данные о выручке и себестоимости
• Демо по безналичным платежам

Мы поможем подключить и настроить Экстрактор данных, если у вас возникнут проблемы. 

Как подключить базы Clickhouse описано в этих статьях:

• Быстрый гайд по развертыванию базы данных Clickhouse в облаке Яндекс (для работы с Yandex Datalens) (Далее, далее, далее...)
  

Как выгрузить данные с помощью нашего решения, мы подробно описали в своем блоге.

Для консультации по поводу возможностей решения и совместимости его с 1С обращайтесь в наш отдел продаж.

Новинки, обновления и ответы на вопросы доступны в нашем Telegram-канале: https://t.me/extractor_1C_to_Clickhouse

Подписывайтесь, будьте в курсе новостей.