RG-Soft: Экстрактор данных из 1С в BI

Вступление

BI-системы представляют собой набор инструментов для ведения бизнес-аналитики. С помощью этих инструментов можно собирать данные по компании из разных источников и структурировать полученную информацию в понятные отчеты, графики и диаграммы. Это позволяет эффективно проанализировать ведение бизнеса, оценить рабочие процессы, а также принять дальнейшие решения для развития компании. 

Постановка вопроса

Для российского бизнеса актуален вопрос переноса данных из программ 1С:Предприятие в системы BI и на данный момент существует несколько способов, помогающих в этом, например:

• Подключение к опубликованной базе по протоколу oData и получение нужных данных запросом
• Выгрузка данных из 1С в файлы формата Excel, XML
• Непосредственное обращение к таблицам базы данных 1С:Предприятия.

Но описанные способы обладают рядом существенных недостатков - они занимают много времени и создают значительную нагрузку на производительность базы 1С, являются трудозатратными и дорогими в реализации, и т.п. 

Предлагаемое решение

Одним из самых удобных способов является передача данных в системы BI в виде SQL таблиц. Нашей компанией был разработан инструмент, позволяющий эффективно строить и заполнять такие таблицы непосредственно из программ 1С. Решение оформлено как расширение конфигурации, и в подавляющем большинстве случаев не требует внесения изменений в конфигурацию 1С:Предприятия.

Созданное расширение позволяет быстро сформировать группу отчетов средствами системы компоновки данных 1С (СКД), на основе которых будет созданы таблицы внешней базы данных MS SQL. При этом необходимости прибегать к использованию конфигуратора нет – достаточно запустить приложение в толстом клиенте и с помощью расширения, использующего стандартные средства платформы, создать отчеты с желаемой структурой и полями.

Расширение позволяет создать и вести список сразу нескольких баз данных, которые будут использоваться для выгрузки SQL таблиц в одну или несколько систем BI. Для каждой из баз отдельно реализованы следующие возможности:

• Настройка параметров подключения к MS SQL;
• Определение состава таблиц и типов данных полей;
• Создание описанных таблиц в MS SQL и заполнение их данными;
• Модификация структуры уже созданных таблиц непосредственно из 1С;
• Определение настроек регистрации изменений.

Рисунок 1. Форма настройки таблиц базы данных на основании отчета

В расширении реализована возможность включения выгрузки по расписанию с помощью регламентных заданий. При этом будут выгружаться только те данные, которые были изменены в период между выгрузками.

Особенностью разработанного решения является формирование внутренних связей между создаваемыми таблицами, позволяющее отправлять в системы BI более полные данные. Настраивать вручную их также не придется – расширение само автоматически создает, удаляет и устанавливает необходимые связи.

Процесс выгрузки данных во внешние таблицы отслеживается в Консоли мониторинга регламентных заданий выгрузки данных. Здесь отображается информация о состоянии выгрузки: статус, количество записей, скорость выгрузки, факт ее окончания и прочее.

Рисунок 2. Консоль мониторинга экспорта данных

Принцип работы системы

Для работы с новым набором данных необходимо:

1. Выбрать или создать вручную базу MS SQL, в которую будет производиться выгрузка;
2. В расширении указать способ подключения к базе данных и описан состав таблиц, в которые будут выгружаться данные;
3. Создать набор отчетов, собирающих данные для передачи в BI;
4. Связать описание каждой таблицы с отчетом. При этом состав полей таблицы будет прочитан из полей отчета;
5. Установить связи между таблицами;
6. Выполнить физическое создание таблиц во внешней базе MS SQL (нажать на кнопку в 1С);
7. Определить способ регистрации изменений объектов, влияющих на результат отчетов и, соответственно, на содержимое таблиц;
8. Выполнить первичную, полную выгрузку в MS SQL всех таблиц;
9. Определить расписание, в соответствии с которым будет производиться автоматическая выгрузка измененных данных;
10. В Консоли мониторинга убедиться, что все этапы выгрузки прошли успешно.

Особенности работы алгоритмов выгрузки в MS SQL:

1. Выгрузка в MS SQL каждой таблицы происходит в отдельном фоновом задании. Таблицы выгружаются параллельно;
2. Каждая выгрузка идет в рамках транзакции, которая фиксируется по завершении выгрузки данных всех таблиц;
3. В случае возникновения ошибки все частично выгруженные данные отменяются, а в Консоли отображается описание ошибки.

Особенности формирования таблиц и связей между ними

Таблицы по содержимому можно разделить на 2 группы: линейные и сводные. Линейные таблицы – это выгрузка данных справочника, списка документов с реквизитами и т. п. Сводные таблицы – это выгрузка подготовленных аналитических данных, опирающихся на ссылки, детальные данные по которым присутствуют в линейных таблицах.

Регистрация изменений производится для каждого объекта системы, если этот объект включен в правила регистрации. Для линейных таблиц выгрузка происходит непосредственно, а для аналитических – по правилу, которым описываются взаимосвязи объектов таблицы. Эти правила привязываются к описаниям таблиц в расширении.

Наше решение помогает значительно сократить время на создание и модификацию таблиц для выгрузки за счет формирования отчетов и таблиц с помощью системы компоновки данных, исключая из процесса использование конфигуратора. Помимо этого перестройка таблиц внешней базы MS SQL производится автоматически и заходить в другие консоли управления не требуется.

Реализация решения в виде расширения позволяет быстро переносить его на другие конфигурации 1С. В результате получаем гибкость в настройке и модификации таблиц, управляемость и контролируемость процессов обновления внешней MS SQL базы.