1. Требования к составу выполняемых функций Комплекса технологической платформы интеграции данных
1.1. Компонент управления метаданными обеспечивает:
1.1.1. Разработку структуры Хранилища данных и управление метамоделью данных, которая должна поддерживать описание:
1.1.1.1. семантических моделей предметной области, представляющих данные для анализа в понятиях бизнес-объектов и их атрибутов;
1.1.1.2. соединений к базам данных области временного хранения первичных данных Хранилища данных и базам данных аналитических данных;
1.1.1.3. физической модели данных;
1.1.1.4. логической бизнес-модели данных, оперирующей терминами мер и измерений, базирующаяся на объектах физической модели данных и позволяющей задавать вычисляемые меры над исходными мерами;
1.1.1.5. презентационной модели данных, базирующейся на объектах логической бизнес-модели данных и позволяющей задавать именования бизнес-объектов и их атрибутов;
1.1.1.6. параметров атрибутов, предназначенных для фильтрации.
1.1.2. Возможность создания нескольких семантических моделей предметной области
1.2. Компонент преобразования данных, должен:
1.2.1. Применять набор предопределенных правил преобразования для приведения данных источника к структуре и формату приемника.
1.2.2. Поддерживать следующие виды преобразований:
1.2.2.1. выборка определенных столбцов набора данных (или исключение незаполненных столбцов);
1.2.2.2. расшифровка закодированных значений (с использованием предопределенных таблиц кодов);
1.2.2.3. кодирование произвольных значений (с использованием предопределенных таблиц кодов);
1.2.2.4. формирование данных путем арифметических преобразований (с использованием предопределенных арифметических операций);
1.2.2.5. фильтрация данных (с использованием предопределенных правил фильтрации);
1.2.2.6. сортировка данных (с использованием предопределенных правил сортировки);
1.2.2.7. объединение данных из различных источников (с использованием предопределенных правил объединения для указанных источников);
1.2.2.8. транспонирование (преобразование столбцов в строки и обратно);
1.2.2.9. разбиение одного столбца исходных данных на несколько столбцов в приемнике;
1.2.2.10. обогащение данных из любых источников данных – обращение к дополнительным источникам данных при отсутствии необходимых данных в источниках.
1.2.3. Обеспечивать проверку, преобразование и загрузку данных в реляционную БД и (или) многомерную (OLAP) БД ХД для хранения аналитических данных с настройкой:
1.2.3.1. правил разбора информации, сопоставления элементов структуры загружаемых данных и объектов БД в области хранения данных Подсистемы;
1.2.3.2. правила преобразования информации при загрузке;
1.2.3.3. правил создания и хранения таблиц содержания, сформированных аналитических показателей, обеспечивающих переход от обобщенного показателя к данным (документам) на основании которых он сформирован.
2. Требования к составу выполняемых функций Комплекса хранилища данных
2.1. Компонент сбора (загрузки) информации включает следующие функции:
2.1.1. Захват и загрузку изменений из БД - поставщиков данных комплексов ПК ЦУИ в режиме близком к реальному времени без увеличения нагрузки на СУБД поставщика данных;
2.1.2. Загрузку наборов данных сформированных путем выполнения запросов к данным в БД поставщиков данных.
2.2. Компонент организации хранения данных включает в себя:
2.2.1. БД для временного или постоянного хранения первичных (необработанных) данных, в том числе неструктурированных данных;
2.2.2. Реляционную БД и (или) многомерную (OLAP) БД для хранения аналитических данных, в том числе витрин данных.
2.2.3. Отдельные области для сбора, накопления, преобразования и анализа данных для каждого из комплексов ПК ЦУИ и для каждой из внешних информационных систем.
3. Требования к составу выполняемых функций Комплекса аналитических приложений
3.1. Компоненты комплекса аналитических приложений должны создаваться как аналитические приложения,
3.1.1. по объектам имущества, учтенным в ПК ЦУИ.
3.1.2. по приватизации объектов имущества, управление которыми организуется с использованием ПК ЦУИ.
3.1.3. по обслуживанию и ремонту объектов имущества, эксплуатация которого организуется с использованием ПК ЦУИ.
3.1.4. по претензионно-исковой деятельности.
3.1.5. по экологической безопасности.
3.1.6. по энергетической эффективности зданий, строений, сооружений.
3.2. Компоненты аналитических приложений должны разрабатываться с использованием функций Комплекса хранилища данных, Комплекса технологической платформы интеграции данных и Комплекса средств формирования аналитической и статистической отчетности, анализа многомерных данных и представления (визуализации) данных.
3.3. Решения по каждому компоненту аналитических приложений по предметной области разрабатываются после разработки решений по функциональным комплексам ПК ЦУИ, обеспечивающим учет данных и документов по соответствующей предметной области.
4. Требования к структуре комплекса
4.1. Комплекс хранилища данных в составе:
4.1.1. Компонент сбора (загрузки) информации;
4.1.2. Компонент организации хранения данных.
4.2. Комплекс технологической платформы интеграции данных в составе:
4.2.1. Компонент управления метаданными;
4.2.2. Компонент приведения данных к необходимому формату и обработки в соответствии с правилами, определенными метаданными (преобразования данных).
4.3. Комплекс средств формирования аналитической и статистической отчетности, анализа многомерных данных и представления (визуализации) данных в составе:
4.3.1. Компонент анализа многомерных данных;
4.3.2. Компонент формирования аналитической и статистической отчетности;
4.3.3. Компонент представления (визуализации) данных.
4.4. Комплекс аналитических приложений в составе:
4.4.1. Компонент анализа информации по объектам имущества, учтенным в ПК ЦУИ.
4.4.2. Компонент анализа информации по объектам имущества на приватизацию, управление которыми организуется с использованием ПК ЦУИ.
4.4.3. Компонент анализа информации по обслуживанию и ремонту объектов имущества, эксплуатация которого организуется с использованием ПК ЦУИ.
4.4.4. Компонент анализа информации по претензионно-исковой деятельности.
4.4.5. Компонент мониторинга и анализа значений показателей экологической безопасности.
4.4.6. Компонент мониторинга и анализа значений показателей энергетической эффективности зданий, строений, сооружений.
5. Требования к составу выполняемых функций Комплекса средств формирования аналитической и статистической отчетности, анализа многомерных данных и представления (визуализации) данных
5.1. Компонент анализа многомерных данных включает в себя:
5.1.1. Инструменты многомерного анализа данных (OLAP) и инструменты формирования и выполнения интерактивных запросов над данными;
5.1.2. OLAP-инструменты, обеспечивающие работу с различными срезами данных по выбранным критериям;
5.1.3. Инструменты выгрузки (сохранения) сформированных аналитических данных и результатов выполнения интерактивных запросов в следующих форматах:
5.1.3.1. PDF,
5.1.3.2. форматы документов Microsoft Office: Word и Excel,
5.1.3.3. в стандартных форматах, используемых для хранения и передачи структурированных данных: CSV, XML
5.2. Компонент формирования аналитической и статистической отчетности включает следующие функции:
5.2.1. Выполнение интерактивных запросов над семантическими моделями для конечных пользователей и предоставление визуального конструктора отчетов, с возможностью настройки структуры отчета, используемых параметров, правил сортировки и группировки данных и возможностью сохранения настроек разработанного отчета в каталоге отчетов для его дальнейшего использования;
5.2.2. Выгрузку (сохранение) сформированных аналитических и статистических отчетов в следующих форматах:
5.2.2.1. PDF,
5.2.2.2. форматы документов Microsoft Office: Word и Excel,
5.2.2.3. в стандартных форматах, используемых для хранения и передачи структурированных данных: CSV, XML
5.3. Компонент представления (визуализации) данных включает следующие функции:
5.3.1. Отображение результатов аналитических выборок данных (витрин данных) на информационных панелях в табличном представлении, а также в виде шкал, графиков, индикаторов;
5.3.2. Выгрузку (сохранение) данных информационных панелей в следующих форматах:
5.3.2.1. PDF,
5.3.2.2. форматы документов Microsoft Office: Word и Excel,
5.3.2.3. в стандартных форматах, используемых для хранения и передачи структурированных данных: CSV, XML
5.3.3. Встраивание отчетов в интерфейс Системы;
5.3.4. Создание тематической карты и встраивание ее в и интерфейс Системы.
6. Комплекс анализа данных ПК ЦУИ должен обеспечивать:
6.1. сбор (загрузку), накопление, преобразование и анализ транзакционных данных из комплексов ПК ЦУИ (КВОД, КУИ, КУЭ, КЭЭЭБ) без увеличения транзакционной нагрузки на БД.
6.2. сбор (загрузку), накопление, преобразование и анализ данных из внешних информационных систем путем получения файлов (наборов) данных.
6.3. формирование аналитической и статистической отчетности.
6.4. настройку прав доступа пользователей к объектам анализа, аналитическим и статистическим отчетам в соответствии с ролевой моделью пользователей ПК ЦУИ, определяемой в КТФ ПК ЦУИ.
6.5. выгрузку (сохранение) аналитических данных, отчетов и результатов выполнения интерактивных запросов в следующих форматах:
6.5.1. PDF,
6.5.2. DOCX,
6.5.3. XLSX,
6.5.4. в стандартных форматах, используемых для хранения и передачи структурированных данных: CSV, XML (JSON).