НИР «Мульти-ЦОД»

  НИР по теме: «Разработка методов, моделей и средств повышения производительности и отказоустойчивости программно-определяемых СХД с использованием средств автоматизированного контроля и анализа результатов на базе нейронной сети» (шифр «Мульти-ЦОД»).

   Выполнение научно-исследовательской работы по государственному контракту № П33-1-26/5 от «26» февраля 2021 г., заключенного с Россвязью (Минцифры России) в рамках национальной программы «Цифровая экономика Российской Федерации».

    Научный руководитель: Зарубин А.А., к.т.н., доцент.

    Этапы выполнения НИР:

• Этап № 1: с 26.02.2021 по 31.03.2021,
• Этап № 2: с 01.04.2021 по 30.06.2021,
• Этап № 3: с 1.07.2021 по 13.12.2021,
• Этап № 4: с 14.12.2021 по 31.03.2022,
• Этап № 5: с 01.04.2022 по 30.06.2022,
• Этап № 6: с 01.07.2022 по 13.12.2022,
• Этап № 7: с 14.12.2022 по 10.11.2023,
• Этап № 8: с 01.04.2023 по 27.11.2023,
• Этап № 9: с 01.07.2023 по 13.12.2023.

На Этапе № 1 «Выбор направлений исследований» в период с 26.02.2021 по 31.03.2021 выполнялись следующие работы:

1.1. Исследование перспективных технологий построения программно-определяемых СХД для достижения высоких показателей производительности и отказоустойчивости;

1.2. Исследование подходов к глубокому анализу больших объёмов неструктурированной диагностической информации от СХД с целью выявления аномалий и закономерностей и последующему повышению производительности программно-определяемой СХД.

В ходе выполнения Этапа № 1 проекта получены следующие основные результаты: 

• Произведен сравнительный анализ качественных характеристик СХД; 
• Выполнено исследование характеристик коммерческих и открытых СХД;
• Выполнено исследование подходов к построению программно-определяемых СХД;
• Осуществлен выбор базовой платформы распределенной программно-определяемой СХД;
• Произведена оценка возможностей по повышению производительности распределенной программно-определяемой СХД;
• Выявлен перечень характеристик, позволяющих управлять производительностью программно-определяемых СХД;
• Разработана функциональная модель обработки данных диагностической информации СХД;
• Определен подход к построению платформы интеллектуального мониторинга состояния СХД и оценки производительности;
• Произведен анализ методов поиска аномалий временных рядов характеристик в диагностических данных с применением методов машинного обучения.

На Этапе № 2 «Теоретические исследования решений для повышения эффективности программно-определяемой СХД» в период с 01.04.2021 по 30.06.2021 выполнялись следующие работы:

2.1. Выполнение патентных исследований в соответствии ГОСТ Р 15.011-96 «Система разработки и постановки продукции на производство. Патентные исследования. Содержание и порядок проведения» по оценке научно-технического уровня решений по построения систем, повышающих производительность программно-определяемых СХД;

2.2. Исследование вариантов системотехнических решений по построению программно-аппаратной платформы программно-определяемой СХД с модулем повышения производительности на базе нейронной сети.

В ходе выполнения Этапа № 2 проекта получены следующие основные результаты:

• Выполнены патентные исследования (в соответствии с заданием, регламент поиска выполнен в полном объеме), в результате которых определено, что в настоящее время отсутствуют охранные документы, которые могут препятствовать применению в РФ методов проведения интеллектуального анализа диагностической информации о работе подсистемы ввода-вывода и параметров производительности, с дальнейшим семантико-когнитивным анализом;
• Проведенные патентные исследования подтвердили научную значимость и прикладную перспективность проведенных теоретических исследований;
• Определены критерии эффективности программно-определяемой СХД;
• Произведено стендовое моделирование для распределённой СХД, в результате которого были получены средние значения нагрузки, требуемые на начальных этапах работы;
• Произведено обширное тестирование и моделирование, в результате которого получена математическая модель, позволяющая рассчитать коэффициент доступности системы для различных значений факторов репликации;
• Произведен анализ системотехнических решений построения распределенной СХД, в результате которого были определены ключевые принципы для первичного проектирования решения распределённой СХД.

На Этапе № 3 «Разработка моделей и вариантов построения программно-определяемой СХД» в период с 01.07.2021 по 13.12.2021 выполнялись следующие работы:

3.1. Исследование профилей нагрузки для программно-определяемой СХД, которые будут основой для математического моделирования и оценки других типов нагрузки на программно-определяемую СХД;

3.2. Разработка математической модели работы программно-определяемой СХД для основных профилей нагрузки;

3.3. Разработка модели экспертной системы, реализующей нейросетевые методы для проведения онтологического анализа диагностической информации о работе программно-определяемой СХД;

3.4. Выбор и обоснование базового варианта построения программно-аппаратной платформы программно-определяемой СХД c модулем для повышения производительности её работы, за счёт использования нейросетевых методов при оценке профилей нагрузки.

В ходе выполнения Этапа № 3 проекта получены следующие основные результаты: 

• Проведено исследование профилей нагрузки для программно-определяемой СХД, которые будут основой для математического моделирования и оценки других типов нагрузки на программно-определяемую СХД; 
• Разработана математическая модель работы программно-определяемой СХД для основных профилей нагрузки; 
• Разработана модель экспертной системы, реализующей нейросетевые методы для проведения онтологического анализа диагностической информации о работе программно-определяемой СХД; 
• Осуществлен и обоснован выбор базового варианта построения программно-аппаратной платформы программно-определяемой СХД c модулем для повышения производительности её работы, за счёт использования нейросетевых методов при оценке профилей нагрузки. 

На Этапе № 4 «Разработка системотехнических решений по построению ЭО программно-аппаратной платформы программно-определяемой СХД» в период с 14.12.2021 по 31.03.2022 выполнялись следующие работы:

4.1. Предварительное исследование программно-аппаратной платформы программно-определяемой СХД;

4.2. Создание модели системы программно-аппаратной платформы программно-определяемой СХД;

4.3. Исследование модели программно-аппаратной платформы программно-определяемой СХД;

4.4. Микропроектирование экспериментального образца СХД;

4.5. Макропроектирование экспериментального образца СХД.

В ходе выполнения Этапа № 4 проекта получены следующие основные результаты: 

• Выполнен анализ архитектуры построения распределенной СХД;
• Исследована и создана модель системы программно-аппаратной платформы программно-определяемой СХД;
• Разработано системотехническое решение по выполнению микропроектирования (внутреннего проектирования) экспериментального образца СХД;
• Разработано системотехническое решение по выполнению макропроектирования (внешнего проектирования) экспериментального образца СХД;
• При системотехническом проектировании экспериментального образца распределенной СХД были определены необходимые составляющие, а также разработаны требования к ее компонентам.

На Этапе № 5 «Разработка программно-алгоритмического решения для модуля генерации профилей нагрузки на подсистему ввода-вывода программно-аппаратной платформы программно-определяемой СХД» в период с 01.04.2024 по 30.06.2022 выполнялись следующие работы:

5.1. Формализация требований к программно-алгоритмическому решению генерации нагрузки, а также к профилю нагрузки;

5.2. Исследование средств генерации нагрузки на подсистему ввода-вывода;

5.3. Исследование механизмов профилирования нагрузки для программно-определяемой СХД;

5.4. Исследование профилей нагрузки, в том числе их классификация, подготовка инфраструктуры для сбора и обработки данных, проведение анализа характеристик работы типов приложений, а также профилирование нагрузки приложений в реальном времени;

5.5. Разработка системы тестирования, включающая подготовку программной среды для разработки системы тестирования, реализацию алгоритмического решения генерации нагрузки на подсистему ввода-вывода, а также сбор результатов измерений.

В ходе выполнения Этапа № 5 проекта получены следующие основные результаты: 

•  Работы, указанные выше, выполнены в полном объеме и согласно ТЗ;
• Разработано программно-алгоритмическое решение для генерации нагрузки на программно-определяемую СХД:

·      обладающее программным интерфейсом для запуска генерации нагрузки на программно-определяемую СХД,

·      позволяющее осуществить выбор профиля нагрузки на программно-определяемую СХД,

·      позволяющее осуществить генерацию нагрузки на программно-определяемую СХД в соответствии с определённым профилем,

·      позволяющее обеспечивать управление размером блока данных,

·      обеспечивающее выбор использования операций чтения или записи при обращении к диску,

·      имеющее возможность определять последовательность или случайность обращений к диску,

·      имеющее возможность задавать глубину очереди диска при обращении к диску,

·      имеющее возможность определять количество операций ввода-вывода, сгенерированного приложением,

·      позволяющее автоматическую смену профилей при генерации нагрузки на программно-определяемую СХД,

·      обеспечивающее автоматический сбор метрик производительности и системных логов, для последующей их передачи на анализ экспертной системой,

·      функционирование разработанного решения происходит под управлением операционных систем Ubuntu Linux версии 20.04 и CentOS версии 8,

·      обеспечивает работу с входными данными форматов JSON, XML;

-      Разработана системы тестирования, а также программа и методика испытаний.

На Этапе № 6 «Разработка программно-алгоритмического решения для ЭО модуля повышения производительности на базе нейронной сети программно-аппаратной платформы программно-определяемой СХД» в период с 01.07.2022 по 13.12.2022 выполнялись следующие работы:

6.1. Разработка архитектуры программного обеспечения ЭО модуля повышения производительности СХД на базе искусственной нейронной сети (ИНС);

6.2. Определение архитектуры ЭО для решения задач подбора параметров для повышения производительности СХД;

6.3. Разработка платформ глубокого обучения алгоритмов классификации нагрузки и конфигурации параметров СХД, а также алгоритма поиска аномалий.

В ходе выполнения Этапа № 6 проекта получены следующие основные результаты: 

• Работы, указанные выше, выполнены в полном объеме и согласно ТЗ;
•  Осуществлен выбор инструментов разработки;
• Сформирован первоначальный перечень аномалий нагрузки;
• Проведено обучение ИНС на типовых профилях нагрузки для задач поиска аномалий;
• Разработано программно-алгоритмическое решение для ЭО модуля повышения производительности на базе нейронной сети программно-аппаратной платформы программно-определяемой СХД;
• Проведен эксперимент по обработке программно-алгоритмическим решением для ЭО неискусственной прикладкой нагрузки СХД;
• Разработана программа и методика испытаний решения.

На Этапе № 7 «Разработка программно-методического обеспечения экспериментальных исследований ЭО программной-аппаратной платформы программно-определяемой СХД» в период с 14.12.2022 по 10.11.2023 выполнялись следующие работы:

7.1. Проведение исследований по определению значений технических характеристик,
не заданных в ТЗ, в части:

• графематического, морфологического и синтаксического анализа больших данных диагностической информации о работе подсистемы ввода-вывода и параметров производительности, получение их качественных характеристик;
• онтологического анализа текстовых данных диагностической информации о работе подсистемы ввода-вывода и параметров производительности, определение граничных значений, характеризующих онтологию;
• семантико-когнитивного анализа применимого к экспертной системе, определение требуемых значений, характеризующих данный анализ;
• логического вывода лингвистических рекомендаций на основании результатов семантико-когнитивного анализа диагностической информации о работе подсистемы ввода-вывода и параметров производительности, определение требуемых значений;
• обучения динамической составляющей ядра онтологической базы знаний, определение требуемых значений нейросетевых методов;
• зависимостей и связей конфигурационных параметров друг с другом, с производительностью программно-определяемой СХД, а также с параметрами отказоустойчивости, определение требуемых значений метрик.

7.2. Разработка программ и методик испытаний с учетом ТЗ на НИР, а также определенных по результатам исследований технических характеристик.

В ходе выполнения Этапа № 7 проекта получены следующие основные результаты: 

• Разработаны программы и методики испытаний согласно техническим характеристикам;
• Проведены исследования по определению значений технических характеристик, не заданных в ТЗ;
• Построена OWL-модель онтологии диагностической информации;
• Построена модель зависимостей терминов семантического дерева;
• Разработана архитектура ИНС динамического обновления составляющей ядра онтологической базы знаний;
• Разработана архитектура ИНС выявления зависимостей и связей конфигурации;
• Определены требуемые значения, характеризующие онтологию, семантико-когнитивный анализ данных, метрики;

Разработаны программно-методические рекомендации для определения параметров однозначной оценки выполнимости работ в рамках НИР.

На Этапе № 8 «Экспериментальные исследования разработанных решений. Обобщение и оценка результатов исследований в части ЭО модуля повышения производительности» в период с 01.04.2023 по 27.11.2023 выполнялись следующие работы:

8.1. Проведение экспериментальных исследований ЭО программно-аппаратной платформы программно-определяемой СХД с модулем повышения производительности
на базе нейронной сети.

8.2. Корректировка системотехнических и программно-алгоритмических решений по созданию ЭО программно-аппаратной платформы программно-определяемой СХД
с модулем повышения производительности на базе нейронной сети.

8.3. Разработка и отправка заявительных документов для регистрации программного обеспечения модуля генерации нагрузки на подсистему ввода-вывода

В ходе выполнения Этапа № 8 проекта получены следующие основные результаты:

• Проведены экспериментальные исследования, достигнуто повышение производительности ЭО программно-аппаратной платформы;
• Подтверждена корректность системотехнических решений по созданию ЭО программно-аппаратной платформы;
• Проведена корректировка программно-алгоритмических решений ЭО программно-аппаратной платформы, разработана модель сбора диагностической информации о работе приложений системы хранения данных;
• Проведена оценка повышения производительности приложений ЭО программно-определяемой СХД;
• Разработаны и отправлены заявительные документы для регистрации программного обеспечения модуля генерации нагрузки на подсистему ввода-вывода;
• Разработана программа и методика испытаний программно-алгоритмического решения для ЭО модуля повышения производительности программно-определяемой СХД.