За последние десятилетия в процессе проектирования и разработки новой авиационной техники произошли значительные изменения. В отечественной авиастроительной отрасли произошел переход к новой технологии проектирования, основанной на всеобъемлющем использовании современных средств вычислительной техники. Благодаря этому кардинально увеличились объемы математического, имитационного и суперкомпьютерного моделирования.
Благодарим Департамент корпоративных коммуникаций ПАО "Объединенная авиастроительная корпорация" за предоставление данного материала.
Все самое интересное и уникальное мы публикуем в альманахе «Управление производством». 300+ мощных кейсов, готовых к использованию чек-листов и других полезных материалов ждут вас в полном комплекте номеров. Оформляйте подписку и получайте самое лучшее!
Лидером в этой области в российском авиапроме стала компания «Сухой», для которой суперкомпьютерные технологии стали одним из важнейших компонентов процесса проектирования авиатехники. По сравнению с экспериментальной отработкой суперкомпьютерное моделирование позволяет создать более рациональную конструкцию за меньшее время и при меньших затратах средств.
Сегодня в «Сухом» суперкомпьютерные технологии используются практически на всех этапах разработки новых образцов авиационной техники. С их помощью рассчитываются будущие оптимальные характеристики, существенно улучшаются потребительские свойства продукции. Кроме того, математическое моделирование позволяет провести такие испытания, которые невозможно реализовать на натурных образцах.
Сначала немного истории. Впервые термин «суперкомпьютер» был использован в газете New York World в 1929 году. Так автор заметки назвал новый большой табулятор – электромеханическую машину, предназначенная для автоматической обработки информации, записанной на перфокартах. Этот чудо-агрегат изготовила фирма IBM для Колумбийского университета.
Однако настоящий прорыв в области компьютеров произошел с началом применения в них полупроводниковых транзисторов. В 1964 году Сеймур Крей (Seymour Cray) из Control Data Corporation создал свой знаменитый первый суперкомпьютер CDC 6600. По сути, это была хорошо отлаженная традиционная ЭВМ, которая работала быстрее, чем ее более универсальные аналоги. Производительность компьютера принято измерять во флопсах (от англ. floating point operations per second, FLOPS): это сколько операций с числами с плавающей запятой в секунду выполняет вычислительная система. Так вот, производительность CDC 6600 была 500 килофлопс (5´105 флопс) при выполнении стандартных математических операций.
С тех пор многое изменилось в самой суперкомпьютерной технологии. Ускорение обработки информации шло не только за счет разгонки процессоров, но и путем создания многопроцессорных вычислительных систем, применения алгоритмов распараллеливания программ. Сегодня стали нормой массово-параллельные суперкомпьютеры с сотнями тысяч и даже миллионами процессоров.
Долгое время лидером в области суперкомпьютеров были США благодаря множеству технологических компаний. В 1980-90-х годах значительных успехов в этой области достигла Япония. Последние два десятилетия колоссального прогресса в сфере суперкомпьютеров добился Китай: по состоянию на июнь 2020 года в рейтинг TOP-500 самых мощных несекретных вычислительных систем мира входило 226 суперкомпьютеров в Китае, лишь 114 в США,29 в Японии. В России в этот рейтинг попали лишь два суперкомпьютера – «сберовский» «Кристофари» и «Ломоносов-2» в московском университете.
Самым быстрым суперкомпьютером в настоящее время считается Fugaku японской компании Fujitsu, запущенный в июне 2020 года. Он состоит из 7 630 848 ядер, а его производительность составляет 442 петафлопса (4,42´1017 флопс), то есть примерно в триллион раз быстрее CDC 6600!
Сегодня без суперкомпьютеров невозможно представить составление точных прогнозов погоды, исследования изменения климата, разведку нефти и газа, молекулярное моделирование. На таких сверхмашинах проводится моделирование детонации ядерных зарядов, на реальные испытания которых во всем мире введен мораторий. Суперкомпьютеры играют важную роль и в моделировании физических процессов. А вот это, как раз, напрямую используется в современном авиастроении.
В России в 2009 году в соответствии с решением комиссии при президенте РФ по модернизации и технологическому развитию экономики был принят проект «Развитие суперкомпьютеров и грид-технологий». Реализация проекта была поручена госкорпорации Росатом. В число головных исполнителей проекта вошло ОКБ Сухого вместе с основными партнерами холдинга «Сухой» в области разработки и производства авиационной техники. О реальных достижениях применения методов моделирования в авиапроме мы поговорили с главным конструктором суперкомпьютерных технологий ОКБ Сухого (компания «Сухой») Александром Корневым.
- ОКБ Сухого участвует в программе «Развитие суперкомпьютеров и грид-технологий» с 2009 года. Но ведь и до этого ваша компания уже использовала методы матмоделирования?
- У нашей фирмы очень богатая история по применению математического моделирования. Она начинается с 1970-х годов, когда Павел Осипович Сухой подписал с Анатолием Алексеевичем Дородницыным – основателем и первым директором вычислительного центра Академии Наук СССР – приказ о сотрудничестве, в который были включены специалисты ОКБ Сухого и математики вычислительного центра. Так началась работа по созданию первой отечественной системы автоматизированного проектирования, ориентированной на задачи авиационной промышленности. Эта работа была доведена до уровня получения премии Совета министров СССР. По воспоминаниям участников, это был первый и единственный случай такой высокой оценки подобных работ в стране. С тех пор в ОКБ Сухого супер-ЭВМ используются непрерывно. Они сменяют поколения – это были и отечественные компьютеры, и зарубежные. Но отношение к моделированию с тех пор всегда было трепетное, в том числе со стороны руководства предприятия. В 2002 году ОКБ Сухого с участием широкой кооперации научных институтов и коммерческих предприятий предприняло попытку создать комплексную программу инженерных расчетов, отдельные компоненты которой по сей день используются в задачах проектирования. С 2009 года, при поддержке президента РФ, работы по созданию отечественных сред инженерного анализа усилились, а участие ОКБ Сухого как соисполнителя сыграло одну из важных ролей – подготовленная площадка для внедрения новой технологии.
В самом начале этого тысячелетия ОКБ Сухого было одним из пионеров по применению электронного макета изделия – базовой технологией для применения высокоточных физико-математических моделей. Этот шаг долго готовился, и вот, при проектировании Су-35, а затем и Су-57 эти технологии стали очень широко использоваться и давать свой эффект. Квинтэссенция опыта по созданию электронного макета сегодня сосредоточена в работах по новому проекту – СК-70.
На сегодня мы стараемся делать математические модели как можно более высокоточными, чтобы они уже на ранних этапах проектирования давали возможность понять, насколько будет адекватной техника, что нужно сделать, чтобы она стала еще лучше, а также сократить сроки на доводочные работы и испытания.
Узнать больше: Ориентация на модель: цифровые технологии в авиастроении
- В чем проявляется эффект от применения суперкомпьютерных технологий?
- Эффекты в сроках выполнения работ по гособоронзаказу, и в других многочисленных преимуществах. Когда шли работы по Су-35 и Су-57, все понимали, что это только начало, и электронный макет должен развиваться в сторону проверки требований, которые предъявляются к технике. Возможность же проверить разработанный электронный макет на соответствие требованиям существует только при использовании соответствующих адекватных математических моделей. Отечественные суперкомпьютерные технологии, уверенно пройдя период созревания с 2010 года, сейчас достигли промышленного уровня, так что мы можем уверенно описывать отдельные виды испытаний. Естественно, развитие отечественных физико-математических моделей продолжается, дорабатываются существующие и создаются новые. Здесь следует отметить мощную поддержку со стороны Министерства промышленности и торговли России. Уже на ранних этапах проектирования мы можем провести многочисленные виртуальные испытания и понимать, что заложенное сочетание технологий, материалов, геометрической формы позволит получить уже на первом опытном образце максимальную готовность изделия. То есть, количество доработок будет минимально. Осознавая это, мы и беремся теперь за новые более амбициозные задачи.
- Как относятся к работе в области матмоделирования главный госзаказчик «Сухого» – Министерство обороны?
- Они понимают, что одним из направлений, с помощью которого можно сократить сроки проведения опытно-конструкторских работ, как раз является широкое применение математического моделирования. Выполнив обобщение разномасштабных по времени и физическим процессам математических моделей, обеспечив многодисциплинарность – то есть взаимодействие дисциплин за счет различных принципов связывания, формируется комплекс математических моделей. Этот комплекс, также называемый «виртуальная модель функционирования», дает первичное представление о поведении проектируемого изделия, о его характеристиках еще на начальном этапе – еще до появления первых опытных образцов, позволяя как можно раньше отвергнуть или принять отдельные технические решения. На этапе стендовых, наземных и летных испытаний модель будет уточняться. После выполнения первых натурных испытаний проводится валидация – то есть осуществляется подтверждение достоверности – виртуальной модели функционирования реальному экземпляру, и только тогда виртуальная модель функционирования становится функциональным «цифровым двойником» изделия. Благодаря применению виртуальной модели функционирования и функционального цифрового двойника возможно сокращение всего цикла опытно-конструкторских работ по срокам на 10-20 %. Этого возможно достичь за счет синергии: высокой готовности первых образцов к испытаниям, снижения объема конструкторских и государственных сертификационных испытаний.
- Для моделирования вы используете зарубежные или отечественные продукты?
- В ходе выполнения комплекса мер по импортозамещению действует распоряжение вице-премьера, по которому к 2023 году все предприятия военно-промышленного комплекса должны осуществить переход на отечественный программный продукт. Мы это распоряжение строго соблюдаем, и сейчас вышли на уровень, когда все программные средства – от операционной системы, системы управления базами данных, системы управления данными о продукте, и до набора продуктов инженерного анализа, – все они являются отечественными. Мы осуществляем этот переход не только с целью импортозамещения, но и делаем некий шаг вперед, выполняя интеграцию всех программных пакетов между собой таким образом, чтобы в конечном итоге выйти на понятие «цифровой двойник» для всех этапов управления жизненным циклом изделия. Это относительно свежее понятие и в мировом масштабе, и в отечественной практике. До сих пор нет нормативных документов, раскрывающих его суть. Поэтому, мы с коллегами из Минпромторга России, из других предприятий промышленности сейчас стараемся выработать единообразное понимание, что же это такое, из чего состоит, на каком этапе он появляется в том самом виде «цифрового двойника».
- Какими силами располагает ОКБ Сухого для выполнения этих работ?
- Изначально несколько десятков специалистов в конструкторском бюро, а два года назад руководство предприятия приняло решение усилить направление создав специальный научно-исследовательский центр суперкомпьютерных технологий. Сейчас в центре работает более тридцати человек, дополняя мощности КБ. Подразделения центра территориально разделены в силу различия обрабатываемой информации. На открытой площадке расположены инженеры-расчетчики, для разработки новых технологий моделирования. Научно-исследовательский центр состоит из ряда бригад по направлениям и уровням математического моделирования, а также из нескольких подразделений, которые обеспечивают организационное управление проектной деятельностью и вычислительными ресурсами, взаимодействие с кооперацией и внешними заказывающими организациями в области научного и экспериментального сотрудничества.
- Что делает центр? Как ведется его работа: по запросу или инициативно?
- Работы построены таким образом, чтобы максимально оперативно взаимодействовать с тематическими подразделениями конструкторского бюро для подключения к решению задач, стоящих перед конструкторами, и обеспечения их квалифицированной научно-технической поддержкой. Тем самым, проектировщикам легче выбрать лучший вариант конструкции и обоснованно утвердить его у главного конструктора изделия.
Работа в центре суперкомпьютерных технологий ОКБ Сухого
- Каковы практические результаты этой поддержки?
- На счету центра суперкомпьютерных технологий ОКБ Сухого уже много крупных достижений в области различных мультифизичных задач, в том числе модели движения самолета на больших углах атаки, нестационарная аэродинамика при отклонении органов управления и при их отказах, многочисленные задачи по применению авиационных средств поражения и отделяемых грузов.
- Могли бы рассказать о каком-то конкретном случае?
- Особую гордость у нас вызывает методика расчета работы системы пожаротушения для самолета С-70Б, которую компания «Сухой» разработала совместно с российским федеральным ядерным центром «Всероссийский научно-исследовательский институт экспериментальной физики» (РФЯЦ-ВНИИЭФ). На базе отечественного программного продукта инженерного анализа «Логос» были разработаны подробные компьютерные модели системы пожаротушения и отсеков силовой установки. Гидравлическая часть содержит полные 3D-модели огнетушителей, системы разветвленных трубопроводов с коллекторами, более 500 форсунок для распыления огнегасящей смеси. Газодинамическая модель, состоящая из примерно 50 млн ячеек, основана на детализированных геометрических обводах отсека со всеми конструктивно-компоновочными особенностями, включая воздухозаборный тракт, двигатель с обвязкой и эжекторной частью сопла. Эти модели прошли валидацию на базе ранее проведенных стендовых и летных испытаний самолетов Су-35 и Су-57. Выполненные расчетные исследования убедительно доказали достаточность системы пожаротушения. Математическое моделирование позволило существенно сократить ресурсы, которые надо было затратить на создание системы пожаротушения С-70Б, время работ сократилось в несколько раз, финансовых средств потратили меньше в несколько десятков раз!
Еще один пример. Существует целый класс так называемых связанных задач. Их решение дает возможность существенно повысить точность определения характеристик летательного аппарата. Самолет – конструкция упругая, которая при различных внешних воздействиях деформируется. Эти деформации влияют на аэродинамику – изменяется интерференция отдельных агрегатов. Классическая аэродинамика подразумевает абсолютно жесткий самолет, а прочность учитывает аэродинамику довольно упрощенно, эти допущения вносят неточности в расчеты. Соединив дисциплины, избавив от допущений и неточностей, удается получить нагружение, соответствующее реальному, и исследовать полную картину обтекания с учетом деформаций. Это – так называемая статическая и динамическая упругость. Это очень важно, особенно для наших высоконагруженных конструкций, испытывающих высочайшие перегрузки при нахождении в различных сложных атмосферных условиях и в условиях применениях авиационных средств поражения. Такая связка дает возможность сократить отдельные виды испытаний по аэродинамике и прочности, и быстрее выйти на другие виды испытаний.
- По каким направлениям идет применение суперкомпьютеров в компании?
- Сегодня суперкомпьютерные технологии нам представляются в виде пяти главных составляющих, где основная – это вычислительные ресурсы. Мы занимаемся этим каждый день.
Вторая главная составляющая – это набор отечественных пакетов программ, мы в основном базируемся на продуктах «Логос» разработки РФЯЦ-ВНИИЭФ. Это – целая серия программных продуктов по различным дисциплинам и способам их увязки между собой. Применяем еще два отечественных пакета – это пакет одномерного анализа SimInTech и среда моделирования динамических многокомпонентных механических систем Euler.
Для того, чтобы проверять адекватность всех моделей, мы бережно храним данные экспериментов, которые проводились как у нас на территории, так и с помощью наших смежников, и, самое главное, в наших летно-исследовательских центрах в Ахтубинске и в Жуковском. Это – третья составляющая.
Четвертая составляющая – это регламенты и нормативы, которые позволяют нам эти модели все больше и больше интегрировать в процесс проектирования. В настоящий момент этот процесс идет активно, начиная от фундаментальных, основополагающих документов, которые регламентируют процесс создания авиационной техники. В новой редакции, которая проходит сейчас процесс финального согласования, на всех этапах жизненного цикла прописаны способы, условия и правила применения математических моделей. Опираясь на этот фундаментальный документ, создается целая серия ГОСТов, которые будут описывать, – что для нас сейчас очень важно, – процесс виртуальных испытаний, которые дают максимальный эффект от применения суперкомпьютерных технологий.
Пятая составляющая – подготовка кадров. Эта работа ведется давно, во многих вузах, и в МАИ как базовом университете – поставщике кадров для КБ. Мы проводим дополнительную подготовку молодых специалистов, ориентируем молодежь на решение прикладных задач, которые случаются в нашей практике. Это дает возможность как можно быстрее погрузиться в производственный процесс и начать решать основные задачи.
- Вы рассказывали о накопление экспериментальных данных. Это только новые результаты испытаний? Или проводится оцифровка прежних данных?
- Какие-то испытания, проходящие в настоящий момент, отцифровываются сразу. Для тех, что проводились ранее, мы проводим экспертизу на предмет адекватности, полезности и достаточности данных. В случае, если этих данных действительно хватает, мы осуществляем оцифровку. Разработанная в РФЯЦ-ВНИИЭФ единая база данных у нас развернута на специальных серверах, в ней происходит накопление экспериментальных данных в сравнении с расчетными – сотни задач.
Узнать больше: Цифровое производство: как «Туполев» создает ЕИС
- Про точность моделей: на каком уровне можно и остановиться? Грубо говоря, когда описываем, как шарик катится по плоскости, нет смысла переходить на атомный уровень. Существуют какие-то разумные пределы детализации?
- Безусловно. В нашей области сейчас точности моделей обусловлены теми экспериментальными данными, с которыми мы их сравниваемся. И, если мы понимаем, что простая модель не удовлетворяет требованиям по точности достоверному эксперименту, – а эксперимент обязательно должен быть достоверным, в противном случае сравнение бессмысленно, – мы повышаем точность различными способами: например, используем другую физическую модель, прошедшую всестороннюю валидацию. На базе суперкомпьютерных технологий мы можем построить дискретную модель большой размерности. Такими постепенными шагами мы подбираем рациональное сочетание настроек и состав расчетной модели, чтобы она максимально адекватно описывала все происходящее и давала максимальный эффект за приемлемое время расчета.
- Что может дать более подробная модель, например, в аэродинамике?
- Она дает качественное решение во всех точках исследуемого пространства. Это дает возможность инженеру получить более богатую информацию для анализа, чем в натурном эксперименте. Например, для аэродинамики мы строим сетки такого размера, что, например, толщина первой ячейки – несколько микрон, а общий объем дискретной модели доходит до сотен миллионов ячеек. Можно и больше, но пока мы не располагаем достаточными вычислительными ресурсами для сеток миллиардного и более количества ячеек. Это уже ближайшее будущее, к которому мы стремимся.
Модель обтекания самолета при полете на крейсерском режиме
- Как происходит доказательство достоверности модели?
- Технология математического моделирования в задачах испытаний методически нами постулируется в трех формах и их комбинациях. Первая форма –компьютерная модель состоит из совокупности отдельных моделей, каждую из которых можно проверить на элементарных образцах и на элементарных экспериментах. Это делается достаточно быстро, и это – достоверно.
Второй способ доказательства достоверности – от прототипа. Например, создано и испытано изделие. Мы создаем его математическую модель, проверяем адекватность этой модели на ранее проведенных экспериментах, и строим точно такую же модель для вновь создаваемого изделия. Тем самым мы гарантируем ее адекватность для проверенной области физических процессов.
Третий подход очень сильно распространен в автомобильной промышленности. Доказательство пассивной безопасности современных автомобилей обеспечено с помощью виртуальных моделей. По всем нормам нужно проводить около 200 краш-тестов для каждого кузова – это огромные деньги и сроки. Сейчас проводят только два краш-теста, случайно выбранных сертифицирующим органом, а 200 требуемых, перед началом натурных испытаний, проводятся на суперкомпьютере и предъявляются на сертификацию. После проведения двух случайно выбранных тестов осуществляется поверка с ранее проведенными виртуальными экспериментами. Если их результаты попадают в заданные доверительные интервалы, вся номенклатура из 200 виртуальных испытаний будет засчитана, и автомобиль сертифицирован по пассивной безопасности.
Мы предлагаем точно такой же подход. Когда самолет уже существует, с использованием первых двух способов готовится виртуальная модель. На ней проводится весь цикл виртуальных испытаний. Подойдя к натурным испытаниям, выборочно из всей планируемой программы выбирается несколько режимов, которые назначает испытательный центр. На них проводятся натурные испытания. Результаты сравниваются с виртуальными. Если все хорошо, мы перешагиваем через массу рутинных и дорогостоящих натурных испытаний, а самолет переходит к другой группе испытаний. Такими вот прыжками можно сокращать количество испытаний.
- Какие требования по знаниям к работающему у Вас инженеру-расчетчику?
- Уровень требований к инженеру-расчетчику сейчас очень высок. Это связано со значимостью результатов математического моделирования как в проектировании, так и в испытаниях. Все применяемые модели должны быть обоснованы, тщательно задокументированы и проверены экспертами. Иначе виртуальные испытания не могут быть приняты для сокращения и замены натурных.
- Каково будущее суперкомпьютерных технологий?
- Для нас будущее наступает уже сейчас, мы им занимаемся уже сегодня. Мы ориентируемся на многосвязанность моделей. Она дает возможность повысить точность, дать возможность понять, что происходит в конструкции, что происходит в газе, жидкости, которые принимают участие в эксплуатационном сценарии, который мы описываем.
Еще один пример многосвязанных моделей – это модели всех систем. В самолете очень много агрегатов, которые работают одновременно в разных средах: гидрожидкости, топливо, воздух, всевозможные газы, электричество. Объединить их и создать комплексную математическую модель, описывающую все эти компоненты и рабочие тела, сейчас возможно, используя упрощенные модели, что позволяет моделировать рядовые эксплуатационные ситуации. В случае необходимости проверки работы каждого агрегата на переходных или на каких-то критических режимах, мы этот маленький промежуток времени – например, несколько секунд – описываем с помощью высокоточных моделей, и набором данных результаты переносим в комплексную модель, но всеобъемлющую. Это дает возможность посмотреть, как вся система отреагирует на такие ситуации в локальной зоне. Но описать одновременно все компоненты самолета сейчас не представляется возможным.
- Сегодня это невозможно из-за «железа» или из-за отсутствия моделей?
- Это невозможно из-за отсутствия вычислительных ресурсов. Сейчас у нас на фирме есть доступ к суперкомпьютерам суммарной производительностью около сотни терафлопс – сто триллионов операций в секунду. В ближайшее время мы планируем поднять этот уровень до петафлопса. В ближайшие 1-2 года в мире появится эксафлопсовые машины. Есть классы задач, в которых такая производительность может быть применена: молекулярная динамика, исследования биологических процессов. Но такие машины для наших задач не очень подходят. Поэтому машины нашего класса немного отстают от общего тренда. Тем не менее, создание комплексной математической модели – всеобъемлющей и высокоточной – возможно, по прогнозам ведущих мировых специалистов, в ближайшие 50-80 лет.
К этому мы когда-нибудь придем. Но такую задачу надо решать уже сейчас, как можно более правдиво. Поэтому мы используем границу по производительности и подтягиваем наши возможности по матмоделям – применяем рациональный подход, все время повышаем границу качественности модели по мере того, как у нас появляются новые вычислительные ресурсы.
- ОКБ Сухого уже более 10 лет ведет работы совместно с РФЯЦ-ВНИИЭФ. Помимо поставки суперкомпьютеров они предлагают компании свои вычислительные мощности?
- Да, это так. В 2010 году у них была запущена мощная машина, к ней начали подключаться предприятия, в том числе и мы. Для подключения используется обычный интернет-канал. Этот канал у нас до сих пор используется, в ОКБ есть десять подключенных рабочих мест.
Эта машина в большей степени нам помогает отрабатывать технологии моделирования вместе с математиками из Сарова. При появлении новой задачи или выявлении ошибок в программном продукте мы оперативно связываемся с РФЯЦ-ВНИИЭФ. Их математики и программисты видят, какую задачу мы решаем, что необходимо исправить. Именно благодаря этому каналу стало возможным такое интенсивное развитие качественного отечественного программного продукта. С другими партнерами, особенно зарубежными, такое взаимодействие просто невозможно. Очень редко, где можно увидеть такую же форму взаимодействия, когда и скорость отклика на требования потребителя продукта высочайшая, и результат получается качественный и очень быстро. Это очень важно и ценно. Это – залог успеха, который сейчас демонстрирует ОКБ Сухого в области применения суперкомпьютерных технологий.
Текст: Константин Лантратов
