1 сентября в МГУ открыт новый суперкомпьютер, который поможет в проведении научных исследований в области ИИ, решении задач по разработке отечественного ПО и подготовке высококвалифицированных специалистов.
В МГТУ им. Н. Э. Баумана разработали российский суперкомпьютер Тераграф
Как раз для того что бы можно было строить суперкомпутеры из азиатской россыпи не подпадая под различные ограничения на продажу технологий. А мощные процессоры сейчас commodites. Как собственно и материнские платы. Естественно данную «устоявшуюся» в узких кругах терминологию журналисты транслируют напрямую, а читатели не понимают вообще.
Владимир Ромашов 11:06, 16 ноября 2021 В рейтинге Тор500 самых мощных мировых суперкомпьютеров проект «Яндекс» под названием «Червоненкис» занял 19 место в общемировом зачёте, и, таким образом, стал самым мощным решением в России и Восточной Европе. Производительность суперкомпьютера «Червоненкис» составляет 21. В рейтинг Топ500 попали ещё два суперкомпьютера «Яндекс» — проекты «Галушкин» и «Ляпунов».
Затем в другом нашем ДЦ, в городе Сасово в Рязанской области, появился первый большой кластер. Мы назвали его в честь Алексея Ляпунова — знаменитого математика, чьи работы лежат в основе кибернетики и теории машинного обучения. Пришлось искать причины и оптимизировать. Коллеги из локального офиса NVIDIA посоветовали потратить ещё несколько дней на замеры производительности, чтобы зарегистрировать кластер в списке Top500. Но в тот момент мы от этого отказались: торопились отдать кластер нашим ML-инженерам, чтобы загрузить его работой уже на новогодние праздники. Тем более, что тогда мы ещё не осознавали никакой практической пользы от замеров. Логично было распространить этот опыт и на GPU.
Для размещения кластеров выбрали недавно переданные в эксплуатацию модули в дата-центрах Сасово и Владимира. Сами кластеры назвали соответственно «Червоненкис» в честь Алексея Червоненкиса, одного из крупнейших теоретиков машинного обучения и «Галушкин» Александр Галушкин — один из главных исследователей теории нейронных сетей. Размер обусловлен встроенной системой охлаждения. Они связывают GPU для вычислений. Это продиктовано энергопотреблением — до 20 кВт. Cloud, но об этом поговорим в другой раз. Обратите внимание на отсутствие любых декоративных пластиковых элементов.
Зато есть много свободного места, чтобы воздух мог обдувать огромные радиаторы GPU в центре, именно за счёт этого получается экономить электричество на охлаждении. В кластере 199 серверов с GPU — такое количество обусловлено экономической целесообразностью сборки ядра Infiniband по стандартной схеме на 800 портов с использованием 40-портовых 1U HDR-коммутаторов. Двухсотый сервер не имеет GPU в своем составе и используется для управления сетью Infiniband. Это позволило создавать кластеры в два раза большего размера по сравнению с коробочным решением SuperPod. Например, вот так выглядят типичные итерации обучения. О г—Замеры После успешного решения этих и других проблем мы наконец-то получили заветное линейное масштабирование на 152 хостах, доступных на тот момент. Получилось 15,2 петафлопса.
Но была одна проблема: пока мы настраивали кластер, закрылось окно подачи в июньский рейтинг. Мы опоздали буквально на одну неделю. Поэтому решили взять паузу с замерами linpack до осени. За это время мы внедрили все найденные оптимизации на новых кластерах и отдали их пользователям — разработчикам и инженерам внутри компании. Кластер «Ляпунов» решили пока не выводить на обслуживание, потому что он в два раза меньше и у нас не было уверенности, что в нём проявится баг с адаптивным роутингом. Обслуживание означало задержку в расчётах критически важных ML-обучений. Поэтому тоже решили отложить до осени.
Первый замер 8 октября мы провели первый замер всех трёх кластеров. ML-инженеры согласились отдать кластеры всего на несколько часов: за это время нужно было сделать несколько прогонов, чтобы подобрать оптимальные параметры. Стало очевидно, что проблема с адаптивным роутингом влияет на него больше, чем мы полагали. Мы решили выводить кластер на обслуживание как можно раньше. Второй замер 19 октября «Ляпунов» был успешно обновлён. Теперь самое интересное. Это очень круто.
В процессе второго замера обратили внимание, что график сети продолжает быть нестабильным. Как выяснилось, проблема в эффекте резонанса мониторинговых сервисов. Третий замер Буквально на прошлой неделе мы закончили монтаж новых стоек — число узлов в кластере «Галушкин» должно увеличиться со 104 до 195. Очень хотелось успеть обновить результат до закрытия окна подачи в Top500, то есть до 7 ноября. Но к этому моменту мы успели подключить и проверить только 136 узлов. Зато у нас уже было гораздо больше опыта, и мы починили проблему с излишним влиянием мониторингов. Поэтому результат получился очень хороший: 16,02 петафлопса.
В сумме по трём кластерам вышло 50,3 петафлопса. В ближайшее время нужно проверить оставшиеся узлы. Нам ещё есть над чем работать, но это уже другая история. Чему мы научились Мы строили свои кластеры для решения реальных задач машинного обучения, руководствуясь имеющимся опытом в серверах, сетях, средах окружения и так далее.
Мы занимаемся синтезом архитектуры суперкомпьютеров, разрабатываем облик цифровой фотонной машины и вычислительные элементы: арифметико-логические устройства, системы синхронизации и коммуникации. Это наш вклад в общую задачу, которая стоит перед российскими учеными - создание отечественных суперкомпьютеров с производительностью, намного превышающей современный уровень. Илья Левин Однако перед учеными стоит еще несколько проблем, которые предстоит решить. Так, для фотонного компьютера нет столь же быстрой оперативной памяти и системы хранения данных.
Первый суперкомпьютер с «интуицией» создали в России. Как он работает и на что способен
К числу приоритетных задач, решению которых будет способствовать апгрейд суперкомпьютера Сколтеха, Николай Суетин относит моделирование новых материалов, в том числе, квантовое моделирование. То есть это экосистемное решение, и оно происходит в тесном взаимодействии с Фондом» Или такое направление, как биоинформатика. Если говорить о полной модели клетки, она тоже отсутствует в силу недоступности вычислительного ресурса, который мог бы посчитать полностью модель клетки на атомарном уровне. Для того объема задач, которые сегодня решает Сколтех, производительности суперкомпьютера уже недостаточно. Задач всегда больше возможности вычислений», - добавляет Николай Суетин. По одежке протягивать ножки Вопрос в том, сможет ли Сколтех содержать одну из самых мощных машин в стране. В 2016 году бразильцы закупили во Франции суперкомпьютер производительностью 1,1 петафлопс. Но едва машина начала работать, ее пришлось остановить: оказалось, что дата-центру просто не по карману оплачивать счета за электричество. Энергии вполне хватит для реализации с помощью суперкомпьютера тех практических задач, которые ставит перед собой наш инженерный университет Сколтех». Во-первых, энергоэффективность суперкомпьютера в 2016-м и в 2018-м годах — это разные вещи.
Ну, и во-вторых, предварительные расчеты показывают, что эксплуатация большого суперкомпьютера Сколтеха сможет выйти на безубыточность: «Все наши проекты ориентированы на создание новых технологий, на взаимодействие с индустрией, поэтому уж затраты на электричество мы точно окупим. Я перешел в Сколтех из Глазго, где был директором вычислительного центра Западной Шотландии. У нас было несколько сотен пользователей, которые за несколько лет получили грантов и контрактов на сумму в двадцать с лишним раз большую, чем изначальные вложения в суперкомпьютерную инфраструктуру. Мы работали в консорциуме с пятью университетами и десятками компаний, и электричество окупали. Думаю, то же самое будет и здесь. Идея заключается в том, что мы активно взаимодействуем с компаниями, как внутри периметра «Сколково» — это наш первый приоритет, - так и за его пределами», - комментирует он. При этом Максим Федоров не склонен абсолютизировать возможности суперкомпьютера. По его мнению, человечество еще бесконечно далеко от создания машины, которая приблизилась бы по интеллектуальным способностям к мозгу человека. Полуслепой Кеплер смог на основании наблюдений Тихо Браге вывести законы движения планет, которых сам никогда не видел.
В этом отношении возможности машины не превышают способностей насекомого, правда, — «очень специализированного насекомого», как выражается профессор. Такого, например, как стрекоза. До сих пор непонятно, как стрекозам удается достигать такой точности перехвата более 95 процентов при небольшом объеме мозга. Эволюция этого вида насекомых привела к созданию уникальной комбинации эффективного зрительного аппарата большие фасеточные глаза и специализированного «бортового компьютера» мозг стрекозы управляющего полетом стрекозы и предугадывающим движения ее добычи; современные технологии еще далеки от такого совершенства. Вообще насекомые — специалисты, они свои задачи выполняют очень хорошо. Только сейчас мы начинаем понимать механизмы полета насекомых. Посмотрите, насколько мало они тратят энергии на достаточно дальние пролеты! Если бы мы могли достигать такой же энергоэффективности, как у насекомого, у нас давно бы уже летали микродроны в огромном количестве; но пока нам о такой энергоэффективности остается только мечтать. Более того, до самого последнего времени загадкой являлось то, как многим насекомым например, шмелям вообще удается отрываться от земли: маленькие крылышки, небольшие мускулы… А все дело в том что у них крылья движутся по весьма нелинейной траектории, которая позволяет увеличить подъемную силу крыла по сравнению с прямым махом почти на порядок.
И опять здесь большую роль играет «бортовой компьютер» насекомого, его мозг, который адаптивно рассчитывает требуемую траекторию взмаха крыла с потрясающей быстротой порядка миллисекунды. Так что нам есть еще чему поучиться у насекомых в плане специализированных вычислений и создания автоматизированных систем управления …» «Всё — яд, и всё — лекарство» Мощный суперкомпьютер нужен, чтобы заглянуть туда, куда иначе заглянуть невозможно, утверждает профессор Федоров: «Мы знаем о недрах Земли меньше, чем мы знаем о космосе. А все потому, что пока? Нашим «телескопом» является математическое моделирование. То же касается и глубин океанов. Директор Центра Сколтеха по научным и инженерным вычислительным технологиям для задач с большими массивами данных Максим Федоров. И то же можно сказать о различных исторических событиях. Например, когда в Глазго я заведовал суперкомпьютерным центром, мы участвовали в проекте Школы Искусств Глазго по детальной реконструкции известной битвы англичан и шотландцев при Бэннокбёрне 1314 года. Сейчас детальная компьютерная анимация этой битвы, созданная с помощью нашего суперкомпьютера, является частью экспозиции в историческом музее, расположенном неподалеку от места событий.
В 1980-х такие машины занимались сложными вычислениями и широко применялись для решения научных и промышленных задач. Их современные версии используются в совсем разных областях — от математики и медицины до образования и рекламы. В отличие от обычных компьютеров, суперкомпьютеры могут использовать продвинутые методы моделирования с высокой точностью прогноза. В будущем это позволит, например, отказаться от испытаний ядерного оружия и заранее узнавать о потенциальных природных катаклизмах. Раньше при проектировании автомобиля инженеры заставляли его врезаться в стену, чтобы увидеть, насколько хорошо он выдержит удар. Это довольно дорого и требует много времени. Сегодня мы просто создаем компьютерную модель машины и заставляем ее врезаться в виртуальную стену. Систему «Червоненкис» признали самой производительной в России и Восточной Европе.
Сбербанк представил свой первый суперкомпьютер в 2019 году, тогда же машина вошла в TOP500 и стала одной их самых мощных в России. Компания использует свои машины для развития искусственного интеллекта, а также сдает мощности в аренду. Мощность: Christofari Neo 43 место — 11,95 Пф.
Министерство науки и высшего образования Российской Федерации включило суперкомпьютер «Афалина», запущенный в работу еще в прошлом году, в число самых мощных вычислительных машин страны. Современный информационный кластер обладает производительностью в 201 Терафлопс и входит в топ-20 суперкомпьютеров России. В рейтинге подобных кластеров университетов он занимает четвертое место из пяти. Они могут занимать сотни квадратных метров весить десятки тонн.
Современные суперкомпьютеры строятся по кластерному принципу и представляют собой большое число мощных вычислительных узлов, соединенных высокоскоростной локальной сетью», — сообщили в министерстве.
Компания «Яндекс» использует свои суперкомпьютеры для обучения нейросетевых моделей. Возможности суперкомпьютеров помогают переводчику «Яндекс» точнее и быстрее переводить с иностранных языков, а «Алисе» поддерживать живой диалог с пользователем.
В современном мире побеждает тот, кто лучше планирует
Этот суперкомпьютер разработан на основе передовых технологий, и он войдёт в систему с ведущими научными центрами России. Суперкомпьютер Яндекса «Червоненкис» занял 19-ю строчку всемирного рейтинга суперкомпьютеров Top500, став самой производительной системой в России и Восточной Европе. Помимо создания компактного мобильного суперкомпьютера специалисты холдинга «Росэлектроника» недавно завершили разработку новой технологии, улучшающей качество связи при передаче цифровой информации по радиоканалам КВ-диапазона. Сейчас семь российских суперкомпьютеров входят в мировой рейтинг Топ500. «Квантовый компьютер функционирующий, он гораздо страшнее атомный бомбы», — считает генеральный директор компании Acronis, сооснователь Российского квантового центра Сергей Белоусов.
Суперкомпьютер Яндекса признали самым мощным в России
Сегодня в МГУ начинает работать новый суперкомпьютер мощностью 400 петафлопс (10 в 15 степени операций в секунду). В Росгидромете запустят повышающий качество прогнозов суперкомпьютер К концу 2018 года в России будет запущен новый суперкомпьютер, который займется прогнозированием опасных погодных явлений, рассказали в Росгидрометцентре. В Новосибирске учёные разработали и запустили суперкомпьютер, который обладает впечатляющей вычислительной мощностью. Семь российских суперкомпьютеров не идут ни в какое в количественное сравнение с более чем 160 американскими в рейтинге Top500. Например, самый мощный суперкомпьютер в России «Червоненкис» за полгода (с июля по ноябрь) опустился в мировом рейтинге на 3 пункта (еще в июле 2022 года он занимал 22 место).
Академик Каляев предложил объединить суперкомпьютеры под управлением ИИ
| На пути к зеттафлопсу: в НЦФМ осваивают новые технологии для создания суперкомпьютеров | 9.2. Суперкомпьютеры, установленные в Российской Федерации. На ноябрь 2022 года в списке Top500 имелись 7 машин, установленных в России. |
| В России разработан первый в мире суперкомпьютер для цифрового «клонирования» людей и городов. | В таблице ниже можно увидеть информацию о российских суперкомпьютерах, представленных в недавнем мировом рейтинге Top500 в июне 2023 года. |
| Запущен новый российский суперкомпьютер — Linux в России — Новости | Минобрнауки рассказало о новом суперкомпьютере Тераграф на новых микропроцессорах Leonhard. |
Суперкомпьютеры 2023: новые чемпионы и старые аутсайдеры
Свой суперкомпьютер Jetson Xavier NVIDIA представила ещё в 2018 году — он способен выполнять 30 трлн операций в секунду. Причём в первых реализациях таких гибридных суперкомпьютеров могут потребоваться квантовые сопроцессоры на различных физических платформах для различных алгоритмов. Президент РФ Владимир Путин поручил правительству разработать и реализовать комплекс мер, направленный на увеличение вычислительных мощностей суперкомпьютеров в России. К своим атомным бомбам, лазерам и плазме ядерный центр в Сарове добавил суперкомпьютер, работающий на новых физических принципах. Яндекс рассказал о создании трех мощнейших в России суперкомпьютеров, все они вошли в новую версию мирового рейтинга TOP500, заняв в нем 19-е, 36-е и 40 места. В космосе может появиться российский суперкомпьютер.
Суперкомпьютер Яндекса признали самым мощным в России
| Россия входит в топ-10 стран по объему вычислительных мощностей суперкомпьютеров - Чернышенко | В отличие от обычных компьютеров, суперкомпьютеры могут использовать продвинутые методы моделирования с высокой точностью прогноза. |
| Суперкомпьютер МарГУ вошёл в ТОП-20 России » МЭТР - Марий Эл Телерадио | Президент России Владимир Путин поручил правительству разработать и осуществить реализацию мер, направленных на увеличение вычислительных мощностей отечественных суперкомпьютеров. |
| Суперкомпьютер – последние новости | «Квантовый компьютер функционирующий, он гораздо страшнее атомный бомбы», — считает генеральный директор компании Acronis, сооснователь Российского квантового центра Сергей Белоусов. |
| Самый мощный суперкомпьютер в России | Президент России Владимир Путин поручил российскому правительству проработать меры, направленные на наращивание вычислительных мощностей суперкомпьютеров в стране. |
| Суперкомпьютер «Яндекса» признан самым мощным компьютером России | Ну, чтобы создать самый мощный суперкомпьютер в России, нужно было всего лишь подольше не увозить новый айфон. |
В погоне за Люксембургом: академия наук подсчитала силу России на трех суперкомпьютерах
| Суперкомпьютер Сколтеха войдет в десятку самых мощных в РФ | Свой суперкомпьютер Jetson Xavier NVIDIA представила ещё в 2018 году — он способен выполнять 30 трлн операций в секунду. |
| Шаг в будущее: возможности нового российского суперкомпьютера | Марий Эл Телерадио» Телеканал МЭТР» Лента новостей» Суперкомпьютер МарГУ вошёл в ТОП-20 России. |