СЕКРЕТНЫЙ ПРОЕКТ АНБ В ГОРАХ ШТАТА ЮТА

Интересно все устроено в этом мире: одни строят дата-центры на территории промышленных предприятий, экономя на строительстве, а другие - в горах, предпочитая красивую природу, чистый воздух и творческое уединение. Но не будем о грустном - пришла весна, и опять все вокруг меняется. Не меняется только стремление Пентагона к достижению информационного превосходства, и об этом пойдет наш рассказ.

Что же нового можно увидеть в предмете под названием "суперкомпьютеры"? Обратимся к сухим, беспристрастным цифрам и фактам известного ныне уже всем сайта TOP500. Забегая вперед, следует сделать оговорку: автор предпочитает не вводить в заблуждение читателя, и потому оперирует только тем, что поддается количественному измерению ибо все остальное от лукавого, чего в журналистике хватает с лихвой.

Хотя на упомянутом сайте можно найти целый набор графических материалов (диаграмм), все они блекнут перед теми возможностями, которые открывает нашему взору дисперсионный анализ. И вот здесь нас ожидают большие сюрпризы. Итак по порядку. Наш анализ мы начнем не с пиковой производительности, как это делается повсеместно, а с эффективности высокопроизводительных систем: что толку постоянно наращивать быстродействие, если это достигается непомерными затратами, включая и электроэнергию (это отдельная тема для разговора). Под эффективностью понимается отношение максимальной производительности к пиковой производительности. Будем постепенно вводить новые измерения, расширяя информационное пространство многомерного анализа данных. Начннем с одного измерения - сектора (прикладной облсти).

Разброс средних значений более, чем очевиден и не является случайным, что подтверждается тестом. Обратите внимание на высокую эффективность секретных (classified) проектов (к этому мы вернемся в конце нашего анализа). Очевидно, что эффективность исследовательских (research) и академических (academic) проектов практически не различается. А вот аутсайдерами по эффективности явно можно считать промышленные (indusrty) проекты. Вывод: секретные проекты являются стратегическими направлениями в повышении эффективности суперкомпьютеров.

Перейдем к двум измерениям: время (год) и сектор (прикладная область). Первое, что бросается в глаза это неравномерность эффективности суперкомпютеров по годам и секторам. Отчетливо видно, что в 2011 году (анализ современных тенденций см. https://rpubs.com/alex-lev/702129 ) наибольшее значение эффективности имели кластеры в секретных (classified) проектах (с 80% до 90%). Обратите внимание, что одновременно снизилась эффективность академических (academic) и промышленных (industry) кластеров, но увеличиалась у правительственных (government) кластеров (с 50% до 65%). Эффективность исследовательских (research) проектов увеличилась незначительно. Вывод: 2011 год стал прорывным в секретных и правительственных проектах. Десять лет тому назад лидерами были промышленные и исследовательские проекты (по количеству систем).

Идем дальше. Вводим третье измерение - тип архитектуры. И снова открываем широко глаза от удивления - есть повод. Оказывается, прирост эффективности в секретных проектах обусловлен использованием преимущественно кластерной (cluster), а не массово-параллельной (mpp) архитектуры, как это имеет место в промышленных проектах. При этом стоит отметить, что в исследовательских проектах прирост эффективности в основном дает архитектура типа "звезда" (constalation) - разновидность кластера.

Вводим четвертое измерение - семейство ОС. И здесь нас тоже ждет приятный сюрприз. Прирост ээфективности в секретных проектах объясняется использованием Linux в качестве ОС, в то время как в исследовательских проектах это связано с использованием BSD и Windows. В целом, наибольшей эффективностью обладают кластерные архитектуры на основе ОС Unix.

И, наконец, вводим пятое измерение - тип соединения процессоров. И здесь тоже можно узнать много интересного и поучительного в плане эффективности. Оказывается, секретные проекты используют два типа (семейства) соединений: пользовательский (custom) и высокоскоростную коммутируемую последовательную шину (infiniband). В академических проектах наибольшую эффективность показывают кластеры на основе соединения типа NUMAlink.

А теперь самое интересное - распределение проектов по странам с точки зрения их эффективности по областям применения. Лидером по эффективности в секретных проектах выступает Великобритания, но следом идут США. Причем у Великобритании зарегистировано 6 суперкомпьютеров, а у США только 2, которые относятся к секретным проектам. Но это лукавая статистика, так как в США есть еще 5 суперкомпьютеров, подпадающих под правительственные проекты. Кстати, другие страны в секретных проектах официально не принимают участия. У России неплохие результаты в исследовательских, но посредственные (в общей массе) в промышленных проектах. В целом из 500 суперкомпьютеров, входящих в международный рейтинг, 263 находятся в США. Вот так выглядит статистика эффективности суперкомпьютров при использовании дисперсионного анализа данных.

Итак, США за 10 лет сохранили лидерство в суперкомпьютерных технологиях и проектах, но вынуждены были поделить, а в отдельных направлениях и уступить пальму первенства другим странам. Но не будем забывать, что в США, в отличие от других стран, еще в 1994 году была создана специальная широкополосная сеть DREN для совместного межведомственного использования ресурсов (аппаратных и программных) суперкомпьютеров в научно-исследовательских (гражданских и военных) проектах. И вот теперь американцы создают новую секретную суперкомпьютерную сеть в интересах АНБ (NSA).

Основу этой сети составят суперкомпьютерные кластеры штаб-квартиры АНБ Форт Мид (шт.Мерилэнд), исследовательского криптоаналитического центра Оук Ридж (шт. Теннеси), дата-центра а/б Лекленд в Сан-Антонио (шт. Техас) и перспективного дата-центра Блаф Дейл (шт. Юта), который будет построен в 2013 г. Отметим, что дата-центр в шт. Юта обойдется налогоплательщикам в 2 млрд долл, из которых только 10 млн долл пойдет на контрольно-пропускной пункт, не говоря уже о таких мелочах как: насосная станция для подачи 6 млн литров воды в сутки, дизельная электростанция для автономной работы в течение трех суток, 60 тыс тонн оборудования для кондиционирования воздуха, электрическая подстанция на 65 Мвт, система видеонаблюдения стоимостью в 10 млн долл, ограждение для остановки машины весом до 7 тонн на скорости 80 км/час. Пиковая производительность этой суперкомпьютерной сети пока держится в строгой тайне, но не трудно предположить, что она будет составлять не менее 50 петафлоп (\(10^{15}\) операций с плавающей точкой в сек) т.е будет равна половине суммарной пиковой производительности всех 500 суперкомпьютеров, входящих в настоящее время в рейтинг. Заметим, что средняя пиковая производительность суперкомпьютеров в этом списке сейчас составляет 215 терафлоп (\(10^{12}\) операций с плавающей точкой в сек), а медиана (50%) этого списка находится на отметке 115 терафлоп. При этом минимальное значение пиковой производительности в списке мирового рейтинга суперкомпютеров составляет 57 терафлоп, а максимальное - 11 петафлоп (Япония).

Откуда такая оценка? Бюджет Пентагона составляет половину всех суммарных мировых военных затрат. Так почему американцам не иметь половину всех вычислительных мощностей суперкомпьютеров, если больше половины из них (263) находятся в США и уже сейчас имеют суммарную пиковую производительность в 46 петафлоп. Можно подойти к погрешности этой оценки с точки зрения потребляемой мощности. Уже известно, что новый дата-центр Форд Мид будет потреблять 100 Мвт. При средней удельной потребляемой мощности суперкомпьютеров в секретных и правительственных проектах 300 Мфлоп/Вт имеем суммарную пиковую производительность в 30 петафлоп. Иными словами, АНБ на трех дата-центрах может теоретически получить до 100 петафлоп т.е. разогнаться с двойным запасом быстродействия и сравняться со всеми суперкомпьютерами мира по производительности.

Недавно в прессу просочилась информация о планах модернизации суперкомпьютера Cray XT4 (Ягуар) в Оук Ридж, согласно которым его пиковая производительность должна поднятся до 20-30 Петафлоп. Вот вам еще одно подтверждение сделанных оценок. К этому стоит добавить, что в октябре 2011 г Министерство энергетики США провело работы на сумму в 62 млн долл по повышению пропускной способности сети DREN до 100 Гбит/с. Но это все цветочки в сравнении с официально заявленной в письме к президенту США инициативой от 24 конгрессменов (республиканцев и демократов) по достижению к 2018 году (крепко держитесь за свой стул) в США экзофлоп-зетафлоп производительности суперкомпьютеров: \(10^{18}\) – \(10^{21}\) операций с плавающей точкой в секунду.

Кстати, диаграмма рейтинга, построенная по закону Парето (20% усилий дают 80% результата), наглядно показывает, что 80% суммарной пиковой производительности в настоящее время дают суперкомпьютеры США, Китая, Японии и Германии. В США 80% пиковой производительности дают суперкомпьютеры, собранные в IBM, Hewlett-Pacard и Cray Inc. Но остается главный вопрос: для чего АНБ создает такую сверхмощную суперкомпьютерную сеть?

И в самом деле, есть о чем задуматься, принимая во внимание количество задействованных в этом проекте людей, оборудования и денег. Немного истории. В 2004 году, т.е. спустя 10 лет после создания сети DREN, Министерство энергетики открывает программу High Productivity Computing Systems для создания суперкомпьютера с пиковой производительностью в 1 петафлоп. В качестве площадки был выбран исследовательский центр в Оук Ридж, всего в 25 милях от теперь уже известного городка Ноксвиль, где был добыт уран-235 для первой атомной бомбы. Первоначально эта программа носила открытый характер, но с появлением таинственного строения №5300 все резко изменилось. В загадочном пятиэтажном доме, стоимостью в 41 млн долл и общей площадью в 24 тыс кв м, поселились 300 криптоаналитиков, которые с помощью суперкомпьютеров взламывают чужие шифры, а попутно тестируют собственные. И вот результат - в 2009 году суперкомпьтер Cray XT4 (Ягуар), установленный в Оук Ридж, выдал на гора 1.75 петафлоп пиковой производительности. Теперь уже не вызывает никакого сомнения альянс министерства энергетики и АНБ в едином порыве догнать и перегнать все суперкомпьютеры мира по быстродействию. Стоит отметить, что в этом стратегическом для национальной безопасности США направлении технологического прорыва принимает участие и ДАРПА, финансируя НИОКР в рамках программного элемента PE 0602303E INFORMATION & COMMUNICATIONS TECHNOLOGY IT-02: HIGH PRODUCTIVITY, HIGHPERFORMANCE RESPONSIVE ARCHITECTURES. Сумма общих затрат ДАРПА на разработку суперкомпьютеров нового поколения, обладающих высокой масштабируемостью и эффективностью, в период 2005 - 2016 гг составляет 940 млн долл.

А теперь немного арифметики. Широко распространенный коммерческий шифр AES c длиной ключа в 128 бит может быть взломан при полном переборе \(2^{128}\) или \(3.4\times10^{38}\) комбинаций. Строго говоря, такая атака "в лоб" на шифр применяется крайне редко. В криптоанализе принято считать, что шифр взломан, если при переборе половины всех возможных комбинаций достигается нужный результат. Существуют специальные приемы так называемого дифференциального криптоанализа, позволяющие существенно сократить число комбинаций, подлежащих перебору.

Итак, возьмем для примера уже знакомый нам Cray XT4 (Ягуар) с пиковой производительностью в 1.75 петафлоп (которая после апгрейда в феврале 2012 г удвоилась) и прикинем на калькуляторе, сколько потребуется времени для прямой атаки на шифр AES-128, исходя из условия достаточности перебора половины комбинаций. Получим \(9.7\times10^{22}\) сек или \(3\times10^{15}\) лет. Как-то грустно становится от такой арифметики: здесь уже тянет на световые года. Кстати, квантовые компьютеры уже на подходе и ситуация может измениться радикально. И все же, какое суммарное пиковое быстродейстие может понадобиться для взлома AES-128, к примеру, за один земной год? Ответ: \(5\times10^{30}\) операций в сек. При существующей технологии понадобится увеличить количество процессоров в \(10^{15}\) раз!

Следовательно, на одних петафлопах АНБ далеко не уедет, а вот дифференциальный криптоанализ, нейросети и data mining, в совокупности с петабайтами (\(10^{15}\) байт) собираемой в дата-центрах с помощью всех видов радиоэолектронного (внутри и за пределами США) перехвата информации (спутники, интернет, телефон, радиосвязь) могут оказать посильную помощь. Для сравнения, вся информация, накопленная человечеством за 2000 лет в виде знаний оценивается в 5 экзабайт (\(5\times10^{18}\) байт). При этом предполагается, что ежегодный трафик интернет в период с 2010 до 2015 года должен возрасти до 966 экзабайт. После 11 сентября АНБ только по программе Stellar Wind ежедневно записывало до 320 млн телефонных звонков в день. Если к этому добавить архив записей телефонных операторов AT&T и Verizon, которые записывали по просьбе АНБ до млрд звонков в день, то удивляться и вовсе будет нечему.

Но самое поразительное заключается в том, что Министерство энергетики, ДАРПА и ряд других правительственных организаций проявили завидный во всех отношениях общий интерес к проблеме обработки больших массивов информации, открыв программу Big Data Research and Development Initiative с бюджетом в 200 млн долл, которая может совершить научно-технический прорыв в самых различных направлениях: национальной обороне, здравоохранении, геологии... В этом списке нет только криптоанализа, но, помятуя о том, что криптоаналитики из Оук Ридж работают бок о бок с энергетиками, можно считать этот пробел условным, а скромность АНБ - нежеланием привлекать излишнее внимание к еще одному проекту, в названии которого незримо присутствует тень Большого Брата (Big Brother is watching Big Data).

Если вспомнить историю, то это уже было во время второй мировой войны в Блечли, где Алан Тьюринг взламывал немецкую Энигму. И хотя техника и объем информации радиоперехвата были по современным меркам допотопными, Великобритания, по некоторым оценкам, благодаря математике (формуле Байеса) и электромеханической счетной машине Тьюринга получила информационное превосходство над Германией и сократила войну на 2 года - столько времени оставалось немецким физикам для создания атомной бомбы. Игра стоит свеч!

P.S. Как и ожидалось, США вернули себе пальму первенства в высокопроизводительных вычислениях, запустив в Национальной лаборотории Лоуренса Ливермора самый мощный в мире суперкомпьютер Sequoia с пиковой производительностью 16.32 Петафлоп на базе IBM BlueGene/Q с высокопараллельной архитектурой, насчитывающей 1572864 ядер. Есть еще порох в пороховницах у Министерства энергетики. Делайте ставки, господа: гонка только начинается. И подтверждением этому может служить новый грандиозный проект FastForward, открытый Минэнерго США для создания монстра в 1000 раз превосходящего по быстродействию Sequoia. Но проблема в том, что такой гигант будет пожирать колоссальное количество электроэнергии (500 млн долл в год). Поэтому новый проект предусматривает революционные подходы как в архитектуре, так и в элементной базе. Не случайно, в этой программе уже засветились такие вендоры как IBM, Cray, NVIDIA.