Adaptive Supercomputing в системной социологии

А.А.Давыдов

Adaptive Supercomputing в системной социологии

Ключевые слова: системная социология, адаптивный суперкомпьютинг, системная аналитика

Проблема - «кризис данных» в Интернете

В 2008 г. в Голландии 90.1% населения пользовались Интернетом, в Норвегии - 87.7%, Канаде - 84.3%, Швеции - 77.4%, Японии - 73.8%, США - 72.5% [1]. Для сравнения, по данным ФОМ [2] в 2008 г. 31% населения России пользовались Интернетом. С течением времени в социуме возрастает количество пользователей Интернета, так, в 2008 г. - около 1 млрд.чел., а по прогнозам, в 2020  году - около 3 млрд.чел. [цит. по 3]. World Wide Web (WWW) трансформируется в Giant Global Graph (GGG) - гигантский глобальный граф взаимодействий пользователей Интернета, так считает создатель технологии WWW Тим Бернерс-Ли [4], в частности, благодаря развитию Интернет-сервисов социальных сетей, блогов, общедоступных для обмена Интернет-архивов текстов, фото, видео, числовых данных.

В результате, в E-Social Science (электронной социальной науке) - одном из направлений системной социологии [5], в рамках которой изучаются, в частности, законы социальных взаимодействий пользователей Интернета, возникает «кризис данных» [3] - сверхбольшие потоки разнородной мультимедийной информации в режиме реального времени в GGG невозможно эффективно исследовать с помощью стандартных методов анализа данных и моделирования на стандартных суперкомпьютерах. Например, в рамках компьютационной парадигмы Multi-Agent-Based Social Simulations (MABSS) [6-8] , Systems Analytics (системной аналитики), которая включает в себя Visual Analytics, Text Analytics и т.д. Кроме того, различные содержательные задачи и, соответственно, различные эмпирические данные, требуют применения разных классов процессоров для наибольшей производительности вычислений (переработки информации).

Для преодоления «кризиса данных», корпорация Cray ( http://www.cray.com/About.aspx ) - мировой лидер в производстве суперкомпьютеров, развивает Adaptive Supercomputing (адаптивные супервычисления). Основная идея Adaptive Supercomputing состоит в том, чтобы не приложения приспосабливались к техническим возможностям суперкомпьютера, а архитектура суперкомпьютера приспосабливалась к приложениям, т.е. к содержательной задаче пользователя.

 Adaptive Supercomputing - решение проблемы «кризиса данных»

Организационные решения.      В 2007 г. корпорация Cray, совместно с Pacific Northwest National Laboratory и Sandia National Laboratories - ведущими научными лабораториями США в области разработки высоких технологий, в частности, информационных технологий, Georgia Institute of Technology, Министерством энергетики США, при поддержке национального научного Фонда США,  создала исследовательский Center for Adaptive Supercomputing Software-Multithreaded Architectures (CASS-MT) [9]. Штатная численность сотрудников Центра - 60 человек, годовой бюджет - 20 млн. долларов США. Основные содержательные задачи Центра: Advanced Social Network Analysis, Statistical Textual Document Analysis, Dynamic Network Analysis, Sparse Graph Network-of-Network Algorithms, Contingency Analysis.

Инженерные решения (Hardware). Для Adaptive Supercomputing в CASS-MT [9] используется суперкомпьютер Cray XMT, который специально разработан для крупномасштабного интеллектуального анализа данных, в частности, pattern matching, scenario development, behavioral prediction, anomaly identification, graph analysis. Cray XMT Platform включает Architected for Large-scale Data Analysis, в частности, Hardware accelerators (FPGAs or ClearSpeed co-processors), до 8000 процессоров Cray Threadstorm, 128 терабайт распределенной памяти, совместима с Cray XT infrastructure на основе Grid-технологии.  На рис. 1 представлена система Cray XMT.

Рис.1

Cray XMT Platform

( http://www.cray.com/products/XMT.aspx )

В 2008 г. корпорация Cray [10] выпустила персональный суперкомпьютер Cray CX1 (стоимость 25 - 60 тысяч долларов США в зависимости от комплектации), представленный на рис.2, а корпорация NVIDIA [11] выпустила персональный суперкомпьютер NVIDIA Tesla D870 (стоимость 9995 долларов США) и персональный суперкомпьютер Quadro Plex 2200 D2, специально предназначенный для Visual Computing (визуальных вычислений) (см. рис.3),

Рис.2

Персональный суперкомпьютер Cray CX1

( http://www.cray.com/products/CX1.aspx )

Рис.3

Персональные суперкомпьютеры NVIDIA

( http://www.nvidia.com )

Персональные суперкомпьютеры, представленные на рис. 2-3, имеют возможности Adaptive Supercomputing, в частности, пользователь может, исходя из содержательной задачи анализа и моделирования,  выбрать соответствующий суперкомпьютер, специально предназначенный для решения данной содержательной задачи, или использовать набор Hardware accelerators (специальные платы, предназначенные для ускорения вычислений конкретных видов анализа данных, например, визуализации графов социальных взаимодействий).

Программные решения (Software). Распределенные параллельные вычисления, генетическое программирование (компьютерная программа сама программирует программу), новые программные языки визуализации свехбольших графов социальных взаимодействий и текстовой информации с помощью алгоритмов машинного обучения, в частности, генетических и эволюционных алгоритмов обучения «нейронных» сетей, методов Artificial Intelligence (искусственного интеллекта). Особо отметим разработку новых адаптивных алгоритмов Complex Systems Analysis, предназначенных для параллельно-последовательного синтеза системного анализа и моделирования. Некоторые из перечисленных программных решений уже реализованы в компьютерных системах High-performance distributed Data Mining and Knowledge Discovery systems, предназначенных для автоматической интеллектуальной «добычи знаний» из сверхбольших объемов разнородной информации, поступающей в режиме реального времени.

Полученные результаты. С некоторыми полученными результатами Adaptive Supercomputing можно ознакомиться в докладе [3] и обзорной статье [12] автора. В качестве иллюстрации, на рис.4 представлена визуализация 22.6 млн. фреймов из видео Интернет-сервиса YouTube, выполненная в рамках направления Sparse Graph network-of-networks Algorithms в Center for Adaptive Supercomputing [13]. Отметим, что в данном исследовании объем исходных данных составлял 5.2 Tbytes.

Рис.4

Визуализация 22.6 млн. фреймов из Интернет-сервиса YouTube

( http://cass-mt.pnl.gov/research/sparsegraph.aspx )

Adaptive Supercomputing для Cultural Analytics

В последние несколько лет за рубежом развивается Cultural Analytics (культуральная аналитика) [14], которая имеет существенные научные и практические преимущества по сравнению с Cultural Sociology, развиваемой Дж.Александером [15]. Cultural Analytics [14] базируется на системном подходе и используется для интерактивной визуализации, компьютерного анализа, моделирования и прогнозирования культурных паттернов, процессов, потоков. Для решения данных содержательных задач используются компьютерные интеллектуальные системы Data Mining («добычи знаний»), в которых реализованы Space-Time Analysis (пространственно-временной анализ), Discrete Events Analysis (дискретно-событийный анализ), Network Analysis (анализ сетей)  и т.д., GIS (геоинформационная система), стандартный Supercomputing с использованием HIPerWall (ultra high resolution displays). В качестве иллюстрации на рис.5.1-5.3 представлены фрагменты анализа динамики культуры в рамках Cultural Analytics.

Рис.5.1

Cultural Analytics

( http://lab.softwarestudies.com/2008/05/visualizing-cultural-patterns.html )

 Рис.5.2

Cultural Analytics

  Рис.5.3

Cultural Analytics

Очевидно, что познавательные возможности и эффективность практических приложений  Cultural Analytics, в частности, при исследовании динамики культуры (культурные явления, паттерны, процессы, потоки и т.д.), особенно в Интернете, существенно возросли бы при использовании не стандартного Supercomputing, а Adaptive Supercomputing. Имеются основания полагать, что это только вопрос времени.

В целом, Adaptive Supercomputing - это новое, перспективное направление в Supercomputing, которое развивается на «переднем крае» информационной науки и техники и дает новые познавательные возможности для системной социологии.

Приглашаем обсудить статью на форуме.

СПИСОК ЛИТЕРАТУРЫ

1. http://www.internetworldstats.com/stats.htm
2. http://bd.fom.ru/report/map/int0803#Abs4 
3. Давыдов А.А. Системная социология: визуальный суперкомпьютинг взаимодействий пользователей Интернета. Доклад. М.: ИС РАН, www ( https://www.isras.ru/index.php?page_id=120&id=372)
4. http://dig.csail.mit.edu/breadcrumbs/node/215
5. Давыдов А.А. Конкурентные преимущества системной социологии. (Электронное издание) М.: ИСАН, www (https://www.isras.ru/publ.html?id=855  ,  http://www.ecsocman.edu.ru/db/msg/324618.html)
6. Давыдов А.А. О компьютационной теории социальных агентов)//Социол. исслед. 2006, № 2, С. 19-28. ( http://www.ecsocman.edu.ru/socis/msg/301146.html )
7. Давыдов А.А. Компьютационная теория социальных систем//Социол. исслед. 2005, № 6, С. 14-24( http://www.ecsocman.edu.ru/socis/msg/274278.html )
8. Давыдов А.А. Компьютерные технологии для социологии (обзор зарубежного опыта)//Социол. исслед. 2005, № 1, С. 131-138. ( http://www.ecsocman.edu.ru/socis/msg/239003.html )
9. http://cass-mt.pnl.gov   
10. http://www.cray.com/products/CX1.aspx
11. http://www.nvidia.com/object/product_tesla_d870_us.html
12. Давыдов А.А. Информационный дизайн в Visual Text Analytics - инструмент системного социолога. М.: ИСАН, www(https://www.isras.ru/index.php?page_id=968).
13. http://cass-mt.pnl.gov/research/sparsegraph.aspx
14. http://culturevis.com/cultural_analytics.html
15. Давыдов А.А. Культурная социология Дж. Александера и системная социология (сравнительный анализ)//Социол. исслед.  2007, № 7, C. 11-15. ( https://www.isras.ru/socis_2007_7.html )