Как создать кластер из двух ноутбуков?

управление кластерами

Недорогие и низкая энергия крошечного кластер Cubieboards , используя Apache Hadoop на Lubuntu

Одна из проблем в использовании компьютерного кластера является стоимость администрирования его , который иногда может быть столь же высоко , как стоимость администрирования п независимых машин, если кластер имеет N узлов. В некоторых случаях это дает преимущество для общих архитектур памяти с более низкими затратами администрирования. Это также виртуальные машины популярны, благодаря легкости управления.

планирование задач

При большом кластере многопользовательского необходимо получить доступ к очень большим объемам данных, планирование задач становится проблемой. В гетерогенном CPU-GPU кластер со сложной средой приложений, производительность каждого задания зависит от характеристик базового кластера. Поэтому задачи , отображение на процессорных ядра и устройства GPU обеспечивают значительные проблемы. Это область проводимых исследований; алгоритмы , которые сочетают в себе и продлевают MapReduce и Hadoop , были предложены и изучены.

Управление отказа узла

Когда узел в кластере выходит из строя, стратегия , таких как « ограждения может быть использована» , чтобы сохранить остальную часть системы оперативной. Ограждение представляет собой процесс выделения узла или защиты совместно используемых ресурсов , когда узел работает неправильно. Есть два класса методов ограждения; один отключает сам узел, а другие запрещает доступ к таким ресурсам, как общие диски.

STONITH метод означает «Стреляйте Другой узел в голове», а это означает , что подозреваемый узел отключен или выключен. Например, мощность Ограждение использует контроллер питания , чтобы выключить неоперабельную узел.

Ресурсы фехтование подход запрещает доступ к ресурсам без отключения узла. Это может включать в себя постоянное ограждение резервирования через SCSI3 , волокно канал ограждение , чтобы отключить канал волокна порта или глобальной сеть блочного устройства (GNBD) ограждение , чтобы запретить доступ к серверу GNBD.

история

VAX 11/780, гр. 1977

Грег Пфистер заявил , что кластеры не были изобретены какого – либо конкретного поставщика , но клиенты , которые не могли поместиться все свои работы на одном компьютере, или требуется резервное копирование. Пфистер оценивает дату как некоторое время в 1960 – х годах. Формальная инженерная основа кластерных вычислений в качестве средства ведения параллельной работы любого рода была , вероятно , изобретенный Джин Amdahl из IBM , который в 1967 году опубликовал то , что пришло рассматривать как основополагающий документ по параллельной обработке: Закон Амдаля .

История ранних компьютерных кластеров является более или менее непосредственно связана в историю ранних сетей, одна из главных мотиваций для развития сети была связать вычислительные ресурсы, создание де-факто компьютерный кластер.

Первая производственная система разработана как кластер был Бурругс B5700 в середине 1960-х годов. Это позволило до четырех компьютеров, каждый из которых имеет один или два процессор, чтобы быть плотно соединен с общей подсистемой хранения диска для того , чтобы распределить нагрузку. В отличие от стандартных многопроцессорных систем, каждый компьютер может быть перезапущен , не нарушая общую работу.

Первый коммерческий слабосвязанная кластеризация продукт DataPoint корпорация система «Attached Resource Computer» (ARC), разработанная в 1977 году, и с использованием ARCnet в качестве интерфейса кластера. Кластеры сами по себе не очень взлетать до Digital Equipment Corporation выпустила свой VAXcluster продукт в 1984 году для VAX / VMS операционной системы (теперь названный как OpenVMS). Продукты ARC и VAXcluster не только поддерживают параллельные вычисления, но и совместно файловые системы и периферийные устройства. Идея состояла в том , чтобы обеспечить преимущества параллельной обработки, сохраняя при этом надежность и уникальность данных. Два других примечательных ранние коммерческие кластеры в Tandem гималайский (а около 1994 высокой доступности продукта) и IBM S / 390 Parallel Sysplex (также около 1994, в первую очередь для использования в бизнесе).

В тот же период времени, в то время как компьютерные кластеры используются параллелизм вне компьютера на товарную сети, суперкомпьютеры стали использовать их в том же компьютере. После успеха CDC 6600 в 1964 году, Cray 1 был поставлен в 1976 году, и ввел внутренний параллелизм с помощью векторной обработки . В то время как ранние суперкомпьютеры исключены кластеры и полагался на общей памяти , время некоторые из самых быстрых суперкомпьютеров (например , на компьютере K ) полагалась на кластерных архитектурах.

разработка и администрирование программного обеспечения

Параллельное программирование

Кластеры балансировки нагрузки , такие как веб – серверы используют кластерные архитектуры для поддержки большого количества пользователей , и , как правило , каждый запрос пользователя направляется к конкретному узлу, достижение задач параллелизм без сотрудничества многоузловой, учитывая , что основной целью системы является обеспечение быстрого пользователя доступ к общим данным. Тем не менее, «компьютерные кластеры» , которые выполняют сложные вычисления для небольшого числа пользователей , необходимо воспользоваться параллельной обработкой кластера и раздела «же вычислением» между несколькими узлами.

Автоматическое распараллеливание программ продолжает оставаться технической проблемой, но параллельные модели программирования могут быть использована для осуществления более высокой степени параллелизма посредством одновременного выполнения отдельных участков программы на разных процессорах.

Отладка и мониторинг

Разработка и отладка параллельных программ на кластере требует параллельных примитивов языка, а также соответствующие инструменты , такие как описанные в High Performance Debugging форума (HPDF) , что привело к спецификациям HPD. Такие инструменты, как TotalView затем были разработаны для отладки параллельных реализаций на вычислительных кластерах, использующих MPI или PVM для передачи сообщений.

Berkeley NOW (Сеть рабочих станций) система собирает данные кластера и сохраняют их в базе данных, в то время как система , такие как ПАРМОН, разработанная в Индии, позволяет для визуального наблюдения и управления больших кластеров.

Чекпойнтинг Application может быть использован для восстановления заданного состояния системы при выходе из строя узла во время вычисления длинного многоузлового

Это очень важно в больших кластерах, при условии , что как число узлов возрастают, так что делает вероятность отказа узла при высоких вычислительных нагрузках. Контрольные точки могут восстановить систему в стабильное состояние , так что обработка может возобновить без необходимости пересчитывать результаты.

Атрибуты кластеров

Балансирование нагрузки кластера с двумя серверами и станциями пользователей N (галисийских).

Компьютерные кластеры могут быть сконфигурированы для различных целей , начиная от общих потребностей цели бизнеса , таких как поддержка веб-сервис, интенсивных вычислений научных расчетов. В любом случае, кластер может использовать высокую доступность подход

Обратите внимание , что атрибуты , описанные ниже, не являются исключительными и «компьютерный кластер» может также использовать подход с высоким уровнем доступности и т.д.

« Балансировка нагрузки » кластеры конфигурация , в которых кластер-узлы делят вычислительную нагрузку , чтобы обеспечить лучшую общую производительность. Например, кластер веб – сервер может назначать различные запросы к различным узлам, так что общее время отклика будет оптимизирован. Однако подходы к балансировке нагрузки могут существенно отличаться для разных приложений, например кластера высокопроизводительных , используемых для научных вычислений будет балансировать нагрузку с различными алгоритмами из кластера веб-сервера , который может просто использовать простой метод циклического путем присвоения каждого нового запроса на другой узел.

Компьютерные кластеры используются для вычисления интенсивных целей, а не обработки IO-ориентированных операций , таких как веб – службы или базы данных. Например, компьютерный кластер может поддерживать вычислительные моделирования аварий транспортных средств или погодные условия . Очень тесно связанно компьютерные кластеры предназначены для работы , которые могут подойти « суперкомпьютеры ».

« Высокая доступность кластеры » (также известная как отказоустойчивые кластеры или кластеры HA) повышает доступность кластерного подхода. Они работают, имея избыточные узлы , которые затем используются для предоставления услуг , когда системные компоненты терпят неудачу. Реализации кластера HA пытаются использовать избыточность кластера компонентов для устранения точек отказа . Есть коммерческие реализации кластеров высокой доступности для многих операционных систем. Linux-HA проект является одним из широко используется свободное программное обеспечение HA пакет для Linux операционной системы.

дальнейшее чтение

Бейкер, Марк; и другие. (11 января 2001). “Cluster Computing White Paper”. Arxiv : .
Маркус, Эван; Stern, Hal. Чертежи для обеспечения высокой доступности: Проектирование жизнеспособных распределенных систем . John Wiley & Sons. ISBN 0-471-35601-8 .
Пфистер, Грег. В поисках кластеров . Prentice Hall. ISBN 0-13-899709-8 .
Buyya, Rajkumar, изд. (1999). Высокопроизводительные кластерные вычисления: Архитектуры и системы . 1 . Нью – Джерси, США: Prentice Hall. ISBN 0-13-013784-7 .
Buyya, Rajkumar, изд. (1999). Высокопроизводительные кластерные вычисления: Архитектуры и системы . 2 . Нью – Джерси, США: Prentice Hall. ISBN 0-13-013785-5 .

Выгоды

Кластеры в основном разработаны с учетом производительности, но установки основаны на многих других факторов. Отказоустойчивость ( способность к системе продолжать работать с неисправным узлом ) позволяет масштабируемости , а также в ситуациях высокой производительности, низкой частоты процедур обслуживания, консолидации ресурсов (например , RAID ), и централизованное управление. Преимущества включают в себя восстановление данных позволяет в случае стихийного бедствия и обеспечения параллельной обработки данных и высокую производительность обработки данных .

С точки зрения масштабируемости, кластеры обеспечивают это в их способности добавлять узлы по горизонтали. Это означает, что больше компьютеров могут быть добавлены в кластер, чтобы улучшить его производительность, избыточность и отказоустойчивость. Это может быть недорогим решением для более высокой производительности по сравнению с кластером масштабирования до одного узла в кластере. Это свойство компьютерных кластеров может позволить для больших вычислительных нагрузок, которые будет выполняться большим числом нижних исполнительских компьютеров.

При добавлении нового узла в кластере, надежность увеличивается, потому что весь кластер не нужно быть снесены. Один узел может быть снят для технического обслуживания, в то время как остальная часть кластера берет на себя нагрузку этого отдельного узла.

Если у вас есть большое количество компьютеров , сгруппированных вместе, это поддается использование и RAID , оба из которых может повысить надежность и скорость кластера.

Конструкция и конфигурация

Типичная конфигурация Беовульф.

Одной из проблем в проектировании кластера, как тесно связаны отдельные узлы могут быть. Например, один компьютер работа может требовать частой связи между узлами: это означает , что кластер разделяет специализированную сеть, плотно расположен, и , вероятно , имеет однородные узлы. Другая крайность, где компьютер задание использует один или несколько узлов, и требует мало или нет связи между узлами, приближаясь к сетке вычислений .

В кластере Беовульфа , прикладные программы не видят вычислительные узлов (также называемые ведомыми компьютеры) , но только взаимодействовать с «Master» , который является конкретным компьютером обработки планирования и управления ведомых. В типичном варианте осуществления Мастер имеет два сетевых интерфейса, один , который взаимодействует с частной сетью Beowulf для рабов, другой для общего назначения сети организации. Ведомые компьютеры обычно имеют свою собственную версию той же операционной системы, и локальную память и дисковое пространство. Однако частная ведомая сеть может также иметь большой и общий файловый сервер , который хранит глобальные постоянные данные, доступ к которым рабам , как это необходимо.

Специальное назначение 144-узел DEGIMA кластер настроен на работу моделирования астрофизических N-тело с использованием Multiple-Walk параллельно treecode, а не общее назначение научных вычислений.

В связи с увеличением вычислительной мощности каждого поколения игровых консолей , новое применение возникла где они многократно использовать в высокопроизводительных вычислений (HPC) кластеров. Некоторые примеры игровых консолей кластеров Sony PlayStation кластеры и Microsoft Xbox кластеры. Другой пример потребительского игрового продукта является Nvidia Tesla Personal суперкомпьютер рабочая станция, которая использует несколько графических ускорителей процессора чипов. Помимо игровых консолей, лидирующие видеокарты тоже могут быть использованы вместо. Использование графических карт (или , вернее , их GPU) , чтобы сделать расчеты для распределенных вычислений является значительно более экономичным , чем использование процессора, несмотря на то , менее точным. Однако при использовании двойной точности значения, они становятся столь точно работать с , как центральный процессор и по – прежнему гораздо дешевле (стоимость покупки).

Компьютерные кластеры исторически работает на отдельных физических компьютерах , с одной и той же операционной системой . С появлением виртуализации , узлы кластера могут работать на разных физических компьютерах с различными операционными системами , которые нарисованы выше с виртуальным слоем , чтобы выглядеть одинаково. Кластер может быть также виртуализировать на различных конфигурациях , как обслуживание происходит. Пример реализации Xen как менеджер виртуализации с Linux-HA .

Обмен данными и связь

обмен данных

NEC кластер Nehalem

Как появлялись компьютерные кластеры в течение 1980 – х годов, поэтому были суперкомпьютеры . Один из элементов , которые отличают три класса в то время было то , что ранние суперкомпьютеры полагались на разделяемой памяти . На сегодняшний день кластеров обычно не используют физически разделяемую память, в то время как многие суперкомпьютерных архитектуры также отказались от нее.

Тем не менее, использование кластерной файловой системы имеет важное значение в современных компьютерных кластерах. Примеры включают в себя General Parallel File System IBM , Microsoft, общих томов кластера или кластера файловой системы Oracle .

Передача сообщений и связь

Два широко используемые подходы для связи между узлами кластера являются MPI ( Message Passing Interface ) и PVM ( Parallel Virtual Machine ).

PVM была разработана в Национальной лаборатории Oak Ridge около 1989 до того MPI был доступен. PVM должен быть установлен непосредственно на каждом узле кластера и предоставляет набор программных библиотек , которые рисуют узел в качестве «параллельной виртуальной машины». PVM предоставляет среду выполнения для передачи сообщений, задач и управления ресурсами, а также уведомлений о неисправности. PVM можно использовать пользовательские программы , написанные на C, C ++ или Fortran, и т.д.

MPI возникла в начале 1990 – х годов из дискуссий среди 40 организаций. Первоначальное усилие было поддержано ARPA и Национальным научным фондом . Вместо того , чтобы начать заново, конструкция MPI опиралась на различные функции , доступные в коммерческих системах того времени. Спецификации MPI затем привели к конкретным реализациям. Реализации MPI обычно используют TCP / IP соединения и сокетов. MPI теперь широко доступны модели связи , которая позволяет параллельные программы должны быть написаны на таких языках, как C , Fortran , Python и т.д. Таким образом, в отличие от PVM , которая обеспечивает конкретную реализацию, MPI является спецификация , которая была реализована в таких системах, как MPICH и Open MPI .

Список источников