Обзор алгоритмов кластеризации данных / хабр

Особенности электрических каминов

Наиболее современные, безопасные и экологически чистые камины – электрические. Их можно устанавливать в любом жилище, где имеется подключение к электросети.

Принцип устройства электрического камина прост: внутри его корпуса располагается нагревательный элемент открытого либо закрытого типа (проволока, имеющая большое омическое сопротивление, намотанная на керамический стержень, или спираль в кварцевой трубке).

Что касается уровня мощности электрических каминов, то в среднем он находится в диапазоне 0.5-2 кВт.

Электрический камин

Их главные плюсы таковы:

можно размещать где угодно (даже на потолке, или встраивать в мебель);
дымоход не требуется;
тепло естественное, как от костра;
они не сушат воздух, не возникает запах горящей пыли;
могут работать в декоративном режиме, в режиме обогрева, и в комбинированном;
им не требуется топливо;
их можно легко перемещать с одного места на другое;
высокий уровень безопасности;
большое разнообразие в дизайне, стильное оформление.

Главные недостатки – в режиме обогрева потребляют много электричества, стоят недешево.

Достоинства и недостатки

Анализируя основные свойства, которыми обладает камин кассетного типа, можно выделить его положительные и отрицательные стороны. Они помогут тщательно подготовиться, прежде чем отдать предпочтение той или иной модели кассеты.

Для начала поговорим о свойствах, которые характерны только данному виду каминов и выгодно отличают его во всем многообразии.

Первым делом необходимо выделить его высокую степень автономности. Помимо дымохода, кассета для камина готова к использованию. В ней присутствуют все узлы, позволяющие поддерживать горение, выполнять функции обогрева, распределять воздушные потоки и удалять продукты сгорания.
Высокая степень безопасности. Полностью закрытое пространство защищает от случайного выпадения углей, а система подачи воздуха обеспечит непрерывное горение. Такой камин можно оставлять без присмотра на длительное время, не рискуя получить возгорание.
Универсальность устройства. Кассета может вставляться в любой портал или нишу, заранее подготовленную. Кроме того, имеется возможность изготовления стальных корпусов, которые превратят камин в отдельно стоящую конструкцию. Из этого следует, что порталы для каминов можно выполнить в любом стиле, используя различные отделочные материалы, подходящие под интерьер.
Легкость конструкции. Все познается в относительном сравнении. Здесь под легкостью понимается показатель относительно кирпичного дровяного камина. Кассетные камины можно устанавливать на полу квартир многоэтажного дома.
Возможность управления интенсивностью пламени. Достигается путем дозирования кислорода. Увеличивая длительность горения можно продлить время выделения тепла из топки.

Возможности современного интерьера

Не для каждой цели может подойти кассетный камин, поэтому следует внимательно изучить его недостатки. Если быть точным, то перечисленные ниже факторы не являются недостатками камина, они просто накладывают некоторые ограничения на сферу применимости камина.

К явно выраженным недостаткам относится тот факт, что тепло выделяется только тогда, когда происходит горение. Другими словами, кассета не способна аккумулировать энергию.
Несмотря на высокий уровень безопасности, монтаж камина и дымохода к нему предъявляет жесткие требования.
Низкий КПД в каминах с открытой вертикальной дверцей.

Инструмент миграции DDL-запросов

Для миграции DDL-запросов для реляционных СУБД в нашей компании используется MyBatis Migrations.

Об инструментах миграции на Хабре уже писали:

Версионная миграция структуры базы данных: основные подходы
Простые миграции с PHPixie Migrate
Управление скриптами миграции или MyBatis Scheme Migration Extended

Для работы с ClickHouse-кластером нам требовался аналогичный инструмент.

На момент написания статьи ClickHouse имеет ряд особенностей (ограничений) связанных с DDL-запросами. :

Команда разработчиков ClickHouse уже анонсировала работу в этом направлении, но в настоящее время приходится решать эту задачу внешним инструментарием. Мы создали простой прототип инструмента phpMigrationsClickhouse для миграции DDL-запросов в ClickHouse-кластер. И в наших планах — абстрагировать phpMigrationsClickhouse от языка PHP.

Опишем алгоритм, использующийся в настоящий момент в phpMigrationsClickhouse, который может быть реализован на любом другом языке программирования.

На текущий момент инструкция по миграции в phpMigrationsClickhouse состоит из:

SQL-запросов, которые нужно накатить и откатить в случае ошибки;
имени кластера, в котором нужно выполнить SQL-запросы.

Создадим PHP-файл, содержащий следующий код:

Добавим SQL-запросы, которые нужно накатить:

Добавим SQL-запросы для выполнения отката в случае ошибки:

Существует 2 стратегии накатывания миграций:

отправка каждого отдельного SQL-запроса на один сервер с переходом к следующему SQL-запросу;
отправка всех SQL-запросов на один сервер с переходом к следующему серверу.

При возникновении ошибки возможны следующие варианты:

выполнение downgrade-запроса на все узлы, на которых уже были произведены upgrade-запросы;
ожидание перед отправкой upgrade-запросов на другие сервера;
выполнение downgrade-запроса на всех серверах в случае возникновения ошибки.

Отдельное место занимают ошибки, когда не известно состояние кластера:

ошибка timeout соединения;
ошибка связи с сервером.

Принцип работы PHP-кода при выполнении миграции следующий:

В случае ошибки выполняется отправка на все узлы кластера downgrade-запроса:

Мы продолжим цикл материалов, посвященных нашему опыту работы с ClickHouse.

Пошаговая планировка задач при выборе камина

Установить в своем доме или квартире камин желают многие, потому что живой огонь и естественное тепло создают поистине магическую комбинацию, даруя жилищу уютную атмосферу и обеспечивая хорошее настроение человеку.

Электрокамин, дровяная печь и газовый камин

Однако у многих возникают затруднения в вопросе “как выбрать камин”? Ведь не хочется ошибиться в таком важном деле – покупка камина потребует не только ощутимых финансовых затрат, но и в некоторых случаях возникает необходимость в серьезных строительных манипуляциях. Например, может быть придется построить отдельный фундамент под камин, создать качественный дымоход, выполнить облицовку топки, вмонтировать камин в стену, и т.п

Чтобы все эти вопросы не стали неприятной неожиданностью, лучше подумать о них заранее. Прежде чем выбирать тип камина и какую-то конкретную модель (а их существует великое множество, от самых разных производителей), следует разобраться с условиями задачи – а для этого нужно ответить на вполне конкретные вопросы:

в каком помещении предполагается устанавливать камин?
какие он должен выполнять первостепенные функции?
будет ли возможность обеспечивать его определенным видом топлива?

Что делать с кластеризованным семантическим ядром: от ядра к контентному плану.

После того, как ядро кластеризовано, важно понимать следующее. Вообще говоря, каждому кластеру соответствует отдельная веб-страница

Но это не жесткое правило, а лишь рекомендация, точнее аргумент в пользу того, чтобы под отдельный кластер выделить отдельную веб-страницу. Но иногда на этот аргумент есть контраргумент, сводящийся к тому, что некоторые фразы попали в различные кластеры не потому, что они в принципе по природе своей настолько семантически различны, что не могут вообще попасть в один кластер, а потому что имеющиеся на данный момент сайты не раскрывают достаточно полно эти фразы на одной веб-странице. Или малое число сайтов в выдаче раскрывает эти фразы, например, менее трёх, если глубина кластеризации установлена равной трём.
Предположим, что оказалось, что запросы «ринопластика» и «ринопластика для мужчин» оказались в разных кластерах, о чём это нам говорит, что это для нас значит? Может быть одно из двух:

Специфика пластики носа «по умолчанию» (которая чаще, по-видимому, для женщин применяется) и специфика пластики носа для мужчин настолько различны по свойствам целевой аудитории, по методике осуществления, по логике продажи этой услуги, что эти запросы признаются настолько семантически далекими друг от друга, что для них стоит создавать отдельные веб-страницы.
Возможно, эти фразы все же не настолько содержательно далеки друг от друга, чтобы их обязательно нужно было размещать на различных страницах, а просто подавляющее большинство страниц по ринопластике очень слабо раскрывают или же не раскрывают вообще тему ринопластики именно для мужчин и, следовательно, по этому запросу не ранжируются. Из-за этого поисковые выдачи по данным запросам оказываются столь отличными друг от друга. В этом случае можно «обыграть» обе фразы на одной веб-странице.

Существует и противоположный контраргумент не в пользу того, что фразы из разных кластеров можно разместить на одной странице, а за того, чтобы фразы из одного кластера разнести по различным веб-страницам. В каком же случае это может быть? Это происходит тогда, когда тема раскрыта настолько глубоко и всесторонне, что объем веб-страницы начинает превышать 3000 – 4000 слов, тогда оказывается целесообразным для некоторых разделов статьи выделить отдельные веб-страницы, даже несмотря на то, что, скажем, заголовок этого раздела и название всей статьи попадают в один кластер.
Таким образом, правильное семантическое ядро помогает при кластеризации определиться, какие фразы помещать на отдельные веб-страницы, а какие – на одну и ту же. То есть кластеризация помогает осуществить распределение фраз семантического ядра по страницам. Что же дальше? Теперь нужно распределить фразы внутри страницы по различным её элементам – тегам и метатегам. Здесь нам поможет использование Карты релевантности. Это инструмент организации в том числе многопользовательской работы над обоснованным распределением семантики по элементам страницы. В Карте релевантности отмечается как именно и где именно на странице будет «обыграна» некоторая фраза – в тайтле ли, в метаописании, в заголовке, в одном из подзаголовков, непосредственно в самом тексте. Использование карты релевантности позволяет перейти непосредственно к созданию ТЗ копирайтеру на написание контента. Стоит отметить, что существуют специальные сервисы, которые позволяют несколько автоматизировать создание такого ТЗ. В итоге получаем, что созданная система статей имеет наиболее эффективное распределение фраз семантического ядра как по статьям (благодаря кластеризации), так и внутри статей (благодаря использованию карты релевантности).

Где размещать камин, его функции, и какое топливо использовать

1) Место.

Камин на даче

От помещения зависит многое. Где обычно принято устанавливать камины?

в основной комнате частного или загородного дома;
на даче;
в сауне;
в гараже;
в кафе или ресторане;
и даже на улице.

В каждом конкретном случае возможности по установке камина будут разные, и требования к нему тоже будут различаться.

2) Функции.

Камин как украшение

В зависимости от типа камина и его конструкции, он может выполнять различные функции:

обогрев жилища;
декоративная функция (украшение интерьера, обеспечение возможности любоваться огнем, и др.);
приготовление пищи;
нагрев воды (при использовании водного контура).

3) Топливо.

В зависимости от типа используемого топлива, камины подразделяются на такие виды:

дровяные – в качестве топлива используются дрова, древесные пеллеты и брикеты;
угольные – топливом является уголь;
газовые – могут подключаться либо к централизованной газовой сети, либо использовать в качестве топлива баллоны с газом (пропан или бутан);
электрические – получают питание из электрической сети;
дизельные – источником энергии является стандартное дизельное топливо;
биокамины – наиболее экологически чистый вариант, в качестве топлива может использоваться торф, сухой спирт, гранулы из опилок, биоэтанол, биогаз, произведенный из растительных масел биодизель, и др.;
комбинированные – чаще всего используют комбинацию газ + электричество;
декоративные – никакого топлива не используют, могут в незначительном количестве потреблять электричество.

Примеры конфигурации ClickHouse-кластера

В качестве примеров будем рассматривать различные конфигурации для четырех узлов: . Настройки содержатся в конфигурационном файле /etc/clickhouse-server/config.xml.

Один шард и четыре реплики

Пример схемы создания таблицы:

Пример SQL-запроса создания таблицы для указанной конфигурации:

Преимущество данной конфигурации:

Недостатки:

Для большинства задач будет храниться избыточное количество копий данных.
Поскольку в данной конфигурации только 1 шард, SELECT-запрос не может выполняться параллельно на разных узлах.
Требуются дополнительные ресурсы на многократное реплицирование данных между всеми узлами.

Пример SQL-запроса создания таблицы для указанной конфигурации:

Преимущество данной конфигурации:

Недостаток:

Два шарда по две реплики

Пример SQL-запроса создания таблицы для указанной конфигурации:

Данная конфигурация воплощает лучшие качества из первого и второго примеров:

Поскольку в данной конфигурации 2 шарда, SELECT-запрос может выполняться параллельно на каждом из шардов в кластере.
Относительно надежный способ хранения данных (потеря одного узла кластера не приводит к потере порции данных).

Шардирование

Шардирование в ClickHouse позволяет записывать и хранить порции данных в кластере распределенно и обрабатывать (читать) данные параллельно на всех узлах кластера, увеличивая throughput и уменьшая latency. Например, в запросах с GROUP BY ClickHouse выполнит агрегирование на удаленных узлах и передаст узлу-инициатору запроса промежуточные состояния агрегатных функций, где они будут доагрегированы.

Для шардирования используется специальный движок , который не хранит данные, а делегирует SELECT-запросы на шардированные таблицы (таблицы, содержащие порции данных) с последующей обработкой полученных данных. Запись данных в шарды может выполняться в двух режимах: 1) через Distributed-таблицу и необязательный ключ шардирования или 2) непосредственно в шардированные таблицы, из которых далее данные будут читаться через Distributed-таблицу. Рассмотрим эти режимы более подробно.

В первом режиме данные записываются в Distributed-таблицу по ключу шардирования. В простейшем случае ключом шардирования может быть случайное число, т. е. результат вызова функции . Однако в качестве ключа шардирования рекомендуется брать значение хеш-функции от поля в таблице, которое позволит, с одной стороны, локализовать небольшие наборы данных на одном шарде, а с другой — обеспечит достаточно ровное распределение таких наборов по разным шардам в кластере. Например, идентификатор сессии (sess_id) пользователя позволит локализовать показы страниц одному пользователю на одном шарде, при этом сессии разных пользователей будут распределены равномерно по всем шардам в кластере (при условии, что значения поля sess_id будут иметь хорошее распределение). Ключ шардирования может быть также нечисловым или составным. В этом случае можно использовать встроенную хеширующую функцию . В рассматриваемом режиме данные, записываемые на один из узлов кластера, по ключу шардирования будут перенаправляться на нужные шарды автоматически, увеличивая, однако, при этом трафик.

Более сложный способ заключается в том, чтобы вне ClickHouse вычислять нужный шард и выполнять запись напрямую в шардированную таблицу. Сложность здесь обусловлена тем, что нужно знать набор доступных узлов-шардов. Однако в этом случае запись становится более эффективной, и механизм шардирования (определения нужного шарда) может быть более гибким.

Функциональные возможности

Камин для дома может приобретаться с целью обогрева, а может большей частью для декоративных задач. Для обогрева лучше подходят дровяные или газовые камины. Если же это не первостепенная задача, можно устанавливать электрический, биокамин, или фальшь-камин (декоративный). Многие модели способны работать в экономном (холостом) режиме, создавая иллюзию живого огня, и потребляя минимум энергии.

Газовый камин имеет наибольшую популярность среди пользователей

Большую популярность в качестве удобного, эстетичного и безопасного источника обогрева для дома имеют газовые камины. Их преимущества таковы:

не нужно создавать запас дров, брикетов или других источников топлива;
в процессе горения практически не образуются вредные и пожароопасные вещества, не засоряется жилое пространство;
практически не засоряется топка и дымоход (поэтому значительно реже требуется их чистка);
они довольно легкие и не требуют усиленного фундамента;
они легко устанавливаются, их можно ставить не только на даче, но и в квартире многоэтажного дома;
в продаже имеется множество моделей с самым разнообразным дизайном;
они не требуют вмешательства человека – длительное время могут работать без перерывов, а также способны автоматически поддерживать заданную температуру;
можно легко регулировать их мощность;
во время работы они не шумят (в отличие от дровяных каминов);
они отличаются повышенной пожарной безопасностью (оснащаются, например, датчиками, контролирующими уровень углекислого и угарного газа в воздухе, измеряющими газовое давление, и другими);
большинство моделей включается с помощью пульта дистанционного управления.

Из сложностей по установке газовых каминов можно отметить необходимость оформления разрешения на подключение камина у сотрудников службы газовой сети, и, разумеется, наличие подключения к этой сети. Также могут возникнуть затруднения с обустройством дымохода. Кроме того, многие модели требуют подключения к электрической сети.

Мощность камина, работающего на газу, является вполне достаточной для обогрева как квартиры, так и частного коттеджа или дачи. КПД газовых каминов значительно превышает их дровяные аналоги – он может достигать 80-85%. У наиболее популярных моделей диапазон мощности колеблется от 5 до 10 кВт. Некоторые модели имеют мощность вплоть до 13 кВт, что позволяет успешно обогревать жилище площадью до 200 м³.

Монтаж газовых каминов может выполняться одним из четырех основных вариантов:

напольная установка – требует изоляции напольного покрытия жаростойкими материалами;
встраиваемая установка – топка размещается внутри стены, готовится основание и дымоход, затем делается облицовка (достаточно сложный вариант);
настенная установка – камин просто подвешивается на стену;
наружная установка – уличный вариант, достаточно простой и не требующий дымохода.

Выбор камина

Биокамины

Немалым спросом пользуются биокамины – это элегантные обогревательные устройства, не обладающие большой мощностью, и использующие экологически чистое топливо (преимущественно топливом выступает биоэтанол – этиловый спирт, произведенный путем переработки растительного сырья). Преимущества

Биокамин

такого топлива – оно не образует дыма, сажи, копоти, искр, не оставляет золы, имеет высокий тепловой коэффициент (больше, чем у дров).

Биокамин легко монтировать, он может быть пристенным, угловым, настенным, островным, встроенным, он имеет облицовку из современных огнеупорных материалов. Основные недостатки биокаминов таковы: