Проектирование и монтаж ЦОД

Важной составляющей инженерной инфраструктуры  ЦОДа является система размещения ответственного оборудования, с которой начинается проектирование дата-центра. От параметров, которые будут заложены на этапе проектирования зависит  надежность, стоимость и управляемость будущего Центра Обработки Данных.

На этапе проектирования закладываются параметры энергопотребления и  тепловыделения устанавливаемого оборудования, задаваемые Заказчиком. Также закладывается примерный период предполагаемой службы ЦОДа – 5, 10, а то и на 15 лет.

Опытный интегратор может помочь Заказчику в начальной стадии проектирования и предложить отработанные типовые подходы к решению этой задачи. Уже на этом этапе проектировщик должен указать Заказчику на возможные ограничения существующих инженерных систем, прежде всего кондиционировани я воздуха, на необходимость выделения достаточных площадей для установки вспомогательных инженерных систем, таких как чиллерные установки, баки-аккумуляторы холодоносителя и пр.

После того, как Заказчик определился с составом размещаемого оборудования, на эскизе прорисовывается будущая схема размещения оборудования.

Стандартом «де-факто» для ЦОДов является применение 19-и дюймовых конструктивов для установки серверов и сетевого оборудования.

По классической схеме эти шкафы устанавливаются таким образом, чтобы между ними образовывались «горячие» и «холодные» коридоры. В «холодные» коридоры подается воздух от кондиционеров, из «горячих» коридоров воздух забирается системой кондиционирования.

Кроме этой применяются:

• модернизированные схемы с изоляцией «холодного» или «горячего» коридоров,
• закрытые системы кондиционирования, когда тепловые потоки «запираются» в объеме шкафа с оборудованием,
• системы с вытяжкой горячего воздуха из шкафа, внутрирядное кондиционирование и т.д.

Выбор коммуникационных шкафов — очень ответственный момент.

• Шкаф должен выдерживать вес установленного оборудования, который может достигать 1000 кг. При этом он должен сохранять свою жесткость и устойчивость. Современные шкафы для ЦОДов, как правило имеют перфорированные передние и задние двери. При этом неиспользуемая фасадная площадь должна быть закрыта специальными заглушками.
• Помещение необходимо оборудовать кабельными лотками, как для прокладки электрического кабеля, так и для кабелей связи. При проектировании необходимо учитывать их взаимное влияние  и расположение будущей системы кондиционирования воздуха.
• Помещение должно комплектоваться комплексно. В этом случае при эксплуатации не возникнет проблем с доступом к какому-либо оборудованию, не будет проблем с заменой или модернизацией оборудования и расширением ЦОДа.

Инженерные системы дата-центра являются комплексной системой жизнеобеспечения и обеспечивают физическую безопасность вычислительных подразделений от стихийных бедствий, несанкционированного доступа, пожаров и наводнений.

Инженерная инфраструктура вычислительного комплекса еще на уровне проектирования ЦОД создается с учетом его будущего масштабирования и включает ряд резервных подсистем, в том числе обеспечивающих стабильную работу серверов и СХД, установленных в дата-центре.

С учетом важности задач, к инженерной инфраструктуре предъявляют ряд обязательных требований:

• надежность эксплуатации
• долгий срок службы
• высокая управляемость
• полная безопасность
• легкий доступ к отдельным компонентам подсистем для ремонта и диагностики
• бесперебойная подача электроэнергии
• низкая совокупная стоимость владения

В физической инфраструктуре ЦОД старших уровней инженерные подсистемы рассматривают как единое комплексное решение, интегрированное со службами эксплуатации здания и сетевой инфраструктурой компании-владельца, сюда включаются системы кондиционирования и вентиляции дата-центра, системы бесперебойного электропитания и технической безопасности. Общие принципы построения инженерных систем:

• соблюдение отраслевых международных стандартов
• высокая надежность
• эффективность
• физическая безопасность
• модульность с возможностью замены неисправных модулей в режиме «горячей замены»
• технологичность
• управляемость. Высокая управляемость достигается путем подключения активных подсистем к центральной диспетчерской службе через стандартные сетевые интерфейсы.
• централизованное управление инженерным комплексом и удаленная диагностика исключает возможные сбои в сети и позволяет быстро устранять аварийные ситуации.
• информационная и физическая безопасность.
• высокая масштабируемость.

В ИТ-структуре многих Заказчиков центр обработки данных является развивающимся объектом. Применение в процессе строительства инженерной инфраструктуры дата-центра модульных стандартных компонентов позволит компании-владельцу в дальнейшем легко адаптировать ЦОД к решению новых задач.

Основу систем электроснабжения ЦОДов составляют системы основного и резервного электропитания, которые обеспечивают бесперебойное питание рабочих элементов центра обработки данных.

Без систем бесперебойного и аварийного электроснабжения не могут нормально функционировать отдельные подразделения дата-центра и весь комплекс в целом.
Поэтому при проектировании инженерных систем ЦОД важной задачей является экономия электроэнергетических ресурсов.

Распределение показателей энергопотребления по отдельным системам ЦОД

• системы вентиляции и кондиционирования, включая чиллеры, прецизионные кондиционеры -50 %
• компьютеры и серверные стойки — 36 %
• источники бесперебойного питания (ИБП) — 11 %
• лампы технологического освещения и световые датчики пожарной сигнализации — 3 %.

Системы электроснабжения могут функционировать в качестве самостоятельных блоков и в составе единой инженерной инфраструктуры центра обработки данных.

При расчете оптимальной емкости будущей системы электропитания и энергоснабжения ЦОД учитывается необходимое количество секций и блоков системы электропитания, общее количество устройств и оборудования.

Системы аварийного и резервного питания дата-центра

Дата-центр – огромный комплекс, состоящий из нескольких подсистем с единым управлением. Полную готовность вычислительных систем ЦОД и высокую отказоустойчивость 24 часа в сутки можно обеспечить введением систем аварийного энергоснабжения.
Для исключения сбоев в подаче электроэнергии и повышения надежности ЦОД производят дублирование основных серверов, оборудования и основных ИБП.
Резервная система электропитания включается в критических аварийных ситуациях и при плановом останове оборудования для проведения технического осмотра.
Расчет мощности основной и резервной системы энергопитания
Уровень рабочей мощности систем электропитания дата-центра закладывается на этапе предварительной оценки состояния электрической кабельной системы и питающих линий здания, электрических стояков электрощитовых и кроссовых помещений.
Дизель-генераторная установка (ДГУ) является основным элементом системы резервного электропитания. Резервный дизель-генератор быстро запускается в автоматическом режиме при отключении внешнего электропитания сети.
Очень важно правильно рассчитывать мощность ДГУ, чтобы Ваш дата-центр функционировал нормально, без сбоев. Мощность дизель — генератора рассчитывается на основе величин максимального энергопотребления уже установленных серверов, систем обслуживания и систем кондиционирования ЦОД. Для корректного расчета показателя мощности серверных и периферийных систем необходимо учитывать уровень потребления дополнительных источников электропитания ЦОД.

Если исключить из рассмотрения множество технических хитростей в устройстве чиллера, то принципиальную схему этого устройства объяснить довольно просто. Представьте себе замкнутый контур, по которому компрессор гоняет вещество с очень низкой температурой кипения. В состав контура входят два теплообменника. Внутри одного из теплообменников создается давление, при котором жидкий фреон испаряется. При испарении фреон этом забирает тепло из окружающей среды, из той самой воды, требующей охлаждения. В другом теплообменнике возникает давление, при котором газообразный фреон конденсируется и отдает тепло окружающей среде. Т.е. в одном теплообменнике — испарителе производится холод, а в другом теплообменнике конденсируется тепло. Холод мы используем в системе кондиционирования, тепло отводим за ненадобностью.

Неотъемлемой частью систем кондиционирования воздуха на чиллерной воде являются чиллерные машины, которые выполняют функцию снабжения кондиционеров-фанкойлов охлажденной водой.

Чиллер — агрегат для производства охлажденной жидкости (вода или раствор этиленгликоля) является ключевым узлом системы центрального кондиционирования воздуха в помещениях дата-центра.

Как отводить тепло от конденсатора?

На этапе планирования системы кондиционирования ЦОД, специалисты по проектированию центра обработки данных задают типы кондиционирования. Используют прецизионные кондиционеры и охлаждение путем забора воздуха из окружающей среды. Для этого конденсатор размещают на улице и обдувают вентиляторами, либо размещают внутри технического помещения и обеспечивают подачу в помещение уличного воздуха и его отвод.

Имеется возможность охлаждать конденсатор с помощью воды. Для этого необходимо установить устройство замкнутого водяного контура с установленной в нем градирней — агрегатом для охлаждения воды. Градирня не используется для кондиционирования воздуха, поскольку температура охлажденной воды намного выше температуры воды, выходящей из чиллера. Но с помощью градирни можно легко охладить конденсатор холодильной машины.

Одним из основных подсистем ЦОД является система технической безопасности. Комплексная система безопасности предназначена для обеспечения защиты от пожара и защиты от проникновения посторонних.

Основные компоненты системы безопасности ЦОД:

• система видеонаблюдения (СВН) для контроля и фиксации событий. СВН позволяет сотрудникам службы безопасности осуществлять дистанционный визуальный контроль над всеми зонами объекта, а также записывать и хранить всю видеоинформацию.
• система контроля и управления доступом (СКУД)
• система охранной сигнализации (СОС)
• система голосового оповещения (СГО) о пожаре
• система пожарной сигнализации (СПС), интегрированная с системой газового, либо порошкового пожаротушения (ГПТ).

Комплексная система технической безопасности ЦОД снабжена большим количеством сенсоров и датчиков, способных предотвратить опасную ситуацию.

Функциональные возможности комплексной системы безопасности ЦОД:

• фиксация и оповещение службы безопасности о возникновении задымления или пожара на территории предприятия с указанием адреса тревожного помещения.
• автоматическое включение системы пожаротушения в местах возникновения пожара.
• управление входными дверьми
• отключение системы вентиляции и кондиционирования дата-центрапри поступлении сигнала тревоги с пожарных извещателей, мониторинг инженерных систем дата-центра.
• звуковое оповещение персонала ЦОД о пожаре и указание безопасных путей их эвакуации
• круглосуточное видеонаблюдение за охраняемой территорией с записью видеоинформации на цифровые устройства комплексной системы безопасности
• архивирование видеозаписей по помещениям ЦОД с возможностью покадрового воспроизведения записей тревог, в том числе по дате, времени суток, по камере и т.п.
• управление системой контроля и управления доступом для регулирования санкционированного входа/выхода сотрудников ЦОД и учета рабочего времени каждого сотрудника.