Цод нагрузка на пол

Обновлено: 16.05.2024

Требования стандарта TIA-942-B к ЦОД Tier 3

Новая редакция стандарта телекоммуникационной инфраструктуры ЦОД TIA-942-B, вышедшая в июле 2017 года, в приложении F определяет требования к инженерной инфраструктуре ЦОД, с разделением на четыре уровня. Надо сказать, что определением Tier для разделения уровней ЦОД пользуется другая организация – Uptime Institute, а TIA пользуется словом – Rating. И, вообще говоря, требования Uptime Institute и TIA не совпадают, где-то они строже, где то мягче.

Если Uptime Institute сертифицирует ЦОД в целом, то по TIA выделяются и сертифицируются отдельные подсистемы. Такие как – телекоммуникационная инфраструктура (T), электрика (E), архитектура и конструкции (A) и так называемые механические системы, в которые включаются вентиляция, кондиционирование (M). Для характеристики ЦОД может существовать запись – T2E3A1M3, которая обозначает, что в ЦОД телекоммуникационная инфраструктура соответствует уровню 2, электрика - уровню 3, архитектура – уровню 1, а механические системы – уровню 3.

Требования к различным уровням для всех описанных подсистем сведены в таблицу в приложении F к стандарту TIA-942-B и являются достаточно подробными и конкретно определенными. Это позволяет достаточно легко, на стадии проектирования и реализации всем заинтересованным лицам – проектировщику, заказчику, подрядчику определить соответствие создаваемой инженерной системы требованиям стандарта.

Требования стандарта TIA-942-B к ЦОД Tier 3

Наиболее популярным уровнем инженерных систем, к которому стремятся в России и во всем мире является уровень 3. Далее рассмотрим требования стандарта TIA-942-B к этому уровню (Rated 3 Data Center).

Требования к телекоммуникационной инфраструктуре (T3):

- кабели, шкафы, стойки и кабельные каналы должны удовлетворять требованиям соответствующих стандартов TIA;

- требуется подключение ЦОД к различным операторам связи (как минимум к двум);

- помещения ввода и вводы в здание кабелей от различных операторов связи расположены не ближе, чем 20м друг к другу;

- требуется как минимум две комнаты ввода;

- не требуется резервирование MDA (Main Distribution Area);

- не требуется резервирование IDA (Intermediate Distribution Area);

- требуется резервирование магистральных кабелей СКС и кабельных каналов для их прокладки;

- не требуется резервирование кабелей горизонтальной подсистемы СКС и кабельных каналов для их прокладки;

- требуется резервирование блоков питания и центральных процессоров маршрутизаторов и коммутаторов;

- требуется резервирование маршрутизаторов и коммутаторов и резервирование подключений к вышестоящим устройствам (резервирование uplinks);

- патч-панели, розетки и кабели должны быть промаркированы в соответствии со стандартом ANSI/TIA-606-C, шкафы и стойки должны быть промаркированы с передней и задней стороны;

- коммутационные шнуры (патч-корды) должны быть промаркированы с двух сторон, на каждой метке должна быть информация об устройствах, подключенных с обеих сторон (например, название и порт коммутатора/название и порт патч-панели);

- должен быть создан и вестись журнал подключений к патч-панелям патч-кордов в соответствии со стандартом ANSI/TIA-606-C.

Требования к остальным подсистемам ЦОД – архитектуре и конструкциям, электрике и механическим системам будут рассмотрены в следующих материалах.

ЦОД. Строить или арендовать?

Стоит ли инвестировать в настолько сложный и дорогостоящий проект, когда существуют услуги colocation (размещения оборудования на стороне провайдера) и облачные сервисы? По мере роста бизнеса возникает потребность в расширении потребляемых информационных ресурсах, которые можно либо приобретать как услугу у ИТ-провайдера в коммерческом ЦОД, либо развивать их как собственный актив. Также, существует опция совмещения обоих подходов в рамках корпоративной стратегии – часть данных и приложений размещается в собственном дата-центре, часть отдается на сторону.

Услуги дата-центров помимо бизнес-сегмента сегодня все чаще востребованы госпредприятиями. Им, а также финансовым и телекоммуникационным компаниям может требоваться надежное хранилище больших массивов данных и другие ИТ-услуги, которые нельзя доверить стороннему провайдеру.

Главное преимущество владения собственным дата-центром — тотальный контроль над данными и сервисами, а также рабочей средой. Поэтому для бизнеса, критически чувствительного к простоям, репутационные и прочие издержки могут перевесить дорогостоящие вложения в собственный ЦОД.

Кроме того, владение собственным ЦОД снижает риск потери аренды и позволяет максимально задействовать физическое пространство дата-центра. Для тех, кто делает выбор в пользу строительства, задача состоит в том, чтобы потратить выделенные средства по возможности разумно.

Вариант: строить свой ЦОД.

Ряд компаний в силу самой своей деятельности выбирают путь строительства собственных дата-центров. Само собой, к ним относятся телекоммуникационные операторы: они строят коммерческие ЦОД и сами продают услуги по аренде их ресурсов. Также, взвесив все требования, приступают к созданию дата-центров многие государственные организации, предприятия топливно-энергетического комплекса, авиакомпании, крупные банки и другие организации с особыми требованиями к хранению и безопасности данных либо преследующие цель увеличить свою капитализацию.

Возведение и оснащение ЦОД — дорогостоящий проект. Мировая индустрия строительства дата-центров оценивается в несколько десятков миллиардов долларов. Цифры колеблются от $17,15 млрд по данным Orbis Research до $43,7 млрд по данным Research and Markets по итогам 2017 года. В России в сфере строительства дата-центров также вращаются миллиардные бюджеты. Например «Ростелеком» и «Росатом» строят федеральную сеть ЦОД стоимостью 22 млрд рублей в рамках госпрограммы «Цифровая экономика». Строительство дата-центра для крупного предприятия может обойтись в несколько сотен миллионов рублей.

Цена дата-центра.

Строительство ЦОД сопровождается не только высокими затратами, но и организационными и техническими трудностями. Существуют определенные требования к помещениям: высокие потолки для монтажа системы вентиляции, большая несущая способность пола для размещения тяжелого оборудования. В здание необходимо подвести значительные энергетические мощности, чего бывает крайне трудно добиться (поэтому так популярно размещение ЦОДов в бывших производственных цехах). Наконец, большие инвестиции требуются для приобретения и монтажа инженерной и ИТ-инфраструктуры здания с учетом резервирования компонентов. Если строится коммерческий ЦОД, дополнительных ресурсов требует соблюдение требований стандарта надежности TIER. Наличие сертификата о соответствии одному из уровней TIER — существенное условие при выборе дата-центра клиентами.

Строительство ЦОД. Большинство компаний, которые становятся на этот путь первую ошибку на этапе оценки стоимости строительства дата-центра, совершают: делают неверный расчет капитальных затрат и не учитывают сопутствующие расходы. Так, предварительное планирование, проектирование и ввод ЦОД в эксплуатацию могут обойтись еще в 20-25% дополнительно к стоимости строительства.

Эксплуатационные расходы также должны подвергаться тщательной оценке. Еще одна затратная статья — оплата работы персонала, обеспечение круглосуточного наблюдения и технического обслуживания, в том числе расходы на медицинские страховки, отпуска, лицензирование и обучение сотрудников. К этому нужно добавить ежегодные расходы на обслуживание объектов инфраструктуры (от 3 до 5% от первоначальной стоимости строительства), а также предусмотреть расходы на ремонт и модернизацию примерно на третий год работы. Эксплуатация может составить до 80% бюджета всего проекта.

И это еще не всё.

Если все перечисленное уже кажется достаточно сложной задачей, то напомню, что мы еще даже не подобрались непосредственно к проекту. Возможно, уже на этапе расчета стоимости возникнет здравая идея умерить аппетит и требования к техническим параметрам будущего дата-центра. На самом деле, стадия оценки стоимости и проектирования тесно связаны, потому что между эксплуатационными расходами на 10 и 100 стоек пролегает пропасть. Важно трезво оценить, сколько и какого оборудования нужно конкретному предприятию, чтобы банально не переплачивать за лишние мощности и их жизнеобеспечение.

Необходимо сформулировать требования под конкретные бизнес-задачи, не потратить лишнего, а также избежать обратной распространенной ошибки — тотальной экономии на всем. Ориентируясь на дешевые и при этом плохо масштабируемые решения, компании часто упираются в потолок возможностей спроектированной инфраструктуры, и для ее дооснащения "вдруг" требуются затраты, сопоставимые с первоначальными.

Вот перечень лишь основных "узких мест" в процессе построения и эксплуатации ЦОД:

- Грамотно составленное техзадание – сегодня этим чаще всего занимается проектировщик объекта, при таком подходе вся философия будущего дата-центра зависит от специалистов организации, не принимающих участия в управлении дата-центром и в эксплуатации его систем. В будущем это чревато обнаружением множества моментов, которые потребуют серьезной и затратной корректировки.

- Учет региона расположения ЦОД в плане представленности техподдержки вендоров оборудования, наличия качественных подрядчиков, доступности достаточного количества квалифицированных кадров. От этого зависит конфигурация многих систем дата-центра: если нет уверенности в кадровом обеспечении объекта, имеет смысл положиться на мониторинг, определить на самых ранних этапах, какие параметры каких систем и каким типом датчиков отслеживать, потребуется ли управление в режиме реального времени (например, при аварийной ситуации) и т.д.

- Готовить персонал для ЦОД нужно уже на этапе строительства, чтобы за полгода до конца стройки начать работу с линейными инженерами: подготовить подробные инструкций, провести тестирование знаний и навыков для обеспечения бесшовного перехода от стройки к эксплуатации.

- Сдача проекта – тончайшая работа, многокомпонентный процесс, отражающий комплексный характер дата-центра как объекта на стыке инженерии, ИТ, телекома, процессуальных стратегий и множества отраслевых тонкостей. Пусконаладка предполагает испытания нагрузками, превышающими расчетный максимум. Этот процесс должен быть проведен в обязательном порядке

- Эксплуатация ЦОД требует постоянного аудита процессов и документации по отраслевым стандартам, доработки инструкций на все рабочие ситуации. Без опыта подобной работы, управление дата-центром на должном уровне невозможно.

Дьявол в деталях

Рассказать о всех нюансах проектирования и эксплуатации дата-центра в пределах одной колонки невозможно. Важным критерием при выборе между собственным ЦОД и арендой является готовность компании нести текущие расходы на содержание своего дата-центра. Они складываются из расходов на эксплуатацию здания, техобслуживание инженерных и ИТ-систем, оплаты работы персонала, электросетей, каналов связи, а также затрат на апгрейд оборудования, ремонт и т. п. Рассмотрим в общих чертах бюджетирование процесса эксплуатации:

Все затраты на эксплуатацию серверной/дата-центра можно поделить на два типа:

операционные – средства, которые пойдут на ремонты и техническое обслуживание инженерных систем и оборудования;

инвестиционные – средства на модернизацию систем, замену крупного оборудования.

Операционный бюджет.

Это постоянные затраты на оплату труда, ЗИП, расходники, ремонты и ТО, которые закладываются из года в год.

ШАГ 1. Составляем список инженерных систем и самого главного оборудования.

Системы контроля доступа и видеонаблюдения

Система эксплуатации зданий и сооружений

Составляя такой список, важно не забыть про:

вспомогательные системы, например, мониторинг, вентиляцию, систему орошения, грузовые подъемники и ворота;

то, что, казалось бы, совсем косвенно относится к эксплуатации – клининговые услуги, транспортные расходы, утилизацию отработанных материалов (масло, АКБ).

ШАГ 2. Определяем стоимость и количество расходных материалов и ЗИП по каждой системе.

Если про стоимость деталей понятно – просто запрашиваем у поставщиков или делаем мониторинг предложения на рынке, то с вопросом: “А сколько нам этого надо?” – сложнее. Вот тут пригодится статистика по поломкам и ремонтам (можно собрать информацию задним числом по счетам/актам от подрядчиков на ремонты и покупку запасных деталей.

Предвижу вопрос: что делать, если серверная и дата-центр новые? Первые год-два можно продержаться на гарантии от поставщика оборудования, но все это время собираем статистику, однако лучше всего собрать службу эксплуатации из опытных людей владеющих информацией и способных спрогнозировать затраты («Кадры решают все» И.В.Сталин).

ШАГ 3. Рассчитываем стоимость работ по каждой системе силами подрядчиков.

Если у нас вариант, когда в договор включено все, в том числе и ремонт оборудования, то просто запрашиваем обновленное КП, проводим тендер или без лишних движений продлеваем договор на следующий год (тут можно попробовать поторговаться с существующими подрядчиками, чтобы они сделали дешевле, или они торгуются с нами, чтобы было дороже. В конечном итоге мы получим какую-то фиксированную цену на следующий год.

Если в договоре прописаны только ТО, нужно дополнительно рассчитать стоимость ремонтов и аварийных выездов. Тут так же, как и с расходниками и ЗИП: смотрим на статистику по проведенным работам за прошлый год.

Важно учесть, какой у нас договор – с постоплатой или предоплатой, чтобы не промахнуться с месяцем платежа. Допустим, работы по промывке внешних блоков кондиционеров у нас запланированы на апрель, значит с предоплатой это пойдет в марте, а с постоплатой – на май. Для чьей-то бухгалтерии это будут не просто разные кварталы, но разные финансовые года.

ШАГ 4. Сводим все цифры в один файл.

Сначала берем наши расходы на ТО и расписываем их в виде графика по месяцам. К этому добавляем в отдельной вкладке расходы на ремонты и стоимость ЗИП и расходников.

Инвестиционный бюджет

Это крупные траты на модернизацию и замену оборудования. Для его составления нам понадобится следующее:

  • данные о сбоях и авариях в прошлом году. Смотрим статистику и выявляем слабые звенья. Например, у нас есть постоянно ломающийся кондиционер, которому за последний год 2 раза заменили компрессор. Или другой вариант: на всех кондиционерах ломаются пароувлажнители. В этом случае задумайтесь, не лучше ли заменить этот кондиционер целиком или модернизировать всю подсистему, чем дальше тратить деньги и силы на ремонты.
  • данные об устаревающих элементах системы. Самый простой пример – аккумуляторные батареи. По опыту, среднее время работы батарей – 0,7 от заявленного производителем: если обещают 10 лет, то уже через 7 нужно готовиться к замене. Если меняем, то сразу всю линейку. Всю замену разбиваем на год: каждый месяц меняем один стеллаж, начав с самой «дохлой» линейки.
  • все, что нам завернули в прошлом году со словами: “Давай вернемся к этому вопросу через год”. Не забываем про эти обещания и вписываем в новый бюджет. Если это не потеряло актуальности, а не должно.

Далее рассчитываем стоимость модернизаций и замен с подрядчиком. Заносим в бюджет.

На чем можно сэкономить

Вдумчивое прочтение договора на обслуживание подрядчиком дает большие возможности сэкономить. О премудростях составления таких договоров я уже писал. Добавлю еще немного премудростей. Итак, проверяем:

Не дублируются ли одни и те же работы под разными формулировками.

Можем ли мы какие-то работы, не требующие высокой квалификации, выполнять собственными силами. Например, заменять фильтры кондиционеров.

Нет ли нерелевантных для ваших систем работ.

Нет ли “пустых” проверок оборудования без последующего устранения неисправностей. Предпочтительнее, чтобы формулировки звучали следующим образом: “Проверка и, в случае необходимости, исправление неисправностей”. Поэтому если в договоре значится: “Контроль уровня хладагента и масла», то дополняем: “Контроль уровня хладагента и масла, при необходимости – дозаправка”.

Периодичность ТО. Понятно, что подрядчику чем больше, тем лучше. Не поленитесь проконсультироваться с производителем оборудования, чтобы определиться с оптимальным количеством.

Уровень сервиса и время реакции подрядчика на инциденты. Можно прописать все по максимуму и получить соответствующую стоимость договора. Тут надо отделить от некритичного. Например, решить для себя, действительно ли так нужен приезд подрядчика на площадку в течение трех часов, если сломался резервный кондиционер. Хороший способ урезать бюджет – заняться оптимизацией расходов на ЗИП и расходники. Делаем следующее:

  • Закупаем напрямую у изготовителя.
  • Используем экономичные аналоги расходных материалов.
  • Унифицируем расходные материалы для оборудования разных поставщиков.

Самый энергозатратный, но действенный способ сэкономить – найти и устранить ошибки в эксплуатации, которые регулярно приводят к поломкам, а значит к затратам на ремонты. Аудит инженерных систем поможет выявить неправильную эксплуатацию оборудования, предотвратить будущие поломки.

Вот топ возможных слабых мест:

  • некачественное или несвоевременное проведение ТО;
  • неправильные алгоритмы работы оборудования, например, частые остановки и пуски компрессоров;
  • заниженные уставки на кондиционерах из-за неправильно установленного серверного оборудования;
  • разбалансировка нагрузки по фазам и лучам.

Проблемы в эксплуатации могут достаться и по наследству от тех, кто допустил просчеты на этапе проектирования или строительства. Такой аудит поможет не только тратить меньше, но и спасет дата-центр от потенциальных аварий.

На чем нельзя экономить.

Радостно вычеркивая статьи из бюджета, даже и не думайте резать следующие траты.

Тестирование. Если хотите спать спокойно, то боевые учения необходимы. Пусть лучше неисправность в оборудовании или системе (а иногда и в процессе) проявится во всей красе под нашим контролем, чем это случится 31 декабря.

Сезонные подготовительные работы. В первую очередь это касается системы холодоснабжения. Перед летним сезоном, самое позднее – в апреле, нужно промыть все внешние блоки и чиллеры, проверить правильность установленного ИТ-оборудования в залах, работоспособность резервных кондиционеров. К зиме готовимся в октябре: сливаем все, что может замерзнуть, проверяем подогрев ДГУ.

Закупка ЗИП. Мой опыт показывает, что подрядчика или своего инженера можно быстро вытащить на площадку ночью, в выходные или праздники, а вот привезти нужную деталь со склада так же быстро сложно. Склады живут по своему графику, не 24х7. А еще там просто может не оказаться нужной детали. Тогда ЗИП придется ждать неделями, если не месяцами.

Необязательно дублировать всю инфраструктуру на складе. Достаточно определить те детали, которые часто приходится менять (опять же смотрим статистику), и те, из-за которых вы можете лишиться резерва или вовсе остаться с неработающим оборудованием/системой. Когда пускаем в дело запасы со склада, сразу же закупаем новые, хотя бухгалтерия будет удивленно спрашивать: «Зачем вам новое, вы же только что поменяли?»

Вариант: аренда

Неудивительно, что высокие затраты на собственный ЦОД побуждают многие организации обращаться в коммерческие дата-центры. Сегодня можно найти предложение, удовлетворяющее практически любым разумным требованиям заказчика.

Аренда ресурсов коммерческого ЦОД может представлять собой один из двух вариантов: покупка облачных сервисов или аренда стоек. Особенно интересно это предложение для небольших развивающихся компаний, уже переросших возможности своих первых серверов. Например, аренда облачного сервера начального уровня может стоить на два порядка дешевле покупки «железного» сервера.

Клиент коммерческого дата-центра оплачивает лишь малую часть расходов, которые несет владелец. Вопросы безопасности, доступности, технической поддержки его волнуют лишь в части соблюдения поставщиком условий договора.

Плюсы облачных сервисов очевидны — это гибкость и коммерческая эффективность. В распоряжении заказчика всегда ровно столько ресурсов, сколько ему требуется. Если бы он построил свой ЦОД, даже модульный, всё равно он постоянно переплачивал бы за неиспользуемые мощности. Недостатки также хорошо известны: передача «на сторону» своей информации означает согласие с риском компрометации или потери данных. Кроме того, в случае сбоя и недоступности ресурсов у клиента отсутствуют рычаги полного контроля над ситуацией — он вынужден следовать за действиями поставщика услуг. К счастью, надежность коммерческих ЦОД достаточно высока, чтобы соответствовать требованиям абсолютного большинства компаний. Ряд провайдеров даже строит отдельные резервные ЦОД, в которых размещает бэкапы данных клиентов.

Отчасти вопросы контроля ИТ-систем заказчиком решаются при аренде стоек в коммерческом ЦОДе. Это, по сути, гибридный вариант, дающий возможность круглосуточного мониторинга производительности, энергопотребления и трафика. Если в компании приняты особые требования к безопасности, можно поставить вокруг ИТ-систем защитный периметр, договориться с провайдером о монтаже собственных, независимых от него систем видеонаблюдения и контроля доступа в помещении. Стоимость аренды стойки типа 1U со всеми коммуникациями колеблется около 100 долларов в месяц.

Практика показывает, что в подавляющем большинстве случаев требования бюджета оказываются самыми весомыми при принятии решения о том, где размещать свои данные. Строительство своего ЦОДа — удел компаний с миллиардными оборотами и стабильной прибылью, остальные могут воспользоваться облачными услугами.

Экспертиза и планирование ЦОД

От того, насколько квалифицированно и тщательно проработана концепция ЦОД, самым непосредственным образом зависит успех проекта и экономическая эффективность ЦОД в период его эксплуатации.


Рис. Планирование ЦОД

Строительство ЦОД: предварительные расчеты

Оценка потребностей бизнеса в информационных сервисах

Чтобы спроектировать инфраструктуру ЦОД, необходимо начать с аудита информационных предприятия, в процессе которого анализируются информационные потоки и структуры данных для построения логических схем взаимодействия приложений и бизнес-информации.

После аудита необходимо:

  • спроектировать базы данных
  • рассчитать объемы информации
  • выбрать программные платформы
  • подготовить необходимые приложения.
Оценка рисков простоев цод и разработка сервисного соглашения

Необходимо провести экспертизу и оценить риски, связанные с простоем или не доступностью информационных бизнес-сервисов.

На этой основе необходимо разработать сервисное соглашение, регламентирующее качество информационных сервисов, в котором задается:

  • необходимый уровень производительности сервисов
  • необходимый уровень доступности
  • регламенты профилактических работ
  • время хранения архивированных данных
  • необходимые условия резервирования данных и сервисов
  • адаптивность систем к возможным изменениям и параметры масштабируемости.

Разрабатывается политика информационной безопасности.


Рис. Оценка потребностей ЦОД в электропитании и охлаждении: последовательность действий

Когда речь идет о выборе подходящего оборудования для важно тщательно рассчитать ожидаемые нагрузки. Для этого необходимы экспертиза и технологическая экспертиза:

  • анализ потребностей в охлаждении
  • анализ потребностей в системах кондиционирования
  • анализ потребностей в резервном электропитании.

Оценка электропитания, необходимого для поддержки критических нагрузок и соответствующего охлаждения, является критически важной для планирования развития объекта в соответствии с ожиданиями Заказчика.

Расчет стоимости проекта создания ЦОД производятся с использованием ключевых критериев проектирования для двух основных областей проекта – Технологической инфраструктуры и сервисов (ИТ) и Вспомогательной инфраструктуры и сервисов (инженерия).


Рис. Ключевые критерии проектирования ЦОД

Термин «отказоустойчивость ЦОД» (fault tolerance) относится или компоненту, спроектированным так, что на случай выхода из строя или необходимости ремонта предусмотрены запасной компонент или процедура, которые немедленно начинают действовать, обеспечивая непрерывность предоставления сервисов. Отказоустойчивость может быть обеспечена с помощью программных, или аппаратных средств, или с помощью их комбинации.

определяет четыре уровня отказоустойчивости ЦОД: базовый (неотказоустойчивый), с резервными компонентами (ЗИП в виде отдельных сменных компонентов), постоянно поддерживаемый (ЗИП в виде заведомо исправных устройств и агрегатов, «холодный» резерв) и отказоустойчивый («горячее» резервирование). ЦОД первого уровня (Tier 1) не имеет резервируемых систем, а потому все плановые и незапланированные работы неминуемо оборачиваются простоями. В ЦОД четвертого уровня (Tier 4) непрерывное функционирование поддерживается автоматически. Разумеется, выбор требуемого уровня на этапе проектирования определяется не только его стоимостью (центр с полным резервированием обходится примерно в два с половиной раза дороже «простого» ЦОД), но и особенностью задач, поставленных заказчиком.

Существуют три группы рисков, которые потенциально могут служить источником несоответствия ЦОД бизнес— пользователей.

Три группы требований к размещению ЦОД
Требования для обеспечения необходимой мощности ЦОД

К таким требованиям относятся все количественные требования к помещению, на основании которых рассчитывается мощность ЦОД.

Обязательные требования

Легитимность сооружения. Прежде всего, следует позаботиться о легитимности сооружения, чтобы только что построенный ЦОД в спешном порядке и с большими затратами не пришлось переносить в другое место. Однако возможность перемещения центра стоит предусмотреть при разработке чрезвычайного плана восстановления после катастроф (Disaster Recovery Planning, DRP). Дополнительно надо изучить требования федеральных, республиканских и местных законов применительно к конкретному населенному пункту.

Расположение. ЦОД должен иметь удобные основные и резервные подъездные пути. Возле здания нужна парковка для доставки оборудования к месту его установки.

Высота помещения. В помещении, предназначенном для ЦОД, для организации фальшпотолков и фальшпола необходимо предусмотреть дополнительное пространство.

Гидроизоляция. Категорически исключено наличие водопроводных труб этажом выше. Если же над помещением проходят транзитные магистрали с водой (водопровод, отопление), то тогда стоит позаботиться о дополнительной гидроизоляции. Кроме того, помещение для ЦОД следует располагать выше уровня грунтовых вод.

Отсутствие излучения. Ни в самом помещении ЦОД, ни поблизости от него не должно быть источников электромагнитного и радиочастотного излучения — радиопередатчиков, рентгеновского оборудования и трансформаторов.

Сейсмоустойчивость. В зависимости от региона приходится учитывать требования сейсмоустойчивости.

Дополнительные требования

Требования к помещениям для серверов. Стойки с серверами должны быть расположены в комнате, у кото¬рой все стены — внутренние. Такие помещения называются «модули» и строятся из специализированных «сэндвич-панелей.

Распределение оборудования по нескольким модулям в здании ЦОД позволяет повысить его физическую защищенность, а следовательно, и надежность предоставляемого сервиса. Модульный подход способствует экономичному использованию ресурсов электроснабжения, кондиционирования, позволяет сократить вложения в дорогостоящие антистатические фальшполы, а также обеспечивает масштабируемость инфраструктуры ЦОД без значительных начальных вложений в инфраструктуру.

«Модули» оборудуются следующими системами:

  • безопасности (охранная сигнализация — сигнал «тревога», система контроля и управления доступом, досмотровая техника, теленаблюдение, системы защиты оборудования и данных)
  • противопожарной защиты (система раннего оповещения о пожаре, автоматическая пожарная сигнализация, газовое пожаротушение, дымоудаление)
  • (HVAC)
  • энергоснабжения

Регламентация доступа. Доступ в помещение должен быть ограничен и строго регламентирован. Для этого желательно предусмотреть два и более периметров охраны. Перемещения людей и любого оборудования необходимо не только контролировать, но и фиксировать в учетных системах или, как минимум, в специальных журналах.

Физическая защита систем энергоснабжения. Для энергоснабжения предпочтительнее подземные магистрали, нежели подвесные, чтобы свести к минимуму влияние неполадок в линиях освещения, перебоев в питании по вине упавших деревьев, дорожных аварий и проявлений вандализма.

Требования к кабельной канализации. В здании надо организовать не менее двух независимых вводов для магистральных линий связи (от разных колодцев кабельной канализации до помещения ЦОД). При этом требуется достаточная свободная емкость до ближних колодцев кабельной канализации. Трассы прокладки не должны пересекаться или проходить в непосредственной близости друг от друга.

Требования к вентиляции. Для систем вентиляции следует оставить определенный резерв, чтобы при необходимости подключить к ним помещения ЦОД. При размещении ЦОД на этажах выше первого надо предусмотреть вентиляционные шахты и возможность дополнительной нагрузки на них, а также раздельные вертикальные подводы для электричества и слаботочных/оптических кабелей, причем желательно иметь два независимых пути подвода.

Требования для доставки и установки оборудования. Мобильный заправщик должен иметь возможность беспрепятственного проезда к месту размещения установки. На всем пути от места разгрузки оборудования до помещения ЦОД проходы должны иметь требуемую высоту и ширину. Стоит помнить о том, что существует оборудование, не допускающее кантование при его транспортировке. Для облегчения работ нужен грузовой лифт требуемой грузоподъемности.

Требования к помещениям ЦОД

При проектировании следует заранее предусмотреть достаточное пространство для всех видов вспомогательного электро - и механического оборудования, включая оборудование для работы внутри здания, вне здания и на крыше. Здание должно иметь достаточно большую погрузочно-разгрузочную площадку, грузовой лифт и пути для приёма всех ожидаемых поставок расходных материалов и оборудования. На крыше или на уровне земли должно быть предусмотрено достаточно места для установки оборудования для отвода тепла из системы охлаждения воздуха, размещения трансформаторных подстанций, размещения автономных электростанций.

Над машинным залом не располагать помещения, снабжённые водопроводом, например, комнаты отдыха, туалеты для вахтёров, кухни, лаборатории, комнаты для механического оборудования.

В машинных залах нельзя предусматривать окна.

Объемно-планировочные и конструктивные решения должны предусматривать возможность расширения. Для обеспечения возможности монтажа электроагрегатов и крупноблочного электрооборудования в соответствующих помещениях должны быть предусмотрены ворота или монтажные проемы, размеры которых должны превышать габариты оборудования не менее чем на 400 мм.

Встроенные дизельные генераторы должны отделяться от смежных помещений несгораемыми стенами 2 типа и перекрытиями 3 типа.

Помещения с расходными баками топлива должны иметь непосредственный выход наружу, а при наличии второго выхода через другие помещения - отделяться от них тамбуром.

Основные входы в машинные залы и должны иметь размеры, обеспечивающие пронос крупногабаритных деталей и механизмов при производстве ремонтов оборудования. Расстояние от его наиболее удаленных точек до эвакуационного выхода (двери) должно быть не более 25 м.

Помещения с постоянным пребыванием людей должны иметь естественное освещение.

Требования к помещениям

Полы, стены и потолки должны быть залиты, окрашены или выполнены из материала, минимизирующего пылеобразование. Поверхности стен, пола и потолка не должны выделять и накапливать пыль. Отделанные поверхности должны быть светлыми, что повысит общую освещенность. Полы должны иметь антистатические свойства в соответствии с документом IEC 61000-4-2.

Трассы обычного и пожарного водоснабжения, отопления (в том числе батареи) и канализации должны быть вынесены за пределы помещений ЦОД и не находиться непосредственно над ними на верхних этажах. Через помещения ЦОД не должны проходить никакие транзитные инженерные коммуникации.

Помещения серверных ЦОД необходимо оборудовать фальшполом. Высота пространства над шкафами должна быть достаточна для свободного размещения кабельных трасс.

Размеры дверных проёмов должны быть не менее заданной величины и быть без порогов (ANSI/TIA/EIA-569A). Высота от фальшпола до выступающих элементов (светильников, спринклеров и т.п.) – не менее 2,6 м. (ANSI/TIA/EIA-569A). Двери должны быть открывающимися наружу, раздвигающимися в стороны, или съёмными. Двери должны быть снабжены замками и либо не иметь центральной стойки, либо иметь съёмную центральную стойку, чтобы облегчить доставку крупногабаритного оборудования.

Несущая способность перекрытий в машинном зале должна быть достаточной для того, чтобы выдерживать как распределённую, так и сосредоточенную нагрузку от установленного оборудования с учётом соответствующей кабельной разводки и носителей.

Перекрытие должно также обладать способностью выдерживать висячую нагрузку не менее 2,4 кПА, создаваемую грузами, подвешенными к этому перекрытию снизу (например, лестничные кабельные лотки, свисающие с потолка нижерасположенного этажа). Методы измерения и испытаний несущей способности перекрытий приведены в технических требованиях Telcordia specification GR-63-CORE.

В составе ЦОД должны быть предусмотрены следующие помещения:

1. Помещения для размещения ИТ оборудования (машинный зал ЦОД);

2. Помещения для размещения источников бесперебойного питания (ИБП);

3. Помещения ГРЩ;

4. Помещения для размещения оборудования систем охлаждения ЦОД (в случае выноса из машинного зала);

5. Помещения городского ввода телекоммуникационных сервисов (комната ввода);

6. Складские помещения для хранения оборудования, ЗИП, расходных материалов (минимум два – склад ИТ оборудования и склад оборудования инженерных систем);

7. Помещение для сборки, контроля состояния, ремонта и настройки оборудования;

8. Помещение оперативного контроля (диспетчерский центр ЦОД);

9. Офисные помещения для размещения обслуживающего персонала и администраторов;

10. Коммуникационные (главная распределительная зона, горизонтальная распределительная зона);

11. Комната размещения АУГПТ.

12. Помещения охраны.

13. Комната отдыха дежурного персонала.

Требования к машинному залу

При проектировании машинного зала необходимо предусмотреть возможность его расширения. Следует обеспечить доступность для доставки в машинный зал крупногабаритного оборудования. Зал должен быть расположен вдали от источников электромагнитных помех. Машинный зал не должен иметь наружных окон, поскольку наружные окна увеличивают тепловую нагрузку и уменьшают безопасность. Размеры машинного зала должны удовлетворять требованиям по размещению крупногабаритного специального оборудования с учётом надлежащих проходов. При выборе размеров следует учитывать и перспективу, и действующие требования Оборудование, не связанное с поддержкой машинного зала (например, трубы, канализация, короба, пневмопроводы и пр.), не должны устанавливаться в машинных залах, проходить через них насквозь или входить в машинные залы.

В машинном зале должна быть выдержана высота не менее 3,6 м от чистового пола до любого выступающего элемента.

Машинный зал должен быть защищён от проникновения загрязняющих веществ в соответствии с требованиями док. ANSI/TIA-569-В.

Температура и влажность окружающего воздуха должны контролироваться в автоматизированном режиме на высоте 1,5 м над уровнем пола с интервалами от 3 до 6 м вдоль оси холодных проходов.

Разработать решения по проходу кабелей через стены и перекрытия в машинных залах. Решение и тип материалов определить при разработке концептуального проекта.

Предусмотреть решения по гидроизоляции машинных залов исключающих проникновение жидкостей (воды) с верхних этажей.

Инженерная инфраструктура центров обработки данных (ЦОД)

Рубрики

Полезные ссылки

Руководство «Требования и рекомендации к зданию, территориям и помещениям ЦОД»


В данном руководстве Вы найдете требования и рекомендации к плите перекрытий и подушке основания здания ЦОД, к стенам серверного помещения и различных вспомогательных помещений, нагрузке на пол, высоте фальшпола, площади серверной, требования к проходам и дверям.

Данное руководство удобно тем, что оно содержит ссылки на стандарты с указанием стандартов и пунктов или статей, включая: международный стандарт IBC, американские стандарты BICSI 002 и TIA-942-B, европейские стандарты EN 50600-2-1 и EN 50600-2-5. Данное руководство рекомендуется для тех, кто занимается проектированием, и строительством дата центров.

Оглавление руководства в файле pdf

Данное руководство ежегодно обновляется, скачать обновленную версию оглавления данного руководства можно по следующей ссылке: Обновленная версия оглавления руководства

Оглавление руководства в текстовом формате

Ниже данного теста приводится текстовое описание оглавление старой версии руководства 4.01

Стоимость руководства

Стоимость этого руководства и других руководств, Вы можете посмотреть по следующей ссылке: Цены на руководства и книги

Вы можете послать эту статью или новость коллеге или знакомому по email со своим комментарием, пригласить обсудить ее. Просто нажмите на иконку конверта --->

Читайте также: