Электропитание ИТ-оборудования: безопасность или бесперебойность?

Электропитание ИТ-оборудования: безопасность или бесперебойность?

Добрый день, друзья! Сегодня у нас будет статья, цель которой — поделиться опытом и показать ключевые особенности и частые ошибки возникающие при проектировании и организации подсистем электроснабжения ИТ-инфраструктуры и ЦОД в целом. Но хотелось бы немного расширить аудиторию и посвятить несколько разделов базовым элементам обеспечения электробезопасности и защиты оборудования и людей. Для тех кто понимает, что такое автомат и УЗО, для чего они необходимы, что и от чего защищают – переходите к разделу Нужны ли УЗО для IT-оборудования, серверной, ЦОДа? кроме того, мы разберемся в вопросе- в каких случаях перебоев в сети питания операционная система гарантированно должна работать без сбоев. Итак…

Часть первая

Осень, дождь хлещет почти непрерывно. Идет бурное строительство одного подмосковного коттеджного поселка. Комендант поселка обходя подконтрольную ему территорию видит вопиющий факт «надругательства» над временной воздушной линией 380В.

Не в состоянии сдержать эмоции, он обращается к бригадиру местной строительной бригады:

— Вадим, да ты в своем уме? Твои работяги — смертники? Что это за бордюрный блок висит на электрокабеле?

— Коля, если его снять, то за углом дома не проедет экскаватор!

За спиной у Вадима можно увидеть дорожного рабочего, который нашел в грязи оголенный провод, уходящий куда-то в недра земли, и радостно бегает за коллегой, «пугая» его электричеством.

Тем временем на подстанции поселка уставшие охранники, обжигаясь, в десятый раз пытаются включить ужасно горячий автоматический выключатель, который почему-то выбивает раз в полчаса.

Почему выбивает автоматический выключатель и какие еще бывают варианты защиты электрооборудования? На что смотреть в первую очередь при планировании электробезопасности в серверах и другом ИТ-оборудовании? Для того, чтобы разобраться в этих вопросах подробнее читаем обе части статьи.

Поскольку нормативами предусматривается целый комплекс мер защиты электросетей от тех или иных аварий, то остановимся на самых распространенных в быту и промышленном секторе.

От чего мы хотим и можем защитится в первую очередь?

Конечно, от поражения электрическим током. Во вторую очередь защитить оборудование и кабели от повреждения токами короткого замыкания, а также от возгорания и пожара.

Автоматический выключатель (автомат) – самое распространенное средство защиты электросетей. Конечно, есть еще и плавкие вставки (предохранители), но они используются гораздо меньше в силу своей «одноразовости» и ряду технических отличий по сравнению с автоматом.

В классическом случае автоматический выключатель защищает:

1. От короткого замыкания

Короткое замыкание (КЗ) – это когда при повреждении изоляции фаза замыкается на ноль или на землю, от чего ток в цепи резко увеличивается (в 5-15 раз) и отключает автомат за время не более 0,4 секунды (для групповой сети согласно правилам устройства электроустановок). Если наш автомат неисправен или режимы работы сети не обеспечивают его надежное срабатывание, то в первую очередь страдает оборудование, подключенное к данной группе, которое само может являться источником короткого замыкания. КЗ также несет негативные последствия для проводов и кабелей. Как правило, в случаях несрабатывания автомата в щите происходит локальный разогрев места короткого замыкания, возникновение дуги и отгорание проводящих частей с фейерверком микрочастиц расплавленной меди. И это развитие событий видится достаточно благоприятным, так как в данном случае авария прекращается сама собой. В отдельных случаях в месте короткого замыкания происходит «сваривание» токоведущих частей, и образуется так называемое «металлическое» КЗ, которое куда опаснее, поскольку само собой не прекращается, и должно быть отключено автоматом. После чего специалист должен найти место повреждения и лишь потом пытаться включить аппарат. Но защита может не сработать по разным причинам, тогда (не дай Бог) может случиться

пожар новогодней елки, всего несколько секунд и кислород остается лишь у самого пола

Кроме того, современные автоматы выполняют функцию токоограничения при аварии, то есть не дают токам в цепи достигнуть опасных значений.

Немного подробнее про токоограничение

Что значит токоограничение и чем опасны высокие токи КЗ?

С увеличением мощности сетей в глобальном смысле токи однофазного короткого замыкания могут достигать больших значений, до десятков тысяч Ампер, особенно если наш потребитель, оборудование или розетка установлены достаточно близко к подстанции. А в таких режимах существует понятие «электродинамическое действие токов КЗ». Опять сложный термин, скажет Вы. А вот и нет. Доступным языком можно пояснить этот термин как попытки медных шин в щитах, кабелях и прочей начинки сдвинутся с места под действием больших токов, изогнуться, особенно если монтажники просто накидали кабели в лоток, а закрепили как придется: подручными средствами, остатками проволоки и т.п. И в этой ситуации развитие аварии может быть еще более плачевным – межфазное КЗ, разрушение оборудования и прочее… Таким образом правильно выбранный автомат – залог правильной работы оборудования, и если его по какой-то причине «выбивает», то не надо пытаться его включить, при этом возмущаясь, что он мгновенно отключается снова.

График токоограничения и снижения выделяемой тепловой энергии

2. От перегрузки сети

Перегрузка сети – это когда повреждение изоляции (или повышенная нагрузка в сети) вызывает длительное увеличение токов в цепи сверх расчетных показателей (на 110-300% или 110-500%), что приводит к отключению автомата за время от нескольких минут, до полутора часов в зависимости от ситуации и типа автомата. В данном случае обеспечивается защита от перегрева, разрушения изоляции и возгорания элементов групповой цепи. То есть автомат должен нагреться и отключиться раньше, чем произойдет критический нагрев проводов, кабелей, контактов, розеток, выключателей. Например, самый распространенный автомат характеристики С, и номиналом 16А надежно защитит от перегрузки сети при токах от 20,8А (1,3 номинала) и сработает за время примерно 60 минут, а в случае тока перегрузки в 48А (3 номинала) выключение произойдет от 5 секунд до 20-30 секунд. За это время температура изоляция кабелей, проводов, электроприемников не должна превысить критических температур. Для этого иногда требуется проводить расчеты кабелей на невозгораемость при токах КЗ и обосновывать

пригодность к дальнейшей эксплуатации

… к дальнейшей эксплуатации. Данная тема относится больше к высоковольтным кабелям, однако иногда Заказчик оперируя циркулярами РАО ЕЭС и ведомственными нормативами требует провести расчеты и для кабелей 0,4 кВ (и мелких сечений!) по двум направлениям: проверка не невозгораемость кабеля в режиме КЗ и проверка пригодности кабеля к дальнейшей эксплуатации в послеаварийном режиме. В последнем случае это означает проверить факт «живучести» изоляции после прохождения тока короткого замыкания, факт того, что изоляция не успела нагреться до температур деградации изоляционных материалов

Самым распространённым изоляционным материалом в эпоху «развитого социализма» был карболит. Все помнят черный гладкий пластик из которого делались практически все электротехнические устройства в СССР? Это и розетки, и клеммники, и автоматы, и бытовые электроприборы, электровилки и т.п. Так вот, этот материал имеет нагревостойкость до 150 градусов, что значительно лучше характеристик современной ПВХ изоляции. Однако при достижении температуры свыше 100 градусов данный материал начинает деградировать и выделять опасные ядовитые вещества.

Внешний вид ответвительного сжима с оболочкой из карболита

Внешний вид ответвительного сжима на воздушной линии после прохождения импульса молнии. Фазный сжим просто взорвался, а на фото- нулевой сжим, обуглившийся от теплового импульса сверхтоков(Рис. 1).

Температура изоляции кабелей не должна превысить 70-80 градусов по Цельсию при любом типе аварии в сети. В случае КЗ происходит стремительный нагрев изоляции, в случае перегрузки процесс относительно растянут во времени. Так что же происходило на подстанции поселка, пока бетонный блок висел на электрокабеле?

Оплавление ПВХ-изоляции питающего кабеля в результате перегрузки линии и постоянных попыток включить автомат без устранения причины аварии (Рис. 2).

На подстанции автомат чувствовал постоянную перегрузку по линии по одной из фаз в результате плохой изоляции. Происходил его нагрев, и он отключался по тепловой защите. Спустя какое-то время приходил охранник, и включал автомат заново. Конечно почти всегда включить автомат сразу после срабатывания тепловой защиты невозможно: он просто «отшибает» при попытке включить. Но за спиной у охранника стояли строители, которые требовали включить линию срочно, так как не работает электроинструмент, нельзя вскипятить чай и прочее и прочее… Ситуация повторялась в течение дня. Попытки устранить перекос фаз, на линии ни к чему не приводили, так как через два-три дня возникала перегрузка по другой фазе… Как видим, повышенные токи нагрузки выбрали самое слабое звено – приходящий сверху на автомат кабель (в данном случае это самонесущий изолированный провод из алюминия). Изоляция поплыла из-за превышения температуры в 100 градусов. И это при слабо-плюсовых температурах воздуха. Что было бы в данной ситуации жарким летним днем?

Безусловно, пожар и выход из строя главного щита подстанции.
Спросите, к чему это я излагаю? Все очень просто – если у вас сработала защита, выбило автомат или УЗО, значит это с чем-то связано и произошло неспроста. Прежде чем включить автомат надо разобраться в причинах аварии. Особенно если автомат при этом явно нагрелся. Кроме того, каждый автомат рассчитан на определенное количество отключений по защите, и не рекомендуется включать автомат на уже имеющееся повреждение линии, это снижает его ресурс.

Теперь рассмотрим УЗО

УЗО — устройства, в первую очередь, предназначены для защиты человека от поражения электрическим током. Если не углубляться в технические детали, то устройство определяет утечку тока с фазного проводника на землю и отключает поврежденную группу за время до 30 мс или 0,03 секунды. Для защиты человека устанавливаются УЗО на ток утечки 30 мА. Данная цифра обусловлена безопасным уровнем тока, который может протекать через тело человека без фибрилляции сердца, то есть не причиняя вреда человеку.

Устройство защитного отключения

Как известно, опасность для человека представляет не напряжение, а ток. Например, можно убить человека 1 вольтом напряжения, при этом важно, какой ток пройдет через человека, по какому пути и за какое время. Так вот, УЗО призвано защитить человека при прикосновении к частям, находящимися под опасным напряжением. Это могут быть корпуса бытовых приборов, промышленного оборудования, любые металлические части. Как правило, УЗО заранее отключает поврежденную линию, а не в тот момент прикосновения человеком. Но не исключены случаи, когда опасный потенциал на оборудовании может появиться именно в момент работы человека с ним.

Историческая справка:

Первое устройство защитного отключения было запатентовано в 1928 году германской фирмой RWE (Rheinisch — Westfälisches Elektrizitätswerk AG).

В 1937 г. фирма Schutzapparategesellschaft Paris & Со. изготовила первое действующее устройство на базе дифференциального трансформатора и поляризованного реле, имевшее чувствительность 0,01 А и быстродействие 0,1 с. В том же году с помощью добровольца (сотрудника фирмы) было проведено испытание УЗО. Эксперимент закончился благополучно, устройство сработало четко, доброволец испытал лишь слабый удар электрическим током, хотя и отказался от участия в дальнейших опытах.

На данный момент существуют УЗО с током утечки 300 мА. Они предназначены для защиты от пожара и выполняют функцию дополнительной защиты вместе с тепловой защитой автомата.

Чем отличается УЗО от тепловой защиты, имеющейся в автоматическом выключателе? Ведь по сути перегрузка линии как раз и может быть из-за утечки тока на землю.

Во-первых, время срабатывания тепловой защиты измеряется в секундах и часах, УЗО – в миллисекундах (как правило до 25 мсек, или 0,025 секунды).

Во-вторых, тепловая защита предназначена для защиты оборудования, но не для защиты человека. При отсутствии УЗО в щитке в момент касания человеком корпуса оборудования режим сети перейдет в стадию короткого замыкания, ток резко увеличится, сработает защита от КЗ в автомате и отключит линию сравнительно быстро. Но этого времени может хватить, чтобы человек получил электротравму, несовместимую с жизнью.

В-третьих, УЗО является дополнительной мерой защиты и устанавливается, как правило, для опасных помещений и для бытовых розеток, в то время как автоматы являются основной мерой защиты и применяется везде и всегда.

В-четвертых, применение УЗО без автоматических выключателей исключено, а вот автоматы без УЗО встречаются довольно часто.

Почему применение УЗО должно быть обеспечено в паре с автоматом?

Поскольку основную защиту обеспечивает автоматический выключатель, то он же и защищает устройство защитного отключения. Для корректной работы схемы номинал контактов УЗО выбирается на шаг выше, чем у автомата. Например, автомат устанавливается на 16А, а УЗО устанавливается на 25А. В этом случае УЗО безопасно пропустит через себя токи короткого замыкания к автомату, который и обеспечит защиту. Со своей стороны, УЗО обеспечит дополнительную защиту человека при утечке на корпус (землю). Существуют комбинированные устройства «автомат+УЗО» в едином корпусе, так называемые дифавтоматы. Их я рассматривать не буду, желающие могут изучить вопрос Вики об УЗО, Вики о дифавтоматах (или АВДТ). Скажу лишь, что дифавтоматы экономят место в щите, так как занимают меньше модулей на DIN-рейке.

В промышленном секторе УЗО как правило применяют номиналом на 100 и 300 миллиампер как средство защиты от пожара на линиях уличных светильников, уличного оборудования и т.п.

Нужны ли УЗО для IT-оборудования, серверной, ЦОДа?

Вопрос неоднозначный и, как правило, остается на усмотрение Заказчика.

С одной стороны, безопасность персонала должна превалировать над другими соображениями. Жизнь человека – приоритет. С другой стороны, оборудование информационных систем часто само относится к системам жизнеобеспечения других людей, на них могут «крутиться» сервисы, работа которых должна быть бесперебойной. Например, медицинские учреждения, службы МЧС, аварийные службы и прочие организации жизнеобеспечения. А сами помещения серверных классифицируются, как правило, как помещения без постоянного пребывания людей, без наличия постоянных рабочих мест.

То есть довольно часто информационное оборудование можно отнести к первой категории электроприемников по надежности электроснабжения (ПУЭ п.1.2.18), наряду с противопожарными системами и аварийным освещением. Для этой группы перерыв в электроснабжении недопустим, так как может вести к значительным материальным потерям и быть угрозой для жизни и здоровья людей. Если поглубже изучить действующие нормы, то можно найти указания, что для жизненно важных потребителей допустимо ставить защиту лишь от коротких замыканий, без тепловой защиты.

Например, пожарные насосы должны работать в условиях пожара до тех пор, пока изоляция кабеля не прогорит окончательно и не произойдет

металлическое короткое замыкание

Металлическое, или глухое короткое замыкание – это сваривание проводников (например, фазы и ноля) в месте пробоя изоляции. Образуется замкнутая цепь короткого замыкания, и в этом случае обязательно должно быть обеспечено срабатывание аппарата защиты. В большинстве случаев глухое короткое замыкание не случается, но вероятность его существует. Для противопожарных систем, в частности систем пожаротушения основная мысль изложенная в нормативах- в случае ЧП противопожарные системы должны работать несмотря ни на что и обеспечить безопасность людей даже в случае повреждения изоляции кабелей. Время работы противопожарных систем определяется временем, необходимым для эвакуации людей и персонала.
Для питания ответственных электроприемников применяют огнестойкие кабели с маркой FRLS, которые обладают свойствами выдерживать нагрев изоляции без возгорания и оплавления. В составе изоляции таких кабелей применяется слюда, которая дает дополнительное время нормальной работы линии без коротких замыканий в условиях пожара.

Испытания огнестойких кабелей завода Спецкабель для систем пожарной сигнализации

Например в п.7.1.81 Правилах устройства электроустановок (ПУЭ) сказано: «установка УЗО запрещается для электроприемников, отключение которых может привести к ситуациям, опасным для потребителей». Для информационного оборудования сегодня, как правило, применяют стандартные автоматические выключатели, а вот УЗО не ставят с целью исключения ложных срабатываний и внезапного отключения важных серверов и сервисов. Существуют специальные типы УЗО, которые учитывают специфику импульсных блоков питания серверов и прочего IT-оборудования, однако они редко встречаются в продаже, сложны в подборе и ведут к увеличению стоимости проекта в целом. Для серверных и ЦОДов исходят из того, что данные помещения, как правило, оснащаются индивидуальными системами газового пожаротушения, а присутствие персонала – минимально по времени.

В качестве дополнительного уровня защиты персонала серверной, центра обработки данных обязательно требуется организация надежного заземления металлических частей серверных стоек, трубопроводов, любых доступных к прикосновению металлических частей в помещении, включая металлическую противопожарную дверь (двери). При правильной организации Дополнительной Системы Уравнивания Потенциалов (ДСУП) в помещении серверной, ЦОД будет обеспечен должный уровень безопасности персонала и информационного оборудования, несмотря на отсутствие УЗО в цепях распределения питания.

Для технологических нужд в пределах серверных помещений ставятся несколько розеток, которые и обеспечиваются устройствами защитного отключения. К данным розеткам (и только к ним) должен подключаться любой переносной электроинструмент и/или оборудование, не относящееся к непосредственным целям нашей серверной.

Продолжение читайте во второй части статьи, где мы разбераемся в вопросе какие помехи сети могут привести к падению операционных систем? почему не все ИБП, АВР и ATS хороши? и пройдем по цепочке электросеть-серверная стойка-блок питания-электроника ИТ-оборудования — операционная система

Автор: Куликов Олег
Ведущий инженер конструктор
Департамент интеграционных решений «Открытые Технологии»
okulikov@ot.ru
Регистрация в Национальном Реестре Специалистов «НОПРИЗ» П-045870

• блоки питания
• АВР
• время переключения питания
• блоки распределения питания
• БРП
• ATS
• PDU
• распределение питания
• точка отказа
• инженерные системы
• бесперебойное электроснабжение

• Блог компании Открытые Технологии
• IT-инфраструктура
• Серверная оптимизация
• Хранение данных

https://habr.com/ru/companies/open_technologies/articles/422459/