система фрикулинга что это
Как устроен фрикулинг в дата-центрах Selectel
Пару недель назад выдался жаркий денек, который мы обсуждали в «курилке» рабочего чата. Буквально через несколько минут разговор о погоде перерос в беседу о системах охлаждения дата-центров.
В процессе обсуждения мы решили опубликовать статью о системах охлаждения в дата-центрах Selectel. Сегодняшняя статья — о фрикулинге, технологии, применяющейся в двух наших дата-центрах. Вас ждет подробный рассказ о наших решениях и их особенностях. Техническими деталями поделились руководитель отдела сервисного обслуживания систем кондиционирования и вентиляции Леонид Лупандин и старший технический писатель Николай Рубанов.
Системы охлаждения в Selectel
Здесь коротко о том, какие системы охлаждения используем во всех своих объектах. К фрикулингу перейдем в следующем разделе. У нас несколько дата-центров в Москве, Санкт-Петербурге и Ленинградской области. Погодные условия в этих регионах разные, поэтому мы используем различные системы охлаждения. Кстати, в московском дата-центре часто поводом для шуток было то, что ответственные за охлаждение — специалисты с фамилиями Холодилин и Мороз. Так получилось случайно, но все же…
Вот список ДЦ с используемой системой охлаждения:
В своих дата-центрах мы стремимся поддерживать температуру воздуха у нижней границы рекомендованного по ASHRAE диапазона. Это 23°C.
О фрикулинге
В двух дата-центрах, Дубровка 3 и Берзарина, мы установили системы фрикулинга, причем разные.
Основной принцип систем фрикулинга — отказ от теплообменников, так что охлаждение вычислительного оборудования происходит за счет обдува при помощи уличного воздуха. Он очищается при помощи фильтров, после чего поступает в машинный зал. Осенью и зимой холодный воздух нужно «разбавлять» теплым, чтобы температура воздуха, которым обдувается оборудование, не менялась. Летом в Москве и Санкт-Петербурге требуется доохлаждение.
Почему фрикулинг? Да потому что это эффективная технология охлаждения оборудования. Системы фрикулинга в большинстве своем дешевле в эксплуатации, чем классические системы охлаждения с кондиционерами. Еще один плюс фрикулинга в том, что системы охлаждения оказывают не такое сильное негативное влияние на окружающую среду, как кондиционеры с фреоном.
Важный момент: фрикулинг используется в наших дата-центрах вместе с системами доохлаждения. Зимой проблем с забором внешнего холодного воздуха нет — за окном прохладно, иногда даже очень, поэтому дополнительные системы охлаждения не нужны. А вот летом температура воздуха повышается. Если бы мы использовали чистый фрикулинг, то температура внутри составляла бы около 27 °C. Напомним, что температурный стандарт у Selectel составляет 23°C.
В Ленинградской области многолетняя среднесуточная температура даже в июле находится у отметки 20°C. И все бы ничего, но в некоторые дни очень жарко. В 2010 году в области был зафиксирован температурный рекорд в +37.8°C. Учитывая это обстоятельство, полностью рассчитывать на фрикулинг нельзя — одного жаркого дня в году с лихвой хватит для выхода температуры за границы стандарта.
Поскольку Санкт-Петербург и Москва — мегаполисы с загрязненным воздухом, мы применяем тройную его очистку при заборе с улицы — фильтры стандартов G4, G5 и G7. Каждый последующий отсеивает пыль все более мелких фракций, так что на выходе у нас чистый атмосферный воздух.
Дубровка 3 и Берзарина — фрикулинг, но разный
По ряду причин мы используем разные системы фрикулинга в этих дата-центрах.
Дубровка 3
Первым ДЦ с фрикулингом была Дубровка 3. Здесь используется прямой фрикулинг, дополненный АБХМ, абсорбционной холодильной машиной, которая работает на природном газе. Машина применяется как доохлаждение на случай летней жары.
Такое гибридное решение позволило добиться PUE
Почему АБХМ? Это эффективная система, где вместо фреона используется вода. АБХМ оказывает минимальное воздействие на окружающую среду.
В качестве источника энергии АБХМ-машина использует природный газ, который подведен к ней трубопроводом. Зимой, когда машина не нужна, газ можно сжигать для подогрева переохлажденного наружного воздуха. Это намного дешевле, чем использовать электричество.
Идея использовать АБХМ в качестве системы доохлаждения принадлежит одному из наших сотрудников, инженеру, который увидел подобное решение и предложил применить в Selectel. Мы сделали модель, протестировали ее, получили отличный результат и решили его масштабировать.
Строилась машина около полутора лет, вместе с системой вентиляции и самим ЦОД. В 2013 году она была введена в эксплуатацию. Проблем с ней практически нет, но для работы нужно пройти дообучение. Одна из особенностей АБХМ в том, что машина поддерживает разность давлений внутри и снаружи помещения ДЦ. Это нужно для того, чтобы горячий воздух выходил через клапанную систему.
Из-за разности давлений пыли в воздухе практически нет, поскольку она просто вылетает наружу, даже если появляется. Избыточное давление выталкивает частицы.
Расходы на техническое обслуживание системы, возможно, чуть выше, чем в случае обычного охлаждения. Но АБХМ позволяет экономить за счет снижения расхода электричества на нагрев воздуха и его доохлаждение.
Берзарина
Здесь используется фрикулинг с адиабатической системой доохлаждения. Она применяется летом, когда воздух становится слишком теплым, с температурой выше 23°C. В Москве это случается нередко. Принцип работы адиабатической системы — охлаждение воздуха при прохождении через фильтры с жидкостью. Представьте себе мокрую тряпку, с которой испаряется вода, охлаждая ткань и прилегающий слой воздуха. Примерно так и работает адиабатическая система охлаждения в дата-центре. На пути воздушного потока распыляются мельчайшие капли воды, что снижает температуру воздуха.
Здесь фрикулинг решили использовать, потому что дата-центр расположен на последнем этаже здания. А значит, выбрасываемый наружу нагретый воздух сразу уходит вверх, а не подавляет другие системы, как это могло бы случиться, будь ДЦ размещен на нижних этажах. Благодаря этому показатель PUE
Когда этот этаж освободился, мы обрадовались, поскольку получили возможность проектировать все, что хотим. Главной задачей было создание ДЦ с эффективной и недорогой системой охлаждения.
Плюс адиабатического охлаждения в простоте самой системы. Она проще, чем системы с кондиционерами и еще проще, чем АБХМ, и позволяет экономить энергию, затраты которой минимальны. Тем не менее, ее необходимо тщательно контролировать, чтобы не получилось, как у Facebook в 2012 году. Тогда из-за проблем с настройкой параметров работы в дата-центре образовалось самое настоящее облако и пошел дождь. Это не шутка.
Щиты управления
Система работает всего второй год, за это время мы выявили ряд небольших проблем, которые устраняем с проектировщиками. Но это не страшно, поскольку в наше время важно постоянно быть в поиске чего-то нового, не забывая проверять уже имеющиеся решения.
Мы постоянно ищем возможности применения новых технологий. Одно из них — оборудование, которое нормально работает при температуре выше 23°. Возможно, расскажем об этом в одной из будущих статей, когда проект выйдет на финальную стадию.
Если хотите узнать подробности о других системах охлаждения в наших ДЦ, то вот статья со всей информацией.
Как мы заморочились по фрикулингу для дата-центра и что из этого вышло
Как-то к нам пришел один прогрессивный заказчик из города N, что в средней полосе России, и сказал: «Хотим чтобы дата-центр на 100% фрикулинге работал круглый год. Можете посчитать, это реально вообще? И если да, какая технология вам видится наиболее логичной?». Мы с холодильщиком воодушевились, ибо не каждый день тебе предлагают поработать над таким нетривиальным для средней полосы России проектом, и начали считать. Под катом много цифр и теории по части охлаждения дата-центров.
Краткий экскурс на пальцах
Эта часть для тех, кто к холодильной технике и цодостроению отношения не имеет, но вникнуть хочет. Матёрые могут смело скроллить до следующего раздела. Итак, грубо говоря, есть несколько основных способов охладить что угодно:
Охладить что-то когда на улице холодно, а в помещении тепло — вообще не проблема, для этого и существует фрикулинг (охлаждение естественными уличными температурами). Но когда нужно «выбросить» тепло из места, где жарко, в место, где еще жарче, — тут без парокомпрессионного цикла не обойтись. С ним все просто: жидкий фреон под давлением проходит через дроссель, из-за чего происходит резкое понижение давления хладагента, в газ он при этом не переходит, но температура его кипения понижается. Проходя в этом состоянии через теплообменник внутреннего блока, фреон «забирает» тепло у среды и от этого начинает испаряться. Дальше этот «теплый» газ поступает в компрессор, где его сжимают, отчего хладагент сильно нагревается. После он «отправляется» в теплообменник внешнего блока, где происходит «сброс» лишнего тепла за борт, и газ, конденсируясь, переходит в жидкое состояние.
Неоспоримые достоинства: просто, дешево, проверено годами.
Относительные недостатки: высокое энергопотребление, ограничения по длине фреоновой трассы, возможны сложности при использовании в зимний период.
Картинку взял из интернета.
Чиллер работает по тому же принципу, что парочка «внешний — внутренний блок», но в едином корпусе, хотя бывают и чиллеры с выносным конденсатором. Т.е. там есть классический холодильный контур, все так же испаряется и конденсируется, только испаритель контактирует не с воздухом в помещении, а с водой или гликолем, которые с помощью насосов по трубопроводам подаются в теплообменники вентиляторных доводчиков (фанкойлов), установленных внутри помещений. Обычно такие системы дополняются драйкулерами (сухими градирнями), чтобы в межсезонье и зимой охлаждать воду/гликоль не от холодильной машины, а естественным образом от наружного воздуха.
Неоспоримые достоинства: возможность запасать холодную воду в баках-аккумуляторах и качать ее насосами в случае отключения электропитания чиллера (но не долго :)).
Относительные недостатки: высокая масса моноблочных чиллеров и внушительные габариты, высокая стоимость замены основных компонентов.
Тоже честно украдено из google-картинок.
Воздухообрабатывающие агрегаты прямого или косвенного фрикулинга
Вот тут начинается самое интересное. Агрегаты прямого или косвенного фрикулинга (в народе просто «ветродуйки») охлаждают помещение до температуры наружного воздуха: т.е. либо просто гонят огромными вентиляторами очищенный воздух с улицы напрямую в ЦОД, либо создают 2 воздушных контура, контактирующих через теплоутилизатор. Таким образом происходит охлаждение ЦОДа без попадания уличного воздуха. Если при этом увлажнять уличный воздух, то теплоутилизатор/рекуператор будет работать эффективнее.
Неоспоримые достоинства: дешево с точки зрения эксплуатационных затрат, с точки зрения капитальных — тоже дешево, но они занимают больше площади, а она небесплатная.
Относительные недостатки: габариты поболее, чем у чиллеров, может потребовать особых архитектурных решений, сложно резервировать, имеют смысл только в определенном климате — чем ближе к субтропикам, тем меньше шансы, что фокус прокатит.
Только такие машины в теории и могут обеспечить 100% круглогодичный фрикулинг, поэтому для решения задач заказчика мы отталкивались именно от них.
Разведка боем
Чтобы шалость с «ветродуйками» удалась, нужно, чтобы температура наружного воздуха по влажному термометру 365 дней в году была меньше требуемой нам температуры по сухому термометру в «холодном коридоре». Влажный термометр — это важно, потому что именно эта характеристика говорит нам о том, насколько низкой температуры мы можем добиться, используя адиабатическое охлаждение «на входе», т.е. увлажняя приточный воздух. Есть ли нам что ловить в климате города N при соблюдении следующих требований заказчика?
Обычно, когда вопрос заходит об уличных температурах, инженер-проектировщик вооружается «Строительной климатологией»: там обозначена «средняя температура по больнице» для каждого города РФ в холодное и теплое время года.
Но данные «Строительной климатологии», собранные в тоненькой книжечке по имени СП 131.13330.2012 оказались слишком скудны для наших благих целей. Они не отражают динамики изменения температур и продолжительность нахождения воздуха при тех или иных температурных пределах. Поэтому мы пошли к истокам и взяли данные о температурах по сухому и смоченному термометрам в городе N с дискретностью в 3 часа. За последние 50 лет. Мы бы не поленились и взяли еще дальше, но дальше их никто так усердно и часто не измерял. Если «схлопнуть» нерепрезентативные строки, получится примерно следующее:
Итого — самый жаркий (по влажному термометру) день в обозримой метеорологами истории города N, был 10 июля 1996 года, от него и будем считать.
Основываясь на ТЗ, уровне резервирования и архитектуре дата-центра, приходим к выводу, что наши кандидаты в «ветродуйки» для ЦОДа должны выдавать 226 кВт чистой явной холодопроизводительности в нормальном режиме (и 282 кВт в экстренном) при следующих условиях:
Подбор оборудования
А теперь узнаем, имеют ли наши светлые мечты о фрикулинге что-то общее с суровой рыночной реальностью, не разорится ли заказчик на «ветродуйках» и действительно ли это решение близко к оптимальному?
Чтобы проверить это, мы выбрали 4 воздухообрабатывающих агрегата из представленных на рынке, 3 с косвенным фрикулингом, 1 агрегат прямого фрикулинга и «чиллер-фанкойл» с отдельно стоящим драйкулером для чистоты эксперимента. По каждому из них запросили у производителей информацию об энерго- и водопотреблении при интересующих нас параметрах температуры/влажности уличного воздуха (даже предусмотрели там небольшую защиту от брехни, чтобы никто не проставил значения «от балды»).
Логика тут такая: берем несколько дискретных срезов параметров температуры/влажности, значения которых нам незабвенный матан подсказал (например, 19℃ / отн. влажность — 68%) и выясняем сколько кВт электричества и литров воды съедают наши машины в час при этих значениях. Причем в вопросах аппетитов машин к электричеству мы заморочились конкретно и попросили производителей дополнительно указать сколько именно едят вентиляторы, насосы, роторы — все, что больше 0,2 кВт. Далее берем наши температурные данные за 50 лет, накидываем на них щепотку все того же матана (метод наименьшего квадрата) и смотрим сколько электричества и воды в деньгах едят машины при худшем из раскладов по годам. Далее по наиболее затратному году пристально вглядываемся в помесячные значения и получаем вот такой результат:
Зеленый № 5 — это референсный «чиллер-фанкойл». Как видно из графиков, наибольшую эффективность показал он и агрегат № 2. Только при этом наша ветродуйка № 2 (спойлер — с роторным рекуператором) работает без необходимости дополнительно привлекать парокомпрессию, а значит на 100% справляется с поставленной задачей. При заявленной мощности стоек среднегодовой PUE для этой машины тоже получается лучше всех: 1,08.
Выбор вроде как очевиден, но мы на всякий случай прикинули еще и суммарные годовые операционные затраты (электричество + вода без учета запчастей и ремонта), поскольку некоторые из представленных систем требуют особой водоподготовки, что тоже недешево.
Выводы
Фрикулинг – правда и мифы
Фрикулинг – технология свободного охлаждения, которая играет чрезвычайно актуальную роль в эпоху энергосбережения. Схемы, основные термины, а также варианты реализации данной технологии были представлены здесь. Данная статья направлена на то, чтобы подтвердить или опровергнуть общепринятые представления об этой технологии.
Перед тем, как приступить непосредственно к теме статьи, важно отметить, чтобы все высказывания преимущественно относятся к тем объектам, где необходимо обеспечить охлаждение круглый год. В частности, это центры обработки данных, производственные площадки, серверные помещения – именно на этих объектах в основном используется технология фрикулинга.
Также отметим, что рассматривается только воздушное свободное охлаждение, т.е. технология прямого и косвенного фрикулинга. Что же касается фрикулинга, который реализован как второстепенная функция прецизионных кондиционеров и чиллеров, то такая технология в данном материале не рассматривается.
Наиболее распространенные мнения о технологии фрикулинга
На климатическом рынке существует целый ряд теорий или «мифов», среди которых следующие:
Каждый «миф» можно рассмотреть более подробно.
Рассматриваемый объект
Чтобы подтвердить или опровергнуть мифы о технологии фрикулинга, нужно рассмотреть пример на пракрите. Рассмотрим дата-центр, мощность которого составляет 1 МВт. К нему можно применить 4 варианта охлаждения:
Для более точного представления можно даже рассмотреть разные города. В примере будут представлены Санкт-Петербург, Москва, Уфа (с более резким и континентальным климатом), Краснодар (город с морским южным климатом).
Миф №1. Фрикулинг актуален только в северной части страны
Подсчитаем, сколько часов в год будет работать каждая система на фрикулинге. Эти расчеты можно провести с помощью ресурса www.AboutDC.ru. Результаты впишем в таблицу 1.
Таблица 1. Продолжительность работы фрикулинга для климатических систем в разных городах (расчеты проведены с помощью системы www.AboutDC.ru).
Климатическая система
Москва
Санкт-Петербург
Краснодар
Косвенный фрикулинг с адиабатикой
Косвенный фрикулинг без адиабатики
Для косвенного фрикулинга без адиабатики худший из вариантов – Краснодар, что ожидаемо. Из таблицы видно, что время работы в год составит 7365 часов, что составляет 84% времени в режиме фрикулинга. Самый лучший вариант – Санкт-Петербург: 8410 часов (что составит 96% времени).
Если рассмотреть прямой фрикулинг, то, опять-таки, худшим вариантом является Краснодар, где на режим свободного охлаждения приходится 88% времени. Лучший вариант – Санкт-Петербург: 98% времени.
Что касается косвенного фрикулинга с адиабатным увлажнением контура воздуха, то он имеет самый широкий диапазон работы. В Москве эта система работает 99% времени; в Санкт-Петербурге – 100%; в Уфе – 99.8%; в Краснодаре – 98.7%.
Какой вывод следует из этого сделать? Очевидно, что для всех городов и при разных архитектурах время работы систем свободного охлаждения достаточно большое. Это значит, то первый миф удалось опровергнуть.
Миф №2. Цена решения с фрикулингом выше, нежели без него
Чтобы точно определить, является ли цена выше, необходимо оценить капитальные затраты на реализацию решений с системами свободного охлаждения.
Если отталкиваться от уже имеющихся данных, то можно точно определить, что цена решения с фрикулингом действительном будет выше. Также на рынке есть мнение, что для использования фрикулинга зимой нужно строить сразу 2 системы: для зимы – фрикулинг, для лета – обычная фреоновая климатическая установка. Поэтому стоимость возрастает в несколько раз (практически вдвое). Эти две системы являются разными фактически. Их совместная стоимость, разумеется, выше стоимости одной лишь фреоновой климатической системы примерно в 1.5-1.7 раза.
В нашем примере цена фреоновой системы для ЦОД (мощность 1 МВт) составит 45 миллионов рублей. Стоимость системы с режимом свободного охлаждения варьируется в пределах от 60 до 80 миллионов рублей (см. таблицу 2).
Таблица 2. Цена разных систем охлаждения для ЦОД, расположенных в выбранных городах (млн. руб.).
Климатическая установка
Москва
С.-Петербург
Краснодар
Косвенный фрикулинг без адиабатики
Косвенный фрикулинг с адиабатикой
В данном случае миф №2 подтверждается, ведь очевидно, что цена решения с фрикулингом действительно выше, чем без него.
Миф №3. Технология фрикулинга настолько дорогая, что не окупается экономией электроэнергии
Дабы доказать или опровергнуть этот миф, уместно сравнить и рассчитать сроки окупаемости систем. В первую очередь нужно рассчитать среднегодовое потребление энергии для каждой системы отдельно. Рассчитав, мы увидим, что фреоновая система потребляет 350-380 кВт электроэнергии (во многом определяется регионом). Системы с технологией свободного охлаждения потребляют десятки киловатт энергии.
Таблица 3. Потребление электроэнергии климатическими системами, кВт (среднегодовое).
Климатические системы
Москва
С.-Петербург
Краснодар
Косвенный фрикулинг без адиабатики
Косвенный фрикулинг с адиабатикой
Далее нам необходимо рассчитать годовые затраты на оплату электроэнергии. Для этого примем стоимость электроэнергии равную 3.8 рублей за 1 кВт*ч. (см. таблицу 4). Из таблицы очевидно, что работа фреоновой установки обходится в 11-12 миллионов рублей; работа фрикулигновых систем – менее чем в 2 миллиона.
Таблица 4. Финансовые затраты на электроэнергию климатическими системами, млн руб/год.
Климатические системы
Москва
С.-Петербург
Краснодар
Косвенный фрикулинг без адиабатики
Косвенный фрикулинг с адиабатикой
Итак, теперь оценим окупаемость. Мы рассматриваем 3 разные системы для 4 городов. Соответственно, должно получиться 12 сроков окупаемости, представленных в таблице 5. Самый большой срок предполагает система прямого фрикулинга, эксплуатирующаяся в Краснодаре, – 33 месяца. Самый низкий срок окупаемости в Уфе или Москве при использовании системы косвенного фрикулинга с адиабатным увлажнением воздуха (20 месяцев).
Таблица 5. Сроки окупаемости фрикулинга, мес.
Система охлаждения
Москва
С.-Петербург
Краснодар
Косвенный фрикулинг без адиабатики
Косвенный фрикулинг с адиабатикой
Отсюда следует, что срок окупаемости фрикулинговых систем составляет всего-то несколько лет (2-3 года), а это небольшой срок. Поэтому миф о неокупаемости данного решения является лишь мифом.
Миф №4. Прямой фрикулинг более эффективен, нежели косвенный
Этот миф вполне логичен, т.к. прямой фрикулинг – это одноконтурная система, косвенный – двухконтурная, оснащенная воздушным теплообменником. Разумеется, одноконтурная система будет более эффективной за счет отсутствия потерь в теплообменнике.
Однако на практике отсутствие потерь в теплообменнике предполагает необходимость в мощной системе увлажнения. При свободном прямом охлаждении влажность поступающего воздуха необходимо регулировать. В этом случае расход на систему увлажнения значительно преувеличивает экономию.
Системы свободного косвенного охлаждения не отличаются подобным недостатком, поскольку воздух с улицы не будет поступать в зал ЦОД.
Данные факты подтверждаются сроками окупаемости, приведенными выше. Из таблицы видно, что срок окупаемости систем прямого фрикулинга составит от 28 до 33 месяцев; косвенного – от 20 до 29 месяцев. Соответственно, если произвести комплексный расчет окупаемости, то системы косвенного фрикулинга окупятся быстрее.
Миф №5. Системы фрикулинга очень габаритны
Технология фрикулинга предполагает охлаждение внутреннего воздуха за счет наружного. При этом теплопередающие промежуточные среды отсутствуют – хладагент или вода. Воздух, конечно, имеет при этом низкую плотность, поэтому для охлаждения необходимы достаточно большие объемы воздуха. По этой причине климатические установки являются габаритными. Это относится, в частности, к агрегатам фрикулинга, а также к сети вытяжных и приточных воздуховодов.
Конечно, этот миф опровергнуть невозможно, ведь габариты подобных установок действительно немалые – больше, нежели размеры традиционных фреоновых систем. Также стоит отметить, что эти установки достаточно требовательны к особенностям сооружений, где они устанавливаются. Тут должны быть высокие потолки, в перекрытиях сечения большого размера и т.д.
Результаты: подтвержденные или опровергнутые мифы
Итоги исследований удобно представить в заключительной таблицы – таблице №6.
Вердикт
В Москве, а также в других регионах страны климатические условия для внедрения решения свободного охлаждения не подходят.
Миф опровергнут, т.к. процент работы фрикулинга в любом регионе не опустится ниже 80%.
Цена решения с фрикулингом выше, нежели без него.
Системы свободного охлаждения очень дорогие и не окупаются за счет экономии электроэнергии.
Миф опровергнут – срок окупаемости системы фрикулинга составляет не более 3 лет.
Косвенный фрикулинг менее эффективен, нежели прямой.
Миф опровергнут. Косвенный фрикулинг более эффективен за счет отсутствия затрат на мощную систему увлажнения.
Установки свободного охлаждения отличаются большими габаритами.
На основе материалов из журнала «Мир Климата»