Сколько электричества потребляет GPU-сервер: замеры по парку, линия 16 А и охлаждение
Где стоит сервер и хватит ли площадке мощности, охлаждения и стабильного питания — первый вопрос, на котором рассыпается расчёт доходности. Карты можно купить за неделю, отдельную линию в старом доме — нет. На практике площадка, а не железо, чаще всего ограничивает хостинг на vast.ai. Ниже — замер потребления по нашему парку, расчёты линии и раздел о наших ошибках.
Пик, средняя и цифра в счёте — три разных числа
Машина 4×RTX 4090 на серверной платформе: пик ≈ 2.2–2.4 кВт, под ML-нагрузкой устойчиво 1.8–2.0 кВт. Средняя зависит от того, сколько карты реально считают: при реалистичных 50% около 1.0 кВт, при 70% — около 1.4 кВт. Два сервера — уже ~4.5 кВт пик. Не путайте три числа: пик определяет автомат, кабель и блок питания, средняя — счёт за электричество, а сумма паспортных мощностей карт (4×450 Вт = 1800 Вт) — ни то, ни другое.
Автомат срабатывает не по средней: клиент запускает обучение, и четыре карты уходят в полку за секунды вместе с процессором и дисками. Поэтому линию и блок питания считают от пика всего сервера с запасом 20–30%: карты дают 1800 Вт, сервер на вводе берёт 2.2–2.4 кВт — разницу съедают EPYC, память, NVMe и КПД блока питания. Обратная ошибка стоит не меньше: умножьте 2.4 кВт на 730 часов, и расход на электричество окажется завышен примерно втрое.
Что мы намерили на своём парке
Один срез ничего не доказывает, поэтому мы сняли серию: пятнадцать проб с шагом 20 секунд, пять минут наблюдения на каждой машине; в таблице средние и разброс. Часть карт была под оплаченной арендой.
| Машина | Карта | Ватт (среднее) | Разброс | Загрузка | Вентилятор |
|---|---|---|---|---|---|
| 1 | RTX 4090 №1 | 117 | 95 – 150 | 42% | стоит |
| 1 | RTX 4090 №2 | 26 | 25 – 27 | 0% | стоит |
| 1 | RTX 4090 №3 | 29 | 28 – 30 | 0% | стоит |
| 2 | RTX 5090 | 43 | 24 – 81 | 0% | стоит |
| 3 | RTX 5080 №1 | 197 | 57 – 293 | 78% | 30% |
| 3 | RTX 5080 №2 | 246 | 26 – 361 | 67% | 30% |
| 6 | RTX 5080 | 360 | 360 – 360 | 100% | 43% |
Две строки объясняют, почему паспортный расчёт не работает. RTX 5090 с лимитом 600 Вт держала в среднем 43 Вт: сервер арендован и оплачен, память занята на 30 из 32 ГБ, вентиляторы не тронулись ни разу — карта приносит деньги на семи процентах паспортного максимума. На другом краю таблицы RTX 5080 стояла ровно на 360 Вт все пять минут. Разница между оплаченным простоем и работой — примерно десятикратная.
Выводов отсюда два. Линию, автомат и блок питания считайте по пику — он случится внезапно. Счёт за электричество считайте по замеру или хотя бы по диапазону «оплаченный простой — полка»: свои карты, тариф и загрузку подставьте в калькулятор на калькулятор дохода, а как оплаченные часы расходятся с потраченными киловаттами, разобрано в разбор дохода по каждой карте.
Электрика: что проверить до закупки
- Выделенная мощность по договору, а не толщина провода: квартира — обычно 5–10 кВт на всё (один сервер впритык), частный дом ~15 кВт, 380 В снимает вопрос почти полностью.
- Отдельная линия от щита со своим автоматом, кабель от 2.5 мм² меди, розетки по току — не удлинитель и не кухонная группа. Одна линия 16 А (≈3.5 кВт) закрывает ровно один сервер 4×4090, под второй нужна вторая.
- Длительная нагрузка — не больше 80% номинала автомата: C16 — это ~2.9 кВт всерьёз, и пик 2.2–2.4 кВт проходит впритык. Летом добавится кондиционер, и автомат начнёт выбивать в ваше отсутствие.
- УЗО или дифавтомат на линию: металлический корпус, два киловатта и человек, который полезет внутрь не обесточив всё.
- Стабилизатор при просадках: в частном секторе вечерние 190 В — не редкость, и блоки питания переносят их хуже короткого отключения.
- Тариф: при 730 часах в месяце разница между 4 и 8 ₽ за кВт·ч — это разница между «работает» и «не окупается».
| Линия | Автомат | Кабель, медь | Длительно (80%) | Серверов 4×4090 |
|---|---|---|---|---|
| 220 В, 1 фаза | C16 | 2.5 мм² | ≈2.9 кВт | один, впритык |
| 220 В, 1 фаза | C25 | 4 мм² | ≈4.4 кВт | один с запасом |
| 220 В, 1 фаза | C32 | 6 мм² | ≈5.6 кВт | два, если пики не совпадают |
| 380 В, 3 фазы | C32 на фазу | 5×6 мм² | ≈17 кВт | четыре и больше, если ввод позволяет |
Сколько это стоит в месяц
Считаем на одном сервере 4×4090 и 730 часах по формуле «средняя мощность × часы × тариф». Средняя берётся от доли времени, когда карты считают, а не от доли оплаченных часов. Первая строка таблицы не гипотеза, а наш замер: четыре карты в оплаченном простое плюс платформа — около 0.35 кВт.
| Режим | Средняя | кВт·ч в месяц | При 4 ₽ | При 6 ₽ | При 8 ₽ |
|---|---|---|---|---|---|
| Оплаченный простой (замер) | ≈0.35 кВт | ≈256 | ≈1 000 ₽ | ≈1 550 ₽ | ≈2 050 ₽ |
| Карты считают 50% времени | ≈0.98 кВт | ≈712 | ≈2 850 ₽ | ≈4 300 ₽ | ≈5 700 ₽ |
| Карты считают 70% времени | ≈1.37 кВт | ≈996 | ≈4 000 ₽ | ≈6 000 ₽ | ≈8 000 ₽ |
| Полка круглосуточно | ≈1.95 кВт | ≈1 424 | ≈5 700 ₽ | ≈8 500 ₽ | ≈11 400 ₽ |
Проверка реальностью: наш фактический счёт по всему парку — шесть машин, десять карт — около 6 000 ₽ в месяц. Столько же даёт модельный расчёт на один сервер при 70% и тарифе 6 ₽. Причины две: карты большую часть времени не в полке, и наш тариф ниже типового городского. Вывод не «электричество почти бесплатно», а «считать надо по своей площадке». Полная структура расходов и окупаемость — разбор дохода по каждой карте.
Охлаждение: куда девать два киловатта тепла
Практически вся мощность превращается в тепло: сервер на 2 кВт — это два масляных обогревателя, включённых постоянно. Чтобы унести 2 кВт при нагреве воздуха на 10 °C, через помещение нужно прокачивать порядка 600 м³/ч. Вентилятор в форточке столько не даёт, а кондиционер на 7 кВт холода даёт — но сам потребляет около 2 кВт.
- Разделяйте приток и вывод: холодный воздух к передней панели, горячий — наружу. Комната с одним вентилятором «куда-нибудь» не работает: горячий воздух идёт по кругу.
- Целевая температура карт под нагрузкой — ниже 80–83 °C. Выше карта снижает частоты сама, и клиент видит не горячую комнату, а медленный сервер.
- Планируйте по июлю, а не по январю: зимой тепло сервера — это отопление, летом — вторая статья расходов.
- Пыль: open-air рама в жилой комнате забивается за месяц — фильтр на притоке дешевле разборки сервера.
- Шум: серверная платформа с вентиляторами 40 мм на полной скорости в жилой комнате невозможна.
Сеть и питание площадки: чтобы новый сервер не ронял арендованные
- Отдельный роутер, а не провайдерская коробка, и управляемый коммутатор: новый сервер втыкается в свободный порт. Перенастройка роутера ради восьмого сервера — офлайн у семи.
- ИБП на платформу, сеть и роутер. Держать на батареях два киловатта карт бессмысленно — аренда всё равно прервётся; задача ИБП — не дать серверу выключиться грязно.
- Автостарт после сбоя: Restore on AC Power Loss в BIOS в положение Power On. Без него отключение света в ваше отсутствие — сутки офлайна: около $29 на машине 4×4090 плюс просадка надёжности.
- Удалённое управление питанием: IPMI/BMC на серверной плате даёт перезагрузку и консоль, когда система не отвечает. На домашних платах его нет — нужна управляемая розетка.
- Канал — часть площадки: симметричные 500/500 и безлимит требует сама площадка. Проверить свой канал — проверку канала, требования и ловушки провайдеров — какой нужен интернет-канал.
Насколько домашняя сеть участвует в хостинге, видно по трафику: одна VM-аренда прокачала через наш роутер 8.32 ТБ за 37 часов — около 5.4 ТБ в сутки. При выставленной нами цене $3 за ТБ начислено было $0.00: трафик VM-аренд площадка не тарифицирует вообще, это подтвердила поддержка. Площадка должна выдерживать транзит, за который вам не платят.
Где мы ошиблись
Ни одна из проблем ниже не была проблемой видеокарт. Все они — про площадку и про то, что мы считали второстепенным.
- Домашний роутер оказался единственной точкой отказа для всего парка: 20 сентября туннель на одной машине поднялся раньше DHCP, пакеты ушли в собственный интерфейс, 28 тысяч сокетов забили таблицу соединений роутера — и четыре машины ложно ушли на резервный VPS.
- Мы полагались на пороги вместо качества канала: в том же эпизоде помеха домашнего канала прошла по порогу автоперехода, и четыре машины сменили IP без нужды, а смена адреса штрафует надёжность.
- Не каждое падение — питание. 25 августа офлайн ушли четыре машины, 5 сентября — все шесть за день, и ввод был ни при чём: залипал контроллер площадки, лечится сбросом /var/lib/vastai_kaalia/controller_connection (разбор — разбор залипшего контроллера). Отдельно ловили зависание агента на веб-API площадки: блокирующий HTTP-запрос без таймаута.
- Диагностика приборами работает не всегда: мёртвую планку памяти на сервере с 4090 memtest не увидел, причину доказали перестановкой модулей по слотам и наблюдением за обращениями к подкачке.
- Тихие потери хуже аварий: флаг поддержки VM стирает ежечасное задание самой площадки, когда все карты уходят в виртуалки: сервер с двумя 5080 простоял без VM-режима десять дней, с 19:22 11 сентября до 17:04 21 сентября.
- Хостера под туннель выбирали не по автономной системе: скорость на скачивание режется именно по AS — OVH и M247 у нас задушены, нишевый Private Layer чист.
Общий вывод: площадка — это не розетка. Это ввод, щит, охлаждение, роутер, коммутатор, ИБП, порядок старта сервисов и внешний VPS. Каждый из них у нас хотя бы раз ронял доход, и ни один не был виден в смете на железо. Что машины зарабатывают прямо сейчас — на витрину нашего парка, обновление раз в час.
Что почитать рядом: железо и сборки — какое железо брать под аренду, канал и провайдеры — какой нужен интернет-канал, экономика и окупаемость — разбор дохода по каждой карте, наш месяц по каждой карте — разбор дохода по каждой карте, установка системы — установку Ubuntu под Vast.ai, VM-режим на многокарточном сервере — VM-режим на многокарточной машине. Посчитать свою площадку — калькулятор дохода, проверить канал — проверку канала. Считаем под ваше железо — наши услуги.