Data center — co naprawdę jest za słowem „cloud”?

Międzynarodowa Agencja Energii (IEA) opisuje centrum danych jako obiekt, który koncentruje sprzęt komputerowy — serwery, systemy pamięci masowej i infrastrukturę sieciową — wraz z systemami zasilania i chłodzenia potrzebnymi do jego nieprzerwanej pracy. Uptime Institute, organizacja zajmująca się standardami niezawodności centrów danych, opisuje je podobnie: jako obiekty łączące infrastrukturę IT z infrastrukturą wspierającą (zasilanie, chłodzenie, przestrzeń), zaprojektowane tak, by utrzymać ciągłość działania.

To rozróżnienie ma znaczenie praktyczne: sam serwer, odłączony od zasilania, chłodzenia i sieci, nie jest funkcjonującym centrum danych — jest tylko jednym z komponentów, który wymaga całej reszty, by dostarczać jakąkolwiek usługę.

Każde centrum danych, niezależnie od skali, projektowane jest wokół czterech powiązanych ze sobą ograniczeń. Żadne z nich nie da się zignorować bez ograniczenia funkcjonalności całości.

1. Energia — ile mocy elektrycznej można dostarczyć do obiektu i w jaki sposób ją rozprowadzić do poszczególnych szaf serwerowych (racków).
2. Chłodzenie — jak odprowadzić ciepło generowane przez pracujący sprzęt, zanim doprowadzi ono do przegrzania i awarii.
3. Infrastruktura IT — serwery, procesory, pamięć, systemy pamięci masowej i okablowanie sieciowe, które faktycznie wykonują obliczenia.
4. Przestrzeń — fizyczna powierzchnia budynku, jego konstrukcja nośna i układ pozwalający na serwis, dostęp i rozbudowę.

Serwer to komputer zaprojektowany do pracy ciągłej, złożony z kilku kluczowych podzespołów: procesora (CPU) do ogólnych obliczeń, opcjonalnie procesora graficznego (GPU) lub innego akceleratora do obliczeń równoległych (np. trenowania modeli uczenia maszynowego), pamięci operacyjnej (RAM) do przechowywania danych roboczych oraz pamięci masowej (dysków) do trwałego przechowywania danych.

Nowoczesne obciążenia związane ze sztuczną inteligencją wykorzystują przede wszystkim GPU i wyspecjalizowane akceleratory, ponieważ ich architektura lepiej nadaje się do wykonywania wielu prostych operacji równolegle niż klasyczne CPU.

Sieć w centrum danych działa na kilku warstwach. Wewnątrz jednej szafy serwerowej i między szafami akceleratory i serwery komunikują się ze sobą intensywnie — ten ruch określa się jako ruch „wschód-zachód” (east-west), w odróżnieniu od ruchu „północ-południe” kierowanego do i od użytkowników zewnętrznych. Przy trenowaniu dużych modeli sztucznej inteligencji ruch wschód-zachód bywa znacznie większy niż ruch do świata zewnętrznego, ponieważ tysiące akceleratorów muszą stale wymieniać między sobą dane w trakcie jednego obliczenia.

Na kolejnym poziomie centra danych łączą się między sobą za pomocą dedykowanych łączy światłowodowych, co pozwala rozkładać obciążenie lub replikować dane między lokalizacjami. Na ostatnim poziomie znajduje się łączność z użytkownikiem końcowym — internet, przez który dociera zapytanie i wraca odpowiedź.

Energia elektryczna, zanim dotrze do pojedynczego serwera, przechodzi przez wieloetapową ścieżkę, w której każdy etap może stać się ograniczeniem.

Ponieważ przerwa w zasilaniu lub chłodzeniu może oznaczać utratę danych lub przerwanie usługi, centra danych projektuje się z systemami zapasowymi. UPS podtrzymuje zasilanie przez sekundy do minut, wystarczająco długo, by uruchomiły się generatory spalinowe zdolne podtrzymać pracę obiektu przez godziny lub dni. Wiele obiektów projektuje się także z redundantnymi ścieżkami zasilania i chłodzenia, tak by awaria jednego elementu (np. jednego transformatora) nie przerywała pracy całości.

Koncepcja Tier według Uptime Institute

Uptime Institute opracował klasyfikację poziomów niezawodności centrów danych, znaną jako Tier (od Tier I do Tier IV), opisującą stopień redundancji infrastruktury zasilania i chłodzenia oraz odporność na planowane i nieplanowane przerwy w pracy poszczególnych elementów.

Niemal cała energia elektryczna pobierana przez serwery i akceleratory ostatecznie zamienia się w ciepło. To ciepło trzeba odprowadzić z pomieszczenia w tempie odpowiadającym tempu jego wytwarzania, inaczej temperatura sprzętu wzrośnie do poziomu, który prowadzi do jego awarii lub automatycznego wyłączenia dla ochrony.

Im wyższa gęstość mocy w pojedynczej szafie serwerowej — czyli im więcej energii pobiera sprzęt zmieszczony na danej powierzchni — tym trudniejsze i droższe staje się odprowadzenie wygenerowanego ciepła. Systemy sztucznej inteligencji oparte na dużej liczbie akceleratorów w jednej szafie mają zwykle znacznie wyższą gęstość mocy niż tradycyjne serwery ogólnego przeznaczenia, co jest jednym z powodów, dla których chłodzenie cieczą (zamiast tradycyjnego chłodzenia powietrzem) staje się coraz bardziej istotne dla obiektów zorientowanych na obliczenia AI.

Power Usage Effectiveness (PUE) to wskaźnik obliczany jako całkowite zużycie energii przez obiekt podzielone przez zużycie energii przez samą infrastrukturę IT: `Całkowita energia obiektu / Energia infrastruktury IT`. Wartość 1.0 oznaczałaby teoretyczny obiekt, w którym cała pobierana energia trafia bezpośrednio do sprzętu obliczeniowego, bez żadnych strat na chłodzenie, oświetlenie czy dystrybucję.

Przykład liczbowy: obiekt pobierający łącznie 120 MW, z czego 100 MW trafia bezpośrednio do infrastruktury IT (serwerów, akceleratorów, pamięci masowej), a pozostałe 20 MW zużywane jest przez chłodzenie, systemy zasilania awaryjnego, oświetlenie i inne systemy pomocnicze, daje PUE równe 1,2 (120 MW / 100 MW).

Wybór lokalizacji centrum danych rzadko sprowadza się do samej ceny gruntu. Kluczowe kryteria to dostęp do sieci energetycznej o wystarczającej mocy przyłączeniowej, bliskość infrastruktury światłowodowej, warunki pozwoleniowe i regulacyjne, dostępność wody lub innych zasobów potrzebnych do chłodzenia, odległość od użytkowników końcowych (istotna dla opóźnień sieciowych) oraz sama fizyczna przydatność działki — nośność gruntu, dostęp drogowy dla ciężkiego sprzętu, ryzyko powodziowe czy sejsmiczne.

Ponieważ centrum danych to system połączonych ze sobą ograniczeń, brak jednego elementu potrafi unieruchomić inwestycję nawet przy nadmiarze pozostałych zasobów.

1. Chipy są dostępne, ale brakuje transformatora o odpowiedniej mocy — obiekt nie może odebrać wystarczającej ilości energii, by uruchomić zakupiony sprzęt.
2. Energia istnieje w systemie, ale brakuje zdolności przesyłowych, by dostarczyć ją do konkretnej lokalizacji.
3. Sieć energetyczna ma zdolność przesyłową, ale proces uzyskania pozwoleń blokuje samo podłączenie obiektu do sieci.
4. Obiekt już istnieje i działa, ale jego system chłodzenia nie jest w stanie obsłużyć nowych szaf serwerowych o wyższej gęstości mocy.

Model biznesowy chmury obliczeniowej — sprzedaż mocy obliczeniowej jako usługi, płatnej za zużycie zamiast za zakup własnego sprzętu — jest realną innowacją organizacyjną i finansową. Nie zmienia to jednak faktu, że jego fizyczną podstawą pozostają: ziemia, beton, stal, chipy, miedziane i światłowodowe okablowanie, transformatory, energia elektryczna, woda lub inny czynnik chłodzący oraz ludzie, którzy to wszystko projektują, budują i utrzymują.

Nagłówek „firma X buduje centrum danych za 10 miliardów dolarów” może opisywać bardzo różne struktury własności i finansowania. Obiekt może być w całości finansowany z gotówki operacyjnej spółki, sfinansowany długiem, sfinansowany przez zewnętrznego partnera infrastrukturalnego w zamian za wieloletni kontrakt najmu, lub zbudowany w ramach spółki joint venture, w której ryzyko i przyszłe przychody są dzielone między kilku uczestników.

Te różnice mają bezpośrednie znaczenie dla tematów poruszanych gdzie indziej w tej publikacji: wysokość nakładów inwestycyjnych (CapEx) i ich wpływ na wolne przepływy pieniężne (free cash flow) spółki, oraz stopień kapitałochłonności modelu biznesowego. Ten sam nagłówek o kwocie inwestycji może oznaczać zupełnie inny poziom ryzyka bilansowego, w zależności od tego, kto ponosi koszt budowy i kto ponosi ryzyko niewykorzystanej zdolności obliczeniowej w przyszłości.

Nagłówek ogłaszający budowę dużego centrum danych rzadko odpowiada na pytania konieczne do oceny, co faktycznie zostało zapowiedziane.

1. Kto finansuje budowę — sama spółka, partner infrastrukturalny, dług, czy joint venture?
2. Kto jest właścicielem ziemi i samego obiektu po jego wybudowaniu?
3. Jaka jest deklarowana moc obiektu w megawatach (MW), a nie tylko liczba zamówionych chipów?
4. Kiedy planowane jest podłączenie obiektu do sieci energetycznej (data energizacji)?
5. Kto dostarcza energię elektryczną i na jakich warunkach kontraktowych?
6. Jaki system chłodzenia jest zaplanowany — powietrzny czy cieczowy — i czy jest adekwatny do planowanej gęstości mocy?
7. Jaka infrastruktura sieciowa łączy obiekt z resztą sieci dostawcy i z użytkownikami?
8. Jaki sprzęt (chipy, generacja procesorów) faktycznie zostanie zainstalowany?
9. Jaki jest okres trwania kontraktów i zobowiązań klientów wobec tej zdolności obliczeniowej?

Przy kolejnym dużym ogłoszeniu dotyczącym centrum danych — niezależnie od tego, czy dotyczy ono firmy technologicznej, dostawcy chmury czy operatora energetycznego — spróbuj rozłożyć je na punkty z poprzedniej sekcji: kto finansuje, kto jest właścicielem, jaka jest moc w MW, kiedy nastąpi podłączenie do sieci, kto dostarcza energię, jakie jest chłodzenie, jaka jest sieć, jaki sprzęt i na jak długo podpisane są kontrakty.

Im więcej z tych punktów pozostaje niejasnych w oficjalnym komunikacie, tym trudniej ocenić, czy zapowiedziana kwota inwestycji odpowiada faktycznie budowanej, działającej zdolności obliczeniowej, czy raczej deklaracji zamiaru na wczesnym etapie.

Budowa fizycznej infrastruktury nie zawsze idzie w parze z popytem, który finalnie ją wykorzysta.

Odróżnienie zdrowej rozbudowy infrastruktury od jej nadbudowy wymaga śledzenia wskaźników wykorzystania mocy obliczeniowej i realnych kontraktów klientów, a nie samej wielkości zapowiadanych nakładów inwestycyjnych.

Słowo „chmura” opisuje model biznesowy, ale nie zmienia fizyki systemu, który go wspiera — ziemi, energii, chłodzenia, sieci i sprzętu, z których każdy element ma własne ograniczenia, koszty i czas budowy.

Poniższe pytania mają pomóc przenieść tę ramę na kolejne ogłoszenia dotyczące inwestycji w infrastrukturę cyfrową, z którymi się zetkniesz.