Google potrzebuje dużych zasobów komputerowych do świadczenia swoich usług. W tym artykule opisano infrastrukturę technologiczną witryn Google przedstawioną w publicznych ogłoszeniach firmy.
W 2008 r. Google obsługiwał 34 centra danych na całym świecie, w tym 19 w Stanach Zjednoczonych (w tym 2 w budowie), 11 w Europie, 3 w Azji i 1 w Brazylii. Chociaż liczby nie zostały ujawnione, niektórzy szacują, że Google utrzymuje prawie 2,5 miliona serwerów zlokalizowanych w kilku miastach na całym świecie, z głównymi ośrodkami w Mountain View ( Kalifornia ), Council Bluffs (Iowa), Herndon (Wirginia), Lenoir ( Północna Karolina) ), Hrabstwo Mayes ( Oklahoma ), Atlanta (Georgia); Dublin , Irlandia ; Saint-Ghislain , Belgia ; Groningen w Holandii ; Zurych , Szwajcaria ; São Paulo w Brazylii ; Quilicura ( Chile ); Tokio , Japonia ; Pekin , Chiny .
Podczas próby połączenia się z Google serwery DNS kierują www.google.com do wielu adresów IP , co działa jako pierwszy poziom równoważenia obciążenia, kierując klientów do różnych klastrów Google. Każdy pakiet Google ma tysiące serwerów, a podczas podłączania do pakietu wykonywane jest inne równoważenie obciążenia, aby wysyłać żądania do najlżejszego serwera internetowego . To sprawia, że Google jest jedną z największych i najbardziej złożonych sieci.
Szafy są wykonywane na zamówienie i zawierają od 40 do 80 serwerów 1U (20 do 40 z każdej strony), podczas gdy nowsze serwery to systemy 2U Rackmount. Każdy uchwyt ma wyłącznik. Serwery są podłączone za pośrednictwem łącza Ethernet 100 Mbit / s do lokalnego przełącznika. Przełączniki są podłączone do głównego przełącznika gigabitowego za pomocą jednego lub dwóch gigabitowych łączy uplink.
Centra danych są zlokalizowane przede wszystkim tam, gdzie energia elektryczna nie jest zbyt droga (na przykład w pobliżu elektrowni wodnych), w szczególności na północno-zachodnim wybrzeżu Stanów Zjednoczonych, gdzie rachunki za energię są jednym z głównych czynników. Najważniejsze centra kosztów: Eksperci szacują, że energia elektryczna zużywana przez serwer w całym okresie jego eksploatacji kosztuje więcej niż sam sprzęt.
Ponieważ zapytania składają się ze słów, konieczny jest odwrotny indeks dokumentów. Taki indeks pozwala uzyskać listę dokumentów dla tego samego słowa w pytaniu. Indeks jest bardzo duży ze względu na liczbę dokumentów przechowywanych na serwerach.
W październik 2008, Chociaż liczby nie są podawane do wiadomości publicznej, Google podobno naliczyło dwa miliony serwerów.
Ze względu na ilość używanego sprzętu i intensywny charakter aplikacji uruchamianych przez jego serwery, Google publikuje interesujące statystyki dotyczące awarii sprzętu: dysków twardych i pamięci DRAM .
Google słynie z używania prostych komputerów PC zmodyfikowanych specjalnie do obsługi swoich algorytmów zamiast drogich serwerów zaprojektowanych specjalnie do tego zadania, szczególnie pod względem mocy obliczeniowej i niezawodności . Szczegóły modyfikacji dokonanych w tych maszynach pozostawały tajemnicą przez długi czas, aż1 st kwiecień 2009. Główną osobliwością jego pecetów jest dodanie do każdego z nich 12-woltowej baterii zapewniającej prąd w przypadku problemu z głównym źródłem prądu, co według Google kosztuje mniej niż zakup zasilacza bezprzerwowego na potrzeby całego centrum danych i pozwalając na lepszą efektywność energetyczną.
Inną interesującą cechą jest to, że od 2005 r. Centra danych składają się ze standardowych kontenerów zawierających 1160 serwerów PC o poborze mocy do 250 kilowatów. Wiadomo również, że Sun Microsystems i Windows Azure używają kontenerów, ale przez krótszy czas.
Zastosowanie wielu zawodnych komputerów PC wymagało stworzenia odpowiednich algorytmów i implementacji. Algorytmy musiały być równoległe , rozproszone (lub rozproszone ), odporne na błędy . To zawiera: