Центры обработки данных Google: Архитектура и масштабирование

Введение

Объекты, содержащие серверы Google

Центры обработки данных Google — это крупные комплексы, используемые компанией Google для предоставления своих сервисов, объединяющие в себе большие объемы дискового пространства, компьютерные узлы, организованные в ряды стоек, внутренние и внешние сети, системы контроля окружающей среды (преимущественно охлаждение и регулирование влажности), а также операционное программное обеспечение, особенно в части балансировки нагрузки и обеспечения отказоустойчивости. Официальных данных о количестве серверов в центрах обработки данных Google нет, однако в отчете Gartner за июль 2016 года было указано, что на тот момент Google располагало 2,5 миллионами серверов. Это число постоянно меняется по мере расширения компанией своих мощностей и обновления оборудования.

Производственное оборудование

С 2014 года Google использует сильно настроенную версию Debian Linux. Они постепенно перешли с системы на базе Red Hat в 2013 году. Цель настройки заключается в приобретении поколений процессоров, обеспечивающих наилучшее соотношение производительности к цене, а не абсолютную производительность. Способ измерения этого неясен, но, вероятно, он включает в себя расходы на эксплуатацию всего сервера, а энергопотребление процессора может быть существенным фактором. Серверы, используемые в 2009–2010 годах, состояли из разработанных по индивидуальному заказу систем с открытой верхней частью, содержащих два процессора (каждый с несколькими ядрами). Открытая конструкция позволяла разместить больше серверов в стойке. Согласно информации, опубликованной CNET и в книге Джона Хеннесси, каждый сервер был оснащен инновационной 12-вольтовой батареей для снижения затрат и повышения энергоэффективности. По данным Google, потребляемая мощность их глобальных центров обработки данных варьируется от 500 до 681 мегаватт. В 2008 году совокупная вычислительная мощность этих серверов могла достигать от 20 до 100 петафлопс.

Топология сети

Подробная информация о частных сетях Google по всему миру не является общедоступной, но в публикациях Google есть упоминания отчета "Atlas Top 10", в котором Google занимает третье место среди крупнейших интернет-провайдеров после Level 3. Для управления такой масштабной сетью с прямыми соединениями с максимально возможным количеством провайдеров по минимальной стоимости, Google придерживается очень открытой политики пиринга. На этом сайте можно увидеть, что сеть Google доступна через 67 публичных точек обмена трафиком и 69 различных локаций по всему миру. По состоянию на май 2012 года, Google располагал 882 Гбит/с публичной пропускной способности (не считая частных соглашений о пиринге с крупнейшими провайдерами). Эта публичная сеть используется для распространения контента пользователям Google, а также для сканирования интернета с целью построения поисковых индексов. Устройство частной части сети держится в секрете, но недавнее заявление Google указывает на использование ими специализированных высокопроизводительных коммутаторов (с емкостью 128 × 10 Gigabit Ethernet портов) для сети передачи данных на большие расстояния. Используя не менее двух коммутаторов на центр обработки данных (для обеспечения резервирования), можно заключить, что масштабируемость сети Google достигает терабитного диапазона (при двух полностью загруженных коммутаторах бисекционная пропускная способность составляет 1280 Гбит/с). Эти специализированные коммутаторы подключены к устройствам DWDM для соединения центров обработки данных и точек присутствия (PoP) через темное волокно. С точки зрения центра обработки данных, сеть начинается на уровне стойки, где 19-дюймовые стойки изготавливаются на заказ и содержат от 40 до 80 серверов (20–40 серверов высотой 1U с каждой стороны, в то время как новые серверы представляют собой системы 2U rackmount). Каждая стойка оснащена Ethernet-коммутатором. Серверы подключаются через Ethernet-соединение 1 Гбит/с к коммутатору верхнего уровня стойки (TOR). Коммутаторы TOR затем подключаются к кластерному коммутатору гигабитной сети с использованием нескольких гигабитных или десятигигабитных восходящих каналов. Сами кластерные коммутаторы взаимосвязаны и формируют структуру межсоединений центра обработки данных (скорее всего, с использованием архитектуры "стрекоза", а не классической или уплощенной "бабочки"). С точки зрения эксплуатации, когда клиентский компьютер пытается подключиться к Google, несколько DNS-серверов разрешают www.google.com в несколько IP-адресов, используя политику Round Robin. Кроме того, это служит первым уровнем балансировки нагрузки и направляет клиента в различные кластеры Google. Кластер Google содержит тысячи серверов, и после подключения клиента к серверу выполняется дополнительная балансировка нагрузки для отправки запросов на наименее загруженный веб-сервер. Это делает Google одной из крупнейших и наиболее сложных сетей доставки контента. Google располагает многочисленными центрами обработки данных, разбросанными по всему миру. По крайней мере 12 крупных установок центров обработки данных Google находятся в Соединенных Штатах. Самые крупные известные центры расположены в Даллесе (Орегон), Атланте (Джорджия), Рестоне (Вирджиния), Леноаре (Северная Каролина) и Монкс-Корнер (Южная Каролина). В Европе самые крупные известные центры находятся в Эймсхавене и Гронингене (Нидерланды) и Монсе (Бельгия).

Details of the Google worldwide private networks are not publicly available, but Google publications make references to the "Atlas Top 10" report that ranks Google as the third largest ISP behind Level 3. In order to run such a large network, with direct connections to as many ISPs as possible at the lowest possible cost, Google has a very open peering policy. From this site, we can see that the Google network can be accessed from 67 public exchange points and 69 different locations across the world. As of May 2012, Google had 882 Gbit/s of public connectivity (not counting private peering agreements that Google has with the largest ISPs). This public network is used to distribute content to Google users as well as to crawl the internet to build its search indexes. The private side of the network is a secret, but a recent disclosure from Google indicate that they use custom built high radix switch routers (with a capacity of 128 × 10 Gigabit Ethernet port) for the wide area network. Running no less than two routers per datacenter (for redundancy) we can conclude that the Google network scales in the terabit per second range (with two fully loaded routers the bi sectional bandwidth amount to 1,280 Gbit/s). These custom switch routers are connected to DWDM devices to interconnect data centers and point of presences (PoP) via dark fiber. From a datacenter view, the network starts at the rack level, where 19 inch racks are custom made and contain 40 to 80 servers (20 to 40 1U servers on either side, while new servers are 2U rackmount systems. Each rack has an Ethernet switch). Servers are connected via a 1 Gbit/s Ethernet link to the top of rack switch (TOR). TOR switches are then connected to a gigabit cluster switch using multiple gigabit or ten gigabit uplinks. The cluster switches themselves are interconnected and form the datacenter interconnect fabric (most likely using a dragonfly design rather than a classic butterfly or flattened butterfly layout). From an operation standpoint, when a client computer attempts to connect to Google, several DNS servers resolve www. google. com into multiple IP addresses via Round Robin policy. Furthermore, this acts as the first level of load balancing and directs the client to different Google clusters. A Google cluster has thousands of servers, and once the client has connected to the server additional load balancing is done to send the queries to the least loaded web server. This makes Google one of the largest and most complex content delivery networks. Google has numerous data centers scattered around the world. At least 12 significant Google data center installations are located in the United States. The largest known centers are located in The Dalles, Oregon; Atlanta, Georgia; Reston, Virginia; Lenoir, North Carolina; and Moncks Corner, South Carolina. In Europe, the largest known centers are in Eemshaven and Groningen in the Netherlands and Mons, Belgium.

Топология сети центра обработки данных

Для обеспечения отказоустойчивости, масштабирования центров обработки данных и поддержки коммутаторов с низкой разветвленностью, компания Google в прошлом использовала различные модифицированные топологии Clos.

Проект 02

Один из крупнейших центров обработки данных Google расположен в городе Даллс, штат Орегон, на реке Колумбия, примерно в 80 милях (129 км) от Портленда. Комплекс, известный под кодовым названием "Проект 02", был построен в 2006 году и имеет площадь, сопоставимую с двумя американскими футбольными полями, а его градирни достигают четырех этажей в высоту. Место было выбрано с целью использования недорогой гидроэлектроэнергии и доступа к значительному избытку оптоволоконных кабелей в регионе, оставшемуся со времен бума доткомов. Чертеж комплекса был опубликован в 2008 году.

Бумажная мельница Сумма

В феврале 2009 года Stora Enso объявила о продаже бумажной фабрики Summa в Хамине (Финляндия) компании Google за 40 миллионов евро. Google инвестировал 200 миллионов евро в создание на этом участке дата-центра и объявил о дополнительных инвестициях в размере 150 миллионов евро в 2012 году. Компания Google выбрала это местоположение благодаря доступности и близости возобновляемых источников энергии.

Плавучие центры обработки данных

В 2013 году пресса раскрыла существование плавучих центров обработки данных Google вдоль побережья штатов Калифорния (Здание 3 на острове Сокровищ) и Мэн. Разработка проекта велась в строжайшей секретности. Размеры центров обработки данных составляют 250 футов в длину, 72 фута в ширину и 16 футов в глубину. Google приобрел патент на технологию охлаждения центров обработки данных в океане в 2009 году (а также патент на центр обработки данных, установленный на волновой платформе, в 2008 году). Вскоре после этого Google заявил, что две огромные и тайно построенные инфраструктуры являются всего лишь "интерактивными учебными центрами, [ ] пространством, где люди могут познакомиться с новыми технологиями". Google приостановил работы над баржами в конце 2013 года и начал продавать их в 2014 году.

Практика разработки программного обеспечения

Большинство операций выполняются в режиме "только чтение". Когда требуется обновление, запросы перенаправляются на другие серверы, чтобы упростить проблемы обеспечения согласованности. Запросы разбиваются на подзапросы, которые могут отправляться параллельно в различные конвейеры, что позволяет снизить задержку. В июне 2010 года Google представил систему индексации и выдачи поисковых результатов нового поколения под названием "Caffeine", способную непрерывно сканировать и обновлять поисковый индекс. Ранее Google обновлял свой поисковый индекс пакетами, используя серию заданий MapReduce. Индекс был разделен на несколько уровней, некоторые из которых обновлялись быстрее других, а основной уровень мог обновляться до двух недель. С Caffeine весь индекс обновляется инкрементно и непрерывно. Позже Google представил распределенную систему обработки данных под названием "Percolator", которая, как утверждается, лежит в основе системы индексации Caffeine.

Безопасность

В октябре 2013 года газета The Washington Post сообщила, что Агентство национальной безопасности США перехватывало коммуникации между центрами обработки данных Google в рамках программы под названием MUSCULAR. Это стало возможным, поскольку в то время Google не шифровала данные, передаваемые внутри своей сети. Google устранила эту проблему, начав шифровать данные, передаваемые между центрами обработки данных, в 2013 году.

Влияние на окружающую среду

Самый эффективный центр обработки данных Google работает, используя только охлаждение свежим воздухом и не требуя электроэнергии для кондиционирования. В декабре 2016 года Google объявила, что, начиная с 2017 года, будет закупать достаточно возобновляемой энергии для покрытия 100% потребления энергии своими центрами обработки данных и офисами. Это обязательство сделает Google крупнейшим в мире корпоративным покупателем возобновляемой энергии, с заявками на 2,6 гигаватта (2600 мегаватт) ветровой и солнечной энергии.