Facebookのクーリングシステム

アマゾンウェッブサービス(AWS)の障害後、データセンターの設計や運用に関する関心が高まっているようです。DataCenterKnowledgeというサイトでは、4月の閲覧数のトップ10は全てこのデータセンターの設計と運用に関する記事だったそうです。その中には、グーグルのデータセンターセキュリティ、Facebookのデータセンター設計、マイクロソフトのサーバとラックのカスタマイズなどが含まれています。
そこで、データセンターの話トップ10をご紹介しましょう。第10弾は、

Facebookのクーリングシステム

この記事は「Facebookのサーバルーム」の続きで、すでに5月9日ポスト済みです。

Facebook、カスタムサーバを公表

アマゾンウェッブサービス(AWS)の障害後、データセンターの設計や運用に関する関心が高まっているようです。DataCenterKnowledgeというサイトでは、4月の閲覧数のトップ10は全てこのデータセンターの設計と運用に関する記事だったそうです。その中には、グーグルのデータセンターセキュリティ、Facebookのデータセンター設計、マイクロソフトのサーバとラックのカスタマイズなどが含まれています。
そこで、データセンターの話トップ10をご紹介しましょう。第7弾は、

Facebook、カスタムサーバを公表

オレゴン州プラインビルにある新データセンターのコールド通路内の青く輝くサーバ群

オレゴン州プラインビルにある新データセンターのコールド通路内の青く輝くサーバ群

Facebookは、オレゴン州プラインビルにある新しいデータセンター内にあるカスタムサーバ、ラック、UPSユニットなど、新しいテクノロジ基盤の詳細を公表した。このプロジェクトは、初めて企業として構築した施設であり、エネルギー効率の高いデータセンター運用を行うための同社のビジョンを反映し、2階建て構造からサーバに至るまでを最適化したもの。
「費用と電力の両者の観点から、より効率的なサーバを設計できるということは、なしえた様々な機能を構築する上で非常に大きな部分であった。」(FacebookのCEO、Mark Zuckerberg氏)
Facebookのサーバは、IntelとAMDのチップ、カスタムデザインのマザーボード、台湾のQuanta Computerが構築するシャーシとで成り立っている。サーバは、冷却効率を高めるため、大きなヒートシンクとファンが使えるよう、1.5Uの高さとなっている。
Facebookはまた、新しいオープン・コンピュート・プロジェクトの一環として、サーバとデータセンターの設計および機械設計図を公表している。これは先進のデータセンター技術がオープン・ウェブ・ファンデーションのランセンスに基づき利用できるようになるということだ。
このイニシアチブは、データセンター設計に対するオープン・スタンダードへの動きを約束するもので、通常秘密にされていた分野だ。
テクニカル・オペレーション担当副社長Jonathan Heiligerによると、「プラインビルの施設は電力使用効率(Power Usage Effectiveness:PUE)は1.07で運用しており、業界内で最も効率的な施設だ。この効率化により、Facebookがデータセンターとサーバを運用するために必要な電力量を劇的に削減することができる。Facebookは”ネガワット”に向かっている。」
「(ネガワットととは)見ることもなく使うこともないワット数のことだ。これが大規模データセンターの運用にとって、エネルギー節約するためのもっとも有効な策であると考えている。」
以下が、Facebookがこれらの高効率を実現するための手段の概要だ。

 

冷却設計

Facebookは最近の設計でよく見られる2層構造を採用している。すなわち、サーバと冷却インフラを分離し、フロアーを最大限サーバに割り当てることができるようにしている。Facebookは冷却サプライの管理に施設の上半分を使うこととし、冷却エアは上部からサーバルームに流れ込む形になっている。つまり、冷たい空気が下に流れ、暖かい空気は上に流れるという自然の法則を活用しているのだ。これにより床上げ式にフロアの下から冷たい空気を上にあげるために空圧を使う必要がなくなる。
オレゴンの冷たく乾いた空気はプラインビルに施設を設置する意思決定をするために重要な要素であった。「蒸発冷却には理想的なロケーションだ。プラインビルの気温は過去50年間、105度を越えていないのだ。」(Facebookのデータセンター・エンジニアリング担当ディレクターJay Park)
エアは、2階の「ペントハウス」と呼ばれるエアグリルから施設内に取り込まれる。そこには鎧板があり、取り込みエア量を調整している。次にエアはミキシングルームに進む。ここで外から取り込まれた冷却エアはサーバの排気熱と混合され、温度を調節する。
冷却エアは一連のエアフィルタと温度と湿度をコントロールするためのスプレイを適用するミストチェンバーを通る。エアは、ミストを吸収するもうひとつのフィルタを通り、その後、サーバエリアに通じるエアシャフトとなる床の開口部にファン・ウォールで送り込まれる。
「このシステムの美しいところは、ダクト工事が不要なことだ。エアはデータホールに直接降りていき、データセンター全体を加圧する。

ラックとサーバ

冷却エアは次に、カスタムラックに取り込まれる。これはホット通路のコンテインメント・システムに収まっている。ラックは3つ子のエンクロージャで、3箇所のスペースがラック用に用意されている。各ラックには1.5UのFacebookサーバを30台収納可能だ。各エンクロージャはネットワークポートの密集をサポートするためのラックトップ型スイッチが2つ付いている。
サーバはカスタマイズし無駄を省かれている。1.5Uのシャーシ(2.65インチ)はこのベアボーン的アプローチを反映した結果だ。「機能がないものはすべて省いた。ベゼルやペイントもない。多少高いシャーシを使っているのは背の高いヒートシンクを使っているため。40mmのファンではなく、より大きい60mmのファンを使うことができる。60mmのファンはより効率的だ。」(ハードウェアエンジニア、Amir Michael氏)
ケーブルとパワーサプライはサーバの前部に位置しており、Facebookのスタッフが、100度以上(摂氏37.8度)のホット通路側からではなく、コールド通路側で作業することができる。「これはハードウェアエンジニアとデータセンターのテクニカルスタッフとの協業による結果だ。」(同氏)
「ビール、チキンウィング、サーバでサーバインテグレーション・パーティを行った。両方の部門のスタッフは交代で如何に速くサーバをばらし、再構築できるかを目にした。多くのフィードバックを得、非常に速く斡旋ブルできるサーバを実現できた。

UPSと配電

Facebookが特に注目したものの1つは、配電であり、従来の集中UPSをベースにんしたデータセンターのデザインでは、複数のAC-DC変換で電力ロスが見られる。「電力設計を効率化すること注力した。」(同氏)
Facebookのサーバは、従来の208Vとではなく、277VのACパワーを使えるようパワーサプライをカスタマイズしている。これにより、400/277Vで建物内に引き込み、直接サーバに供給することができ、ほとんどのデータセンターで見られる、UPSや配電盤を経由することによるステップダウンを回避できる。カスタムのパワーサプライはFacebookが設計し、台湾とカルフォルニアをベースとするDelta Electronicsが製造したものだ。
ではUPSシステムは?Facebookはサーバにオンボード・バッテリを乗せることを検討したが、ラック列単位のUPSユニットにした。各UPSシステムは20個のバッテリを搭載し、
5連の48VのDCバッテリだ。Facebookのパワーサプライは2系統あり、1つはACユーティリティパワーともう一方はDCベースのUPSシステムだ。サージ抑圧と電源出力調整を管理するシステムも備えている。

Facebook、サーバとデータセンターのデザインを公開

アマゾンウェッブサービス(AWS)の障害後、データセンターの設計や運用に関する関心が高まっているようです。DataCenterKnowledgeというサイトでは、4月の閲覧数のトップ10は全てこのデータセンターの設計と運用に関する記事だったそうです。その中には、グーグルのデータセンターセキュリティ、Facebookのデータセンター設計、マイクロソフトのサーバとラックのカスタマイズなどが含まれています。
そこで、データセンターの話トップ10をご紹介しましょう。第5弾は、

Facebook、サーバとデータセンターのデザインを公開

Open Compute Project Server

業界の慣わしとはことなり、Facebookは、オレゴン州プラインビルにある新データセンターのデザインとスペックを公開した。このソーシャルネットワークはオープン・コンピュート・プロジェクトを発表した。すなわち、データセンターのエネルギー効率の高いデザインの詳細、サーバ、パワーサプライ、UPSユニットののカスタムデザインが発表された。
クラウドコンピューティング・プロバイダのRackspaceホスティングや、ゲーム大手のZyngaを含み、多くの主要なインターネット企業はオープン・コンピュート・デザインの要素を取り入れることを表明している。その間、サーバのベンダーであるDELLは、サーバにオープン・コンピュート・マザーボードのデザインをすでに組み込んでいると表明している。
多くの主たるデータセンター・プロバイダーは、データセンターのデザインや運用の詳細を秘密にしている。
The Fight Club Rule of Data Center Secrecy参照)(On the Cloud注記:この記事は英語のままです)
「我々が作るハードウェアの類を必要としているのは我々だけではない」(FacebookのCEO、Mark Zucherberg氏)
「ソーシャルアプリケーションを構築しやりたいことをやるためにはこれが一番簡単で最も費用効率が高い。」
「このアイデアは業界を前進させるものだ。」(FacebookのハードウェアエンジニアAmir Michael氏)「これは業界とベストプラクティスを共有するイニシアティブになる。我々はこの技術をビジネスの鍵として自社内に保持していくつもりはない。他社がもっと効率の高いインフラを構築する手助けをしたいのだ。」
FacebookはOpen Web Foundationライセンス下、スペックとメカニカルCADファイルを公表している。つまり、世界的、非独占的、費用なし、ロイヤリティなしの著作権ライセンスであり、再製、派生品を作るにも、完全にスペック通りに実装するにも、Facebookへの報告の義務がない」(同社)
オープン・コンピュート・プロジェクトで注目すべきデザインは、他社には簡単に実装できない。何故なら通常ではない配電とUPSに依存しているからだ。既存の運用を改良するよりも、新規構築から最大限の価値を引き出すというアプローチだ。さらにFacebookのデータセンター・デザインは、フリークーリングに依存している。サーバを冷やすために空調を使うのではなく、新鮮なエアを使うというもの。フリークーリングを使えるのは、地理的位置、涼しい気候の場所がベストなのだ。
しかしFacebookはこのイニシアティブに参加する業界のプレーヤーの意味あるリストを持っている。Advanced Micro Devices、Dell、HP、IntelはFacebookと共同開発する企業だ。さらにDellのデータセンター・ソリューションビジネスではオープン・コンピュート・プロジェクトのスペックに基づいたサーバを設計し、構築することになる。Synnexはオープン・コンピュート・プロジェクト・サーバのベンダーとなり、顧客のスペックに基づき統合し十分テストされたソリューションを提供する。
「Facebookはデータセンターとハードウェアの継続するイノベーションにとって、先進的なレファレンス・デザインに貢献した。」(DellのWorldwide Server Platforms担当副社長兼本部長Forrest Norrod氏)「我々は、このデザインから学び、さらに進化させる方法を探すため、似たような考えを持つテクノロジ・プロバイダやパートナーと協業することを待ち望んでいる。」
Rackspaceの会長Graham Weston氏は、Facebookがデザインし、オープン・コンピュート・プロジェクトで発表されたこれらのアイデアのいくつかは、何百万もの電力コストを節約できると話す。「我々は、データセンターに関し自身の知財を開発し、オープン・コンピュート・デザインが進むにつれ、それらのいくつかを公表するつもりだ。」
Zyngaも採用しそうだ。「オープン・コンピュート・プロジェクトと作業し、ペストプラクティスを交換し、電力消費の効率化、デザイン、管理性の分野で業界全体が進化することに貢献したい」(CTOのCadir Lee氏)

Facebookのクーリングシステム

「Facebookのサーバルーム」に引き続き、クーリングシステムの紹介です。

Facebookのクーリングシステム

Facebookのクーリングシステム

前回はオレゴンにあるFacebookの新データセンターのサーバルームの内部を紹介した。今回は第2部、Facebookのデータセンター・エンジニアリング担当ディレクターJay Parkが施設のペントハウス・クーリングシステムの概要を紹介する。データセンターの冷却用エアのフィルタリングと引き込みだ。ビデオは12分間。

Facebookは、最近よく見かける設計である、2層構造を採用している。すなわち、サーバと冷却インフラを分離し、サーバを最大限設置できるようにしている。Facebookは、冷却サプライを管理するために、施設の上半分を使用することにし、冷却エアは上部からサーバルームに取り込まれるようにしている。冷たいエアが下に流れ、温められたエアが上に昇るという自然現象を活用しているのだ。これにより、床から冷却エアを上部に送るために圧力をかける必要がなくなるのだ。
エアは、2階の「ペントハウス」のエアグリルから施設内に入る。そこには鎧板があり、取り込みエア量を調整している。次にエアはミキシングルームに進む。ここで外から取り込まれた冷却エアはサーバの排気熱と混合され、温度を調節する。冷却エアは一連のエアフィルタと温度と湿度をコントロールするためのスプレイを適用するミストチェンバーを通る。
エアは、ミストを吸収するもうひとつのフィルタを通り、その後、サーバエリアに通じるエアシャフトとなる床の開口部にファン・ウォールで送り込まれる。
オープン・コンピュート・プロジェクトで公開しているダイアグラム図では、プラインビルのペントハウス・クーリングの設計が建物レベルでどうなっているかがわかる。サーバとサーバルームの排気熱のためのホットエア給気式換気が示されている。

オレゴン州プラインビルにある新データセンターのデザイン

オレゴン州プラインビルにある新データセンターのデザイン

Facebookのサーバルーム

アマゾンウェッブサービス(AWS)の障害後、データセンターの設計や運用に関する関心が高まっているようです。DataCenterKnowledgeというサイトでは、4月の閲覧数のトップ10は全てこのデータセンターの設計と運用に関する記事だったそうです。その中には、グーグルのデータセンターセキュリティ、Facebookのデータセンター設計、マイクロソフトのサーバとラックのカスタマイズなどが含まれています。

そこで、データセンターの話トップ10をご紹介しましょう。第2弾は、

Facebookのサーバルーム

オレゴン州プラインビルにあるFacebookの新データセンターのサーバルーム(Hot Aisle Containment System) (写真提供:Alan Brandt)

オレゴン州プラインビルにあるFacebookの新データセンターのサーバルーム(Hot Aisle Containment System) (写真提供:Alan Brandt)

Facebookは、オレゴンにある新データセンターのサーバとシステムの写真および設計を公表している。金曜日にジャーナリストと地元の役人にプリンスビルの施設の見学を許可したため、実物を見てきた。Facebookのデータセンター・エンジニアリング担当ディレクターJay Par氏がデータセンターのビデオツアーを担当し、2箇所の設置場所を見せてくれる。ビデオでは、Facebookを支える数千のサーバ群があるデータホールの中を見せてくれる。同施設のために作成したカスタムのサーバ、ラック、UPSも見ることができる。ビデオは8分間だ。
(On the Cloud注記:最後の方で画面が真っ暗で良く見えないが、サーバ群で熱せられた空気が流れる通路。サーバ群は操作が必要なものはフロント側に位置するように作られており、背面側は基本的に人が入ることがないため、明かりがないらしい)
第2部では、Facebookがプラインビルの施設のために開発したカスタムのクーリングシステムを紹介している。

Facebookを避けた方がいい4つの理由:第四話

日本ではソーシャルメディアとしてTwitterが先行していますが、そろそろFacebookの出番という声も聞こえます。中小企業でもソーシャルマーケティングを展開すべきという意見もよくささやかれていることはご存知のところです。あ
そんな中、Small Business Trendと言うサイトで、「Facebookを避けた方がいい4つの理由」という記事がのっていましたので、紹介したいと思います。

ついていけない

中小企業のオーナーから時間を奪っていくのは単なる日々のやり取りや更新だけではない。Facebookの間断なく発生する変更や更新についていくための時間も考慮する必要がある。Facebook上にプレゼンスを構築することは、Facebookがどれかの機能を削除したことを数日のうちに気づかねばならないことを意味するのだ。1年前のものと比較して、現在のベストプラクティスが何かを知っておくことが必要だ。ソーシャルメディアでは物事の変化が速いのだ。ちょっと目をはなしているすきに、何かを見落とし、トラブルに陥るか、絶好のチャンスを逃すことになる。

むろんこれらのルールはFacebookだけに当てはまるわけではない。いずれのソーシャルメディアやマーケティングチャネルにしろ、投資する前に、やろうとしている理由を明確にし、自身の目標を達成するためにそのサイト/プラットフォームをいかに利用するかを良く理解しておくことだ。皆が話題にしているからという理由で、Facebookにページが必要ななんて思わないことだ。ホームワークをし、そこにいる目的をしっかりと持つことだ。

ソーシャルメディアのみならず、クラウド系は変化のスピードが速いようです。始めるなら、そのスピードについていく覚悟が必要です。

Facebookを避けた方がいい4つの理由:第三話

日本ではソーシャルメディアとしてTwitterが先行していますが、そろそろFacebookの出番という声も聞こえます。中小企業でもソーシャルマーケティングを展開すべきという意見もよくささやかれていることはご存知のところです。
そんな中、Small Business Trendと言うサイトで、「Facebookを避けた方がいい4つの理由」という記事がのっていましたので、紹介したいと思います。

Facebookが自社ビジネスの目的に合致していない

全ての中小企業がソーシャルメディアでのプレゼンス構築より恩恵を受けられるわけではない。公開前に全て法務部や広報部の許可を得なければならないようなビジネスであれば、ソーシャルメディアが新たなボトルネックになりかねない。あるいは恐らく顧客とのやり取りをしたくなくなるであろう。もしそうならば、メッセージを発信するもっといい手段が他にあるはずで、社内の誰か他の人に「ソーシャル」なってもらうことだ。ソーシャルメディアがビジネスの目的に合致していないなら、店を出さなきゃと思わないほうがよい。

物言えば唇寒し秋の風、というのがありますが、さしずめ、物書けば首寒し、となりかねないビジネスもありますから、ご注意ください。

Facebookを避けた方がいい4つの理由:第二話

日本ではソーシャルメディアとしてTwitterが先行していますが、そろそろFacebookの出番という声も聞こえます。中小企業でもソーシャルマーケティングを展開すべきという意見もよくささやかれていることはご存知のところです。
そんな中、Small Business Trendと言うサイトで、「Facebookを避けた方がいい4つの理由」という記事がのっていましたので、紹介したいと思います。

自社の読者はそこにいない

マーケティングの人間が好んで話しているからといって、自社の読者がFacebookサイトにいる、と想定するのは得策ではない。中小企業のオーナーとして、自社サイトへ誘導できない、あるいは、認知度を上げることに貢献しないサイトに時間とコストをかけるのは無駄だ。自社向けのフィットしたソーシャルネットワークを選ぶ際にスマートな選択したいはず。そのためには、プレゼンスを構築する前に、自社サイトの分析結果、リファラーログを時間をとって分析し、顧客にどのソーシャルネットワークを使うかを聞いてみるのもいい。そうでなければ、参加するパーティに向いていないドレスを買うようなことになってしまいかねない。

そう、服装を間違えると、パーティで一人だけ浮いてしまい、嫌煙されてしまう存在になりかねない、ということですね。

Facebookを避けた方がいい4つの理由:第一話

日本ではソーシャルメディアとしてTwitterが先行していますが、そろそろFacebookの出番という声も聞こえます。中小企業でもソーシャルマーケティングを展開すべきという意見もよくささやかれていることはご存知のところです。
そんな中、Small Business Trendと言うサイトで、「Facebookを避けた方がいい4つの理由」という記事がのっていましたので、紹介したいと思います。

Facebookに、企業とユーザとの間のコミュニケーションを増大させることを目的とした変更が行われている。私自身中小企業のオーナーであり、このアップグレードの発表は好ましい。長らく抱えていた不満の多くに対応するものであり、Facebookがそれらの多くに一度に取り組んでいることは評価できる。今や、Facebookが企業向けプラットフォームとしてアップグレードされたのであるから、Facebookを活用する方向に進み、自身の事業向けにFacebookのページを作るべきだ、となるのか?
実はそうではない。

Facebookがそのプラットフォームに大きなアップグレードを行ったからといって、活用すべき場所なのか。
以下は、Facebookにプレゼンスを持つべきでない理由をあげた。FacebookをTwitterやブログ、あるいはその他のソーシャルメディアと置き換えても同じことが当てはまる。

費やすだけのリソースがない

何万回となく聞いたことがあるはずだ。ソーシャルメディアサイトにプレゼンスがないよりも最悪なことは、酷いプレゼンスがあることだ。しかもしれは事実だ。Facebookに企業ページをつくることは、その他の何かではなく、Facebookに貴重な時間とリソースを注ぎ込む選択をするということを意味する。Facebookに強力なプレゼンスを築くには、誰か(あるいは何人かのグループ)がコンテンツを作成し、会話を開始し、やりとりし、節度ある活動を行わねばならない。Facebookに参加する時間がない、あるいは、そうすることに時間を費やす気持ちがないなら、最初からページを作らないことだ。始めてしまえば、管理せざるを得なくなる。あるいは、ゴミだけを集め、大して気にかけていないのだということをユーザに知らしてしまうことになる。

始めるにあたっては「覚悟」が必要ということですね。このブログも基本的に毎日更新していますが、毎日更新するのは楽なことではないのは事実です。