22
アカデミッククラウドにおける CloudStackの活用事例と今後の展望 棟朝 雅晴(むねとも まさはる) 北海道大学 情報基盤センター [email protected] CloudStack Day Japan 2014 2014.3.6 ソラシティカンファレンスセンター

CloudStack Day Japan 2014 - アカデミッククラウドにおけるcloudstackday.jp/pdf/download/csday14_keynote3.pdfアカデミッククラウドにおける CloudStackの活用事例と今後の展望

  • Upload
    others

  • View
    1

  • Download
    0

Embed Size (px)

Citation preview

Page 1: CloudStack Day Japan 2014 - アカデミッククラウドにおけるcloudstackday.jp/pdf/download/csday14_keynote3.pdfアカデミッククラウドにおける CloudStackの活用事例と今後の展望

アカデミッククラウドにおけるCloudStackの活用事例と今後の展望棟朝 雅晴(むねとも まさはる)北海道大学 情報基盤センター[email protected]

CloudStack Day Japan 20142014.3.6

ソラシティカンファレンスセンター

Page 2: CloudStack Day Japan 2014 - アカデミッククラウドにおけるcloudstackday.jp/pdf/download/csday14_keynote3.pdfアカデミッククラウドにおける CloudStackの活用事例と今後の展望

自己紹介

棟朝 雅晴(むねとも まさはる)

北海道大学情報基盤センター 副センター長 デジタルコンテンツ研究部門 教授専門:クラウドコンピューティング・分散処理   進化計算・メタヒューリスティクス・最適化  「北海道大学アカデミッククラウド」の設計・構築を担当

情報基盤センター クラウドコンピューティング研究会 主査大学ICT推進協議会クラウド部会 副査情報処理学会数理モデル化と問題解決研究会 主査クラウド利用促進機構 総合アドバイザーOpen Compute Project Japan 発起人・運営委員

2

Page 3: CloudStack Day Japan 2014 - アカデミッククラウドにおけるcloudstackday.jp/pdf/download/csday14_keynote3.pdfアカデミッククラウドにおける CloudStackの活用事例と今後の展望

2010年11月 SC10@New Orleans にて

Page 4: CloudStack Day Japan 2014 - アカデミッククラウドにおけるcloudstackday.jp/pdf/download/csday14_keynote3.pdfアカデミッククラウドにおける CloudStackの活用事例と今後の展望

北海道大学アカデミッククラウド

• 国内最大の学術クラウド(本格的なクラウドとしては世界的にも最大級)・ 2011年11月サービス開始(全国の研究者向けサービス)・ スパコン並みの高性能(43.8TFlops, 2,000以上のVMを同時実行可能)・ CloudStackを採用した初期の事例として国内外で注目された

• ビッグデータ処理システム(Hadoopクラスタ)を自動的に設定し利用者が占有して利用できる基盤を整備

4

Page 5: CloudStack Day Japan 2014 - アカデミッククラウドにおけるcloudstackday.jp/pdf/download/csday14_keynote3.pdfアカデミッククラウドにおける CloudStackの活用事例と今後の展望

「ビッグデータ」処理パッケージの提供

• ビッグデータ関連研究に必要となるクラスタシステムをパケージ化して提供(加えて、MPI, OpenMPなど並列計算に必要なソフトウェアも提供)

• 機械学習に必要なライブラリも含めた(Hadoop, Hive, Mahout, R)大規模並列処理システムを、ストレージの負荷分散も考慮しつつ自動構築

Storage #3�Virtual(Disk�

Storage #4�Virtual(Disk�

Storage #2�Virtual(Disk�

Zone!POD!

Shared Storage #1�Resource Pool #1�

HyperVisor #2�

HyperVisor #1�Virtual(Disk�VM(

Balancing!overheads!of!disk!I/O!with!round8robin!assignment!of!Virtual!disks.!�

Storage #1�

VM(

VM(

VM(

VM(

Virtual(Disk�Hadoop Cluster�Shared Storage #2�

Resource Pool #2�

HyperVisor #4�

HyperVisor #3�

Virtual(Disk�

VM(

Shared Storage #3�Resouce Pool #3�

HyperVisor #6�

HyperVisor #5�

Virtual((Disk�

VM(

Shared Storage #4�

Resouce Pool #4�

HyperVisor #8�

HyperVisor #7�

Virtual(Disk�

VM(

Page 6: CloudStack Day Japan 2014 - アカデミッククラウドにおけるcloudstackday.jp/pdf/download/csday14_keynote3.pdfアカデミッククラウドにおける CloudStackの活用事例と今後の展望

シミュレーション・計算環境として

• 研究室内で構築されていた、計算サーバやクラスタの置き換えとして利用→ 大幅なコストダウン&システム構築時間の短縮(数ヶ月→1時間!)

• パソコン~スパコンの間のギャップを埋める

燃焼シミュレーション(北大 工学研究院 大島教授)

Page 7: CloudStack Day Japan 2014 - アカデミッククラウドにおけるcloudstackday.jp/pdf/download/csday14_keynote3.pdfアカデミッククラウドにおける CloudStackの活用事例と今後の展望

創薬化学の”in silico screening”システムの構築

• Structure Based Drug Design (SBDD)を用いて、医薬品候補化合物を探索するためのシステムをクラウド上で構築(北大 創薬科学研究教育センター)

• Management appとして、modeFRONTIER®を、Docking appとして、 AutoDockを使用している。(XLサーバへは、 AutoDockをインストール)

創薬化学のためのシステム構築(北大薬学研究院 前仲教授: iiC-HPCニュース vol.30 より)76情報基盤センター大型計算機システムニュース Vol.30 July 2013  iiC-HPC

InterviewHigh Performance Computing System

PROFILE

て使えるというのはかなり大きいことです。物理的に近いというのはいろんなメリットがあって、そのうえ、創薬のセンターのほうとの連携を取っていただいているので、かなり融通を利かせていただいたと思います。

─クラウドといいますと、アマゾンのクラウドのように、アメリカにあってもどこにあっても同じというイメージもあるのですけれども、やはり同じ大学内、もしくは近くにあることの安心感もあるかもしれませんね。

前仲 いろんな使い方をするうえで、学内にあるメリットはけっこう大きかったと思います。学外から使用するのがどうこうということはないのですけれども、今回のような創薬のプロジェクトの場合は、セキュリティーの面などを考えるとかなり大きかったと思います。

─今回はいわゆるドッキングのシミュレーションということですが、並列計算ではよくあることで、実はわれわれのセンターでも研究をしています。例えば今後のシステムの展開ということもありますけれども、クラウドシステムをお使いになっていて、改善点とかご要望はございますでしょうか。

前仲 サーバの台数その他は、いろいろ議論にはなるのです。今お借りしているのが、たしか今年度に入って3台ですが、創薬ターゲットが複数ありますので、それについて1ターゲット1つではないですけれども、台数がある分だけいろんなことができるという点があります。

まいます。ところがクラウドシステムを使うと、一つのターゲットに対して1週間弱で計算が終了します。その後、解析にさらに1週間かかりますが、一つのターゲットに対して2週間でin silicoスクリーニングを行うことができます。

─大幅なスピードアップが図られるということになりますね。

斉藤 はい。

─今回は、クラウドシステム上に研究室の専用の環境を構築したというところが特徴的かと思うのですけれども、そこでのご苦労がありましたらお話しください。

斉藤 最初は、ふだん使っているLinuxと同じ環境でそのまま使えるかと思っていたのですけれども、ふだんの環境とは雰囲気が違い、そのまま使うということはできませんでした。

─パッケージが違うという場合ですね。

斉藤 はい。Linuxの種類が違うのかも……。実際にはSEのかたに入ってもらい、セットアップを手伝っていただきました。

─今回、専有してクラウドをご利用になったということですが、バイオ系とか創薬とかになると、セキュリティーといいますか、研究データが外部に流出するという知財の問題もあって、専用環境を構築したのでしょうか。

斉藤 それも一つです。絶対に漏れてはいけない情報なので、外からは見えない環境を構築する必要があります。

─普通、製薬会社であればパブリックのサービスを使うことはなくて、専用の環境で、完全に外から入れないようにするということですよね。ということで、データセンターのものを使うというわけにはなかなかいかないと思うのです。今回は、それと同じような状況があったのではないかと想像していたのですけれども。

前仲 同じ学内にあるシステムなので、その点で安心し

あとは、一つ載せても、すべてそれでいつも管理しているので、かなりスムーズに計算時間を割り振ることができると思います。それはかなりいい点です。課題としては、3台という台数が適当なのか、あるい

は……そこが実はまだ悩ましいところです。あればあるだけいい、と言えればいいのですが、反対に言うと、増えた分だけ管理するほうが難しくなるでしょうから。今はそのバランスを見ている感じです。

─そうですね。今回のアプリケーションの場合には、並列に解析が進められる特性があるでしょうから、台数を増やせば増やすほどターゲットとなる、解析できるものの数といいますか、分子の数は増えてくると思うのです。まさしくクラウドというのはオートスケールといいまして、マシーンの数を柔軟に増やしていくことができるので、その対応は今後できると思います。

前仲 予算とのバランスで、いつも……

─そうですね。われわれセンターもそうですけれども、予算とのバランスで、現在かなり利用数が多く、埋まっている状況ですので、場合によってはさらに規模拡大ということも考えられますね。

斉藤 決まっている予算の中で使うのには、1年単位で借りるほうが予算としては組みやすいと思います。ただ、年単位にしてしまうと、実際には休んでいる時

間もできてしまいます。

前仲勝実Katsumi MAENAKA北海道大学大学院薬学研究院 教授創薬科学研究教育センター長平成3年東京大学工学部卒業。平成8年同大学院工学系研

究科修了。博士(工学)。日本学術振興会特別研究員、HFSP長期博士研究員(University of Oxford)、国立遺伝学研究所助手、九州大学助教授を経て、平成22年から北海道大学大学院薬学研究院教授。専門は免疫・感染症に関わる蛋白質科学。

斉藤貴士Takashi SAITO北海道大学創薬科学研究教育センター特任准教授平成15年大阪大学大学院理学研究科修了。博士(理学)。大阪大学蛋白質研究所特任研究員、九州大学デジタルメディシンイニシアティブ助教、九州大学生体防御医学研究所特任助教、北海道大学大学院薬学研究院技術職員を経て現在に至る。

図1. AutoDockによるタンパク質のドッキングシミュレーション

98情報基盤センター大型計算機システムニュース Vol.30 July 2013  iiC-HPC

InterviewHigh Performance Computing System

─そうですね。拡張していきたいと思います。あとは、特にバイオ系ですと、新しい物質を見つけるのに時間との勝負があると思うのです。すなわち、少しでも出遅れると特許が取れない。その関連で言えば、われわれのクラウドシステムの一つの意図としては、計算機を購入するということになると立ち上げまでに非常に時間がかかるということで、何かプロジェクトを思いついたときに、プロジェクトの立ち上げをポータルから借りればすぐ使える、バーチャルマシーンでも10分で使えるようにするという側面がけっこうありました。私の想像なのですけれども、特に創薬とかバイオの分野は非常に競争が激しいということもありますので、時間的な要因ということについてはいかがでしょうか。

前仲 かなり大きいですね。サーバを買ってそれを立ち上げていろいろするのは時間もコストも割りに合わないことばかりです。われわれもプロジェクトのスタート段階では、それもありえると思っていたのです。そのときにほかの先生からこのクラウドシステムがあると聞いて、それだったらまず、そちらを最優先すべきではないかというので使用させていただいたわけですが、われわれが想定していた、サーバを買って何とかしてというコストよりはずっと安く、かつ常に非常にいい状態で使えるというのはかなり大きなことです。まさに今、その恩恵を受けています。あとは、一刻も早くということはあるのですけれども、同時に、in silicoスクリーニングをどのように丁寧にやるかということがあります。先ほど斉藤先生が言われたみたいに、当てはめていくのですけれども、当て

─そうですね。その場合には月単位にするとか、場合によっては負荷に応じて……従量制は従量制でいくらになるか分からないという問題はありますけれども。

斉藤 思っていたより使ってしまうんですよね。

─仮想マシン、例えばLサーバとかで借りていただく場合には、この月は忙しいので増やすとか、この月は忙しくないので減らすということが月単位で柔軟にできますので、このドック解析の場合には、できる可能性は十分あると思います。

前仲 われわれは今、創薬センター自体人が少しずつ増えて、それで運営としてはようやく落ち着いてきました。これから創薬ターゲットを少しずつ広げながら、大きく展開していこうと思っています。そういう意味では、情報基盤センターのクラウドシステムを強化していただけると、われわれも使いやすくなるので、その点はさらに発展させていただきたいと思うのです。もちろんわれわれも協力いたします。そういう意味で言うと、こちらのセンターのほうは、特に学内のかただけに限定しているというよりは、広く学外に……

─全国に。

前仲 われわれを通してクラウドシステムの恩恵を受ける人は、これから多くなると思います。エクスパンドしていただければと思います。

はめ方というので、丁寧にやればやるほど時間もかかるし、計算能力も必要になってくるのですけれども、今はそのあたりのバランスを見ながら調整しているという感じです。一刻も早くという部分で、少し粗いけれどもある程度速く候補を出すというやり方と、少し絞れてくるともっと丁寧に、どういうのがいいかと、2段階に分けてやっています。

─今後のスパコンクラウドのアプリケーションということを考えた場合に、バイオとか創薬というのは、国民に対する貢献という意味でも非常に重要な分野だと思うのです。例えば理研の京でも戦略の分野でいろいろ関係もありますけれども、特にクラウドの活用とか……もちろんわれわれのスパコンもサービスを提供していますけれども、バイオにおける計算の重要性といいますか、今後に向けた動きというか展望について、伺いたいと思います。

前仲 実際のところ、計算スピード、能力が上がれば上がるほど、先ほどの「丁寧」ということがでましたが、創薬のin silicoスクリーニングの一番難しいところは、ターゲットになるタンパク質が静止画像ではない、つまり動かないものでないというわけではなくて、非常によく動くものなのです。そのためにどうしても、分子動力学的な動かすようなステップがあるほうが望ましいのです。それで、化合物が入ったときにどのような動きになって、最終的に結合の強いものか弱いものかを判断したい。すでにそういうのはコンピュータのスペックのものすごく高い、例えば京とかでは進みつつありますので、それがさらに安価になってくれば、当然のことながらそういうin silicoスクリーニングが世の中に広がっていく。そうなってくるとわれわれのコンピュータベースでの情報の質が劇的に上がっていくと思うので、必ずそういう方向に進むと思います。われわれも結局、今はin silicoの創薬をするときに、

われわれが明らかに限界だと感じているところがあるのです。つまり、動くものに対して、動かないと仮定してはめ込んでいたりする。そうすると、答えは必ず実際のデータとず

﹅れ﹅があると分かっているので、少し

余分にいろんなものを取って、現実のデータと合うかということをせざるをえません。これが理想的にコンピュータの能力が上がって、かなり精度の高い予測ができるということになってくれば、当然のことながらそれが絞れて、創薬の開発が劇的に早くなると思いま

す。われわれも、そうなってほしいと思っています。

─最後に、繰り返しになりますけれども、われわれのクラウドシステムに期待するところなどをお話しいただければと思います。

斉藤 バイオの分野で、スパコンとかクラウドシステムを使って、どんどん計算を応用していきたいと思うのですけれども、やはりそれを扱える人材が追いついてきていません。いかに人材を確保するかという部分で、何か手助け……手助けというのも変ですけれども、だれでもこうしたシステムを簡単に使える環境になったらと思うのです。

前仲 確かに、ユーザとの距離感というのが……いろんな技術が上がってくると、最終的にはユーザフレンドリーになっていくと思うのです。そうしたときに、われわれのようなコンピュータが専門でない人間でもある程度のことができるということになってくると……ちょっと話はずれますけれども、専門家だけども、ユーザとつなぐような専門家が必要になってくると思います。

─それはスパコンでも全く同じ状況があります。

前仲 われわれのような背景の人の中から出してもいいですし、先生がたのようなところから出てきてもいい、そういう人材が出てくるような枠組みが徐々にできていけばと思うのです。そういう機会が今回、連携させていただくことで生まれつつあるかと思っています。私も北大に来る前は、実際にin silicoスクリーニングを自分でやるということはありませんでした。その点、こういうシステムができて私自身もやれるようになったのは、かなり環境がよくなっていることのおかげです。今後は、互いのいいところをうまくつなげるような、学生であったり、ポスドクであったり、若手の教員で指導者的になっていける人が生まれる素地を作ることができればと思っています。

─どうもありがとうございます。

図2. 北海道大学アカデミッククラウドを活用した創薬シミュレーションシステムの構成

Page 8: CloudStack Day Japan 2014 - アカデミッククラウドにおけるcloudstackday.jp/pdf/download/csday14_keynote3.pdfアカデミッククラウドにおける CloudStackの活用事例と今後の展望

水産科学における応用:漁場予測データ処理

• 北大 水産科学研究院 齊藤誠一教授による研究(TBS「夢の扉+」でも紹介)

• 漁船群からあつめたアカイカに関するデータを集約して、北大アカデミッククラウドシステムを用いて公開 → ピンポイントでのアカイカ漁場予測・海洋環境の提供を行えるシステム整備

漁場予測システムの概要(水産科学研究院 齊藤教授: iiC-HPCニュース Vol.32 より)

Page 9: CloudStack Day Japan 2014 - アカデミッククラウドにおけるcloudstackday.jp/pdf/download/csday14_keynote3.pdfアカデミッククラウドにおける CloudStackの活用事例と今後の展望

PaaSによる世界規模でのインタラクティブ進化計算

• PaaS (CloudFoundry) を用いることで、数百万人~規模のユーザが協調して、進化計算による最適解の「進化」を実現するフレームワークを構築している

CloudStack

VM

Ubuntu

instance

VM

Ubuntu

Redis

VM

Ubuntu

Redis

VM

Ubuntu

Redis

Database

・・・

VM

Ubuntu

instance

VM

Ubuntu

instance

・・・

Applycation resource

iGA iGA iGA

Load Balancer

CloudFoundry

Sever

・・・

Interactive Evolutionary Computation using PaaS

Users select solutions according to their preferences

Present cadndates of solutions from the system

Masaharu Munetomo, Shintaro Bando: A Scalable Infrastructure of Interactive Evolutionary Computation to Evolve Services Online with Data, Proceedings of the 2013 IEEE International Conference on Big Data

Page 10: CloudStack Day Japan 2014 - アカデミッククラウドにおけるcloudstackday.jp/pdf/download/csday14_keynote3.pdfアカデミッククラウドにおける CloudStackの活用事例と今後の展望

ペタバイト級データサイエンス統合クラウドストレージ

• 約 2PBのクラウドストレージ + CloudStack 最新環境(500コア)

• 今年4月からサービス開始予定:研究プロジェクト(HPCI)向けに提供

• 高速大容量のオブジェクトストレージ・オンラインストレージ:1TB単位100MB/s ~ 1GB/s

• CloudStack 最新環境との密な連携により、データサイエンス、ビッグデータ研究を支援

Page 11: CloudStack Day Japan 2014 - アカデミッククラウドにおけるcloudstackday.jp/pdf/download/csday14_keynote3.pdfアカデミッククラウドにおける CloudStackの活用事例と今後の展望

CloudStack and Academic Cloud in Japan

• 北海道大学の事例をきっかけに(相談を受ける事が多かった)多くの大学・学術機関・研究所などでCloudStackの採用が進んでいる例)九州大学、北陸先端大学、北見工大、産総研、JSTなど

• ユーザーインターフェイスが使いやすく、全体の完成度、安定性も優れているので、管理コストをあまりかけられない大学や研究所にもおすすめできる

• 学生でも簡単にインストールできるので、研究室レベルでの比較的小規模なプライベートクラウドを構築するのに最適

• クラウド間の連携機能(パブリック、プライベート、コミュニティ)が、今後ますます重要になる

Page 12: CloudStack Day Japan 2014 - アカデミッククラウドにおけるcloudstackday.jp/pdf/download/csday14_keynote3.pdfアカデミッククラウドにおける CloudStackの活用事例と今後の展望

「アカデミッククラウド」の個人的な定義

“Virtual community cloud for academic use built on the inter-cloud environment consisting of private and public clouds.”

「プライベートクラウドとパブリッククラウドの両方で構成されるインタークラウド環境上に構築された、学術利用向けの仮想的なコミュニティクラウド」

→ 学術利用に必要となるクラウド資源をプライベート、パブリックを問わず連携し、大学等の教育研究に活用するための統合情報基盤。先進的なクラウド利用を促す仕組みとして重要。

12

Page 13: CloudStack Day Japan 2014 - アカデミッククラウドにおけるcloudstackday.jp/pdf/download/csday14_keynote3.pdfアカデミッククラウドにおける CloudStackの活用事例と今後の展望

平成25年度国家課題対応型研究開発推進事業「アカデミッククラウド環境構築に係るシステム研究」

• 研究支援に係るアカデミッククラウド&基盤技術標準の調査を担当→ 全国の研究者に対するアンケートを実施 & 海外動向調査

13

2013/8/17

2

1. 事業概要

• 研究・教育・管理運営等に関わるデータの量・分布の調査– アカデミッククラウドに関わる団体,組織に対するヒアリング– 全国の高等教育機関を対象とした調査の実施

• アカデミッククラウドの標準仕様策定– 大学における各種サーバ群の集約化・共有化によるコスト削減

– 大学間連携による各種サーバ群の集約化・共有化を通じて形成される巨大なデータの利活用を可能とする革新的な枠組みの提案

• コミュニティとの密接な連携による事業推進– 大学ICT推進協議会(中核コミュニティ)– ICT に関わる様々な立場の人々が集うコミュニティに依拠– 事業終了後のアカデミッククラウド実現フェーズと事業成果の波及・展開を考慮

1-1 実施体制事業推進グループ

システム研究グループ

教育分野事業代表: 梶田教授

(京都大学)

研究分野事業代表: 棟朝教授(北海道大学)

事務分野事業代表:

森原特任教授(大阪大学)

コンテンツ分野事業代表: 岡田教授

(九州大学)

セキュリティ分野事業代表: 西村教授(広島大学)

プライバシ分野事業代表: 中村教授(慶應義塾)

岡田教授(九州大学)事業代表(全体統括・調査担当)

事務業務久志部長(九州大学)

委託調査タスクフォース岡田主査(九州大学)各システム研究チームの事業代表者・研究者

クラウド部会梶田主査(京都大学)

CIO部会安浦会長(九州大学)

大学経営・システムアーキテクチャ分野事業代表: 安浦理事(九州大学)

統括 報告

連携

調査内容

調査結果

依頼 調整

認証連携分野事業代表: 山地准教授(国立情報学研究所)

ネットワーク分野事業代表: 菅沼教授

(東北大学)

契約業務益森部長(九州大学)

事務局久志事務局長(九州大学)

安浦理事(九州大学)副代表(CIO連携担当)

深澤教授(早稲田大学)副代表(大学経営担当)

梶田教授(京都大学)副代表(サービス技術標準担当)

棟朝教授(北海道大学)副代表(基盤技術標準担当)

連携

提案 調整委託契約

実施報告

全国共同利用情報基盤センター長会議

クラウドコンピューティング研究会

棟朝主査(北海道大学)

コミュニティ連携

(キックオフミーティング 九大:岡田教授資料より)

Harvard-MIT Datacenter

facebook 本社にて

Page 14: CloudStack Day Japan 2014 - アカデミッククラウドにおけるcloudstackday.jp/pdf/download/csday14_keynote3.pdfアカデミッククラウドにおける CloudStackの活用事例と今後の展望

研究支援に係るアカデミッククラウドの調査

• 科学研究費補助金を取得している研究者全員にアンケートを実施 → 全体の 約 1/30 の課題代表者から回答

• データ総量:7.5 PB(回答合計)× 30 = 230 PB(推定値)

• 要求資源量:105,718コア(回答合計)× 30 = 300万コア(推定値)

• 要求ストレージ:118.8 PB(回答合計)× 30 = 3.5 EB(推定値)

• 全体として、大量のデータやファイルの取り扱いやバックアップに困難をきたしており、ビッグデータ処理のためのインフラが決定的に不足している。また、クラウド利用にあたって、技術面以外での不安が大きい。

14

Page 15: CloudStack Day Japan 2014 - アカデミッククラウドにおけるcloudstackday.jp/pdf/download/csday14_keynote3.pdfアカデミッククラウドにおける CloudStackの活用事例と今後の展望

アカデミッククラウド(研究支援)要求仕様案

• 必要とされる資源量:エクサバイト超級のストレージ、100万コア規模のビッグデータ処理インフラ、100Gbps超のネットワーク

• スケーラブルなストレージと大規模並列データ処理システムが密に接続され、ビッグデータの連携処理が容易であること。さらに、スパコン等の大規模計算システムとも密に連携できることが望ましい。

• 効率化のための資源の集約と、リスク・災害対応のための分散化、のバランスをとった地域拠点型の配置を基本として、100Gbps超の高速ネットワークで相互接続されていること。

• 運用体制については、既存組織の体制を活用して運用の継続性を担保しつつ整備し、研究支援体制なども含めた総合的な全国共同利用サービスとして提供すること。また、認証、セキュリティなど管理面では統一的な仕様やポリシーを整備し、準拠すること。

• インフラを整備するだけではなく、それを最大限活用するためのプラットフォームやアプリケーションを開発し、サービス(PaaS / SaaS)として提供するための研究開発を支援する体制を有すること。さらに、民間や国際的な連携を含めた研究者の人的交流を促進する体制を有することが望ましい。

15棟朝雅晴:アカデミッククラウド委託調査最終報告会(2/13)スライドより

Page 16: CloudStack Day Japan 2014 - アカデミッククラウドにおけるcloudstackday.jp/pdf/download/csday14_keynote3.pdfアカデミッククラウドにおける CloudStackの活用事例と今後の展望

アカデミックインタークラウドの実現

• プライベートクラウドと、拠点大学のクラウドシステムや商用クラウドなどとの連携・ハイブリッド化で、スケーラビリティ、規模の経済を確保するとともに、それぞれの大学・研究所の特色や資源を生かしたシステム構築、研究開発を推進する基盤を整備(例)スパコン、実験機器、観測機器、センサー、データ、人材, etc.

• アカデミッククラウド連携により、「インタークラウドシステム」のインフラを全国レベルで実現し、計算・情報科学の裾野を広げる

• 研究者の交流・共同研究の推進関連分野の人材育成・教育の高度化 → クラウドをその起爆剤とする

16

Page 17: CloudStack Day Japan 2014 - アカデミッククラウドにおけるcloudstackday.jp/pdf/download/csday14_keynote3.pdfアカデミッククラウドにおける CloudStackの活用事例と今後の展望

日本国内における「計算資源」の階層構造

National Leadership System(The next “K” : 1 Exa Flops in 2018)

主要な大学センターや研究機関のスパコン(1~100 Peta Flops in 2018)

その他研究室や組織等のスパコン、クラスタ

“HPCI”systems

������

Page 18: CloudStack Day Japan 2014 - アカデミッククラウドにおけるcloudstackday.jp/pdf/download/csday14_keynote3.pdfアカデミッククラウドにおける CloudStackの活用事例と今後の展望

インタークラウド(Inter-Cloud)

• インターネット(Inter-net)がネットワークを相互接続することで世界規模のインフラを構築したように、クラウドシステムが相互接続、連携することで世界規模のインフラとしてのインタークラウド(Inter-Cloud)を実現

• 相互運用性(Inter-Operability)が重要な条件となる:APIの共通化、認証連携などの要素技術に加え、資源割当ポリシー、運用モデルの確立など、運用システムとしての実現にあたっては課題も多い

18

 �

 �  �

 �

Cloud A �IaaS��

 � �

 �

 �

Cloud B �IaaS��

 �  � �

 �

 �

Cloud C �IaaS��

User�

 �  � �  �

 �

VPC 1�

 � �

 � � �

 �

 �

 �Internet�

VM�VM�

VM�

 � �

 �

 �

 � �

 �

 � �

VPC 2�

 �

 �

Page 19: CloudStack Day Japan 2014 - アカデミッククラウドにおけるcloudstackday.jp/pdf/download/csday14_keynote3.pdfアカデミッククラウドにおける CloudStackの活用事例と今後の展望

インタークラウド関連技術の開発

���'�!!�� $�!�� �

���'�!�����")�&(#'�$) �'�!���%�� �

Heterogeneous�!���'�!����!

")�&(�'�����%�� !���MapReduce/MPI����

Controller�

19棟朝雅晴「分散クラウドシステムにおける遠隔連携技術」学際大規模情報基盤共同利用・共同研究拠点(JHPCN)H23~25 共同研究採択課題

Page 20: CloudStack Day Japan 2014 - アカデミッククラウドにおけるcloudstackday.jp/pdf/download/csday14_keynote3.pdfアカデミッククラウドにおける CloudStackの活用事例と今後の展望

スパコン・インタークラウド連携による設計探査

• 全国規模の大規模分散設計探査フレームワークの実現

• シミュレーション(スパコン)と多目的最適化(クラウド)を分散データベースで連携

• パレート最適解のデータベースを構築(有望な設計パラメータ)→ 可視化、最適設計

20

Solutions)DB,(distributed) �

Automated,replication,for)DR)and,load)balancing �

Visualization �

Simulation,(Supercomputer) �

Optimization)&,DB)management,(Cloud)system) �

Distributed,Database �

(www.jaxa.jp)

棟朝雅晴「スパコンとインタークラウドの連携による大規模分散設計探査フレームワークの構築」JHPCN H26 共同研究応募課題

Page 21: CloudStack Day Japan 2014 - アカデミッククラウドにおけるcloudstackday.jp/pdf/download/csday14_keynote3.pdfアカデミッククラウドにおける CloudStackの活用事例と今後の展望

アカデミックインタークラウド基盤の実現とその目的

•スパコンも含めたすべての情報資源、デバイス、データ等を、インタークラウドの「エコシステム」として統合する

•規模の経済による効率化と、オンデマンドサービスによる研究開発プロセスのスピードアップ、研究者の交流促進

•計算に加え(ビッグ)データの集約・処理・活用が本質的

•「ネットワーク効果」による「予想外の組み合わせ」を促し、イノベーション、進化を加速

Page 22: CloudStack Day Japan 2014 - アカデミッククラウドにおけるcloudstackday.jp/pdf/download/csday14_keynote3.pdfアカデミッククラウドにおける CloudStackの活用事例と今後の展望

まとめ:Academic Cloud + Big Data = Innovations

• 全国規模のアカデミッククラウド連携により、ありとあらゆるデータ、コンテンツ、リソースなどを統一的な枠組みで利用できるようにする→ これまでのホスティングを主としたクラウド基盤からの転換・発展→ ネットワーク効果、規模の経済による研究開発の効率化

• データやリソースなど予想外の「組み合わせ」をうながす環境を整備→ 新たな研究分野の開拓を支援するイノベーションの基盤として整備

• 基本的な技術は落ち着きつつあり、基盤となるソフトウェアも整備されつつあるので、どれだけ徹底的かつ早く「やるのか」が重要→ CloudStack を活用して、学術研究基盤のクラウド化を加速!