aws memo

AWS関連の備忘録 (※本ブログの内容は個人的見解であり、所属組織及び企業の意見を代弁するものではありません。1年以上古いエントリは疑ってかかってください)

HPC

AWS MarketplaceでのICEL (Intel Cloud Edition for Lustre* ) メモ

Intelが提供している分散並列ファイルシステム ICELは、AWS MarketplaceからCloudformationで簡単に起動し利用することができます。 Intel Cloud Edition for Lustre on Amazon Web Services - HPDD Community Space - HPDD Community Wiki 今まで(Software…

RHEL6.7 AMIがデフォルトでSR-IOV対応した

RHEL6.7 AMIが公開されました。 RHEL6.7のリリースノートはこちら↓ 6.7 リリースノートaccess.redhat.com Amazon Linuxと同じようにSR-IOVがデフォルトでOnとなっていて、 SR-IOV対応インスタンスタイプ(C4/C3/D2/I2/M4/R3)だと、何も気にせずに拡張ネットワ…

C4.8xlarge対応 HVM AMI ( SR-IOVも対応)

2015/8/15 CentOS6.7, RHEL6.7が出ているので、こちらのAMIは公開を取りやめます。 ーーー C4.8xlargeでも起動するRHEL6.6とCentOS6.6を公開。 (もちろん、それ以外のHVM対応インスタンスタイプでも起動する。) 簡単な内容 (作成方法は別エントリ) カーネル …

CentOS6.5 HVM インスタンスを SR-IOV化する

2016.01.25 dkmsが抜けている手順のためカーネルアップデート後に正常に起動しないはずです。実際にはdkms化も加えてください。(参照) 2016.01.25 CentOS6.7, RHEL6.7はカーネルにSR-IOVドライバが入っていますのでわざわざ6.5でこのような面倒なことは避け…

SR-IOV対応版CentOS6.5 HVM AMI 作成手順

SR-IOV対応版CentOS 5.6 HVM AMI を作ったので、その流れをメモ。 概要 VM Import/Export でHVM なインスタンスを作り、設定を行ってAMIを作るイメージ。 手順 オンプレミスで 仮想マシンとしてCentOS5.6をセットアップする VMImport の機能で仮想マシンを E…

CentOS6.5 HVM AMI (SR-IOV対応)

作ったので公開。 2015/1/14追記: C4対応のCentOS6.6を公開したので、そちらを使ってください C4.8xlarge対応 HVM AMI ( SR-IOVも対応) - aws memo ---- 簡単な内容 (作成方法は別エントリ) CentOS-6.5-x86_64-minimal.iso ベース( 2.6.32-431.11.2.el6.x86_…

カスタムのRHEL 6.4 HVM AMIを作る時の注意点

C3で、RHEL 6.4 HVM AMIにSR-IOVドライバを入れる手順はこちら [HPC] C3.8xlarge のRHEL6.4 HVMで SR-IOVを有効にする - aws memo で、ドライバが入った状態のカスタムAMIを作っておきたいと思うのが人情。 この時、create image する前に2つ注意点。(2013年…

EC2の Top500 変遷まとめ

まとめてみた。 Flopsの向上はもちろんだが、年々、Efficiencyが上がっていることが読み取れる。特に、C3になってEnhanced NetworkとしてSR-IOVが使えるようになり、向上している。 cc1.4xlarge cc2.8xlarge c3.8xlarge cores 7,040 17.024 26,496 Linpak(Rm…

[HPC] C3.8xlarge のRHEL6.4 HVMで SR-IOVを有効にする

CC2 (Sandy Bridge) の後継 C3 (Ivy Bridge)が追加された。 詳しくはこちらを参考のこと。 Amazon Web Services ブログ: 【AWS発表】 新世代の数値計算向けEC2インスタンス HPCの観点から見ると、CC2.8xlarge の後継に当たるのは C3.8xlarge となる。 スベッ…

EC2: CC2用Scientific Linux6.2のAMIを作成する

cc1, cc2, cg1 といったクラスタコンピュートインスタンス( Culster Compute) 用のLinux AMIは、その他のインスタンスタイプ用の準仮想化(Para-Virtualization, PV) AMIではなく、完全仮想化(HVM) AMIとなっており、そのままでは使えない。 フォーラムにCent…

EC2:AWSをレンダリングファームとして使う

クラウドにレンダリングファームを作るという事例。 AutoDeskは、AWSのソリューションプロバイダであり、Autodesk®360 というクラウドサービスを提供していて、PLM( Product Lifecycle Management)と BIM(Building Information Modeling)が使える。これがAWS…

EC2: GPGPUクラスタインスタンス cg1.4xlargeのメモリ

cg1.4xlargeは、cc1.4xlargeにGPUとして NVIDIA Tesla M2050 "Fermi" が2個刺さっている、という認識だったので、利用可能メモリもcc1.4xlargeと同じ23GiBだという認識だった。 http://docs.amazonwebservices.com/AWSEC2/latest/UserGuide/using_cluster_co…

EC2: cc2.8xlargeのリザーブドインスタンスを比較してみた

特にどうってこと無いんですが。1年モノのcc2.8xlargeのRI(Reserved Instance)の利用度合いと費用についてグラフ化。 http://aws.amazon.com/jp/ec2/pricing/ 縦軸はドル。横軸は累積の利用時間割合。1年(24h x 365d)で100%の計算。 つまり、1年のうち10数%…

EC2 : CC2にインスタンスディスク(ローカルディスク、エフェメラルディスク)を使ってRAID0

CC2では、インスタンスディスクが3360GiB( 4 x 840GiB)が使えるが、EBSバックドなHVM AMIをマネジメントコンソールから起動した場合、インスタンスディスク(ローカルディスク、エフェメラルディスク)は無効になっている。計算中の中間ファイルを書き込んだ…

EC2:Placement GroupとHPCインスタンスのネットワーク等

Placement Groupのメモ。とはいえ、実際に計測すべきです!! ==ネットワーク関連======= 同一のPlacement Groupに属しているHPCインスタンス間の通信は、10Gbpsフルバイセクション、Jumbo frame、かつノンブロッキングが可能。 異なるPlacement Gr…

HPC:インターコネクトのメモ

トポロジー(http://people.cs.umass.edu/~weems/CmpSci635A/635lecture14.html) Direct(Static) Bus Ring Full connect Mesh Torus(2D/3D) Hypercube Direct Tree( without switch) Dynamic(indirect) RDT(Recursive Diagonal Torus) Crossbar MIN (Multi-st…

訳:HPC:EC2:Lustre on AWS

2014.10.20追記) 現在は AWS Marketplaceに Intel Lusterイメージがあるのでそれを使うのが簡単で速い。以下の手順は参考までに。 Intel Cloud Edition for Lustre* Software - Global Support (HVM) on AWS Marketplace == Lustre on AWS Cloud http://clou…

訳:HPC : 並列処理におけるLinked List とTree

Dr. Dobb's | Go Parallel | Linked Lists Are, Like, So Last Century | Dr. Dobb's and Intel Go Parallel Programming http://drdobbs.com/go-parallel/blogs/parallel/232400466 ==== リンクドリストは、直列に並んだ(特に未ソートの)データ集合を…