aws memo

AWS関連の備忘録 (※本ブログの内容は個人的見解であり、所属組織及び企業の意見を代弁するものではありません。1年以上古いエントリは疑ってかかってください)

AWS

EC2: cc2.8xlargeのリザーブドインスタンスを比較してみた

特にどうってこと無いんですが。1年モノのcc2.8xlargeのRI(Reserved Instance)の利用度合いと費用についてグラフ化。 http://aws.amazon.com/jp/ec2/pricing/ 縦軸はドル。横軸は累積の利用時間割合。1年(24h x 365d)で100%の計算。 つまり、1年のうち10数%…

EC2 : CC2にインスタンスディスク(ローカルディスク、エフェメラルディスク)を使ってRAID0

CC2では、インスタンスディスクが3360GiB( 4 x 840GiB)が使えるが、EBSバックドなHVM AMIをマネジメントコンソールから起動した場合、インスタンスディスク(ローカルディスク、エフェメラルディスク)は無効になっている。計算中の中間ファイルを書き込んだ…

DynamoDBの上限について

DynamoDBにも、他のサービス同様に上限(ソフトリミット)がある。 http://docs.amazonwebservices.com/amazondynamodb/latest/developerguide/Limits.html table_limit_writes テーブルのキャパシティ Write 10,000 table_limit_reads テーブルのキャパシテ…

EC2:Placement GroupとHPCインスタンスのネットワーク等

Placement Groupのメモ。とはいえ、実際に計測すべきです!! ==ネットワーク関連======= 同一のPlacement Groupに属しているHPCインスタンス間の通信は、10Gbpsフルバイセクション、Jumbo frame、かつノンブロッキングが可能。 異なるPlacement Gr…

EC2: RHEL6.2で XFSを使うには

XFSはRHELの標準になっているext系に比べて性能面で優れていることが多く、DB等が使うボリュームのファイルシステムに使うことが多い気がする。xfsのパッケージはRHELに標準で入っておらず、yumリポジトリにも無いのでyumでは入らない。xfsprogsのrpmをここ…

DynamoDB : PHPのセッション管理に使う

AWS SDK for PHPには、DynamoDBSessionHandlerというセッションを管理するクラスがあるので、比較的楽に導入が可能。 Amazon Linuxでの環境設定 パッケージインストール(DynamoDBアクセス用のCacheとしてAPCも入れる) $ sudo yum install php php-pear php-x…

S3: PHPで バケツの一覧を取得する

Amazon LinuxへのPHPとAWS SDK for PHPのセットアップ $ sudo yum install php php-pear php-xml $ sudo pear channel-discover pear.amazonwebservices.com $ sudo pear instlal aws/sdk 一覧のコード <?php error_reporting(E_ALL); require_once '/usr/s…

EC2: 1台のサーバに複数のドメインのSSLを稼働させる

現状では1台のEC2に大量のグローバルIPを振れないため、一工夫が必要。 Brightbox - New - Cloud IP Port Translation だと、ELBをSSL毎に立てて、バックエンドを1台のEC2に向ける。Management Consoleだと複数のELBが1台のEC2をバックエンドにすることはで…

EC2: S3に画像アップロードするPHPサンプルを作る

Amazon Linux 64bit インスタンス起動 パッケージ追加 $ sudo yum install php httpd mysql mysql-server php-mysql php-pear php-xml AWS SDK for PHPインストール $ sudo pear channel-discover pear.amazonwebservices.com $ sudo pear install aws/sdk …

EC2: Amazon Linux + Ruby SDKでDynamoにアクセスするまで

とりいそぎyum $ sudo yum install gcc make libxml2-devel libxslt-devel $ sudo yum install ruby-devel rubygems # for ruby1.8 $ sudo yum install ruby19-devel rubygems19 # for ruby1.9 とりいそぎ、AWS SDK for Rubyを入れる $ sudo gem install nok…

EC2: Amazon LinuxでSinatraを動かす

大して難しくないけど忘れないようにメモ。 だいたいは、この2つを見ればおけ。 Sinatra: README Rubyの軽量Webフレームワーク「Sinatra」がステキ - このブログは証明できない。 環境構築 Amazon Linux AMI x86_64 EBS 2012.03を使う 。事前に、80/tcpをSec…

IPS on AWS

製品を羅列してみる WAF ( Web Application Firewall) Incapsula WAF: Stingray Application Firewall ( Riverbed製Zeusの別名 Stingrayのモジュール) IDS/IPS ( Intrusion Detection/Protection system) SourceFire (Snortの商用版) Microsoft Threat Manag…

訳: Globus Onlineの説明資料 by Ian Foster

Globus OnlineはAWSで動いています、と。その上で、S3ではない新しいストレージの説明になってますね。 GlobusWorld 2012 Foster Keynote View more PowerPoint from Ian Foster

EC2: インスタンス起動を速くする

さっとスケールアウトしたい場合はインスタンス起動を速くすることを検討する。速くする方法は色々あるので、状況に応じて合わせ技を使う事になると思う。 Terminateではなくstop状態からstartする(使い終わったらterminateせずにstopしておく) /sbin/initで…

資料: リージョン間のレイテンシ等(AWS,Google,etc)

http://www.cloudconnectevent.com/2011/presentations/free/76-marty-kagan.pdf 2011年1月に計測した結果らしい。

EC2: AMIの作成で気をつけること

AMI作成の方法は2通り EBSボリュームのスナップショットから、Create-Image インスタンスに対して Create image ( ec2-create-image) 注意点: インスタンスに対するCreate imageは、一旦OSをshutdownしてsnapshotを作成しbootする動作になるので、OSを動か…

訳:クラウドへの移行の理由(もしくは移行しない理由)

Why (or Why Not) to Migrate to the Cloud | Cloud Zone ===== 同じコストで比較した時に、 物理サーバに比べてEC2にどのような制限があり、どのように性能が落ちるのか、という技術フォーラムや議論がたくさんある。同じ金額で、もっと多くのハードウェア…

EC2: Linuxのバックアップとリカバリ

Backup and Recovery for Linux With Amazon S3 View more presentations from Amazon Web Services ちなみに、DR関連の資料 S3を使用したOracle Secure Backup S3を使用したOracle RMAN backup 最新クラウドDRプレゼン資料

訳:スケーラブルなエンタープライズシステムを構築する

さわりとしてはいいかも。もはやSOAとは言わないんだろうけどw Building Scalable Enterprise Systems - Java Code Geeks === 成功している企業は、ビジネスの俊敏さがあることと、新製品や新サービスを市場に導入できることをみたしている。ITのオーバー…

CF : アクセス制限をつけてCDN配信する方法

CDPのパターンがある。 CDP:Private Cache Distributionパターン - AWS-CloudDesignPattern アバウトな手順は 0.S3のバケットに対して、 CFからしかアクセス受けないような設定をしておく →CFのAPI叩いて設定必要 1.Webサーバ(EC2)等で特定のユーザ向けに、 …

EC2 : jsonフォーマットの価格データ

2014/3/31 追記: HTML等がごっそり変わったので下記情報は古いです。 現時点ではこんな感じ $ curl http://aws.amazon.com/ec2/pricing/ | grep a0.awsstatic.com/pricing/ その他、このへんのツールとか参考にどうぞ。 powdahound/ec2instances.info · GitH…

S3: 静的サイトのホスティング例(www.ec2instances.info)

http://www.ec2instances.info/ という、EC2インスタンスのコスト・スペック比較をするサイトが便利そう。 https://github.com/powdahound/ec2instances.info にソースもある。 で、面白いのが、これがS3のWeb Hosting機能で公開されいて、EC2をつかっていな…

アーキテクチャー:レインボーテーブル

なるほどー。 あとできちんと咀嚼しよう。 レインボーテーブル - Wikipedia === レインボーテーブルは、2カラムのデータストアで、カラムAはASCIIの文字列、カラムBはカラムAに対するハッシュ関数の結果が入っている。 もしユーザーのパスワードが何か?を…

EC2: EBSのアタッチ数上限

WindowsインスタンスへEBSアタッチする場合、デバイスとして xvdfから、xvdpまでのxvd[f-p]の11個しか指定できないため、EBSボリュームは追加で11個までしかアタッチできない。boot用のxvdaとあわせて合計12個のEBSが利用可能。 まとめると WIndows : 12 EBS…

訳:Engine YardはどうやってAWSの障害をのりこえたか?

Design for the Failureですね。 あとは、人間系の動き(初動)が重要。 How Engine Yard Keeps Customers Up when AWS is Down

訳:エフェメラルディスクでRAID0

やっぱりXFS使ってるなぁ。 文中にでてくるリンク先も要チェック。 RAID0 ephemeral storage on AWS EC2 - Gabriel Weinberg's Blog ==== もし、EC2インスタンスに付いているエフェメラルストレージディスクでRAID0(ディスクストライピング)を作ることを考え…

ELB : バックエンドのWebサーバのログに、クライアントIPを表示させる

ELBを使うと、バックエンドのApacheのアクセスログのSource IPは、ELBインスタンスのプライベートIPが表示されてしまい、本当のSource IPがわからない。 ELBが加える x-forwarded-for ヘッダを使って、Apache側もそれをSource IPとするようにCustome Logを設…

訳:クラウドアーキテクチャチュートリアル by NetFilix Adrian

Adrian Cockcroft's Blog: Cloud Architecture Tutorial これは素晴らしい資料。他にも、http://www.slideshare.net/Netflix にいろいろあるぽい。 === Cloud Architecture Tutorial - Why and What (1of 3) View more presentations from Adrian Cockcro…

CW: CloudWatchの値を取得する(PHP)

AmazonCloudWatch::get_metric_staticsを使って、CloudWatchのメトリクスを取得する。 取得期間の開始、終了は、ISO-8601のフォーマット(Y-m-d\TH:i:s\Z)に変換する。( CFUtilities::DATE_FORMAT_ISO8601 , ソース) 例としてはこんなかんじ。8日前から7日前…

EC2: Ubuntu 11.10 にZabbix入れる

Ubuntu 11.10のAMIを指定して、EC2インスタンス作成 ubuntuユーザでsshログイン $ sudo su - # aptitude install zabbix-agent zabbix-frontend-php zabbix-server-mysql 依存関係で、apache2,mysqlなどがごっそり入る。 インストール時に入力しているが念の…