aws memo

AWS関連の備忘録 (※本ブログの内容は個人的見解であり、所属組織及び企業の意見を代弁するものではありません。1年以上古いエントリは疑ってかかってください)

EC2: Amazon Linux + Ruby SDKでDynamoにアクセスするまで

とりいそぎyum $ sudo yum install gcc make libxml2-devel libxslt-devel $ sudo yum install ruby-devel rubygems # for ruby1.8 $ sudo yum install ruby19-devel rubygems19 # for ruby1.9 とりいそぎ、AWS SDK for Rubyを入れる $ sudo gem install nok…

EC2: DynamoDB+Sinatraのデモアプリを動かす

Amazon Linux上にSinatraをセットアップする方法はこちら。 Amazon Web Services Blog: CloudSpokes Coding Challenge Winners - Build a DynamoDB Demo で紹介されている、posterityを動かしてみる。 とりいそぎAWS SDK for Rubyを入れる。詳細はこちら。 $…

EC2: Amazon LinuxでSinatraを動かす

大して難しくないけど忘れないようにメモ。 だいたいは、この2つを見ればおけ。 Sinatra: README Rubyの軽量Webフレームワーク「Sinatra」がステキ - このブログは証明できない。 環境構築 Amazon Linux AMI x86_64 EBS 2012.03を使う 。事前に、80/tcpをSec…

IPS on AWS

製品を羅列してみる WAF ( Web Application Firewall) Incapsula WAF: Stingray Application Firewall ( Riverbed製Zeusの別名 Stingrayのモジュール) IDS/IPS ( Intrusion Detection/Protection system) SourceFire (Snortの商用版) Microsoft Threat Manag…

訳: Globus Onlineの説明資料 by Ian Foster

Globus OnlineはAWSで動いています、と。その上で、S3ではない新しいストレージの説明になってますね。 GlobusWorld 2012 Foster Keynote View more PowerPoint from Ian Foster

動画: HPC Cloud Computing on Demand

EC2: インスタンス起動を速くする

さっとスケールアウトしたい場合はインスタンス起動を速くすることを検討する。速くする方法は色々あるので、状況に応じて合わせ技を使う事になると思う。 Terminateではなくstop状態からstartする(使い終わったらterminateせずにstopしておく) /sbin/initで…

資料: リージョン間のレイテンシ等(AWS,Google,etc)

http://www.cloudconnectevent.com/2011/presentations/free/76-marty-kagan.pdf 2011年1月に計測した結果らしい。

EC2: AMIの作成で気をつけること

AMI作成の方法は2通り EBSボリュームのスナップショットから、Create-Image インスタンスに対して Create image ( ec2-create-image) 注意点: インスタンスに対するCreate imageは、一旦OSをshutdownしてsnapshotを作成しbootする動作になるので、OSを動か…

R53: EDNS0 とか512byteとか

DNSラウンドロビンでレコードを増やすと、DNSのUDPレスポンスが512byte(オクテット)を超えてしまうことがある。 その場合、TCPを使うか、EDNS0を使うか、ということになるが、DNSクライアントが対応しているか?がネック。 なお、Route53では、管理できるド…

訳:NoSQLとRDBMSの選択

Deciding Between NoSQL and RDMS | Architects Zone NoSQLを使うべきシチュエーションが面白いww 2カラムで、XMLぶっこむような使い方は間違ってるww ==== 単純なKey/Valueペアを保存している場合。RDBMSのあるテーブルにキーとCLOBの2カラムしか…

訳:クラウドへの移行の理由(もしくは移行しない理由)

Why (or Why Not) to Migrate to the Cloud | Cloud Zone ===== 同じコストで比較した時に、 物理サーバに比べてEC2にどのような制限があり、どのように性能が落ちるのか、という技術フォーラムや議論がたくさんある。同じ金額で、もっと多くのハードウェア…

EC2: Linuxのバックアップとリカバリ

Backup and Recovery for Linux With Amazon S3 View more presentations from Amazon Web Services ちなみに、DR関連の資料 S3を使用したOracle Secure Backup S3を使用したOracle RMAN backup 最新クラウドDRプレゼン資料

本: 並行コンピューティング技法

並行コンピューティング技法 ―実践マルチコア/マルチスレッドプログラミング (原題: The Art of Concurrency) のメモ ==== 引用されてる論文・書籍 The Art of Concurrency 原著 The Free Lunch Is Over: A Fundamental Turn Toward Concurrency in Software…

訳:スケーラブルなエンタープライズシステムを構築する

さわりとしてはいいかも。もはやSOAとは言わないんだろうけどw Building Scalable Enterprise Systems - Java Code Geeks === 成功している企業は、ビジネスの俊敏さがあることと、新製品や新サービスを市場に導入できることをみたしている。ITのオーバー…

EC2: Amazon Linux 2012.03 にZabbix2.0.0rc2をインストール

Amazon Linux 2012.03がリリース。 http://aws.typepad.com/aws/2012/03/updated-amazon-linux-ami-201203-now-available.html リリースノート カーネル、パッケージが新しくなっている。さっそく、Zabbix2.0.0rc2を試してみる。 Zabbix2.0.0rc2のリリースノ…

訳:2012年 ビッグデータのトレンドは?

ふーむ。。。 既存のRDBMSベンダーが乗り出すのは間違いないし、SaaSも立ち上がりつつある。あとはユーザ企業が、自力でオンプレミスに構築するのではなく、それらを使うようにMind Shiftできるか、が肝だな。。 Big Data Trends in 2012 - Java Code Geeks …

訳:PHPの Webサイトパフォーマンス

これはひと通り押さえておく必要あるな。 Website Performance: PHP at Monitor Everything IT: Website, Server, Application, Network. 100% Free! ==== ボトルネックの検出 キャッシュを使う コンパイルするか、インタプリタを使うか コンテンツを削減す…

訳:非推奨になったLinuxネットワークコマンドの代替コマンド

これはちゃんとチェックしておかないとなぁ。 Deprecated Linux networking commands and their replacements « Doug Vitale Tech Blog ==== この記事で詳しく説明する非推奨のLinuxネットワークコマンドは:arp, ifconfig, iptunnel, iwconfig, nameif, net…

CF : アクセス制限をつけてCDN配信する方法

CDPのパターンがある。 CDP:Private Cache Distributionパターン - AWS-CloudDesignPattern アバウトな手順は 0.S3のバケットに対して、 CFからしかアクセス受けないような設定をしておく →CFのAPI叩いて設定必要 1.Webサーバ(EC2)等で特定のユーザ向けに、 …

訳:UptimeとDCのTier

なるほー Understanding “Uptime” and Data Center Tier Levels === DC業界は、Uptime、Tierレベル、可用性(Availability)、冗長性(Redundancy)、信頼性(Reliability)といった関連用語がたくさんある(laden with)。十分な情報を得た上で決定するために、…

EC2 : jsonフォーマットの価格データ

2014/3/31 追記: HTML等がごっそり変わったので下記情報は古いです。 現時点ではこんな感じ $ curl http://aws.amazon.com/ec2/pricing/ | grep a0.awsstatic.com/pricing/ その他、このへんのツールとか参考にどうぞ。 powdahound/ec2instances.info · GitH…

S3: 静的サイトのホスティング例(www.ec2instances.info)

http://www.ec2instances.info/ という、EC2インスタンスのコスト・スペック比較をするサイトが便利そう。 https://github.com/powdahound/ec2instances.info にソースもある。 で、面白いのが、これがS3のWeb Hosting機能で公開されいて、EC2をつかっていな…

アーキテクチャー:レインボーテーブル

なるほどー。 あとできちんと咀嚼しよう。 レインボーテーブル - Wikipedia === レインボーテーブルは、2カラムのデータストアで、カラムAはASCIIの文字列、カラムBはカラムAに対するハッシュ関数の結果が入っている。 もしユーザーのパスワードが何か?を…

EC2: EBSのアタッチ数上限

WindowsインスタンスへEBSアタッチする場合、デバイスとして xvdfから、xvdpまでのxvd[f-p]の11個しか指定できないため、EBSボリュームは追加で11個までしかアタッチできない。boot用のxvdaとあわせて合計12個のEBSが利用可能。 まとめると WIndows : 12 EBS…

訳:Engine YardはどうやってAWSの障害をのりこえたか?

Design for the Failureですね。 あとは、人間系の動き(初動)が重要。 How Engine Yard Keeps Customers Up when AWS is Down

訳:エフェメラルディスクでRAID0

やっぱりXFS使ってるなぁ。 文中にでてくるリンク先も要チェック。 RAID0 ephemeral storage on AWS EC2 - Gabriel Weinberg's Blog ==== もし、EC2インスタンスに付いているエフェメラルストレージディスクでRAID0(ディスクストライピング)を作ることを考え…

ELB : バックエンドのWebサーバのログに、クライアントIPを表示させる

ELBを使うと、バックエンドのApacheのアクセスログのSource IPは、ELBインスタンスのプライベートIPが表示されてしまい、本当のSource IPがわからない。 ELBが加える x-forwarded-for ヘッダを使って、Apache側もそれをSource IPとするようにCustome Logを設…

訳:クラウドアーキテクチャチュートリアル by NetFilix Adrian

Adrian Cockcroft's Blog: Cloud Architecture Tutorial これは素晴らしい資料。他にも、http://www.slideshare.net/Netflix にいろいろあるぽい。 === Cloud Architecture Tutorial - Why and What (1of 3) View more presentations from Adrian Cockcro…

CW: CloudWatchの値を取得する(PHP)

AmazonCloudWatch::get_metric_staticsを使って、CloudWatchのメトリクスを取得する。 取得期間の開始、終了は、ISO-8601のフォーマット(Y-m-d\TH:i:s\Z)に変換する。( CFUtilities::DATE_FORMAT_ISO8601 , ソース) 例としてはこんなかんじ。8日前から7日前…