aws memo

AWS関連の備忘録 (※本ブログの内容は個人的見解であり、所属組織及び企業の意見を代弁するものではありません。1年以上古いエントリは疑ってかかってください)

2012-03-01から1ヶ月間の記事一覧

EC2: Amazon Linux 2012.03 にZabbix2.0.0rc2をインストール

Amazon Linux 2012.03がリリース。 http://aws.typepad.com/aws/2012/03/updated-amazon-linux-ami-201203-now-available.html リリースノート カーネル、パッケージが新しくなっている。さっそく、Zabbix2.0.0rc2を試してみる。 Zabbix2.0.0rc2のリリースノ…

訳:2012年 ビッグデータのトレンドは?

ふーむ。。。 既存のRDBMSベンダーが乗り出すのは間違いないし、SaaSも立ち上がりつつある。あとはユーザ企業が、自力でオンプレミスに構築するのではなく、それらを使うようにMind Shiftできるか、が肝だな。。 Big Data Trends in 2012 - Java Code Geeks …

訳:PHPの Webサイトパフォーマンス

これはひと通り押さえておく必要あるな。 Website Performance: PHP at Monitor Everything IT: Website, Server, Application, Network. 100% Free! ==== ボトルネックの検出 キャッシュを使う コンパイルするか、インタプリタを使うか コンテンツを削減す…

訳:非推奨になったLinuxネットワークコマンドの代替コマンド

これはちゃんとチェックしておかないとなぁ。 Deprecated Linux networking commands and their replacements « Doug Vitale Tech Blog ==== この記事で詳しく説明する非推奨のLinuxネットワークコマンドは:arp, ifconfig, iptunnel, iwconfig, nameif, net…

CF : アクセス制限をつけてCDN配信する方法

CDPのパターンがある。 CDP:Private Cache Distributionパターン - AWS-CloudDesignPattern アバウトな手順は 0.S3のバケットに対して、 CFからしかアクセス受けないような設定をしておく →CFのAPI叩いて設定必要 1.Webサーバ(EC2)等で特定のユーザ向けに、 …

訳:UptimeとDCのTier

なるほー Understanding “Uptime” and Data Center Tier Levels === DC業界は、Uptime、Tierレベル、可用性(Availability)、冗長性(Redundancy)、信頼性(Reliability)といった関連用語がたくさんある(laden with)。十分な情報を得た上で決定するために、…

EC2 : jsonフォーマットの価格データ

2014/3/31 追記: HTML等がごっそり変わったので下記情報は古いです。 現時点ではこんな感じ $ curl http://aws.amazon.com/ec2/pricing/ | grep a0.awsstatic.com/pricing/ その他、このへんのツールとか参考にどうぞ。 powdahound/ec2instances.info · GitH…

S3: 静的サイトのホスティング例(www.ec2instances.info)

http://www.ec2instances.info/ という、EC2インスタンスのコスト・スペック比較をするサイトが便利そう。 https://github.com/powdahound/ec2instances.info にソースもある。 で、面白いのが、これがS3のWeb Hosting機能で公開されいて、EC2をつかっていな…

アーキテクチャー:レインボーテーブル

なるほどー。 あとできちんと咀嚼しよう。 レインボーテーブル - Wikipedia === レインボーテーブルは、2カラムのデータストアで、カラムAはASCIIの文字列、カラムBはカラムAに対するハッシュ関数の結果が入っている。 もしユーザーのパスワードが何か?を…

EC2: EBSのアタッチ数上限

WindowsインスタンスへEBSアタッチする場合、デバイスとして xvdfから、xvdpまでのxvd[f-p]の11個しか指定できないため、EBSボリュームは追加で11個までしかアタッチできない。boot用のxvdaとあわせて合計12個のEBSが利用可能。 まとめると WIndows : 12 EBS…

訳:Engine YardはどうやってAWSの障害をのりこえたか?

Design for the Failureですね。 あとは、人間系の動き(初動)が重要。 How Engine Yard Keeps Customers Up when AWS is Down

訳:エフェメラルディスクでRAID0

やっぱりXFS使ってるなぁ。 文中にでてくるリンク先も要チェック。 RAID0 ephemeral storage on AWS EC2 - Gabriel Weinberg's Blog ==== もし、EC2インスタンスに付いているエフェメラルストレージディスクでRAID0(ディスクストライピング)を作ることを考え…

ELB : バックエンドのWebサーバのログに、クライアントIPを表示させる

ELBを使うと、バックエンドのApacheのアクセスログのSource IPは、ELBインスタンスのプライベートIPが表示されてしまい、本当のSource IPがわからない。 ELBが加える x-forwarded-for ヘッダを使って、Apache側もそれをSource IPとするようにCustome Logを設…

訳:クラウドアーキテクチャチュートリアル by NetFilix Adrian

Adrian Cockcroft's Blog: Cloud Architecture Tutorial これは素晴らしい資料。他にも、http://www.slideshare.net/Netflix にいろいろあるぽい。 === Cloud Architecture Tutorial - Why and What (1of 3) View more presentations from Adrian Cockcro…

CW: CloudWatchの値を取得する(PHP)

AmazonCloudWatch::get_metric_staticsを使って、CloudWatchのメトリクスを取得する。 取得期間の開始、終了は、ISO-8601のフォーマット(Y-m-d\TH:i:s\Z)に変換する。( CFUtilities::DATE_FORMAT_ISO8601 , ソース) 例としてはこんなかんじ。8日前から7日前…

CW: CloudWatchのNamespaceとMetricNameの一覧を取得する (PHP)

AmazonCloudWatch::get_metric_statistics で、CloudWatchに溜まったメトリクスを取得するためには、引数として、取得対象のメトリクスの NamespaceとMetricNameを指定する必要がある。 ということで、AmazonCloudWatch::list_metricsを使って、とりあえず今…

EC2: Ubuntu 11.10 にZabbix入れる

Ubuntu 11.10のAMIを指定して、EC2インスタンス作成 ubuntuユーザでsshログイン $ sudo su - # aptitude install zabbix-agent zabbix-frontend-php zabbix-server-mysql 依存関係で、apache2,mysqlなどがごっそり入る。 インストール時に入力しているが念の…

AWS:プロキシ経由でAPIコール(PHP)

PHPで使うAmazonEC2クライアントを見ると、Propertiesにproxyなるものがある http://docs.amazonwebservices.com/AWSSDKforPHP/latest/index.html#p=AmazonEC2 $ec2 = new AmazonEC2(); //ProxyサーバのURLを設定する $ec2->proxy = "http://192.168.99.200:…

AWS:プロキシ経由でAPIコール(Java)

プロキシ経由でJava SDKによるAPIコールをする際、明示的にプロキシの情報を設定する。 AWS SDK for Java Tips and Tricks : Articles & Tutorials : Amazon Web Services AmazonEC2Clientのコンストラクタに、 com.amazonaws.ClientConfigurationにプロキシ…

AWS: プロキシ経由でCLIコマンド実行

プロキシ経由で、Amazon EC2 API Tools (CLI)を実行したい場合、環境変数にプロキシの情報を設定する必要がある。 通常、API Toolsの初期設定で、環境変数には以下の5つを設定する。(ここ参照)Unix/Linuxの場合 export EC2_HOME=/path/to/tools export PATH=…

ELB: SSL証明書について

1アカウントで上限10個。 緩和申請は、基本、プレミアムサポート経由で行う。 証明書の作成、ELBへの登録方法hはこちら ELBでHTTPS(SSL証明書)の設定方法 | koba206の開発WIKI

S3: FTP経由でS3にファイルアップロード

こういう製品があるぽい。フロントがJavaで実装されたFTPプロセス Download and Install Alfresco - alfrescowiki ほか、こういうの :: Navitas :: こういうの SMEStorage :: CloudFTP: FTP over any Cloud ちなみに、こんなサービスが!こういうのはいいで…

HPC:バンド幅ボトルネックの問題

メモリバンド幅が必要な問題 流体計算、気象予報 QCD(Quantom Chromo Dynamics) FFT 遠距離相互作用を伴う粒子シミュレーション 課題 CPUの実効演算性能(non-cache-aware FLOPS)に比べて、メモリバンド幅、I/Oバンド幅が極端に低い。つまり、Byte/FLOPが低い…

HPC:インターコネクトのメモ

トポロジー(http://people.cs.umass.edu/~weems/CmpSci635A/635lecture14.html) Direct(Static) Bus Ring Full connect Mesh Torus(2D/3D) Hypercube Direct Tree( without switch) Dynamic(indirect) RDT(Recursive Diagonal Torus) Crossbar MIN (Multi-st…

訳:ACID vs BASE

ACID vs. BASE: The Shifting pH of Database Transaction Processing | Articles | DATAVERSITY http://www.dataversity.net/archives/9488 ==== 化学において、pHは水溶性の液体aqueousの塩基度(basicity)と酸性度(acidity)の関係を計測する方法である。pH…

訳:HPC:EC2:Lustre on AWS

2014.10.20追記) 現在は AWS Marketplaceに Intel Lusterイメージがあるのでそれを使うのが簡単で速い。以下の手順は参考までに。 Intel Cloud Edition for Lustre* Software - Global Support (HVM) on AWS Marketplace == Lustre on AWS Cloud http://clou…