aws memo

AWS関連の備忘録 (※本ブログの内容は個人的見解であり、所属組織及び企業の意見を代弁するものではありません。1年以上古いエントリは疑ってかかってください)

Ops

AWS: 管理系サービス (SaaS) まとめ

色々出てきているので、備忘を兼ねて。 コメントはメモ書き程度の感想なので、詳細は各ページを見に行く。気がついたら追加する予定。 定番。マルチクラウドの管理も可能。 こちらも定番。自動化とかが便利かも。 自動化、スケジュール、マルチクラウド、Che…

メモ: PinterestとInstagramのAWS利用状況

PinterestもInstagramも成長スピードがものすごい。 Pinterest AWS SUMMIT NY 2012 のKeyNote中にあったPinterestのパートが記事になっている Pinterest growth driven by Amazon cloud scalability - Techworld.com High Scalability - High Scalability - …

EC2: スケジュールイベントでリタイア通知

EC2インスタンスを使っていると、稀に、EC2インスタンスを動かしている物理マシンのメンテンナンスが必要になる場合に遭遇する。メンテナンスイベントには何種類かあり、Instance reboot、System reboot、 Instance retirement などがある。詳しくはマニュア…

リーンスタートアップとDevOps

ビジネスとシステムという少し距離のある2つだが、共通点が非常に多いし、ゴールは実は同じという点で、リーンスタートアップとDevOpsを組み合わせることは非常に効果的だろう。 つまり、常に計測可能な数字をもって仮説とし、それを測定する仕組みも必ず一…

Amazon Linux用の Zabbix RPMを作る

Amazon Linuxで Zabbix 2.0系を動かすには、現状はソースからコンパイルが必要。@kodai74 さんが公開している RHEL/CentOS用RPMだと、libmysqlclient.soの依存関係で怒られる(Amazon Linuxだと新しすぎるorz)。 てことで、RPMを自前で作っておいて、ばら撒…

S3: Amazon Linuxにs3cmdをインストールしてコマンドラインでS3を操作する

S3は、まずは Management ConsoleやCloud Berry Explorer、CyberDuckといったGUIツールから使うか、 AWS SDK for PHP, Java, Ruby, .NET といったAPI経由で使うことが多い。(参考:S3の関連ツール・ライブラリ等 - aws memo ) バックアップ処理など、cronな…

Amazon Linux でApacheのログを Fluentd経由でMongoDBに集約する

10genからこんな記事が The 10gen Blog on MongoDB and NoSQL, Fluentd + MongoDB: The Easiest Way to Log Your Data Effectively. === ということで、Amazon Linuxでの環境構築メモ まずは、httpd+Fluentdを入れるインスタンス (web)と、MongoDBを入れるイ…

EC2: User Dataを使ってインスタンス起動時の処理を自動化する

インスタンス起動時に目にするUser Dataって何?って感じなので取り敢えず。 #!/bin/bash -ex yum -y install httpd php php-pear php-xml yum -y install git /etc/init.d/httpd start pear channel-discover pear.amazonwebservices.com pear install aws/…

複数のデータセンターにMongoDBを配備する戦略

MongoDB: Strategies for Multiple Data Center Deployment | Architects Zone MongoDB NY 2012の資料から。 これ、普通にオンプレミスやってたら縁遠いけど、AWSだと複数のリージョンをまたがせてすぐに試せるので、グローバルなアプリケーション作る時の参…

DevOps : 日本語で語る DevOps

Japanese Words for DevOps Practitioners | IT Revolution もともと DevOpsは、リーン開発やアジャイル開発とも近いので、TPS (トヨタ方式)の哲学が入っていても不思議ではないですが、やっぱり大野耐一さんはすごい。そして、製造業におけるシステム運用と…

訳:Netflixが 6.29のAWSと嵐から学んだこと

2012年6月は、立て続けにUS EASTリージョンでダウンタイムが発生している。 NetflixのようにマルチAZの構成にして、常に擬似的に障害を発生させる仕組み( Chaos Monkey)を導入していても、ダウンする場合があることが明らかになった。さらなる可用性向上のた…

訳: AWSで高可用性を実現するベストプラクティス

AWS Cloud Best Practice: Introduction to High Availability Deployment | Newvem AWSのアーキテクチャセンターにも図があるが、解説が少ないので、このシナリオ・ステップは参考になるだろう。 しかし、インフラがRoute53でリージョン間冗長性を考えるグ…

MongoDB: AWSでのTips

MongoDB Casual Talks で発表された、MongoDB onAWSの資料。 元ネタは、MongoDB on AWS White Paper (PDF) MongoDB on EC2 #mongodbcasual View more PowerPoint from Yasuhiro Matsuo 議事メモブログエントリ Mongo DB Casual Talksに参加してきました - Te…

DevOps: Netflixが、Webベースのクラウド管理・デプロイツール AsgardをOSS化

NetflixがWebベースの管理・デプロイツール Asgard をOSS化した。 The Netflix Tech Blog: Asgard: Web-based Cloud Management and Deployment AWS Management Consoleよりも、直感的かもしれないし、AutoScaleもGUIで設定できたり、自動化をGUIから設定で…

訳:クラウドのアプリケーションデザインパターン

P.15からの、MTTRとMTTFを、従来のITとクラウドで比較検証するあたりがいい。 従来のITは、MTTFを長くすることに注力していたが、クラウドでは、MTTRを短くすることに注力できる。MTTFとMTTRがそれぞれ長い・短いでどうなるかを検証する。 P.17-P20 従来のIT…

EC2: AMazon Linux にFluentdをインストール

Fluentdは、Ruby1.9で動作するが、Amazon Linux 2012.03にプリインストールされているRubyは ruby 1.8.7 (2011-12-28 patchlevel 357) [x86_64-linux] となっている。ので、そのまま sudo gem install fluentd ではインストール出来ないので、事前にRuby1.9…

AWS: 構成や利用状況をチェック、アドバイスするサービス Trusted Advisor report

サポートの1サービスとして、Trusted Advisor report サービスというものがある。 http://aws.amazon.com/jp/premiumsupport/trustedadvisor/ サポートのサービスなので、旧体系ではGold/Platinum、新体系ではBusiness/Enterpriseが対象。 フォームで、アカ…

RDS: MySQLの管理者向けTips

RDSは、DBのroot権限をもらえないので、色々とRDS独自の代替手段(プロシージャ)が用意されている。 このあたりは要チェック。 Appendix: Common DBA Tasks for MySQL - Amazon Relational Database Service めぼしいものをピックアップ Slow Log ローテーシ…

EC2: EC2 API Tools を Amazon Linuxにインストール

Amazon EC2 API ToolsをAmazon Linuxにインストールする。 念のためインストール要件の確認 $ java -version $ echo $JAVA_HOME まずは、X.509 認証キーを作って、CERTファイルとプライベートキーファイルを取得しておく。(プライベートキーファイルは紛失…

EC2: AWSからメールがくるケース

通常は関係ないが、稀にAWSから通知メールが来るケースがある(しかも英語) よくあるメールの件名とその内容、および対策をメモ。 Amazon EC2 Maintenance - Network Connectivity Impact ネットワーク保守作業するから指定の時間帯ネットワーク切れるかも…

バックグラウンドで5億レコードをMySQLにロードする

Percona使うとかmy.cnf書き換え以外で、RDSでも使える部分があるか。 derwiki - Loading half a billion rows into MySQL ポイントはこのへん 外部キーチェック、ユニークチェックを無効にしておく 分離レベルを、READ-UNCOMMITTEDにしておく binlogを出さな…

RDS: MySQLの負荷対策テクニック

Load Management Techniques for MySQL | SQL Zone RDSでも参考になるとこはあるな。 ==== 並行処理しすぎるな(同時接続数を絞れ) 一度に処理するデータを絞れ CRONを調整しろ バッチ専用のSlaveを用意しろ innodb_old_blocks_time

EBS: チューニングもしくはベストプラクティス

AWSが出しているホワイトペーパーのうち、DB関連のものにいろいろ書いてあるので、拾い読みするとよい。 MongoDB on AWS (PDF) RDBMS in the Cloud: Microsoft SQL Server 2008 R2 (PDF) EBSによるRAID構成やら、ファイルシステムやら、スナップショットやら…

CW: CloudWatchをデータ・ソースとして、Google Chartsでグラフ表示する

うまい組み合わせだ。 cloudviz :CloudWatchをデータ・ソースとして埋め込み可能なグラフを作成するのOSS。EC2とCloudWatchのAPIを使って取得したデータを、Google Interactive Charts(の Visualization API)を使ってグラフ作成する。Googleのデータソース…

EC2: Cloud-init でGitを使う

EC2の機能として、インスタンス作成時にUser Dataとしてパラメータ を渡すことで、起動時に cloud-initが動作する。 これを使って、インスタンス作成時に動的にGitからコンテンツを取得・デプロイすることが可能。 本格的にDevOpsやるなら、PuppetやChefを導…

訳:DynamoDB:SSD Hot S3 Cold パターン

DynamoDBのベストプラクティス的なパターン High Scalability - High Scalability - DynamoDB Talk Notes and the SSD Hot S3 Cold Pattern ==== Amazon DynamoDB for Developersトークに参加する前の、DynamoDBに対する印象は、シンプル・速い・スケー…

訳:クラウドアーキテクチャチュートリアル by NetFilix Adrian

Adrian Cockcroft's Blog: Cloud Architecture Tutorial これは素晴らしい資料。他にも、http://www.slideshare.net/Netflix にいろいろあるぽい。 === Cloud Architecture Tutorial - Why and What (1of 3) View more presentations from Adrian Cockcro…

EC2: Ubuntu 11.10 にZabbix入れる

Ubuntu 11.10のAMIを指定して、EC2インスタンス作成 ubuntuユーザでsshログイン $ sudo su - # aptitude install zabbix-agent zabbix-frontend-php zabbix-server-mysql 依存関係で、apache2,mysqlなどがごっそり入る。 インストール時に入力しているが念の…

AWS:プロキシ経由でAPIコール(PHP)

PHPで使うAmazonEC2クライアントを見ると、Propertiesにproxyなるものがある http://docs.amazonwebservices.com/AWSSDKforPHP/latest/index.html#p=AmazonEC2 $ec2 = new AmazonEC2(); //ProxyサーバのURLを設定する $ec2->proxy = "http://192.168.99.200:…

AWS:プロキシ経由でAPIコール(Java)

プロキシ経由でJava SDKによるAPIコールをする際、明示的にプロキシの情報を設定する。 AWS SDK for Java Tips and Tricks : Articles & Tutorials : Amazon Web Services AmazonEC2Clientのコンストラクタに、 com.amazonaws.ClientConfigurationにプロキシ…