aws memo

AWS関連の備忘録 (※本ブログの内容は個人的見解であり、所属組織及び企業の意見を代弁するものではありません。1年以上古いエントリは疑ってかかってください)

Architecture

カジュアルに鯖を監視するNewRelic をAmazon Linux に導入

今っぽい感じのSaaS型監視サービス NewRelicを Amazon Linuxに入れてみる。( Newvem とか Server DensityとかPingdomとかもある) New Relic は、エージェントを監視対象ノードに入れておく点は Zabbix等と変わらないが、監視サーバを構築しないですぐに(無…

Neo4j インターナル

代表的なOSS GraphDB であるNeo4jの内部データ構造などの解説資料。 An overview of Neo4j Internals from Tobias Lindaaker これである程度イメージしてからコードにあたると読みやすいかも。あと、そもそもNeo4jのおさらいしなきゃ(汗)っていう自分向け…

EMR: EMRで集計してiOSで可視化する手順

Using AWS Elastic MapReduce Results with Mobile BI Analytics | Architects Zone EMRの解析結果を、Roambi Analyticsという iOS向け BI 可視化ツールのクラウドサービスに食わせて、そちらで見る手順。 Roambi は、無料のLite(CSV, Excel, html対応)、Pr…

MongoDB: foursquareは EC2上で MongoDBが動いている

という、スライド。 単一リージョン、単一アベイラビリティゾーン(AZ)に、7つのShardクラスタ(最大で14shard)と3つの非Shardクラスタ。各シャードは3か4のReplica Sets。 m2.4xlarge(68GBメモリ)に、EBS4本でRAID0。データはほぼオンメモリで保持。 iosta…

訳:Netflixが 6.29のAWSと嵐から学んだこと

2012年6月は、立て続けにUS EASTリージョンでダウンタイムが発生している。 NetflixのようにマルチAZの構成にして、常に擬似的に障害を発生させる仕組み( Chaos Monkey)を導入していても、ダウンする場合があることが明らかになった。さらなる可用性向上のた…

訳: AWSで高可用性を実現するベストプラクティス

AWS Cloud Best Practice: Introduction to High Availability Deployment | Newvem AWSのアーキテクチャセンターにも図があるが、解説が少ないので、このシナリオ・ステップは参考になるだろう。 しかし、インフラがRoute53でリージョン間冗長性を考えるグ…

MongoDB: AWSでのTips

MongoDB Casual Talks で発表された、MongoDB onAWSの資料。 元ネタは、MongoDB on AWS White Paper (PDF) MongoDB on EC2 #mongodbcasual View more PowerPoint from Yasuhiro Matsuo 議事メモブログエントリ Mongo DB Casual Talksに参加してきました - Te…

DevOps: Netflixが、Webベースのクラウド管理・デプロイツール AsgardをOSS化

NetflixがWebベースの管理・デプロイツール Asgard をOSS化した。 The Netflix Tech Blog: Asgard: Web-based Cloud Management and Deployment AWS Management Consoleよりも、直感的かもしれないし、AutoScaleもGUIで設定できたり、自動化をGUIから設定で…

EC2: PostgreSQLをS3にバックアップする

heroku/WAL-E という、HerokuがOSS化したPython製のツール。 バックアップ、およびWALをS3に保存(Push)したり、取得(fetch)したりするものらしい。 通常、EBSのスナップショットでフルバックアップを取得できても、次回のスナップショット取得までの期間のデ…

訳:クラウドのアプリケーションデザインパターン

P.15からの、MTTRとMTTFを、従来のITとクラウドで比較検証するあたりがいい。 従来のITは、MTTFを長くすることに注力していたが、クラウドでは、MTTRを短くすることに注力できる。MTTFとMTTRがそれぞれ長い・短いでどうなるかを検証する。 P.17-P20 従来のIT…

AWS: 構成や利用状況をチェック、アドバイスするサービス Trusted Advisor report

サポートの1サービスとして、Trusted Advisor report サービスというものがある。 http://aws.amazon.com/jp/premiumsupport/trustedadvisor/ サポートのサービスなので、旧体系ではGold/Platinum、新体系ではBusiness/Enterpriseが対象。 フォームで、アカ…

AWS: Oracleサポート関連のメモ

まずは、Oracleが出している、FAQを参照。 Oracle Database Oracle Applications (E-Business Suite, JD-Edwards, People Soft, Siebel, etc) Fusion Middleware Enterprise Manager Oracle Linux について、本番環境かテスト(or 開発、トレーニング、デモ)…

CF: CloudFrontがストリーミングで対応しているプロトコル

現状対応しているRTMP系のプロトコルは、Working with Streaming Distributions - Amazon CloudFront によると RTMP Adobe Real-Time Message protocol RTMPT Adobe streaming tunnleled over HTTP RTMPE Adobe encrypted RTMPTE Adobe encrypted tunneled o…

AWS: Xen Hypervisorのセキュリティ情報

Xen Security Advisories こちらに。 今日2012.06.12時点では、Xen.orgからセキュリティアドバイザリが出ているが、どれも該当しないよ、と書かれている。

CS:CloudSearchでWikipediaを検索するデモサイト

いつまであるかわからないけど。。。 Search Technologies, Wikipedia / Amazon CloudSearch Demo 仕組みの解説 http://www.searchtechnologies.com/wikipedia-cloudsearch-lab.html Aspireというコンテンツ処理プラットフォーム経由でWikipediaのダンプファ…

NoSQL: WordpressのDBとしてNoSQLを使う

Cassandraの場合 Behind The Blog » Using WordPress with Cassandra or other NoSQL databases? MongoDBの場合 MongoPress - The MongoDB CMS - High-Performance NoSQL Web Management DynamoDBを使ったDynamoPressはよ WordPress › Support » Suggestion:…

CW: CloudWatchをデータ・ソースとして、Google Chartsでグラフ表示する

うまい組み合わせだ。 cloudviz :CloudWatchをデータ・ソースとして埋め込み可能なグラフを作成するのOSS。EC2とCloudWatchのAPIを使って取得したデータを、Google Interactive Charts(の Visualization API)を使ってグラフ作成する。Googleのデータソース…

EC2:AWSをレンダリングファームとして使う

クラウドにレンダリングファームを作るという事例。 AutoDeskは、AWSのソリューションプロバイダであり、Autodesk®360 というクラウドサービスを提供していて、PLM( Product Lifecycle Management)と BIM(Building Information Modeling)が使える。これがAWS…

EC2: Cloud-init でGitを使う

EC2の機能として、インスタンス作成時にUser Dataとしてパラメータ を渡すことで、起動時に cloud-initが動作する。 これを使って、インスタンス作成時に動的にGitからコンテンツを取得・デプロイすることが可能。 本格的にDevOpsやるなら、PuppetやChefを導…

訳:DynamoDB:SSD Hot S3 Cold パターン

DynamoDBのベストプラクティス的なパターン High Scalability - High Scalability - DynamoDB Talk Notes and the SSD Hot S3 Cold Pattern ==== Amazon DynamoDB for Developersトークに参加する前の、DynamoDBに対する印象は、シンプル・速い・スケー…

SQS: SupervisordでSQSのワーカープロセスを管理実行する

まずは、Supervisordのスクラップ Supervisord 本家 PHP+Kestrel+Supervisorでお手軽タスクキューイング : アシアルブログ スーパーサーバーSupervisorの導入手順メモ - Glide Note - グライドノート Supervisord を Amazon Linux AMI にインストール - mass…

SQS: ワーカープロセスの稼働管理にSupervisordが便利

SQS等のキューを介して非同期に処理を行う Queue Chain パターンを実装する場合、SQSに突っ込む処理はWebアプリ等の処理中に書けばよいので特に考えることはないが、SQSからメッセージを抜いて後続の非同期処理を実行するワーカープロセスをどのように起動管…

CS: SmugMugはCloudSearchを使っている

という記事。 SmugMug’s Sexy New Search « The SmugMug Blog 検索ページはこちら。 左カラムに、ジャンルのファセットリンクがあるし、絞込みのリンクも出てくる。 検索結果をスクロールするとエンドレスに写真が湧き出てくるデザイン。 ちなみに、フロント…

EC2: 1台のサーバに複数のドメインのSSLを稼働させる

現状では1台のEC2に大量のグローバルIPを振れないため、一工夫が必要。 Brightbox - New - Cloud IP Port Translation だと、ELBをSSL毎に立てて、バックエンドを1台のEC2に向ける。Management Consoleだと複数のELBが1台のEC2をバックエンドにすることはで…

訳:NoSQL:NoSQLデータモデリングテクニック

NoSQL Data Modeling Techniques « Highly Scalable Blog http://highlyscalable.wordpress.com/2012/03/01/nosql-data-modeling-techniques/ 訳:https://gist.github.com/2396234

訳:NoSQLのパターン

An Introduction to NoSQL Patterns | Architects Zone これはひと通り俯瞰できますな。 API モデル マシンレイアウト データパーティション(コンシステントハッシング) データレプリケーション メンバーシップ クライアントコンシステンシ マスタスレーブ…

IPS on AWS

製品を羅列してみる WAF ( Web Application Firewall) Incapsula WAF: Stingray Application Firewall ( Riverbed製Zeusの別名 Stingrayのモジュール) IDS/IPS ( Intrusion Detection/Protection system) SourceFire (Snortの商用版) Microsoft Threat Manag…

訳: Globus Onlineの説明資料 by Ian Foster

Globus OnlineはAWSで動いています、と。その上で、S3ではない新しいストレージの説明になってますね。 GlobusWorld 2012 Foster Keynote View more PowerPoint from Ian Foster

資料: リージョン間のレイテンシ等(AWS,Google,etc)

http://www.cloudconnectevent.com/2011/presentations/free/76-marty-kagan.pdf 2011年1月に計測した結果らしい。

R53: EDNS0 とか512byteとか

DNSラウンドロビンでレコードを増やすと、DNSのUDPレスポンスが512byte(オクテット)を超えてしまうことがある。 その場合、TCPを使うか、EDNS0を使うか、ということになるが、DNSクライアントが対応しているか?がネック。 なお、Route53では、管理できるド…