読者です 読者をやめる 読者になる 読者になる

aws memo

AWS関連の備忘録 (※本ブログの内容は個人的見解であり、所属組織及び企業の意見を代弁するものではありません。1年以上古いエントリは疑ってかかってください)

Architecture

カジュアルに鯖を監視するNewRelic をAmazon Linux に導入

今っぽい感じのSaaS型監視サービス NewRelicを Amazon Linuxに入れてみる。( Newvem とか Server DensityとかPingdomとかもある) New Relic は、エージェントを監視対象ノードに入れておく点は Zabbix等と変わらないが、監視サーバを構築しないですぐに(無…

Neo4j インターナル

代表的なOSS GraphDB であるNeo4jの内部データ構造などの解説資料。 An overview of Neo4j Internals from Tobias Lindaaker これである程度イメージしてからコードにあたると読みやすいかも。あと、そもそもNeo4jのおさらいしなきゃ(汗)っていう自分向け…

EMR: EMRで集計してiOSで可視化する手順

Using AWS Elastic MapReduce Results with Mobile BI Analytics | Architects Zone EMRの解析結果を、Roambi Analyticsという iOS向け BI 可視化ツールのクラウドサービスに食わせて、そちらで見る手順。 Roambi は、無料のLite(CSV, Excel, html対応)、Pr…

MongoDB: foursquareは EC2上で MongoDBが動いている

という、スライド。 単一リージョン、単一アベイラビリティゾーン(AZ)に、7つのShardクラスタ(最大で14shard)と3つの非Shardクラスタ。各シャードは3か4のReplica Sets。 m2.4xlarge(68GBメモリ)に、EBS4本でRAID0。データはほぼオンメモリで保持。 iosta…

訳:Netflixが 6.29のAWSと嵐から学んだこと

2012年6月は、立て続けにUS EASTリージョンでダウンタイムが発生している。 NetflixのようにマルチAZの構成にして、常に擬似的に障害を発生させる仕組み( Chaos Monkey)を導入していても、ダウンする場合があることが明らかになった。さらなる可用性向上のた…

訳: AWSで高可用性を実現するベストプラクティス

AWS Cloud Best Practice: Introduction to High Availability Deployment | Newvem AWSのアーキテクチャセンターにも図があるが、解説が少ないので、このシナリオ・ステップは参考になるだろう。 しかし、インフラがRoute53でリージョン間冗長性を考えるグ…

MongoDB: AWSでのTips

MongoDB Casual Talks で発表された、MongoDB onAWSの資料。 元ネタは、MongoDB on AWS White Paper (PDF) MongoDB on EC2 #mongodbcasual View more PowerPoint from Yasuhiro Matsuo 議事メモブログエントリ Mongo DB Casual Talksに参加してきました - Te…

DevOps: Netflixが、Webベースのクラウド管理・デプロイツール AsgardをOSS化

NetflixがWebベースの管理・デプロイツール Asgard をOSS化した。 The Netflix Tech Blog: Asgard: Web-based Cloud Management and Deployment AWS Management Consoleよりも、直感的かもしれないし、AutoScaleもGUIで設定できたり、自動化をGUIから設定で…

EC2: PostgreSQLをS3にバックアップする

heroku/WAL-E という、HerokuがOSS化したPython製のツール。 バックアップ、およびWALをS3に保存(Push)したり、取得(fetch)したりするものらしい。 通常、EBSのスナップショットでフルバックアップを取得できても、次回のスナップショット取得までの期間のデ…

訳:クラウドのアプリケーションデザインパターン

P.15からの、MTTRとMTTFを、従来のITとクラウドで比較検証するあたりがいい。 従来のITは、MTTFを長くすることに注力していたが、クラウドでは、MTTRを短くすることに注力できる。MTTFとMTTRがそれぞれ長い・短いでどうなるかを検証する。 P.17-P20 従来のIT…

AWS: 構成や利用状況をチェック、アドバイスするサービス Trusted Advisor report

サポートの1サービスとして、Trusted Advisor report サービスというものがある。 http://aws.amazon.com/jp/premiumsupport/trustedadvisor/ サポートのサービスなので、旧体系ではGold/Platinum、新体系ではBusiness/Enterpriseが対象。 フォームで、アカ…

AWS: Oracleサポート関連のメモ

まずは、Oracleが出している、FAQを参照。 Oracle Database Oracle Applications (E-Business Suite, JD-Edwards, People Soft, Siebel, etc) Fusion Middleware Enterprise Manager Oracle Linux について、本番環境かテスト(or 開発、トレーニング、デモ)…

CF: CloudFrontがストリーミングで対応しているプロトコル

現状対応しているRTMP系のプロトコルは、Working with Streaming Distributions - Amazon CloudFront によると RTMP Adobe Real-Time Message protocol RTMPT Adobe streaming tunnleled over HTTP RTMPE Adobe encrypted RTMPTE Adobe encrypted tunneled o…

AWS: Xen Hypervisorのセキュリティ情報

Xen Security Advisories こちらに。 今日2012.06.12時点では、Xen.orgからセキュリティアドバイザリが出ているが、どれも該当しないよ、と書かれている。

CS:CloudSearchでWikipediaを検索するデモサイト

いつまであるかわからないけど。。。 Search Technologies, Wikipedia / Amazon CloudSearch Demo 仕組みの解説 http://www.searchtechnologies.com/wikipedia-cloudsearch-lab.html Aspireというコンテンツ処理プラットフォーム経由でWikipediaのダンプファ…

NoSQL: WordpressのDBとしてNoSQLを使う

Cassandraの場合 Behind The Blog » Using WordPress with Cassandra or other NoSQL databases? MongoDBの場合 MongoPress - The MongoDB CMS - High-Performance NoSQL Web Management DynamoDBを使ったDynamoPressはよ WordPress › Support » Suggestion:…

CW: CloudWatchをデータ・ソースとして、Google Chartsでグラフ表示する

うまい組み合わせだ。 cloudviz :CloudWatchをデータ・ソースとして埋め込み可能なグラフを作成するのOSS。EC2とCloudWatchのAPIを使って取得したデータを、Google Interactive Charts(の Visualization API)を使ってグラフ作成する。Googleのデータソース…

EC2:AWSをレンダリングファームとして使う

クラウドにレンダリングファームを作るという事例。 AutoDeskは、AWSのソリューションプロバイダであり、Autodesk®360 というクラウドサービスを提供していて、PLM( Product Lifecycle Management)と BIM(Building Information Modeling)が使える。これがAWS…

EC2: Cloud-init でGitを使う

EC2の機能として、インスタンス作成時にUser Dataとしてパラメータ を渡すことで、起動時に cloud-initが動作する。 これを使って、インスタンス作成時に動的にGitからコンテンツを取得・デプロイすることが可能。 本格的にDevOpsやるなら、PuppetやChefを導…

訳:DynamoDB:SSD Hot S3 Cold パターン

DynamoDBのベストプラクティス的なパターン High Scalability - High Scalability - DynamoDB Talk Notes and the SSD Hot S3 Cold Pattern ==== Amazon DynamoDB for Developersトークに参加する前の、DynamoDBに対する印象は、シンプル・速い・スケー…

SQS: SupervisordでSQSのワーカープロセスを管理実行する

まずは、Supervisordのスクラップ Supervisord 本家 PHP+Kestrel+Supervisorでお手軽タスクキューイング : アシアルブログ スーパーサーバーSupervisorの導入手順メモ - Glide Note - グライドノート Supervisord を Amazon Linux AMI にインストール - mass…

SQS: ワーカープロセスの稼働管理にSupervisordが便利

SQS等のキューを介して非同期に処理を行う Queue Chain パターンを実装する場合、SQSに突っ込む処理はWebアプリ等の処理中に書けばよいので特に考えることはないが、SQSからメッセージを抜いて後続の非同期処理を実行するワーカープロセスをどのように起動管…

CS: SmugMugはCloudSearchを使っている

という記事。 SmugMug’s Sexy New Search « The SmugMug Blog 検索ページはこちら。 左カラムに、ジャンルのファセットリンクがあるし、絞込みのリンクも出てくる。 検索結果をスクロールするとエンドレスに写真が湧き出てくるデザイン。 ちなみに、フロント…

EC2: 1台のサーバに複数のドメインのSSLを稼働させる

現状では1台のEC2に大量のグローバルIPを振れないため、一工夫が必要。 Brightbox - New - Cloud IP Port Translation だと、ELBをSSL毎に立てて、バックエンドを1台のEC2に向ける。Management Consoleだと複数のELBが1台のEC2をバックエンドにすることはで…

訳:NoSQL:NoSQLデータモデリングテクニック

NoSQL Data Modeling Techniques « Highly Scalable Blog http://highlyscalable.wordpress.com/2012/03/01/nosql-data-modeling-techniques/ 訳:https://gist.github.com/2396234

訳:NoSQLのパターン

An Introduction to NoSQL Patterns | Architects Zone これはひと通り俯瞰できますな。 API モデル マシンレイアウト データパーティション(コンシステントハッシング) データレプリケーション メンバーシップ クライアントコンシステンシ マスタスレーブ…

IPS on AWS

製品を羅列してみる WAF ( Web Application Firewall) Incapsula WAF: Stingray Application Firewall ( Riverbed製Zeusの別名 Stingrayのモジュール) IDS/IPS ( Intrusion Detection/Protection system) SourceFire (Snortの商用版) Microsoft Threat Manag…

訳: Globus Onlineの説明資料 by Ian Foster

Globus OnlineはAWSで動いています、と。その上で、S3ではない新しいストレージの説明になってますね。 GlobusWorld 2012 Foster Keynote View more PowerPoint from Ian Foster

資料: リージョン間のレイテンシ等(AWS,Google,etc)

http://www.cloudconnectevent.com/2011/presentations/free/76-marty-kagan.pdf 2011年1月に計測した結果らしい。

R53: EDNS0 とか512byteとか

DNSラウンドロビンでレコードを増やすと、DNSのUDPレスポンスが512byte(オクテット)を超えてしまうことがある。 その場合、TCPを使うか、EDNS0を使うか、ということになるが、DNSクライアントが対応しているか?がネック。 なお、Route53では、管理できるド…

訳:NoSQLとRDBMSの選択

Deciding Between NoSQL and RDMS | Architects Zone NoSQLを使うべきシチュエーションが面白いww 2カラムで、XMLぶっこむような使い方は間違ってるww ==== 単純なKey/Valueペアを保存している場合。RDBMSのあるテーブルにキーとCLOBの2カラムしか…

訳:クラウドへの移行の理由(もしくは移行しない理由)

Why (or Why Not) to Migrate to the Cloud | Cloud Zone ===== 同じコストで比較した時に、 物理サーバに比べてEC2にどのような制限があり、どのように性能が落ちるのか、という技術フォーラムや議論がたくさんある。同じ金額で、もっと多くのハードウェア…

EC2: Linuxのバックアップとリカバリ

Backup and Recovery for Linux With Amazon S3 View more presentations from Amazon Web Services ちなみに、DR関連の資料 S3を使用したOracle Secure Backup S3を使用したOracle RMAN backup 最新クラウドDRプレゼン資料

訳:スケーラブルなエンタープライズシステムを構築する

さわりとしてはいいかも。もはやSOAとは言わないんだろうけどw Building Scalable Enterprise Systems - Java Code Geeks === 成功している企業は、ビジネスの俊敏さがあることと、新製品や新サービスを市場に導入できることをみたしている。ITのオーバー…

訳:2012年 ビッグデータのトレンドは?

ふーむ。。。 既存のRDBMSベンダーが乗り出すのは間違いないし、SaaSも立ち上がりつつある。あとはユーザ企業が、自力でオンプレミスに構築するのではなく、それらを使うようにMind Shiftできるか、が肝だな。。 Big Data Trends in 2012 - Java Code Geeks …

訳:PHPの Webサイトパフォーマンス

これはひと通り押さえておく必要あるな。 Website Performance: PHP at Monitor Everything IT: Website, Server, Application, Network. 100% Free! ==== ボトルネックの検出 キャッシュを使う コンパイルするか、インタプリタを使うか コンテンツを削減す…

訳:非推奨になったLinuxネットワークコマンドの代替コマンド

これはちゃんとチェックしておかないとなぁ。 Deprecated Linux networking commands and their replacements « Doug Vitale Tech Blog ==== この記事で詳しく説明する非推奨のLinuxネットワークコマンドは:arp, ifconfig, iptunnel, iwconfig, nameif, net…

CF : アクセス制限をつけてCDN配信する方法

CDPのパターンがある。 CDP:Private Cache Distributionパターン - AWS-CloudDesignPattern アバウトな手順は 0.S3のバケットに対して、 CFからしかアクセス受けないような設定をしておく →CFのAPI叩いて設定必要 1.Webサーバ(EC2)等で特定のユーザ向けに、 …

訳:UptimeとDCのTier

なるほー Understanding “Uptime” and Data Center Tier Levels === DC業界は、Uptime、Tierレベル、可用性(Availability)、冗長性(Redundancy)、信頼性(Reliability)といった関連用語がたくさんある(laden with)。十分な情報を得た上で決定するために、…

S3: 静的サイトのホスティング例(www.ec2instances.info)

http://www.ec2instances.info/ という、EC2インスタンスのコスト・スペック比較をするサイトが便利そう。 https://github.com/powdahound/ec2instances.info にソースもある。 で、面白いのが、これがS3のWeb Hosting機能で公開されいて、EC2をつかっていな…

アーキテクチャー:レインボーテーブル

なるほどー。 あとできちんと咀嚼しよう。 レインボーテーブル - Wikipedia === レインボーテーブルは、2カラムのデータストアで、カラムAはASCIIの文字列、カラムBはカラムAに対するハッシュ関数の結果が入っている。 もしユーザーのパスワードが何か?を…

訳:Engine YardはどうやってAWSの障害をのりこえたか?

Design for the Failureですね。 あとは、人間系の動き(初動)が重要。 How Engine Yard Keeps Customers Up when AWS is Down

訳:エフェメラルディスクでRAID0

やっぱりXFS使ってるなぁ。 文中にでてくるリンク先も要チェック。 RAID0 ephemeral storage on AWS EC2 - Gabriel Weinberg's Blog ==== もし、EC2インスタンスに付いているエフェメラルストレージディスクでRAID0(ディスクストライピング)を作ることを考え…

訳:クラウドアーキテクチャチュートリアル by NetFilix Adrian

Adrian Cockcroft's Blog: Cloud Architecture Tutorial これは素晴らしい資料。他にも、http://www.slideshare.net/Netflix にいろいろあるぽい。 === Cloud Architecture Tutorial - Why and What (1of 3) View more presentations from Adrian Cockcro…

HPC:インターコネクトのメモ

トポロジー(http://people.cs.umass.edu/~weems/CmpSci635A/635lecture14.html) Direct(Static) Bus Ring Full connect Mesh Torus(2D/3D) Hypercube Direct Tree( without switch) Dynamic(indirect) RDT(Recursive Diagonal Torus) Crossbar MIN (Multi-st…

訳:ACID vs BASE

ACID vs. BASE: The Shifting pH of Database Transaction Processing | Articles | DATAVERSITY http://www.dataversity.net/archives/9488 ==== 化学において、pHは水溶性の液体aqueousの塩基度(basicity)と酸性度(acidity)の関係を計測する方法である。pH…

訳:HPC:EC2:Lustre on AWS

2014.10.20追記) 現在は AWS Marketplaceに Intel Lusterイメージがあるのでそれを使うのが簡単で速い。以下の手順は参考までに。 Intel Cloud Edition for Lustre* Software - Global Support (HVM) on AWS Marketplace == Lustre on AWS Cloud http://clou…

訳:NetflixのChaos Monkyに続くサル軍団

The Netflix Tech Blog: The Netflix Simian Army http://techblog.netflix.com/2011/07/netflix-simian-army.html このスライドも参考になります http://www.slideshare.net/adrianco/netflix-in-the-cloud-at-sv-forum GitHub : https://github.com/simonm…

訳:ELB:評価方法のベストプラクティス

Best Practices in Evaluating Elastic Load Balancing : Articles & Tutorials : Amazon Web Services http://aws.amazon.com/articles/1636185810492479 ==== 概要 ELBを最もよく評価するには、ELBのアーキテクチャを理解する必要がある。本稿は、AWS …

訳:IaaSプロバイダの比較マインドマップ

IaaS Cloud Computing Providers: Notes and Mind-maps « Eric Weinstein, MBA http://ericweinstein.wordpress.com/2012/02/21/iaas-cloud-computing-providers-notes-and-mind-maps/ === IaaSベンダーのStrength,Cautionsが書いてある。 AWS AT&T Bluel…