aws memo

AWS関連の備忘録 (※本ブログの内容は個人的見解であり、所属組織及び企業の意見を代弁するものではありません。1年以上古いエントリは疑ってかかってください)

NoSQL

ElastiCache: AutoDiscovery をPHPで使う

ElastiCacheに AutoDiscovery機能が付き、phpクライアントも出た。(Cache Engine 1.4.14以降で有効) ちょうど1年前に、このような記事(Amazon ElastiCache の分散方法 )を書いたが、この際は、ElastiCacheの複数ノードを扱うには、Mamcached::addServers(…

メモ: PinterestとInstagramのAWS利用状況

PinterestもInstagramも成長スピードがものすごい。 Pinterest AWS SUMMIT NY 2012 のKeyNote中にあったPinterestのパートが記事になっている Pinterest growth driven by Amazon cloud scalability - Techworld.com High Scalability - High Scalability - …

Neo4j インターナル

代表的なOSS GraphDB であるNeo4jの内部データ構造などの解説資料。 An overview of Neo4j Internals from Tobias Lindaaker これである程度イメージしてからコードにあたると読みやすいかも。あと、そもそもNeo4jのおさらいしなきゃ(汗)っていう自分向け…

Amazon Linux でApacheのログを Fluentd経由でMongoDBに集約する

10genからこんな記事が The 10gen Blog on MongoDB and NoSQL, Fluentd + MongoDB: The Easiest Way to Log Your Data Effectively. === ということで、Amazon Linuxでの環境構築メモ まずは、httpd+Fluentdを入れるインスタンス (web)と、MongoDBを入れるイ…

MongoDB: foursquareは EC2上で MongoDBが動いている

という、スライド。 単一リージョン、単一アベイラビリティゾーン(AZ)に、7つのShardクラスタ(最大で14shard)と3つの非Shardクラスタ。各シャードは3か4のReplica Sets。 m2.4xlarge(68GBメモリ)に、EBS4本でRAID0。データはほぼオンメモリで保持。 iosta…

複数のデータセンターにMongoDBを配備する戦略

MongoDB: Strategies for Multiple Data Center Deployment | Architects Zone MongoDB NY 2012の資料から。 これ、普通にオンプレミスやってたら縁遠いけど、AWSだと複数のリージョンをまたがせてすぐに試せるので、グローバルなアプリケーション作る時の参…

MongoDB: AWSでのTips

MongoDB Casual Talks で発表された、MongoDB onAWSの資料。 元ネタは、MongoDB on AWS White Paper (PDF) MongoDB on EC2 #mongodbcasual View more PowerPoint from Yasuhiro Matsuo 議事メモブログエントリ Mongo DB Casual Talksに参加してきました - Te…

訳:MongoDBのレプリケーションと耐久性

MongoDB: Replication, Durability, and Disaster Recovery | Architects Zone レプリカセットの説明と、 耐久性 ( Fire and forget, write concern)の説明。 最後の、レプリカセットの台数(1~5台)に関する話は興味深い。 Replication, Durability, and Disa…

訳: Twitterでの、大規模機械学習

Large-Scale Machine Learning at Twitter // Speaker Deck これは興味深い。 数式以外(爆)をメモ === 140文字、アクティブユーザ1億4000万人、3億4000万 ツイート/日 PBクラスのデータ、毎日100TB増、Hadoop job数 1万以上/日 古典的なデータ分析= descrip…

EMR: Hadoop ハンズオン資料

Python使ったStreamingと、PigでのWordcountの例。 EMRだとセットアップ周りは不要、実行方法も若干異なるけどもハンズオンのシナリオとしては参考になる。 Hands-on Hadoop: An intro for Web developers View more PowerPoint from Erik Eldridge

NoSQL: WordpressのDBとしてNoSQLを使う

Cassandraの場合 Behind The Blog » Using WordPress with Cassandra or other NoSQL databases? MongoDBの場合 MongoPress - The MongoDB CMS - High-Performance NoSQL Web Management DynamoDBを使ったDynamoPressはよ WordPress › Support » Suggestion:…

EMR: Hive0.8.1 対応

2012.05.31に、Hive 0.8.1 がAmazon EMRで動作するようになった。 AWS Developer Forums: Support for Hive 0.8.1 1ヶ月半前の2012.04.10にHive 0.7.1.4とPig0.9.2に対応したのでペース速い。 詳細はこちら。 http://docs.amazonwebservices.com/ElasticMap…

EC2: AmazonLinuxにMongoDBをインストール

Amazon LinuxはRPMのバイナリがCentOSやRedHatと互換なので、そのままyumのリポジトリに10genのリポジトリを追加して、yumでインストール可能 まず、yumリポジトリに追加 詳細はこちら(CentOS and Fedora Packages - MongoDB) $ sudo vi /etc/yum.repos.d/Mo…

訳 : MongoDBのバックアップ戦略

10gen - MongoDB Presentations - Backup Strategies: Keeping Your Data Safe 一般的にMongoDBで使われるバックアップツールや機能としては mongodumpでダンプ mongoexport でエクポート バイナリデータファイル 冗長化(Replica sets) Oplog あたり、と。 m…

訳: MongoDBとHadoop

10gen - MongoDB Presentations - MongoSF 2012: MongoDB and Hadoop MongoDBのMapReduceと、HadoopのMapReduceを紹介し、mongo-hadoop を使ってHadoop StreamingでM/RしたものをMongoDBにロードするETLのパターンを紹介している。 MongoDB, Hadoop and Humo…

訳: MongoDBの高可用性

10gen - MongoDB Presentations - High Availability with MongoDB for Fun and Profit Master(Primary) 1台、Slave(Secondary)2台のReplica Setを起動して、クラッシュさせるデモのプレゼン。 High Availability with MongoDB for Fun and Profit View mo…

訳:DynamoDB:SSD Hot S3 Cold パターン

DynamoDBのベストプラクティス的なパターン High Scalability - High Scalability - DynamoDB Talk Notes and the SSD Hot S3 Cold Pattern ==== Amazon DynamoDB for Developersトークに参加する前の、DynamoDBに対する印象は、シンプル・速い・スケー…

DynamoDBの上限について

DynamoDBにも、他のサービス同様に上限(ソフトリミット)がある。 http://docs.amazonwebservices.com/amazondynamodb/latest/developerguide/Limits.html table_limit_writes テーブルのキャパシティ Write 10,000 table_limit_reads テーブルのキャパシテ…

訳:NoSQL:NoSQLデータモデリングテクニック

NoSQL Data Modeling Techniques « Highly Scalable Blog http://highlyscalable.wordpress.com/2012/03/01/nosql-data-modeling-techniques/ 訳:https://gist.github.com/2396234

訳:NoSQLのパターン

An Introduction to NoSQL Patterns | Architects Zone これはひと通り俯瞰できますな。 API モデル マシンレイアウト データパーティション(コンシステントハッシング) データレプリケーション メンバーシップ クライアントコンシステンシ マスタスレーブ…

訳:NoSQLとRDBMSの選択

Deciding Between NoSQL and RDMS | Architects Zone NoSQLを使うべきシチュエーションが面白いww 2カラムで、XMLぶっこむような使い方は間違ってるww ==== 単純なKey/Valueペアを保存している場合。RDBMSのあるテーブルにキーとCLOBの2カラムしか…

訳:ACID vs BASE

ACID vs. BASE: The Shifting pH of Database Transaction Processing | Articles | DATAVERSITY http://www.dataversity.net/archives/9488 ==== 化学において、pHは水溶性の液体aqueousの塩基度(basicity)と酸性度(acidity)の関係を計測する方法である。pH…

訳:EvernoteはNoSQLを使っているか?

Evernote: NoSQL? Not Now, Thanks! We're Good === 大きなサービスはNoSQLに依存しているか?10億近いノートと約20億のリソースファイルを持つEvernote は、NoSQLとビッグデータの楽隊車に飛び乗る準備をすべきだろうか?それは早急だ、とEvernoteのCTO Dav…

訳:Thoughts on SimpleDB, DynamoDB and Cassandra

NetFlixのAdrian Cockroftの記事。 http://perfcap.blogspot.com/2012/01/thoughts-on-simpledb-dynamodb-and.html ==== DynamoDBについて多くの質問をもらったが、それらは個人的な思考であり、クラウドアーキテクチャにどうフィットするか?というものであ…

Amazon DynamoDB : PHPから使う

http://docs.amazonwebservices.com/amazondynamodb/latest/developerguide/GettingStartedBeforeYouBegin.html まずは、AWS SDK for PHPをセットアップ 注意: 以下、AWS SDK for PHP 1.x の説明。 2013.10時点では2.xなので、気休め程度に。( SDK for PHP1.…

訳:Amazon DynamoDB : いつDynamoDBを使うべきか?

http://aws.amazon.com/jp/dynamodb/#whentousedynamodb いつDynamoDBを使うべきか?いつRDBを使うべきか? 最近のwebベースアプリケーションは大量のデータを生成・消費する。例えば、オンラインゲームをスタートするときは数千ユーザで軽いデータベース負…

訳:Amazon DynamoDB : データモデル

http://aws.amazon.com/jp/dynamodb/#details Amazon DynamoDBはテーブル内のデータを、アイテムの集合として保持する。各アイテムは1つ以上の属性を持つ。 属性 ( Attributes ) 属性は、名前/値のペアとなる。名前は文字列の必要があるが、値は文字列、数…

訳:Amazon DynamoDB : Amazon Elastic MapReduceとの統合

http://aws.amazon.com/jp/dynamodb/ Amazon DynamoDBは Amazon Elastic MapReduce (Amazon EMR)とも統合できる。Amazon EMRは、AWS上にホストされているHadoopフレームワークを従量課金で使って、ビジネスにおける大きなデータ集合に対して複雑な分析を行う…

訳:Amazon DynamoDB API概要

http://aws.amazon.com/jp/dynamodb/#access_model_api_overview 主キー ( Primary Key) DynamoDBは、データにアクセスするためにテーブル毎に主キーの定義が必須である。主キーは各アイテムを一意に識別する。主キーはテーブルの一部であり、索引化されてい…