NoSQL
ElastiCacheに AutoDiscovery機能が付き、phpクライアントも出た。（Cache Engine 1.4.14以降で有効） ちょうど１年前に、このような記事(Amazon ElastiCache の分散方法 )を書いたが、この際は、ElastiCacheの複数ノードを扱うには、Mamcached::addServers(…
PinterestもInstagramも成長スピードがものすごい。 Pinterest AWS SUMMIT NY 2012 のKeyNote中にあったPinterestのパートが記事になっている Pinterest growth driven by Amazon cloud scalability - Techworld.com High Scalability - High Scalability - …
代表的なOSS GraphDB であるNeo4jの内部データ構造などの解説資料。 An overview of Neo4j Internals from Tobias Lindaaker これである程度イメージしてからコードにあたると読みやすいかも。あと、そもそもNeo4jのおさらいしなきゃ（汗）っていう自分向け…
10genからこんな記事が The 10gen Blog on MongoDB and NoSQL, Fluentd + MongoDB: The Easiest Way to Log Your Data Effectively. === ということで、Amazon Linuxでの環境構築メモ まずは、httpd+Fluentdを入れるインスタンス (web)と、MongoDBを入れるイ…
という、スライド。 単一リージョン、単一アベイラビリティゾーン(AZ)に、7つのShardクラスタ（最大で14shard)と3つの非Shardクラスタ。各シャードは３か４のReplica Sets。 m2.4xlarge(68GBメモリ)に、EBS4本でRAID0。データはほぼオンメモリで保持。 iosta…
MongoDB: Strategies for Multiple Data Center Deployment | Architects Zone MongoDB NY 2012の資料から。 これ、普通にオンプレミスやってたら縁遠いけど、AWSだと複数のリージョンをまたがせてすぐに試せるので、グローバルなアプリケーション作る時の参…
MongoDB Casual Talks で発表された、MongoDB onAWSの資料。 元ネタは、MongoDB on AWS White Paper (PDF) MongoDB on EC2 #mongodbcasual View more PowerPoint from Yasuhiro Matsuo 議事メモブログエントリ Mongo DB Casual Talksに参加してきました - Te…
MongoDB: Replication, Durability, and Disaster Recovery | Architects Zone レプリカセットの説明と、 耐久性 ( Fire and forget, write concern)の説明。 最後の、レプリカセットの台数(1~5台)に関する話は興味深い。 Replication, Durability, and Disa…
Large-Scale Machine Learning at Twitter // Speaker Deck これは興味深い。 数式以外(爆)をメモ === 140文字、アクティブユーザ1億4000万人、3億4000万 ツイート/日 PBクラスのデータ、毎日100TB増、Hadoop job数 1万以上/日 古典的なデータ分析＝ descrip…
Python使ったStreamingと、PigでのWordcountの例。 EMRだとセットアップ周りは不要、実行方法も若干異なるけどもハンズオンのシナリオとしては参考になる。 Hands-on Hadoop: An intro for Web developers View more PowerPoint from Erik Eldridge
Cassandraの場合 Behind The Blog » Using WordPress with Cassandra or other NoSQL databases? MongoDBの場合 MongoPress - The MongoDB CMS - High-Performance NoSQL Web Management DynamoDBを使ったDynamoPressはよ WordPress › Support » Suggestion:…
2012.05.31に、Hive 0.8.1 がAmazon EMRで動作するようになった。 AWS Developer Forums: Support for Hive 0.8.1 １ヶ月半前の2012.04.10にHive 0.7.1.4とPig0.9.2に対応したのでペース速い。 詳細はこちら。 http://docs.amazonwebservices.com/ElasticMap…
Amazon LinuxはRPMのバイナリがCentOSやRedHatと互換なので、そのままyumのリポジトリに10genのリポジトリを追加して、yumでインストール可能 まず、yumリポジトリに追加 詳細はこちら(CentOS and Fedora Packages - MongoDB) $ sudo vi /etc/yum.repos.d/Mo…
10gen - MongoDB Presentations - Backup Strategies: Keeping Your Data Safe 一般的にMongoDBで使われるバックアップツールや機能としては mongodumpでダンプ mongoexport でエクポート バイナリデータファイル 冗長化(Replica sets) Oplog あたり、と。 m…
10gen - MongoDB Presentations - MongoSF 2012: MongoDB and Hadoop MongoDBのMapReduceと、HadoopのMapReduceを紹介し、mongo-hadoop を使ってHadoop StreamingでM/RしたものをMongoDBにロードするETLのパターンを紹介している。 MongoDB, Hadoop and Humo…
10gen - MongoDB Presentations - High Availability with MongoDB for Fun and Profit Master(Primary) １台、Slave(Secondary)２台のReplica Setを起動して、クラッシュさせるデモのプレゼン。 High Availability with MongoDB for Fun and Profit View mo…
DynamoDBのベストプラクティス的なパターン High Scalability - High Scalability - DynamoDB Talk Notes and the SSD Hot S3 Cold Pattern ＝＝＝＝ Amazon DynamoDB for Developersトークに参加する前の、DynamoDBに対する印象は、シンプル・速い・スケー…
DynamoDBにも、他のサービス同様に上限（ソフトリミット）がある。 http://docs.amazonwebservices.com/amazondynamodb/latest/developerguide/Limits.html table_limit_writes テーブルのキャパシティ Write 10,000 table_limit_reads テーブルのキャパシテ…
NoSQL Data Modeling Techniques « Highly Scalable Blog http://highlyscalable.wordpress.com/2012/03/01/nosql-data-modeling-techniques/ 訳：https://gist.github.com/2396234
An Introduction to NoSQL Patterns | Architects Zone これはひと通り俯瞰できますな。 API モデル マシンレイアウト データパーティション(コンシステントハッシング） データレプリケーション メンバーシップ クライアントコンシステンシ マスタスレーブ…
Deciding Between NoSQL and RDMS | Architects Zone NoSQLを使うべきシチュエーションが面白いｗｗ ２カラムで、XMLぶっこむような使い方は間違ってるｗｗ ＝＝＝＝ 単純なKey/Valueペアを保存している場合。RDBMSのあるテーブルにキーとCLOBの２カラムしか…
ACID vs. BASE: The Shifting pH of Database Transaction Processing | Articles | DATAVERSITY http://www.dataversity.net/archives/9488 ==== 化学において、pHは水溶性の液体aqueousの塩基度(basicity)と酸性度(acidity)の関係を計測する方法である。pH…
Evernote: NoSQL? Not Now, Thanks! We're Good === 大きなサービスはNoSQLに依存しているか？10億近いノートと約20億のリソースファイルを持つEvernote は、NoSQLとビッグデータの楽隊車に飛び乗る準備をすべきだろうか？それは早急だ、とEvernoteのCTO Dav…
NetFlixのAdrian Cockroftの記事。 http://perfcap.blogspot.com/2012/01/thoughts-on-simpledb-dynamodb-and.html ==== DynamoDBについて多くの質問をもらったが、それらは個人的な思考であり、クラウドアーキテクチャにどうフィットするか？というものであ…
http://docs.amazonwebservices.com/amazondynamodb/latest/developerguide/GettingStartedBeforeYouBegin.html まずは、AWS SDK for PHPをセットアップ 注意: 以下、AWS SDK for PHP 1.x の説明。 2013.10時点では2.xなので、気休め程度に。( SDK for PHP1.…
http://aws.amazon.com/jp/dynamodb/#whentousedynamodb いつDynamoDBを使うべきか？いつRDBを使うべきか？ 最近のwebベースアプリケーションは大量のデータを生成・消費する。例えば、オンラインゲームをスタートするときは数千ユーザで軽いデータベース負…
http://aws.amazon.com/jp/dynamodb/#details Amazon DynamoDBはテーブル内のデータを、アイテムの集合として保持する。各アイテムは１つ以上の属性を持つ。 属性 ( Attributes ) 属性は、名前/値のペアとなる。名前は文字列の必要があるが、値は文字列、数…
http://aws.amazon.com/jp/dynamodb/ Amazon DynamoDBは Amazon Elastic MapReduce (Amazon EMR)とも統合できる。Amazon EMRは、AWS上にホストされているHadoopフレームワークを従量課金で使って、ビジネスにおける大きなデータ集合に対して複雑な分析を行う…
http://aws.amazon.com/jp/dynamodb/#access_model_api_overview 主キー ( Primary Key) DynamoDBは、データにアクセスするためにテーブル毎に主キーの定義が必須である。主キーは各アイテムを一意に識別する。主キーはテーブルの一部であり、索引化されてい…
