いつまであるかわからないけど。。。 Search Technologies, Wikipedia / Amazon CloudSearch Demo 仕組みの解説 http://www.searchtechnologies.com/wikipedia-cloudsearch-lab.html Aspireというコンテンツ処理プラットフォーム経由でWikipediaのダンプファ…

AWSが出しているホワイトペーパーのうち、DB関連のものにいろいろ書いてあるので、拾い読みするとよい。 MongoDB on AWS (PDF) RDBMS in the Cloud: Microsoft SQL Server 2008 R2 (PDF) EBSによるRAID構成やら、ファイルシステムやら、スナップショットやら…

Amazon Web Services’s slideshows on SlideShare 暇があったら見る。

Cassandraの場合 Behind The Blog » Using WordPress with Cassandra or other NoSQL databases? MongoDBの場合 MongoPress - The MongoDB CMS - High-Performance NoSQL Web Management DynamoDBを使ったDynamoPressはよ WordPress › Support » Suggestion:…

うまい組み合わせだ。 cloudviz ：CloudWatchをデータ・ソースとして埋め込み可能なグラフを作成するのOSS。EC2とCloudWatchのAPIを使って取得したデータを、Google Interactive Charts(の Visualization API)を使ってグラフ作成する。Googleのデータソース…

クラウドにレンダリングファームを作るという事例。 AutoDeskは、AWSのソリューションプロバイダであり、Autodesk®360 というクラウドサービスを提供していて、PLM( Product Lifecycle Management)と BIM(Building Information Modeling)が使える。これがAWS…

2012.05.31に、Hive 0.8.1 がAmazon EMRで動作するようになった。 AWS Developer Forums: Support for Hive 0.8.1 １ヶ月半前の2012.04.10にHive 0.7.1.4とPig0.9.2に対応したのでペース速い。 詳細はこちら。 http://docs.amazonwebservices.com/ElasticMap…

EC2の機能として、インスタンス作成時にUser Dataとしてパラメータ を渡すことで、起動時に cloud-initが動作する。 これを使って、インスタンス作成時に動的にGitからコンテンツを取得・デプロイすることが可能。 本格的にDevOpsやるなら、PuppetやChefを導…

Amazon LinuxはRPMのバイナリがCentOSやRedHatと互換なので、そのままyumのリポジトリに10genのリポジトリを追加して、yumでインストール可能 まず、yumリポジトリに追加 詳細はこちら(CentOS and Fedora Packages - MongoDB) $ sudo vi /etc/yum.repos.d/Mo…

S3やEBSの単価は 1GB/month でいくら、となっている。 では、計算をどうやっているか？ Q: Amazon S3 を利用すると、どのようにして課金され、請求されますか？ http://aws.amazon.com/jp/s3/faqs/#How_will_I_be_charged_and_billed_for_my_use_of_Amazon_S…

10gen - MongoDB Presentations - Backup Strategies: Keeping Your Data Safe 一般的にMongoDBで使われるバックアップツールや機能としては mongodumpでダンプ mongoexport でエクポート バイナリデータファイル 冗長化(Replica sets) Oplog あたり、と。 m…

10gen - MongoDB Presentations - MongoSF 2012: MongoDB and Hadoop MongoDBのMapReduceと、HadoopのMapReduceを紹介し、mongo-hadoop を使ってHadoop StreamingでM/RしたものをMongoDBにロードするETLのパターンを紹介している。 MongoDB, Hadoop and Humo…

10gen - MongoDB Presentations - High Availability with MongoDB for Fun and Profit Master(Primary) １台、Slave(Secondary)２台のReplica Setを起動して、クラッシュさせるデモのプレゼン。 High Availability with MongoDB for Fun and Profit View mo…

DynamoDBのベストプラクティス的なパターン High Scalability - High Scalability - DynamoDB Talk Notes and the SSD Hot S3 Cold Pattern ＝＝＝＝ Amazon DynamoDB for Developersトークに参加する前の、DynamoDBに対する印象は、シンプル・速い・スケー…

CloudFrontのフォーラムの、Forum Announceに載っている。 AWS Developer Forums: Amazon CloudFront Public IP Ranges によると、2012/3/11時点では、以下のレンジが使われるらしい。 54.240.128.0/18 204.246.164.0/22 204.246.168.0/22 204.246.174.0/23 …

まずは、Supervisordのスクラップ Supervisord 本家 PHP+Kestrel+Supervisorでお手軽タスクキューイング : アシアルブログ スーパーサーバーSupervisorの導入手順メモ - Glide Note - グライドノート Supervisord を Amazon Linux AMI にインストール - mass…

SQS等のキューを介して非同期に処理を行う Queue Chain パターンを実装する場合、SQSに突っ込む処理はWebアプリ等の処理中に書けばよいので特に考えることはないが、SQSからメッセージを抜いて後続の非同期処理を実行するワーカープロセスをどのように起動管…

という記事。 SmugMug’s Sexy New Search « The SmugMug Blog 検索ページはこちら。 左カラムに、ジャンルのファセットリンクがあるし、絞込みのリンクも出てくる。 検索結果をスクロールするとエンドレスに写真が湧き出てくるデザイン。 ちなみに、フロント…

cg1.4xlargeは、cc1.4xlargeにGPUとして NVIDIA Tesla M2050 "Fermi" が2個刺さっている、という認識だったので、利用可能メモリもcc1.4xlargeと同じ23GiBだという認識だった。 http://docs.amazonwebservices.com/AWSEC2/latest/UserGuide/using_cluster_co…

特にどうってこと無いんですが。1年モノのcc2.8xlargeのRI(Reserved Instance)の利用度合いと費用についてグラフ化。 http://aws.amazon.com/jp/ec2/pricing/ 縦軸はドル。横軸は累積の利用時間割合。1年(24h x 365d)で100%の計算。 つまり、1年のうち10数%…

CC2では、インスタンスディスクが3360GiB( 4 x 840GiB)が使えるが、EBSバックドなHVM AMIをマネジメントコンソールから起動した場合、インスタンスディスク（ローカルディスク、エフェメラルディスク）は無効になっている。計算中の中間ファイルを書き込んだ…

DynamoDBにも、他のサービス同様に上限（ソフトリミット）がある。 http://docs.amazonwebservices.com/amazondynamodb/latest/developerguide/Limits.html table_limit_writes テーブルのキャパシティ Write 10,000 table_limit_reads テーブルのキャパシテ…

Placement Groupのメモ。とはいえ、実際に計測すべきです！！ ＝＝ネットワーク関連＝＝＝＝＝＝＝ 同一のPlacement Groupに属しているHPCインスタンス間の通信は、10Gbpsフルバイセクション、Jumbo frame、かつノンブロッキングが可能。 異なるPlacement Gr…

XFSはRHELの標準になっているext系に比べて性能面で優れていることが多く、DB等が使うボリュームのファイルシステムに使うことが多い気がする。xfsのパッケージはRHELに標準で入っておらず、yumリポジトリにも無いのでyumでは入らない。xfsprogsのrpmをここ…

AWS SDK for PHPには、DynamoDBSessionHandlerというセッションを管理するクラスがあるので、比較的楽に導入が可能。 Amazon Linuxでの環境設定 パッケージインストール(DynamoDBアクセス用のCacheとしてAPCも入れる) $ sudo yum install php php-pear php-x…

Amazon LinuxへのPHPとAWS SDK for PHPのセットアップ $ sudo yum install php php-pear php-xml $ sudo pear channel-discover pear.amazonwebservices.com $ sudo pear instlal aws/sdk 一覧のコード ＜?php error_reporting(E_ALL); require_once '/usr/s…

現状では1台のEC2に大量のグローバルIPを振れないため、一工夫が必要。 Brightbox - New - Cloud IP Port Translation だと、ELBをSSL毎に立てて、バックエンドを1台のEC2に向ける。Management Consoleだと複数のELBが1台のEC2をバックエンドにすることはで…

NoSQL Data Modeling Techniques « Highly Scalable Blog http://highlyscalable.wordpress.com/2012/03/01/nosql-data-modeling-techniques/ 訳：https://gist.github.com/2396234

Amazon Linux 64bit インスタンス起動 パッケージ追加 $ sudo yum install php httpd mysql mysql-server php-mysql php-pear php-xml AWS SDK for PHPインストール $ sudo pear channel-discover pear.amazonwebservices.com $ sudo pear install aws/sdk …

An Introduction to NoSQL Patterns | Architects Zone これはひと通り俯瞰できますな。 API モデル マシンレイアウト データパーティション(コンシステントハッシング） データレプリケーション メンバーシップ クライアントコンシステンシ マスタスレーブ…