2012-05-01から1ヶ月間の記事一覧
2012.05.31に、Hive 0.8.1 がAmazon EMRで動作するようになった。 AWS Developer Forums: Support for Hive 0.8.1 １ヶ月半前の2012.04.10にHive 0.7.1.4とPig0.9.2に対応したのでペース速い。 詳細はこちら。 http://docs.amazonwebservices.com/ElasticMap…
EC2の機能として、インスタンス作成時にUser Dataとしてパラメータ を渡すことで、起動時に cloud-initが動作する。 これを使って、インスタンス作成時に動的にGitからコンテンツを取得・デプロイすることが可能。 本格的にDevOpsやるなら、PuppetやChefを導…
Amazon LinuxはRPMのバイナリがCentOSやRedHatと互換なので、そのままyumのリポジトリに10genのリポジトリを追加して、yumでインストール可能 まず、yumリポジトリに追加 詳細はこちら(CentOS and Fedora Packages - MongoDB) $ sudo vi /etc/yum.repos.d/Mo…
S3やEBSの単価は 1GB/month でいくら、となっている。 では、計算をどうやっているか？ Q: Amazon S3 を利用すると、どのようにして課金され、請求されますか？ http://aws.amazon.com/jp/s3/faqs/#How_will_I_be_charged_and_billed_for_my_use_of_Amazon_S…
10gen - MongoDB Presentations - Backup Strategies: Keeping Your Data Safe 一般的にMongoDBで使われるバックアップツールや機能としては mongodumpでダンプ mongoexport でエクポート バイナリデータファイル 冗長化(Replica sets) Oplog あたり、と。 m…
10gen - MongoDB Presentations - MongoSF 2012: MongoDB and Hadoop MongoDBのMapReduceと、HadoopのMapReduceを紹介し、mongo-hadoop を使ってHadoop StreamingでM/RしたものをMongoDBにロードするETLのパターンを紹介している。 MongoDB, Hadoop and Humo…
10gen - MongoDB Presentations - High Availability with MongoDB for Fun and Profit Master(Primary) １台、Slave(Secondary)２台のReplica Setを起動して、クラッシュさせるデモのプレゼン。 High Availability with MongoDB for Fun and Profit View mo…
DynamoDBのベストプラクティス的なパターン High Scalability - High Scalability - DynamoDB Talk Notes and the SSD Hot S3 Cold Pattern ＝＝＝＝ Amazon DynamoDB for Developersトークに参加する前の、DynamoDBに対する印象は、シンプル・速い・スケー…
CloudFrontのフォーラムの、Forum Announceに載っている。 AWS Developer Forums: Amazon CloudFront Public IP Ranges によると、2012/3/11時点では、以下のレンジが使われるらしい。 54.240.128.0/18 204.246.164.0/22 204.246.168.0/22 204.246.174.0/23 …
まずは、Supervisordのスクラップ Supervisord 本家 PHP+Kestrel+Supervisorでお手軽タスクキューイング : アシアルブログ スーパーサーバーSupervisorの導入手順メモ - Glide Note - グライドノート Supervisord を Amazon Linux AMI にインストール - mass…
SQS等のキューを介して非同期に処理を行う Queue Chain パターンを実装する場合、SQSに突っ込む処理はWebアプリ等の処理中に書けばよいので特に考えることはないが、SQSからメッセージを抜いて後続の非同期処理を実行するワーカープロセスをどのように起動管…
という記事。 SmugMug’s Sexy New Search « The SmugMug Blog 検索ページはこちら。 左カラムに、ジャンルのファセットリンクがあるし、絞込みのリンクも出てくる。 検索結果をスクロールするとエンドレスに写真が湧き出てくるデザイン。 ちなみに、フロント…
cg1.4xlargeは、cc1.4xlargeにGPUとして NVIDIA Tesla M2050 "Fermi" が2個刺さっている、という認識だったので、利用可能メモリもcc1.4xlargeと同じ23GiBだという認識だった。 http://docs.amazonwebservices.com/AWSEC2/latest/UserGuide/using_cluster_co…
特にどうってこと無いんですが。1年モノのcc2.8xlargeのRI(Reserved Instance)の利用度合いと費用についてグラフ化。 http://aws.amazon.com/jp/ec2/pricing/ 縦軸はドル。横軸は累積の利用時間割合。1年(24h x 365d)で100%の計算。 つまり、1年のうち10数%…
CC2では、インスタンスディスクが3360GiB( 4 x 840GiB)が使えるが、EBSバックドなHVM AMIをマネジメントコンソールから起動した場合、インスタンスディスク（ローカルディスク、エフェメラルディスク）は無効になっている。計算中の中間ファイルを書き込んだ…
DynamoDBにも、他のサービス同様に上限（ソフトリミット）がある。 http://docs.amazonwebservices.com/amazondynamodb/latest/developerguide/Limits.html table_limit_writes テーブルのキャパシティ Write 10,000 table_limit_reads テーブルのキャパシテ…
Placement Groupのメモ。とはいえ、実際に計測すべきです！！ ＝＝ネットワーク関連＝＝＝＝＝＝＝ 同一のPlacement Groupに属しているHPCインスタンス間の通信は、10Gbpsフルバイセクション、Jumbo frame、かつノンブロッキングが可能。 異なるPlacement Gr…
XFSはRHELの標準になっているext系に比べて性能面で優れていることが多く、DB等が使うボリュームのファイルシステムに使うことが多い気がする。xfsのパッケージはRHELに標準で入っておらず、yumリポジトリにも無いのでyumでは入らない。xfsprogsのrpmをここ…
