aws memo

AWS関連の備忘録 (※本ブログの内容は個人的見解であり、所属組織及び企業の意見を代弁するものではありません。1年以上古いエントリは疑ってかかってください)

S3

EC2: GlusterFS in AWS

GlusterFS on AWSといえば、 #ヤマン のスライドですね。(後述) こちらの記事では、実際の設定手順等が書かれてある。 GlusterFS in AWS | Celingest Blog – Feel the Cloud ---以下、拾い訳-- 事前の考慮点 アベイラビリティゾーン(AZ)を跨いだ2台のサーバ…

S3: バケットポリシーで特定のアカウントに対して参照可能にする

S3の利用方法としては静的Webサーバが便利で良く使われている。この場合、アクセス制御は基本的に全開にすることが多い。 一方、EMRの入出力で使用するバケットは、httpアクセスすることは少なく、特定のアカウントからのS3 APIでのアクセスのみ、というケー…

S3: S3のURL

S3のWebサイトホスティング機能にリダイレクト機能が加わった。 リダイレクトさせたいオブジェクトのメタデータとして、Website Redirect Locationを設定すればOK. ただし、URLは、S3のAPI URL (endpoint)ではなく、Website endpointを指定しないとリダイレ…

S3: Windowsからマウントして使う

いろいろあるので取り敢えず列挙。(そのうち感想を追記するかも) TntDrive Gradinet Eugrid 気になるのは、NTFSとかちゃんと出来るのか、オフライン時の挙動はどうなるのか?などなど。 てことで、本格的に使うなら、S3対応NASとかStorage Gatewayとかを使…

S3: Amazon Linuxにs3cmdをインストールしてコマンドラインでS3を操作する

S3は、まずは Management ConsoleやCloud Berry Explorer、CyberDuckといったGUIツールから使うか、 AWS SDK for PHP, Java, Ruby, .NET といったAPI経由で使うことが多い。(参考:S3の関連ツール・ライブラリ等 - aws memo ) バックアップ処理など、cronな…

EMR: EMRで集計してiOSで可視化する手順

Using AWS Elastic MapReduce Results with Mobile BI Analytics | Architects Zone EMRの解析結果を、Roambi Analyticsという iOS向け BI 可視化ツールのクラウドサービスに食わせて、そちらで見る手順。 Roambi は、無料のLite(CSV, Excel, html対応)、Pr…

EC2: PostgreSQLをS3にバックアップする

heroku/WAL-E という、HerokuがOSS化したPython製のツール。 バックアップ、およびWALをS3に保存(Push)したり、取得(fetch)したりするものらしい。 通常、EBSのスナップショットでフルバックアップを取得できても、次回のスナップショット取得までの期間のデ…

S3: S3のアクセスログ

S3には、Server Access Loggingという機能がある。バケツ単位で設定して、有効化しているバケツのオブジェクトにアクセスした場合、指定した別のバケツにアクセスログが保存される。(デフォルトは無効) アクセスログのフォーマットはこちら。 この機能、現…

S3: 課金の算出とタイミング

S3やEBSの単価は 1GB/month でいくら、となっている。 では、計算をどうやっているか? Q: Amazon S3 を利用すると、どのようにして課金され、請求されますか? http://aws.amazon.com/jp/s3/faqs/#How_will_I_be_charged_and_billed_for_my_use_of_Amazon_S…

訳:DynamoDB:SSD Hot S3 Cold パターン

DynamoDBのベストプラクティス的なパターン High Scalability - High Scalability - DynamoDB Talk Notes and the SSD Hot S3 Cold Pattern ==== Amazon DynamoDB for Developersトークに参加する前の、DynamoDBに対する印象は、シンプル・速い・スケー…

S3: PHPで バケツの一覧を取得する

Amazon LinuxへのPHPとAWS SDK for PHPのセットアップ $ sudo yum install php php-pear php-xml $ sudo pear channel-discover pear.amazonwebservices.com $ sudo pear instlal aws/sdk 一覧のコード <?php error_reporting(E_ALL); require_once '/usr/s…

EC2: S3に画像アップロードするPHPサンプルを作る

Amazon Linux 64bit インスタンス起動 パッケージ追加 $ sudo yum install php httpd mysql mysql-server php-mysql php-pear php-xml AWS SDK for PHPインストール $ sudo pear channel-discover pear.amazonwebservices.com $ sudo pear install aws/sdk …

EC2: Linuxのバックアップとリカバリ

Backup and Recovery for Linux With Amazon S3 View more presentations from Amazon Web Services ちなみに、DR関連の資料 S3を使用したOracle Secure Backup S3を使用したOracle RMAN backup 最新クラウドDRプレゼン資料

CF : アクセス制限をつけてCDN配信する方法

CDPのパターンがある。 CDP:Private Cache Distributionパターン - AWS-CloudDesignPattern アバウトな手順は 0.S3のバケットに対して、 CFからしかアクセス受けないような設定をしておく →CFのAPI叩いて設定必要 1.Webサーバ(EC2)等で特定のユーザ向けに、 …

S3: 静的サイトのホスティング例(www.ec2instances.info)

http://www.ec2instances.info/ という、EC2インスタンスのコスト・スペック比較をするサイトが便利そう。 https://github.com/powdahound/ec2instances.info にソースもある。 で、面白いのが、これがS3のWeb Hosting機能で公開されいて、EC2をつかっていな…

S3: FTP経由でS3にファイルアップロード

こういう製品があるぽい。フロントがJavaで実装されたFTPプロセス Download and Install Alfresco - alfrescowiki ほか、こういうの :: Navitas :: こういうの SMEStorage :: CloudFTP: FTP over any Cloud ちなみに、こんなサービスが!こういうのはいいで…

訳:Amazon DynamoDB : Amazon Elastic MapReduceとの統合

http://aws.amazon.com/jp/dynamodb/ Amazon DynamoDBは Amazon Elastic MapReduce (Amazon EMR)とも統合できる。Amazon EMRは、AWS上にホストされているHadoopフレームワークを従量課金で使って、ビジネスにおける大きなデータ集合に対して複雑な分析を行う…

S3の関連ツール・ライブラリ等

とりあえず S3QL http://sourceforge.jp/projects/freshmeat_s3ql/ http://code.google.com/p/s3ql/ s3bakcer http://code.google.com/p/s3backer/ s3fs http://code.google.com/p/s3fs/ s3Sync http://s3sync.net/wiki s3cmd http://s3tools.org/s3cmd Clou…