aws memo

AWS関連の備忘録 (※本ブログの内容は個人的見解であり、所属組織及び企業の意見を代弁するものではありません。1年以上古いエントリは疑ってかかってください)

RDS

RDS: MySQL5.6 のDelayed Replication

RDS MySQLではデフォルトユーザにSUPER権限が付与されていない。5.6のReadReplica ( MySQL Slave)でも同様なので、レプリケーション周りの新機能が使えないことが多い。 MySQL 5.6では、Delayed Replication (遅延レプリケーション) 機能が追加されている My…

RDS: MySQL5.6 のbinlogアクセス権限

RDS MySQLで、5.6のエンジンがサポートされた。 Amazon Web Services ブログ: 【AWS発表】 Amazon RDSがMySQL 5.6をサポート! そのなかで バイナリログアクセス - バイナリログを付属のmysqlbinlogツールを使って、ダウンロードしたりストリームすることがで…

RDS: MySQL 5.1 -> 5.5 メジャーバージョンアップ機能の挙動

Amazon Web Services ブログ: 【AWS発表】 Amazon RDS - MySQLのメジャーバージョンアップグレード機能を追加 ということで、早速動作確認のため、 MySQL 5.1なRDS( db.t1.micro, 5GB) を起動し、Modifyで5.5へ変更。 DB Eventsとしては以下のとおり。 TimeS…

RDS: Provisioned IOPS (PIOPS)の性能について覚書き

EBSでのProvisioned IOPS (以下 PIOPS) が出て、しばらくして RDSでも PIOPSに対応した。その後、RDSのIOPS上限が10,000から30,000に引き上げられた。 Amazon Web Services ブログ: 【AWS発表】Amazon RDS がスケールアップ! 3 TB、30,000 PIOPSまで拡張可能…

RDS: MySQLのログを取得する

RDSのログファイルを取得出来るようになった Amazon Web Services ブログ: 【AWS発表】Amazon RDS - より簡単にログファイルにアクセス可能に ということで、RDS( MySQL )のログを取得する手順。 注意点として、RDS(MySQL)では4種類のログ(エラーログ、エラ…

EC2: RDS: Amazon LinuxでRDSのCLIを使う

Amazon Linuxにはデフォルトで各種CLIツールがインストールされている。 また、インスタンス起動時にIAM Roleを設定していれば、EC2などのAIM Roleに対応しているCLIツールは認証設定をせずに実行可能になる。 RDS CLIはIAM Role未対応なので、以下の様な手…

RDS: MySQLにSSL接続する

RDSではSSL通信が有効になっている( SSL Support) ので、こちらで接続してみる。 まずは、RDSに通常の方法でログインして、状態確認 $ mysql -utest -ptest -h aa.bb.ap-northeast-1.rds.amazonaws.com mysql> show status like 'ssl_cipher'; +------------…

訳: AWSで高可用性を実現するベストプラクティス

AWS Cloud Best Practice: Introduction to High Availability Deployment | Newvem AWSのアーキテクチャセンターにも図があるが、解説が少ないので、このシナリオ・ステップは参考になるだろう。 しかし、インフラがRoute53でリージョン間冗長性を考えるグ…

EC2: PostgreSQLをS3にバックアップする

heroku/WAL-E という、HerokuがOSS化したPython製のツール。 バックアップ、およびWALをS3に保存(Push)したり、取得(fetch)したりするものらしい。 通常、EBSのスナップショットでフルバックアップを取得できても、次回のスナップショット取得までの期間のデ…

AWS : Reserved Instanceの購入と支払い

Reserved Instanceは、最初に予約金( upfront )を支払うことで、キャパシティを確保(予約)して必ずインスタンスを起動することができる。また、副次的に従量課金の単価が安くなる。 upfrontの請求タイミングは購入時点となるので、通常の課金が月末締めで請…

RDS: MySQLの管理者向けTips

RDSは、DBのroot権限をもらえないので、色々とRDS独自の代替手段(プロシージャ)が用意されている。 このあたりは要チェック。 Appendix: Common DBA Tasks for MySQL - Amazon Relational Database Service めぼしいものをピックアップ Slow Log ローテーシ…

EC2: AWSからメールがくるケース

通常は関係ないが、稀にAWSから通知メールが来るケースがある(しかも英語) よくあるメールの件名とその内容、および対策をメモ。 Amazon EC2 Maintenance - Network Connectivity Impact ネットワーク保守作業するから指定の時間帯ネットワーク切れるかも…

RDS: Oracle RDSのOEM等

Oracle RDSで、OEM( Oracle Enterprise Manager 11g Database Control )が使えるようになった。 Amazon RDS for Oracle DatabaseでOracle Enterprise Manager (OEM) を利用可能に! - Amazon Web Services ブログ OEMの機能については、こちらのPDFの"DC"の…

バックグラウンドで5億レコードをMySQLにロードする

Percona使うとかmy.cnf書き換え以外で、RDSでも使える部分があるか。 derwiki - Loading half a billion rows into MySQL ポイントはこのへん 外部キーチェック、ユニークチェックを無効にしておく 分離レベルを、READ-UNCOMMITTEDにしておく binlogを出さな…

RDS: MySQLの負荷対策テクニック

Load Management Techniques for MySQL | SQL Zone RDSでも参考になるとこはあるな。 ==== 並行処理しすぎるな(同時接続数を絞れ) 一度に処理するデータを絞れ CRONを調整しろ バッチ専用のSlaveを用意しろ innodb_old_blocks_time

訳:NoSQLとRDBMSの選択

Deciding Between NoSQL and RDMS | Architects Zone NoSQLを使うべきシチュエーションが面白いww 2カラムで、XMLぶっこむような使い方は間違ってるww ==== 単純なKey/Valueペアを保存している場合。RDBMSのあるテーブルにキーとCLOBの2カラムしか…

訳:ACID vs BASE

ACID vs. BASE: The Shifting pH of Database Transaction Processing | Articles | DATAVERSITY http://www.dataversity.net/archives/9488 ==== 化学において、pHは水溶性の液体aqueousの塩基度(basicity)と酸性度(acidity)の関係を計測する方法である。pH…

RDS: RDS OracleとOn-Premise Oracleの比較

というかRDSできなくてOn-Premiseできること一覧。(2012/2/29時点) RAC/RAC One Node ASM ** EBS does its own mirroring/striping DataGuard/ADG Flashback DB ** Equivalent functionality supported by restore to point in time In-memory DB Advanced S…

RDS : Storage容量の内訳について

RDSは、起動時および停止中にストレージサイズを変更可能。 ストレージの空き状況も、CloudWatchのFreeStorageSpaceで確認可能。 では、Storageには何がはいっているのか? https://forums.aws.amazon.com/thread.jspa?threadID=75508 The storage space use…

訳:Amazon DynamoDB : いつDynamoDBを使うべきか?

http://aws.amazon.com/jp/dynamodb/#whentousedynamodb いつDynamoDBを使うべきか?いつRDBを使うべきか? 最近のwebベースアプリケーションは大量のデータを生成・消費する。例えば、オンラインゲームをスタートするときは数千ユーザで軽いデータベース負…

AWSデモ チートシート

1. インスタンス起動 (セキュリティグループは default) 2. インスタンス起動待ちの間にRDS起動 small, 100G, samurai: samurai/samurai 3.インスタンスにSSH接続 $ sudo yum install httpd php mysql php-mysql $ sudo service httpd start $ sudo chmod 77…