aws memo

AWS関連の備忘録 (※本ブログの内容は個人的見解であり、所属組織及び企業の意見を代弁するものではありません。1年以上古いエントリは疑ってかかってください)

AWS CLIで Scheduled Reserved Instanceを起動する

前提1:事前にScheduled Reserved Instanceを購入済みで、scheduled instance idが有効であること 前提2:購入したScheduled Reserved Instanceで指定した時間帯であること まずはlaunch-specification.jsonを作成する 例 launch specification json for RunSc…

EMRがHIPAA対応

HIPAAとは?という方はこちらを参照。 HIPAA と AWS - アマゾン ウェブ サービスでのヘルスケア | アマゾン ウェブ サービス(AWS 日本語) 2015年7月29日に、HIPAA on AWSホワイトペーパーが更新された。 Updated HIPAA Whitepaper Now Available - AWS Sec…

AWS MarketplaceでのICEL (Intel Cloud Edition for Lustre* ) メモ

Intelが提供している分散並列ファイルシステム ICELは、AWS MarketplaceからCloudformationで簡単に起動し利用することができます。 Intel Cloud Edition for Lustre on Amazon Web Services - HPDD Community Space - HPDD Community Wiki 今まで(Software…

CentOS6.7 AMI公開

RHEL6.7, CentOS6.7がリリースされた。 Red Hat Enterprise Linux 6.7 Release Notes Manuals/ReleaseNotes/CentOS6.7/Japanese - CentOS Wiki CentOSはVM Import で持ち込んだAMIを公開(利用は自己責任で) AMI Tokyo Oregon Virginia CentOS6.7HVM ami-b644…

Spot Fleetで複数AZ指定ができるようになった

ので、メモ。 Spot fleet launches Spot instances in the lowest priced Availability Zone 本日(2015年7月24日)からSpotフリートの機能にて、spot fleet launch specificationで指定した複数のVPCサブネットもしくはAZの中で最も安いAZにSpotインスタンス…

連続するIPアドレスで複数台のインスタンスを起動する〜追加EBSも添えて〜

EC2

172.16.11.101〜 17216.11.120 まで、連続したIPアドレス群でインスタンス起動したいとうような事があります(hostsファイル必要なアレとか)。一緒にEBSをががっと付けたい時もあります。CLIでやった時のメモ。 まずはEBS構成。Block Device Mappingを指定し…

RHEL6.7 AMIがデフォルトでSR-IOV対応した

RHEL6.7 AMIが公開されました。 RHEL6.7のリリースノートはこちら↓ 6.7 リリースノートaccess.redhat.com Amazon Linuxと同じようにSR-IOVがデフォルトでOnとなっていて、 SR-IOV対応インスタンスタイプ(C4/C3/D2/I2/M4/R3)だと、何も気にせずに拡張ネットワ…

RHEL6 AMIでブート領域を拡張する

背景 RHEL6系のAMIからEC2を起動する際にブート用EBSのサイズを大きくしても、OSからは認識されない。(Amazon Linuxは起動時に自動的にサイズを合わせてくれる) 考察 パーティションがGPTになっている。かつ、起動時に対応してくれるようなスクリプトがAMIに…

C4.8xlarge対応 HVM AMI ( SR-IOVも対応)

2015/8/15 CentOS6.7, RHEL6.7が出ているので、こちらのAMIは公開を取りやめます。 ーーー C4.8xlargeでも起動するRHEL6.6とCentOS6.6を公開。 (もちろん、それ以外のHVM対応インスタンスタイプでも起動する。) 簡単な内容 (作成方法は別エントリ) カーネル …

RHEL7.0, 6.5でタイムゾーン設定

忘れないようにメモ。 こちらも参考に 実践でも役立つLPICドリル(8):Linux時刻管理の仕組みと設定 (1/4) - @IT RHEL6.5 HVM AMI (RHEL-6.5_HVM_GA-x86_64-7-HVM-Hourly2 - ami-53641e52 Tokyo Region)の場合 $ ls -l /etc/localtime -rw-r--r--. 1 root …

t2.microでNATインスタンスを作る

2015/12/18追記 マネージドNATが出たので、わざわざNATを建てずにこちらをまず検討すると良いと思う。 Amazon Web Services ブログ: 【新機能】マネージドNATゲートウェイが利用可能に ーーー t2.microでNATインスタンスを建てようとするも、NAT用AMIは PVし…

SESの 送信クオータについて

SESチームのブログが出ていた。 All about SES daily quota - Amazon SES Blog 項目だけメモ。 なぜ送信クオータがあるのか? どのようにして自分のクオータを確認するのか? クオータとTPS制限に関係はあるのか? いつクオータはリセットされるのか? クオ…

VM ImportしたCentOS6.5のAMIを作る前の手順

VM Importで持ってきたCentOS5.6のインスタンスからそのままAMIを作成してもよいが、いくつかEC2ぽくない部分があるので、AMI作成前にこれらを施す。 key pairのpublickeyデプロイスクリプトを仕込む rootパスワードを起動時にランダム生成・セットするスク…

LVMなEBSを別インスタンスにアタッチして中身を見る

EC2インスタンスで、grubをいじったり、ドライバをいじったりしてrebootするとうまくいかない場合は、一旦インスタンスをstopし、/dev/sda1 にアタッチされているEBSをでタッチし、別インスタンスの/dev/sdf などにアタッチして、dmesgなどを確認することが…

CentOS6.5 HVM インスタンスを SR-IOV化する

2016.01.25 dkmsが抜けている手順のためカーネルアップデート後に正常に起動しないはずです。実際にはdkms化も加えてください。(参照) 2016.01.25 CentOS6.7, RHEL6.7はカーネルにSR-IOVドライバが入っていますのでわざわざ6.5でこのような面倒なことは避け…

CentOS6.5を VM ImportでEC2にインポートする

CentOS6.5を EC2にインポートする手順のメモ。 ( CentOS6.5 HVM AMI (SR-IOV対応) - aws memo の公開でやった手順のメモ) 準備 VirtualBoxをインストールしておく CentOS6.5 minimal CD のisoファイルをダウンロードしておく EC2 API Tools をセットアップし…

SR-IOV対応版CentOS6.5 HVM AMI 作成手順

SR-IOV対応版CentOS 5.6 HVM AMI を作ったので、その流れをメモ。 概要 VM Import/Export でHVM なインスタンスを作り、設定を行ってAMIを作るイメージ。 手順 オンプレミスで 仮想マシンとしてCentOS5.6をセットアップする VMImport の機能で仮想マシンを E…

CentOS6.5 HVM AMI (SR-IOV対応)

作ったので公開。 2015/1/14追記: C4対応のCentOS6.6を公開したので、そちらを使ってください C4.8xlarge対応 HVM AMI ( SR-IOVも対応) - aws memo ---- 簡単な内容 (作成方法は別エントリ) CentOS-6.5-x86_64-minimal.iso ベース( 2.6.32-431.11.2.el6.x86_…

DynamoDBやSQSといったAPIを高頻度に使うときに忘れずにセットしておきたいカーネルパラメータ

EC2

DynamoDB, SQSなどは、Linux内部から高頻度に HTTP APIを叩きに行くことになる。( Fluentdやら、memcachedやらも同じかも) 通常のLinuxのカーネルパラメータ設定で、本番環境や、負荷テスト環境に使うと、おそらくネットワーク障害のような状況に陥るはず。 …

Spotインスタンスで Private IPを指定して起動する

VPC内でspot requestする際、Management Consoleでは Private IP を指定する項目が無いため、指定したサブネット内の空きアドレスが自動で振られることになる。(正確には、サブネット内の空きアドレスの一つからENIが作られ割り振られる) コマンドラインで…

カスタムのRHEL 6.4 HVM AMIを作る時の注意点

C3で、RHEL 6.4 HVM AMIにSR-IOVドライバを入れる手順はこちら [HPC] C3.8xlarge のRHEL6.4 HVMで SR-IOVを有効にする - aws memo で、ドライバが入った状態のカスタムAMIを作っておきたいと思うのが人情。 この時、create image する前に2つ注意点。(2013年…

EC2の Top500 変遷まとめ

まとめてみた。 Flopsの向上はもちろんだが、年々、Efficiencyが上がっていることが読み取れる。特に、C3になってEnhanced NetworkとしてSR-IOVが使えるようになり、向上している。 cc1.4xlarge cc2.8xlarge c3.8xlarge cores 7,040 17.024 26,496 Linpak(Rm…

[HPC] C3.8xlarge のRHEL6.4 HVMで SR-IOVを有効にする

CC2 (Sandy Bridge) の後継 C3 (Ivy Bridge)が追加された。 詳しくはこちらを参考のこと。 Amazon Web Services ブログ: 【AWS発表】 新世代の数値計算向けEC2インスタンス HPCの観点から見ると、CC2.8xlarge の後継に当たるのは C3.8xlarge となる。 スベッ…

AWS CLIで Spot Instance の価格履歴を CloudWatchで見る

AWS

ということでこれ // Shell Script to bring EC2 SpotInstance Prices to CloudWatch. やっていることは単純で、 ・aws ec2 describe-spot-price-history でヒストリを取得して、 ・aws cloudwatch put-metric-data で、CloudWatchにputしているだけ。

AWS CLI で Route53のレコードを操作する

AWS CLI でRoute53を操作してみる。 ホストの追加や、切り替えをシステムから自動化したい場合などで使える。 参考 change-resource-record-sets — AWS CLI 1.2.0 documentation POST ChangeResourceRecordSets - Amazon Route 53 ゾーン一覧の取得 $ aws ro…

AWS CLIで上限を確認する

AWS

AWSには、各種の上限(ソフトリミット)があり、上限緩和申請で上限を上げることができる。 ※ 詳しくはこちら AWS: サービスの各種上限( softlimit) と上限緩和申請 - aws memo 上限緩和を申請した結果、自分のアカウントの上限が今いくつになっているか?を確…

AWS CLIでEC2を起動 (エフェメラルディスク付き)

AWS CLIで、 run-instances を実行する リファレンスはこちら: run-instances — AWS CLI 1.1.2 documentation RunInstances - Amazon Elastic Compute Cloud ポイントは、--block-device-mappings オプションの JSON記述。 $ aws ec2 run-instances \ --reg…

AWS CLIで VPCのDNS設定を操作する

VPC Defaultのタイミングで対応した、VPCのDNSホスト名、およびDNSの名前解決機能を、AWS CLIでOn/Offする。 Amazon Web Services ブログ: 【AWS発表】Amazon EC2 アップデート - 全ての皆様にVPC (Virtual Private Cloud)を! DNSホスト名のOn/Offを確認する…

AWS CLIで CloudFormationを操作する

CloudFormationのドキュメントで、コマンドラインのところでもすでに(2013.10.18現在) AWS CLIを使うようになっている ※敢えて古い api toolsを使い始めるならこちら( CloudFormaion apitoolsをAmazon Linuxで使う)を参照。 AWS CLIのセットアップ Amazon Li…

CloudFormation apitoolsをAmazon Linuxで使う

CloudFormationのコマンドラインツールをセットアップする。 # すでに AWS CLIが主流ですが、、、、 インストール インストールは大きく2つ。ダウンロードするか、Amazon Linuxなら楽にyumで。 AWS CloudFormation Command Line Tools : Developer Tools : …

RDS: MySQL5.6のプラグイン

RDS MySQL5.6と RDS MySQL5.5で、インストール済みプラグインを比べてみた 5.5 mysql> show plugins; +-----------------------+----------+--------------------+---------+---------+ | Name | Status | Type | Library | License | +--------------------…

RDS: MySQL5.6 のDelayed Replication

RDS MySQLではデフォルトユーザにSUPER権限が付与されていない。5.6のReadReplica ( MySQL Slave)でも同様なので、レプリケーション周りの新機能が使えないことが多い。 MySQL 5.6では、Delayed Replication (遅延レプリケーション) 機能が追加されている My…

RDS: MySQL5.6 のbinlogアクセス権限

RDS MySQLで、5.6のエンジンがサポートされた。 Amazon Web Services ブログ: 【AWS発表】 Amazon RDSがMySQL 5.6をサポート! そのなかで バイナリログアクセス - バイナリログを付属のmysqlbinlogツールを使って、ダウンロードしたりストリームすることがで…

RDS: MySQL 5.1 -> 5.5 メジャーバージョンアップ機能の挙動

Amazon Web Services ブログ: 【AWS発表】 Amazon RDS - MySQLのメジャーバージョンアップグレード機能を追加 ということで、早速動作確認のため、 MySQL 5.1なRDS( db.t1.micro, 5GB) を起動し、Modifyで5.5へ変更。 DB Eventsとしては以下のとおり。 TimeS…

EBS: Provisioned IOPSの性能・ベンチマーク

そのものずばりのページが、EC2のドキュメントにあるので、メモ。 Increasing EBS Performance - Amazon Elastic Compute Cloud 性能を出すには RAID0かRAID1+0 (RAID10) でストライピング 平均キューレングスをチェック EBSボリューム利用前にプリロード(※)…

AWS: JavaのDNSキャッシュ ( TTL )について

AWS

AWSのサービスではDNSを用いて可用性を向上する仕組みを用いている。 各種APIのエンドポイント RDSのエンドポイント ELBのエンドポイント ElastiCacheのエンドポイント CloudSearchのエンドポイント Redshiftのエンドポイント などなど。AWSが提供するエンド…

AWS: 管理系サービス (SaaS) まとめ

色々出てきているので、備忘を兼ねて。 コメントはメモ書き程度の感想なので、詳細は各ページを見に行く。気がついたら追加する予定。 定番。マルチクラウドの管理も可能。 こちらも定番。自動化とかが便利かも。 自動化、スケジュール、マルチクラウド、Che…

RDS: Provisioned IOPS (PIOPS)の性能について覚書き

EBSでのProvisioned IOPS (以下 PIOPS) が出て、しばらくして RDSでも PIOPSに対応した。その後、RDSのIOPS上限が10,000から30,000に引き上げられた。 Amazon Web Services ブログ: 【AWS発表】Amazon RDS がスケールアップ! 3 TB、30,000 PIOPSまで拡張可能…

RDS: MySQLのログを取得する

RDSのログファイルを取得出来るようになった Amazon Web Services ブログ: 【AWS発表】Amazon RDS - より簡単にログファイルにアクセス可能に ということで、RDS( MySQL )のログを取得する手順。 注意点として、RDS(MySQL)では4種類のログ(エラーログ、エラ…

EC2: RDS: Amazon LinuxでRDSのCLIを使う

Amazon Linuxにはデフォルトで各種CLIツールがインストールされている。 また、インスタンス起動時にIAM Roleを設定していれば、EC2などのAIM Roleに対応しているCLIツールは認証設定をせずに実行可能になる。 RDS CLIはIAM Role未対応なので、以下の様な手…

RDS: MySQLにSSL接続する

RDSではSSL通信が有効になっている( SSL Support) ので、こちらで接続してみる。 まずは、RDSに通常の方法でログインして、状態確認 $ mysql -utest -ptest -h aa.bb.ap-northeast-1.rds.amazonaws.com mysql> show status like 'ssl_cipher'; +------------…

AWS: サービスの各種上限( softlimit) と上限緩和申請

AWSのアカウントを作成した状態では、各種サービスの使用量に制限がかかっている(ソフトリミット) 例えば、EC2だとMax 20台しか起動できない、EIPは5個までしか確保できない、等。 一覧がこちら。 AWS Service Limits - Amazon Web Services General Refer…

EC2: GlusterFS in AWS

GlusterFS on AWSといえば、 #ヤマン のスライドですね。(後述) こちらの記事では、実際の設定手順等が書かれてある。 GlusterFS in AWS | Celingest Blog – Feel the Cloud ---以下、拾い訳-- 事前の考慮点 アベイラビリティゾーン(AZ)を跨いだ2台のサーバ…

S3: バケットポリシーで特定のアカウントに対して参照可能にする

S3の利用方法としては静的Webサーバが便利で良く使われている。この場合、アクセス制御は基本的に全開にすることが多い。 一方、EMRの入出力で使用するバケットは、httpアクセスすることは少なく、特定のアカウントからのS3 APIでのアクセスのみ、というケー…

ElastiCache: AutoDiscovery をPHPで使う

ElastiCacheに AutoDiscovery機能が付き、phpクライアントも出た。(Cache Engine 1.4.14以降で有効) ちょうど1年前に、このような記事(Amazon ElastiCache の分散方法 )を書いたが、この際は、ElastiCacheの複数ノードを扱うには、Mamcached::addServers(…

EC2: Amazon LinuxにWordPressを急ぎで入れる (その3)

Amazon Linux + RDS (MySQL)でWordPress環境をつくる手順のコピペメモ。 事前にRDS(MySQL)をDBユーザ wpuser、DBパスワード wppassword、DB名wordpressで作成して、エンドポイント(ホスト名)を控えておく。 # install package and start sudo yum -y update …

EC2: Amazon LinuxにWordPressを急ぎで入れる (その2)

Amazon Linuxにデータ用のEBSを追加で /dev/sdf にアタッチしているだけの状態からWordPressを急ぎで入れる手順のコピペ用メモ # install package sudo yum -y update sudo yum -y install httpd mysql-server php php-mysql php-mbstring sudo /sbin/chkcon…

EC2: Amazon LinuxにWordPressを急ぎで入れる (その1)

とりいそぎでWordPressを入れる手順のコピペ用メモ。 # install package and start sudo yum -y update sudo yum -y install httpd mysql-server php php-mysql php-mbstring sudo /sbin/chkconfig mysqld on sudo /sbin/chkconfig httpd on sudo /etc/init.…

カジュアルに鯖を監視するNewRelic をAmazon Linux に導入

今っぽい感じのSaaS型監視サービス NewRelicを Amazon Linuxに入れてみる。( Newvem とか Server DensityとかPingdomとかもある) New Relic は、エージェントを監視対象ノードに入れておく点は Zabbix等と変わらないが、監視サーバを構築しないですぐに(無…

S3: S3のURL

S3のWebサイトホスティング機能にリダイレクト機能が加わった。 リダイレクトさせたいオブジェクトのメタデータとして、Website Redirect Locationを設定すればOK. ただし、URLは、S3のAPI URL (endpoint)ではなく、Website endpointを指定しないとリダイレ…