aws memo

AWS関連の備忘録 (※本ブログの内容は個人的見解であり、所属組織及び企業の意見を代弁するものではありません。1年以上古いエントリは疑ってかかってください)

バックグラウンドで5億レコードをMySQLにロードする

Percona使うとかmy.cnf書き換え以外で、RDSでも使える部分があるか。

derwiki - Loading half a billion rows into MySQL

ポイントはこのへん

  • 外部キーチェック、ユニークチェックを無効にしておく
  • 分離レベルを、READ-UNCOMMITTEDにしておく
  • binlogを出さないようにしておく
  • innodb周りのconfigをチューニングしておく
  • データをチャンク分割してロードする