はてなブックマーク

MySQL (5.7 InnoDB) で本番稼働中にインデックス作成すると、対象テーブルにショートトランザクション実行中の場合は並行でできるけど、ロングトランザクションが実行中*1の場合は Waiting for table metadata lock (synch/cond/sql/MDL_context::COND_wait_status) で metadata lock を延々待ち続ける。DML はオブジェクト定義のメタデータに共有ロックを取り、DDL は排他ロックをかけるため、ロングトランザクションが実行中にインデックスを作成すると、そのトランザクションが終了するまで排他ロックを取れず待ち続ける。 環境 Aurora Mysql エンジンバージョン: 5.7.mysql_aurora.2.07.2 検証結果 sysbench を Amazon Linux 2 にインストールする A

HDFS の Datanode の Flame Graph sun.nio.ch.FileChannelImpl:::transferTo から sendfile システムコールが呼ばれている。 一番左のスタックをドリルダウンしたもの。 Presto Server の Flame Graph 一番左のスタックをドリルダウンしたもの、com.facebook.presto.parquet.reader.BinaryColumnReader:::readValue で Columnar Read していると思われる。 確認ポイント Presto で Parquet にクエリする際、参照するカラムのデータのみ読む。 環境 リリースラベル: emr-5.28.0 Hadoop ディストリビューション: Amazon 2.8.5 Hive 2.3.6, Pig 0.17.0, Hue 4.4.0,

カーネギーメロン大学でコンピュータサイエンス学科でデータベースの研究をされている Andy Pavlo 先生の "History of Database" が素晴らしい。Andy Pavlo 先生を知ったのは一昨年くらいに id:kumagi さんと飲んだときに教えてもらったのがきっかけで、その後ウォッチしている。 Adv. Database Systems 2020 ➜ Lecture #1: History of Databases Video: https://t.co/HnIeIgMSc6 Slides: https://t.co/8axSfcYAiR I tried to go cheap in Amsterdam and stay in a different hotel than the conference. That was a mistake. Correction:

IAMポリシー"AmazonSSMManagedInstanceCore"を付与したIAMロールをEC2にアタッチする。 AWSマネジメントコンソールにログインして Systems Manager をクリックする。 [セッションの開始]をクリックする。 インスタンスを選択して[セッションの開始]をクリックする。 コマンドラインからシェル操作ができるようになります。 補足 プライベートサブネットのEC2に接続したい場合は以下のVPCエンドポイントを作成する。VPCエンドポイントとEC2のセキュリティグループの設定も要注意。うまく行かない場合は Private Subnet の EC2 にセッションマネージャーで接続できない - ablog 参照。 com.amazonaws.region.ssm com.amazonaws.region.ec2messages com.amazonaws.r

MySQL の InnoDB テーブルの空き領域は INFORMATION_SCHEMA.TABLES の DATA_FREE カラムで確認でき、ALTER TABLE <テーブル名> ENGINE INNODB で断片化（フラグメンテーション）を解消することができる。なお、テーブルの断片化でI/O量が増えて性能劣化するのはフルテーブルスキャンで、インデックススキャンは影響を受けない。 前提 MySQL 5.6 InnoDB 確認方法 select table_schema, table_name, data_free, table_rows from information_schema.tables where table_name='テーブル名'; 例 テーブルを作成してデータをロードする $ sysbench /usr/share/sysbench/oltp_read_write.

たしか、4年くらい前にデータベース系のイベントで瀬島さんと横道さんと話しているときにそういうものを作っているとちらっと聞いて気になっていたので、ブログ見たときに sysload は「あの時、聞いたやつだ」と思い出した。 はるか昔kernel 2.6 の頃、Load Average が低めに出てしまうというバグがありました。 当時、弊社では Load Average を監視項目の一つにしていたため、これには大いに困りました。 また、その頃、私は resource monitoring に力を入れていたのですが、以前 blog でも書かせていただいた通り、MySQLのサーバ一台あたり200以上のmetricを収集していたため、「多すぎてどれを見ていいかわからない」といった声が社内から上がっていました。 そういった諸々の問題を解決するため、６年くらい前、私はあれこれ思案して、新しい metric

AWS SCT 評価レポート AWS Schema Conversion Tool 評価レポート - AWS Schema Conversion Tool ora2pg Ora2Pg : Migrates Oracle to PostgreSQL Oracle Database 11g/12c To Amazon Aurora with PostgreSQL Compatibility (9.6.x) Migration Playbook https://d1.awsstatic.com/whitepapers/Migration/oracle-database-amazon-aurora-postgresql-migration-playbook.pdf https://future-architect.github.io/articles/20180529/ https://pgeco

Sparkとは ビッグデータを支える技術―刻々とデータが脈打つ自動化の世界 (WEB+DB PRESS plus) 作者: 西田圭介出版社/メーカー: 技術評論社発売日: 2017/09/22メディア: 単行本（ソフトカバー）この商品を含むブログ (3件) を見るP.100 「Apache Spark」も、MapReduce より効率の良いデータ処理を実現するプロジェクトとして開発が進められています。Hadoop の延長線上にある Tez とは異なり、Spark は Hadoop とは別の独立したプロジェクトです。Spark の特徴は大量のメモリを活用して高速化を実現することです。（中略）コンピュータが異常停止すると途中まで処理した中間データは消えてしまいますが、そのときには処理をやり直して、失われた中間データをま作れば良いというのが Spark の考え方です（図 3.8）。 （中略） S

Netflix FlameScope: a new open source performance analysis tool https://t.co/ALhVppkzfd #flamescope pic.twitter.com/YrJMuJvb7p— Brendan Gregg (@brendangregg) 2018年4月4日 Brendan Gregg らの所属する Netflix の cloud performance engineering team が FlameScope というパフォーマンス可視化ツールをオープンソースで公開した。詳しくは Netflix Tech Blog 参照。 flame graphs は瞬間的なスパイクを分析しづらかったが、FlameScope により1秒未満のヒートマップでイベント発生回数の多い時間帯が可視化されピンポイントで特定期間の flam

バイナリログを一覧表示する % mysql -h aurora01.******.ap-northeast-1.rds.amazonaws.com -u awsuser -p 5.6.10-log awsuser: [mydb] 01:27> show binary logs; +----------------------------+------------+ | Log_name | File_size | +----------------------------+------------+ | mysql-bin-changelog.000165 | 134218106 | | mysql-bin-changelog.000166 | 134218041 | | mysql-bin-changelog.000167 | 134218041 | （中略） | mysql-bin-c

7. macOSやWindowsでLinuxバイナリを動かすプログラムを作った話 (ぬるぽへ) で聞いた Noah をインストールして使ってみた。 Noahとは ハイパーバイザ技術を用いたクロスOSなLinuxバイナリ互換プラットフォームの構築 佐伯 学哉・西脇 友一 ー Noah : Hypervisor-Based Darwin Subsystem for Linux ー Noah NoahはmacOS上でLinuxアプリケーションをそのまま動作させるアプリケーションです。ハイパーバイザを用いた新しい手法で、従来のバイナリ互換技術よりも安全かつ高速なLinuxエミュレーションを実現。Noahを使えば、apt-getやLinux向けgcc、それにあなたがこれから作る新しいLinuxアプリケーションが、そのままmacOSで動作します。 もう移植を待つ必要も、する必要もありません。 Noah

sysbench をインストールして MySQL のベンチマークをとる手順をメモ。 インストール $ curl -s https://packagecloud.io/install/repositories/akopytov/sysbench/script.rpm.sh | sudo bash $ sudo yum -y install sysbench mysql ベンチマーク 初期データロード $ sysbench /usr/share/sysbench/oltp_read_write.lua \ --db-driver=mysql \ --table-size=100000 \ --mysql-host=aurora01.*********.ap-northeast-1.rds.amazonaws.com \ --mysql-user=awsuser \ --mysql-passwo

Linux でシステムワイドに実行回数が多いシステムコールや実行時間が長いシステムコールを調べたい場合は、sysdig が便利です。 Sysdig Open Source - Getting Started With Csysdig - YouTube インストール root で以下を実行する。 rpm --import https://s3.amazonaws.com/download.draios.com/DRAIOS-GPG-KEY.public curl -s -o /etc/yum.repos.d/draios.repo https://s3.amazonaws.com/download.draios.com/stable/rpm/draios.repo rpm -i https://mirror.us.leaseweb.net/epel/6/i386/epel-release-

vmstat: Support for timestamps with '-t' & fix for '-wd' From now the vmstat can append a timestamp to each line in the VMSTAT and DISKSTAT mode. You can achieve that with the '-t' switch. The '-w' switch now works in the DISKSTAT mode too. vmstat: Support for timestamps with '-t' & fix for '-wd' (4fcd56bf) · Commits · procps-ng / procps · GitLab これ以降 vmstat は -t オプションでタイムスタンプを表示できるようになっている。 $ vms

nethogs はネットワークの top コマンド的なもので通信量の多いプロセスをランキング表示して、秒間通信量も見ることができる。 インストール sudo yum -y install gcc-c++ libpcap-devel.x86_64 libpcap.x86_64 ncurses* git clone https://github.com/raboof/nethogs cd nethogs make sudo make install 使ってみる sudo /usr/local/sbin/nethogs 参考 NetHogs is a small 'net top' tool. Instead of breaking the traffic down per protocol or per subnet, like most tools do, it groups bandwid

JPOUG Advent Calendar 2017 の21日目のエントリーです。昨日は JPOUG in 15 minutes at db tech showcase Tokyo 2017 開催報告 でした。 JPOUG Advent Calendar に参加するのも6年目になりました。 今年は「SLOB(The Silly Little Oracle Benchmark) 」というOracle Database 向けの I/O 負荷テストツールを使って、AWS で RDS Oracle にI/O負荷をかける手順を紹介します。 I/Oベンチマークツールには iomater、fio のような汎用的なベンチマークツールから Oracle ORION のような Oracle Database の I/O パターンをシミュレートするものなどがありますが、SLOB は Oracle Databas

MySQL Connector/J(JDBC Driver) で接続時に任意の collation_connection をセットする には以下の用に JDBC URL に「connectionCollation=utf8mb4_bin」のように設定すれば良い。 jdbc:mysql://aurora01.cluster-*******.ap-northeast-1.rds.amazonaws.com:3306/mydb?connectionCollation=utf8mb4_bin 参考 MySQL クライアントプログラム mysql、mysqladmin、mysqlcheck、mysqlimport、および mysqlshow は、次のように、使用するデフォルトの文字セットを特定します。 ほかの情報が欠如している場合、プログラムは、コンパイル時のデフォルトの文字セット (通常は lat

MySQL でオプティマイザトレース（Oracle Database でいう 10053 トレース）を取得する方法。 mysql> SET optimizer_trace="enabled=on"; mysql> SET optimizer_trace_max_mem_size = 1048576; mysql> select 1; mysql> select * from information_schema.optimizer_trace\G *************************** 1. row *************************** QUERY: select 1 TRACE: { "steps": [ { "join_preparation": { "select#": 1, "steps": [ { "expanded_query": "/* se

macOS で Linux の strace のようにシステムコールトレースを取得したい場合は、dtruss で同等のことができる。 実行例 % sudo dtruss -deflo sudo -u $(id -u -n) sleep 1 PID/THRD RELATIVE ELAPSD CPU SYSCALL(args) = return 83868/0x3967d6: 1084 30 27 open("/dev/dtracehelper\0", 0x2, 0x7FFF5DA57840) = 3 0 83868/0x3967d6: 1382 298 296 ioctl(0x3, 0x80086804, 0x7FFF5DA577C8) = 0 0 83868/0x3967d6: 1387 5 4 close(0x3) = 0 0 83868/0x3967d6: 1440 1 0 threa

Python 標準の pdb でデバッグする方法をメモ。 $ python -m pdb foo.py (Pdb) b 76 # ブレイクポイントを設定する (Pdb) c # ブレイクポイントまで実行する pudb など標準デバッガ以外にもいろいろあるらしい。 参考 PythonデバッグTips - Qiita Python で標準添付の Debuggerのpdb を利用してデバッグするメモ | 技術的生存報告記 27.3. pdb — Python デバッガ — Python 3.6.5 ドキュメント

AWRレポートを CSV に変換する手順。CSV を EXCEL のピボットグラフなどを使って分析すると便利です。 Python スクリプトを入手する。 $ git clone https://github.com/yasushiyy/awr2csv.git AWRレポートの存在するディレクトリに移動する。 $ cd awrrep AWRレポートを CSV に変換する。 $ python ../awrhtml2csv.py *.html 変換後のファイルを確認する。 $ ls -1 *.csv events_background.csv events_foreground.csv events_topn.csv inst_efficiency.csv load_profile.csv parameters.csv seg_logical.csv seg_phys_reads.csv seg

パラメータ SQL_MODE ルーク！MySQLではkamipo TRADITIONALを使え！ | おそらくはそれさえも平凡な日々 MySQL で NOT NULL 制約のある列に複数行インサートするとその型のデフォルト値が入る - ablog TX_ISOLATION トランザクション分離レベルは Oracle のデフォルトは READ COMMITTED、MySQL のデフォルトは REPEATABLE READ 。*1 前提 MySQL 5.6 参考 MySQLのココにギョッとした！ - オラクルエンジニアがMySQLを触って感じたこと from Ryota Watabe バックアップと障害復旧から考えるOracle Database, MySQL, PostgreSQLの違い from Ryota Watabe *1:マスターとリードレプリカについて追記予定

MySQL で SQL モードが STRICT モードでない場合、NOT NULL 制約のある列に複数行インサートするとその型のデフォルト値（0とか空文字）が入る（1行インサートだとエラーで入らない）。 検証結果 Amazon Aurora with MySQL Compatibility に接続する $ mysql -h ******.******.ap-northeast-1.rds.amazonaws.com -u awsuser -p Enter password: Welcome to the MySQL monitor. Commands end with ; or \g. Your MySQL connection id is 53 Server version: 5.6.10 MySQL Community Server (GPL) Copyright (c) 2000,

はじめに Oracle Database の PL/SQL の MySQL への移行方法を説明します（MySQL 5.0 からストアドプロシージャに対応している）。 AWS Schema Conversion Tool (SCT) という GUI デスクトップアプリケーション（Windwos/Mac OS X/Linux版）をインストールし、移行元の Oracle Database に接続して自動的にPL/SQL を MySQL のルーチンに変換することができます。 SCT による変換方法は Oracle Database を Amazon Aurora に移行する方法 | Amazon Web Services ブログ をご覧ください。 移行先として適切なサービスを選ぶ 本題に入る前に Oracle Database からの移行先として MySQL、PostgreSQL、Redshift

書式 # \o <ファイル名> # <SQLを実行する> # \q 例 # \o test.txt # select * from test'; # \q $ ls -1 test.txt 参考 PostgreSQL/MySQLで、クエリの結果をファイルに出力する - 極北データモデリング https://www.postgresql.jp/document/9.2/html/app-psql.html

書式 タイムスタンプの指定方法 タイムゾーン 書式 サンプル 日本標準時(JST) yyyy-MM-ddTHH:mm:ss+0900 2014-10-10T13:50:40+09:00 協定世界時(UTC) yyyy-MM-ddTHH:mm:ssZ 2014-10-10T13:50:40Z 例 全般 タイムスタンプのフォーマットを変える（(以下でやってロケール系の環境変数もいじってみたが表示はローカルタイムゾーンにならず)） $ aws configure set cli_timestamp_format iso8601 --profile default $ aws configure get cli_timestamp_format --profile default iso8601 cli_timestamp_format controls the format of timesta