すがブロ

sugamasaoのhatenablogだよ

MySQLのinnodb_thread_concurrencyとかinnodb_commit_concurrencyを変更する必要があるのか問題

MySQLのパラメータむずかしい

項目の説明はわかりますが、実際のシステムに即した値にするのってむずかしいなぁ、と思いつつパラメータを眺めていたのですが、こういうことらしいです。

最近のは(5.5や5.6なら)デフォルトで大丈夫だよ〜とのこと。

日本語の適当なツイートを拾って回答くれる MySQL Community Manager さんしゅごい〜〜😇

bundle gem foo -bの挙動がかわった(exeディレクトリになった)

bundle gemでgemライブラリのひな形が作成できる

その中で、-b オプションを付けると実行ファイル用のbinディレクトリが作成される。しかし、Bundler 1.8系からは bin ディレクトリは binstub用(で良いのかな)のsetupやconsoleスクリプト等(-bを付けなくても生成される)が配置され、gemライブラリの実行ファイル用として exe ディレクトリが用意されるようになる。

1.7.9 と 1.8.3での確認

1.7.9 で bundle gem プロジェクト名 -b -t した結果

➜  /tmp  tree baz
baz
├── Gemfile
├── LICENSE.txt
├── README.md
├── Rakefile
├── baz.gemspec
├── bin
│   └── baz
├── lib
│   ├── baz
│   │   └── version.rb
│   └── baz.rb
└── spec
    ├── baz_spec.rb
    └── spec_helper.rb

4 directories, 10 files

1.8.3 で bundle gem プロジェクト名 -b -t した結果

➜  /tmp  tree bar
bar
├── Gemfile
├── LICENSE.txt
├── README.md
├── Rakefile
├── bar.gemspec
├── bin
│   ├── console
│   └── setup
├── exe
│   └── bar
├── lib
│   ├── bar
│   │   └── version.rb
│   └── bar.rb
└── spec
    ├── bar_spec.rb
    └── spec_helper.rb

5 directories, 12 files

経緯など

move gem bins to exe/ and add console and setup · ab3e217 · bundler/bundler · GitHub

あたりでやりとしていている。インパクトある割にしれっと変わってて何なのwという感じだけど、やりとりの先のブログとかも見ると、RSpecとかずいぶん前からそうしてるしみたいな事が書いてある。

rspec/rspec-core · GitHub

なるほどねー

その他

いつのバージョンから入ったか調べてないけど、bundle gemの時に、MITライセンスにするかだとか、テスト用フレームワークはどれを使用するか、等が質問されるようになっている。

これらの回答結果は設定ファイルとして(~/.bundle/configに)保存されるようになっていて、フレームワークの指定等をしなかった場合のデフォルト値として使われるようになってるっぽい。

OSXのHomebrewでインストールするのをitamaeでやるようにした

自分のマシンの環境構築

数年に一度なのでイマイチ自動化とかしてなかったのだけど、Homebrewでインストールするヤツくらい自動化しても良いかと思ったので、 itamae-kitchen/itamae · GitHub でやるようにした。

caskでのインストールとかまで自動でできるようになると結構良いかなーと思っているが、そこまでやってない。。。

このエントリを読んで得られるもの

itamae についてちょっとだけ知識を得られるかもしれません。

  • パッケージのインストールを行う方法
  • シェルスクリプトの実行をする方法
  • itamaelocal モード(実行しているマシン自身を対象とする)の実行方法

リポジトリと実際のソースコードはこんな感じ

dotfiles/app_setup at master · sugamasao/dotfiles · GitHub

主に package リソースを使っていますが、brew tap の部分は直接シェルスクリプトを実行しているため、 execute リソースを使っています。

また、Homebrewは重複してインストールしてもエラーになったりはしませんが、 only_ifnot_if を使ってインストール済みであれば実行をスキップするようにして処理時間を短縮しています。

# brew install
%w(openssl git tig imagemagick mysql zsh tmux mecab mecab-ipadic tree).each do |pkg|
  package pkg do
    action :install
    only_if "brew info #{ pkg } | grep -qi 'Not Installed'"
  end
end

## using tap repository
%w(sanemat/font peco/peco).each do |tap_name|
  execute "using tap #{ tap_name }" do
    command "brew tap #{ tap_name }"
    not_if "brew tap | grep -q '#{ tap_name }'"
  end
end

%w(ricty peco).each do |pkg|
  package pkg do
    action :install
    only_if "brew info #{ pkg } | grep -qi 'Not Installed'"
  end
end

local モードで実行するにはこのようにする。

$ bundle exec itamae local recipe.rb

まーこの程度シェルスクリプトでも良いじゃん?という気もするんだけど、今どきはOSXでもRuby 2.0系がデフォルトで入るようになってるし、臆さずRuby使ってけば良いのではという気持ちになっている。あと重要なのはitamaeを気に入ってるので、使っていきたいという気持ちw

OSXでもstraceしたい?よろしい、ならばdtrussだ

strace便利ですよね。最近もnginxがどのファイル開いてるのか調べるのに使いました。ただ、OSXだとそれに準ずるコマンドってないのかなーと勝手に諦めていたのですが、ありましたね。

dtruss

straceと同じように sudo dtruss -p プロセスIDシステムコールを確認できる。

例えば、nginxで確認してみよう。

$  ps -ef | grep nginx
  501 31223     1   0  6:22PM ??         0:00.00 nginx: master process nginx
  501 31224 31223   0  6:22PM ??         0:00.00 nginx: worker process
  501 31935 31725   0  8:07PM ttys005    0:00.00 grep nginx

ワーカーを見れば良いので、 31224 にアタッチしてみよう。

$ sudo dtruss -p 31224

おもむろにWebページにアクセスしてみる。

SYSCALL(args)            = return
kevent(0x8, 0x7F91DD005C00, 0x1)                 = 1 0
recvfrom(0x3, 0x7F91DD005400, 0x400)             = 469 0
stat64("/usr/local/Cellar/nginx/1.6.2/html/index.html\0", 0x7FFF5DEEF148, 0x400)                 = 0 0
open("/usr/local/Cellar/nginx/1.6.2/html/index.html\0", 0x4, 0x0)                = 10 0
fstat64(0xA, 0x7FFF5DEEEF08, 0x0)                = 0 0
writev(0x3, 0x7FFF5DEEE9D0, 0x1)                 = 179 0
write(0x4, "127.0.0.1 - - [31/Dec/2014:20:08:35 +0900] \"GET / HTTP/1.1\" 304 0 \"-\" \"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36\"\n\0", 0xC1)              = 193 0
close(0xA)               = 0 0
access("/etc/localtime\0", 0x4, 0x0)             = 0 0
open_nocancel("/etc/localtime\0", 0x0, 0x0)              = 9 0
fstat64(0x9, 0x7FFF5DEEBFC0, 0x0)                = 0 0
read_nocancel(0x9, "TZif\0", 0x2A64)             = 126 0
close_nocancel(0x9)              = 0 0
accept(0x6, 0x7FFF5DEEF430, 0x7FFF5DEEF42C)              = 9 0

標準エラーを標準出力にリダイレクトすればgrepもできるので、ここらへんもstraceと同じですね。

$  sudo dtruss -p 31224 2>&1 | grep open
open_nocancel("/etc/localtime\0", 0x0, 0x0)              = 10 0
open("/usr/local/Cellar/nginx/1.6.2/html/index.html\0", 0x4, 0x0)                = 10 0

ちなみに、Homebrewでインストールしたnginxの何が何だか分からない問題

この検証にあたり、適当なプロセスとしてnginx動かそうと思いました。で、Homebrewでインストールしてみたのですが、どのポートで動いてるかとかぜんぜんよくわからなかったので調べてみましたのメモ(lsofの使い方いつも忘れるのだった)。

ちなみに、起動は単に nginx と打つだけで良い。 lsofはプロセス名で検索することができるので、今回はnginxを指定して調べる。この場合、-cオプションを使用する。さらに、-P オプションを使用することでポート番号を生のまま(数値で)表示するオプションを追加している。

$ lsof -c nginx -P | grep LISTEN
nginx   32055 sugamasao    6u    IPv4 0xed732b31079edf33       0t0      TCP *:8080 (LISTEN)
nginx   32056 sugamasao    6u    IPv4 0xed732b31079edf33       0t0      TCP *:8080 (LISTEN)

こうすると、どうやらLISTENしているのは8080ポートらしいということがわかる。

-Pを指定しない場合、こんな感じになってService Nameとやらの値に変換するようになっている(生データをデフォルトにしてほしいなぁ)。

$ lsof -c nginx | grep LISTEN
nginx   32055 sugamasao    6u    IPv4 0xed732b31079edf33       0t0      TCP *:http-alt (LISTEN)
nginx   32056 sugamasao    6u    IPv4 0xed732b31079edf33       0t0      TCP *:http-alt (LISTEN)

っていうか、まともにlsofの結果見るとオープンしてるファイルとかもわかるし結構良いですね、、、。

オマケ

Homebrewでインストールされたnginxが使うconfの場所がパッとわからなくてこんな感じで確認しました(こういう使い方もできるよ、ということで一つ)。

masterプロセス、あるいはプロセス名自体でdtrussでアタッチして、nginx -s reloadで設定ファイルを読み直すことで、どこのファイルを参照しているかを確認できた。

$ sudo dtruss -n nginx 2>&1 | grep conf

こうしてから別ターミナルで nginx -s reloadするとこんな感じのログが表示されていた。

32880/0x641a4:  stat64("/usr/lib/system/libsystem_configuration.dylib\0", 0x7FFF54E3E9F8, 0x2)           = 0 0
32055/0x6168e:  open("/usr/local/etc/nginx/nginx.conf\0", 0x0, 0x0)              = 4 0
32880/0x641a4:  read_nocancel(0x4, "#\n# OpenSSL example configuration file.\n# This is mostly being used for generation of certificate requests.\n#\n\n# This definition stops the following lines choking if HOME isn't\n# defined.\nHOME\t\t\t= .\nRANDFILE\t\t= $ENV::HOME/.rnd\n\n# Extra OBJECT IDENTIFIER in", 0x1000)               = 4096 0
32880/0x641a4:  open("/usr/local/etc/nginx/nginx.conf\0", 0x0, 0x0)              = 4 0

内容を確認してみると、どうやら /usr/local/etc/nginx/nginx.confっぽいなってのがわかった。便利〜〜

忘年会しても忘れてはいけない便利最高grepオプション

grep -o

これです。おじさんになっても恥ずかしがらずにこういうのを書いていくのが重要かなと思うようになりました。

-oを使うと、その引数にマッチした文字列のみ出力できます。 例えば、こんなアクセスログがあったとして……

xxx.xxx.xxx.xxx - - [26/Dec/2014:18:59:12 +0000] "HEAD /login.do HTTP/1.0" 404 0 "-" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0)"
xxx.xxx.xxx.xxx - - [26/Dec/2014:18:59:15 +0000] "HEAD /login.action HTTP/1.0" 404 0 "-" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0)"
xxx.xxx.xxx.xxx - - [26/Dec/2014:18:59:16 +0000] "HEAD /index.action HTTP/1.0" 404 0 "-" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0)"
xxx.xxx.xxx.xxx - - [26/Dec/2014:18:59:17 +0000] "HEAD /struts2.action HTTP/1.0" 404 0 "-" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0)"
xxx.xxx.xxx.xxx - - [26/Dec/2014:18:59:18 +0000] "HEAD /root.action HTTP/1.0" 404 0 "-" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0)"
xxx.xxx.xxx.xxx - - [26/Dec/2014:19:50:15 +0000] "HEAD / HTTP/1.1" 302 0 "-" "Hatena Antenna/0.5 (http://a.hatena.ne.jp/help)"
xxx.xxx.xxx.xxx - - [27/Dec/2014:02:18:38 +0000] "HEAD / HTTP/1.1" 302 0 "-" "Hatena Antenna/0.5 (http://a.hatena.ne.jp/help)"
xxx.xxx.xxx.xxx - - [27/Dec/2014:08:44:14 +0000] "HEAD / HTTP/1.1" 302 0 "-" "Hatena Antenna/0.5 (http://a.hatena.ne.jp/help)"

UAがHatena Antennaが来ている時のアクセス時間を知りたいぞい!とか思うとするじゃないですか。こんな感じにしたら、grepだけでも十分なのだった……!!!!!!!

$ grep "Hatena Antenna" /var/log/nginx/access.log | grep -Eo [0-9]{2}:[0-9]{2}:[0-9]{2}
14:08:19
14:08:19
14:15:00
14:15:00
 :

この例では-Eを併用して正規表現を使っているけど、例えばegrep -o ナントカみたいにしても良い。

便利ですね。

grepの戻り値あるいは -q

grepって、文字列が引っかかるかどうかで戻り値が変化するんですね。つまり戻り値を確認するだけで値が存在しているか確認できるというわけです。

$  echo foo | grep foo
foo
$  echo $?
0
$  echo hoge | grep foo
$  echo $?
1

さらに、-qを使うと、ヒットした文字列を出力しないので、より明示的に"このgrepは文字列の存在確認をしているのだ"というのが強調されるのと、自動化するときに標準出力が挟まってきてダルいみたいなことを回避できます。

$  echo foo | grep -q foo
$  echo $?
0

便利ですね。

どうしても書かなくてはいけない宣伝

またかって感じかもしれませんが、よろしくお願い致します。

Webアプリエンジニア養成読本[しくみ、開発、環境構築・運用…全体像を最新知識で最初から! ] (Software Design plus)

Webアプリエンジニア養成読本[しくみ、開発、環境構築・運用…全体像を最新知識で最初から! ] (Software Design plus)

あと、一時期パーフェクトRubyを始めとするパーフェクトシリーズのKindle版がamazonから姿を消していましたが、今日確認したら掲載されていましたので、買う機会を逃していた皆様はぜひお買い求めください*1

パーフェクトRuby

パーフェクトRuby

パーフェクトRuby on Rails

パーフェクトRuby on Rails

購入の際は紙かKindleか念のため確認してくださいね。

*1:インデントが破滅していた問題の対応をしていたっぽいですね

divergence_meterというgemを作った - Webアプリエンジニア養成読本 Advent Calendar 2014 24日目

Webアプリエンジニア養成読本 Advent Calendar 2014 - Qiita の24日目です。12/24の23:40の時点で書き始めているので許してニャン

Webアプリエンジニア養成読本[しくみ、開発、環境構築・運用…全体像を最新知識で最初から! ] (Software Design plus)

Webアプリエンジニア養成読本[しくみ、開発、環境構築・運用…全体像を最新知識で最初から! ] (Software Design plus)

このアドベントカレンダーGemライブラリ作ってこ! - すがブロ という話を書きました。 その続きというわけではありませんが、少し前にGemライブラリを作成したのでその話をしたいと思います。

何を作ったのか

レーベンシュタイン距離 - Wikipedia という文字同士の編集距離を調べるアルゴリズムを実装したのでした。 例えば、aaaaab は1文字変更すると同じ文字列を作成できるので、編集距離が1ということになり、 比較的似ている文字列である というのがわかります。

ついでに、編集距離を調べるだけではなく、調べたい単語と、辞書データ(単語群)を引数で渡すと、単語に最も近い辞書データの単語を探してくるという「もしかして?」機能も作ってみました。

$ gem i divergence_meter --no-document
Fetching: divergence_meter-1.0.1.gem (100%)
Successfully installed divergence_meter-1.0.1
1 gem installed
$ pry
[1] pry(main)> require 'divergence_meter'
=> true
[2] pry(main)> DivergenceMeter.もしかして('__sand__', %w(send __send__ hoge))
=> "__send__"

実装自体は上記のWikipediaに乗っている擬似コードRubyに読み替えるだけなので大して難しくありません。それどころか、実装した後で気がついたのですが

編集距離が近いメソッドを勝手に呼ぶ - hitode909の日記

とか

編集距離 (Levenshtein Distance) - naoyaのはてなダイアリー

とかで語られていて、もう何周遅れのネタだったんだ、という感じです。テストケースの材料としていくらか参考にさせていただきました。

あ、ちなみにこのアルゴリズムを実装した目的は、この文章のような長文の文字列から誤字脱字を見つけられないかなと思って作ってみたのでした。

すでにあるもの作ってどうするの問題

自分にとっては、このアルゴリズムを実装するのは初めての経験だったので良いのです。いわゆる車輪の再発明ってヤツですが、作る上で学びがあるなら良いじゃないか〜という感じですね。あと、個人的なニーズとして、Gemライブラリになっていると都合が良かったというのもあります*1

すでにあるものを作ってどうするのかという葛藤、あるにはありますが、その分野で一旗揚げるような野心がある人は別として、自分の経験のために作っても良いと思いますのでカジュアルに作ってみるのが良いのかな、と思います。

ちなみにGemライブラリの名前の由来は

編集距離を世界線変動率*2と置き換えてみたら面白いかなーという思った次第です。

書かなくてはならない宣伝

Webアプリエンジニア養成読本[しくみ、開発、環境構築・運用…全体像を最新知識で最初から! ] (Software Design plus)

Webアプリエンジニア養成読本[しくみ、開発、環境構築・運用…全体像を最新知識で最初から! ] (Software Design plus)

この本を読んだあと、何かコードを書いてみたいけどイマイチ書くものが思いつかないよ! という方は、上記のレーベンシュタイン距離のような簡単なアルゴリズムを自分でRubyのコードに翻訳してみる、というのをやってみると意外と面白いかもしれませんね。

enjoy!

*1:当初GitHubにだけ公開してたのですが、ちょっと事情があってRubyGemsにもアップしました

*2:シュタインズゲートでググってみてください

Webアプリエンジニア養成読本ではあまり説明できなかったRubyの便利なヤーツ

Webアプリエンジニア養成読本 Advent Calendar 2014 - Qiita の21日目です。ガチで書くことがなくなってきました!恐縮です。

Webアプリエンジニア養成読本[しくみ、開発、環境構築・運用…全体像を最新知識で最初から! ] (Software Design plus)

Webアプリエンジニア養成読本[しくみ、開発、環境構築・運用…全体像を最新知識で最初から! ] (Software Design plus)

擬似変数たち

本書ではあまり触れていませんでしたが、Rubyでは擬似変数と呼ばれる、変数のような値がいくつか存在します。例えば、truefalseもそれに該当します。

それ以外で面白いものとして、__FILE____LINE__等があります。これらは実行した時点でのファイルのパスや行数を取得することができます。

ちなみに、Ruby 2.0.0からは__dir__ というメソッド(これは特殊変数ではないのだった)も追加されていて、これを使うと File.dirname(__FILE__) 相当……つまり、該当のファイルが格納されているディレクトリ部分を取得できます。

こんな感じのコードで試してみましょう。

cat hoge.rb
puts "start:hoge"
puts __FILE__
puts __LINE__
puts __dir__
puts "end:hoge"

これを実行してみると

$ ruby hoge.rb
start:hoge
hoge.rb
3
/private/tmp
end:hoge

こんな感じで取得できます。

詳しくは 変数と定数 を見てください。

その他によく使うもの

擬似変数のようなくくりではありませんが、例えばコマンドライン引数を扱うための値として、ARGVやARGFがあります。

ARGV.each do |arg|
  puts arg
end

これを引数付きで実行するとこんな感じになります。

$ ruby sample.rb foo bar baz
foo
bar
baz

ARGFを使うと、引数の値をファイルパスとみなして、内容を読み込むことができます。詳しくは constant Object::ARGVobject ARGF を参照してください。

ここらへんのオブジェクトなどを利用できるようになると、ちょっとしたコマンドラインツールを作るときに役に立ちますね。

おまけ

Rubyではputs等のレシーバを指定しないメソッドはおおよそKernelに定義されているものです。 module Kernel あたりを見ると、例えば exitsleep 等のメソッドが定義されているのがわかります。ちょっとしたコードを書くときに知っておくと便利なヤーツがあるので、ここらへんのメソッド・特殊変数は抑えておくと良いでしょう。

書かなくてはいけない宣伝

今回のエントリで書いたようなことは書けていませんが、書店などで見つけたらぜひ立ち読みでもしてみて、あわよくば購入してみてくださいね。

Webアプリエンジニア養成読本[しくみ、開発、環境構築・運用…全体像を最新知識で最初から! ] (Software Design plus)

Webアプリエンジニア養成読本[しくみ、開発、環境構築・運用…全体像を最新知識で最初から! ] (Software Design plus)

enjoy!