MySQLのinnodb_thread_concurrencyとかinnodb_commit_concurrencyを変更する必要があるのか問題
MySQLのパラメータむずかしい
項目の説明はわかりますが、実際のシステムに即した値にするのってむずかしいなぁ、と思いつつパラメータを眺めていたのですが、こういうことらしいです。
@sugamasao Yes. Good to leave as default for most workloads in recent versions (5.5, 5.6).
— morgo (@morgo) 2015, 3月 18
最近のは(5.5や5.6なら)デフォルトで大丈夫だよ〜とのこと。
日本語の適当なツイートを拾って回答くれる MySQL Community Manager さんしゅごい〜〜😇
bundle gem foo -bの挙動がかわった(exeディレクトリになった)
bundle gemでgemライブラリのひな形が作成できる
その中で、-b
オプションを付けると実行ファイル用のbin
ディレクトリが作成される。しかし、Bundler 1.8系からは bin
ディレクトリは binstub用(で良いのかな)のsetupやconsoleスクリプト等(-b
を付けなくても生成される)が配置され、gemライブラリの実行ファイル用として exe
ディレクトリが用意されるようになる。
1.7.9 と 1.8.3での確認
1.7.9 で bundle gem プロジェクト名 -b -t
した結果
➜ /tmp tree baz baz ├── Gemfile ├── LICENSE.txt ├── README.md ├── Rakefile ├── baz.gemspec ├── bin │ └── baz ├── lib │ ├── baz │ │ └── version.rb │ └── baz.rb └── spec ├── baz_spec.rb └── spec_helper.rb 4 directories, 10 files
1.8.3 で bundle gem プロジェクト名 -b -t
した結果
➜ /tmp tree bar bar ├── Gemfile ├── LICENSE.txt ├── README.md ├── Rakefile ├── bar.gemspec ├── bin │ ├── console │ └── setup ├── exe │ └── bar ├── lib │ ├── bar │ │ └── version.rb │ └── bar.rb └── spec ├── bar_spec.rb └── spec_helper.rb 5 directories, 12 files
経緯など
move gem bins to exe/ and add console and setup · ab3e217 · bundler/bundler · GitHub
あたりでやりとしていている。インパクトある割にしれっと変わってて何なのwという感じだけど、やりとりの先のブログとかも見ると、RSpecとかずいぶん前からそうしてるしみたいな事が書いてある。
なるほどねー
その他
いつのバージョンから入ったか調べてないけど、bundle gem
の時に、MITライセンスにするかだとか、テスト用フレームワークはどれを使用するか、等が質問されるようになっている。
これらの回答結果は設定ファイルとして(~/.bundle/config
に)保存されるようになっていて、フレームワークの指定等をしなかった場合のデフォルト値として使われるようになってるっぽい。
OSXのHomebrewでインストールするのをitamaeでやるようにした
自分のマシンの環境構築
数年に一度なのでイマイチ自動化とかしてなかったのだけど、Homebrewでインストールするヤツくらい自動化しても良いかと思ったので、 itamae-kitchen/itamae · GitHub でやるようにした。
caskでのインストールとかまで自動でできるようになると結構良いかなーと思っているが、そこまでやってない。。。
このエントリを読んで得られるもの
itamae
についてちょっとだけ知識を得られるかもしれません。
- パッケージのインストールを行う方法
- シェルスクリプトの実行をする方法
itamae
のlocal
モード(実行しているマシン自身を対象とする)の実行方法
リポジトリと実際のソースコードはこんな感じ
dotfiles/app_setup at master · sugamasao/dotfiles · GitHub
主に package
リソースを使っていますが、brew tap
の部分は直接シェルスクリプトを実行しているため、 execute
リソースを使っています。
また、Homebrewは重複してインストールしてもエラーになったりはしませんが、 only_if
や not_if
を使ってインストール済みであれば実行をスキップするようにして処理時間を短縮しています。
# brew install %w(openssl git tig imagemagick mysql zsh tmux mecab mecab-ipadic tree).each do |pkg| package pkg do action :install only_if "brew info #{ pkg } | grep -qi 'Not Installed'" end end ## using tap repository %w(sanemat/font peco/peco).each do |tap_name| execute "using tap #{ tap_name }" do command "brew tap #{ tap_name }" not_if "brew tap | grep -q '#{ tap_name }'" end end %w(ricty peco).each do |pkg| package pkg do action :install only_if "brew info #{ pkg } | grep -qi 'Not Installed'" end end
local
モードで実行するにはこのようにする。
$ bundle exec itamae local recipe.rb
まーこの程度シェルスクリプトでも良いじゃん?という気もするんだけど、今どきはOSXでもRuby 2.0系がデフォルトで入るようになってるし、臆さずRuby使ってけば良いのではという気持ちになっている。あと重要なのはitamaeを気に入ってるので、使っていきたいという気持ちw
OSXでもstraceしたい?よろしい、ならばdtrussだ
strace便利ですよね。最近もnginxがどのファイル開いてるのか調べるのに使いました。ただ、OSXだとそれに準ずるコマンドってないのかなーと勝手に諦めていたのですが、ありましたね。
dtruss
straceと同じように sudo dtruss -p プロセスID
でシステムコールを確認できる。
例えば、nginxで確認してみよう。
$ ps -ef | grep nginx 501 31223 1 0 6:22PM ?? 0:00.00 nginx: master process nginx 501 31224 31223 0 6:22PM ?? 0:00.00 nginx: worker process 501 31935 31725 0 8:07PM ttys005 0:00.00 grep nginx
ワーカーを見れば良いので、 31224
にアタッチしてみよう。
$ sudo dtruss -p 31224
おもむろにWebページにアクセスしてみる。
SYSCALL(args) = return kevent(0x8, 0x7F91DD005C00, 0x1) = 1 0 recvfrom(0x3, 0x7F91DD005400, 0x400) = 469 0 stat64("/usr/local/Cellar/nginx/1.6.2/html/index.html\0", 0x7FFF5DEEF148, 0x400) = 0 0 open("/usr/local/Cellar/nginx/1.6.2/html/index.html\0", 0x4, 0x0) = 10 0 fstat64(0xA, 0x7FFF5DEEEF08, 0x0) = 0 0 writev(0x3, 0x7FFF5DEEE9D0, 0x1) = 179 0 write(0x4, "127.0.0.1 - - [31/Dec/2014:20:08:35 +0900] \"GET / HTTP/1.1\" 304 0 \"-\" \"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36\"\n\0", 0xC1) = 193 0 close(0xA) = 0 0 access("/etc/localtime\0", 0x4, 0x0) = 0 0 open_nocancel("/etc/localtime\0", 0x0, 0x0) = 9 0 fstat64(0x9, 0x7FFF5DEEBFC0, 0x0) = 0 0 read_nocancel(0x9, "TZif\0", 0x2A64) = 126 0 close_nocancel(0x9) = 0 0 accept(0x6, 0x7FFF5DEEF430, 0x7FFF5DEEF42C) = 9 0
標準エラーを標準出力にリダイレクトすればgrepもできるので、ここらへんもstraceと同じですね。
$ sudo dtruss -p 31224 2>&1 | grep open open_nocancel("/etc/localtime\0", 0x0, 0x0) = 10 0 open("/usr/local/Cellar/nginx/1.6.2/html/index.html\0", 0x4, 0x0) = 10 0
ちなみに、Homebrewでインストールしたnginxの何が何だか分からない問題
この検証にあたり、適当なプロセスとしてnginx動かそうと思いました。で、Homebrewでインストールしてみたのですが、どのポートで動いてるかとかぜんぜんよくわからなかったので調べてみましたのメモ(lsofの使い方いつも忘れるのだった)。
ちなみに、起動は単に nginx
と打つだけで良い。
lsofはプロセス名で検索することができるので、今回はnginxを指定して調べる。この場合、-c
オプションを使用する。さらに、-P
オプションを使用することでポート番号を生のまま(数値で)表示するオプションを追加している。
$ lsof -c nginx -P | grep LISTEN nginx 32055 sugamasao 6u IPv4 0xed732b31079edf33 0t0 TCP *:8080 (LISTEN) nginx 32056 sugamasao 6u IPv4 0xed732b31079edf33 0t0 TCP *:8080 (LISTEN)
こうすると、どうやらLISTENしているのは8080ポートらしいということがわかる。
-P
を指定しない場合、こんな感じになってService Nameとやらの値に変換するようになっている(生データをデフォルトにしてほしいなぁ)。
$ lsof -c nginx | grep LISTEN nginx 32055 sugamasao 6u IPv4 0xed732b31079edf33 0t0 TCP *:http-alt (LISTEN) nginx 32056 sugamasao 6u IPv4 0xed732b31079edf33 0t0 TCP *:http-alt (LISTEN)
っていうか、まともにlsof
の結果見るとオープンしてるファイルとかもわかるし結構良いですね、、、。
オマケ
Homebrewでインストールされたnginxが使うconfの場所がパッとわからなくてこんな感じで確認しました(こういう使い方もできるよ、ということで一つ)。
masterプロセス、あるいはプロセス名自体でdtrussでアタッチして、nginx -s reload
で設定ファイルを読み直すことで、どこのファイルを参照しているかを確認できた。
$ sudo dtruss -n nginx 2>&1 | grep conf
こうしてから別ターミナルで nginx -s reload
するとこんな感じのログが表示されていた。
32880/0x641a4: stat64("/usr/lib/system/libsystem_configuration.dylib\0", 0x7FFF54E3E9F8, 0x2) = 0 0 32055/0x6168e: open("/usr/local/etc/nginx/nginx.conf\0", 0x0, 0x0) = 4 0 32880/0x641a4: read_nocancel(0x4, "#\n# OpenSSL example configuration file.\n# This is mostly being used for generation of certificate requests.\n#\n\n# This definition stops the following lines choking if HOME isn't\n# defined.\nHOME\t\t\t= .\nRANDFILE\t\t= $ENV::HOME/.rnd\n\n# Extra OBJECT IDENTIFIER in", 0x1000) = 4096 0 32880/0x641a4: open("/usr/local/etc/nginx/nginx.conf\0", 0x0, 0x0) = 4 0
内容を確認してみると、どうやら /usr/local/etc/nginx/nginx.conf
っぽいなってのがわかった。便利〜〜
忘年会しても忘れてはいけない便利最高grepオプション
grep -o
これです。おじさんになっても恥ずかしがらずにこういうのを書いていくのが重要かなと思うようになりました。
おじさん、grep -oを知りました
— IT業界のマー君 (@sugamasao) 2014, 12月 26
-o
を使うと、その引数にマッチした文字列のみ出力できます。
例えば、こんなアクセスログがあったとして……
xxx.xxx.xxx.xxx - - [26/Dec/2014:18:59:12 +0000] "HEAD /login.do HTTP/1.0" 404 0 "-" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0)" xxx.xxx.xxx.xxx - - [26/Dec/2014:18:59:15 +0000] "HEAD /login.action HTTP/1.0" 404 0 "-" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0)" xxx.xxx.xxx.xxx - - [26/Dec/2014:18:59:16 +0000] "HEAD /index.action HTTP/1.0" 404 0 "-" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0)" xxx.xxx.xxx.xxx - - [26/Dec/2014:18:59:17 +0000] "HEAD /struts2.action HTTP/1.0" 404 0 "-" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0)" xxx.xxx.xxx.xxx - - [26/Dec/2014:18:59:18 +0000] "HEAD /root.action HTTP/1.0" 404 0 "-" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0)" xxx.xxx.xxx.xxx - - [26/Dec/2014:19:50:15 +0000] "HEAD / HTTP/1.1" 302 0 "-" "Hatena Antenna/0.5 (http://a.hatena.ne.jp/help)" xxx.xxx.xxx.xxx - - [27/Dec/2014:02:18:38 +0000] "HEAD / HTTP/1.1" 302 0 "-" "Hatena Antenna/0.5 (http://a.hatena.ne.jp/help)" xxx.xxx.xxx.xxx - - [27/Dec/2014:08:44:14 +0000] "HEAD / HTTP/1.1" 302 0 "-" "Hatena Antenna/0.5 (http://a.hatena.ne.jp/help)"
UAがHatena Antennaが来ている時のアクセス時間を知りたいぞい!とか思うとするじゃないですか。こんな感じにしたら、grepだけでも十分なのだった……!!!!!!!
$ grep "Hatena Antenna" /var/log/nginx/access.log | grep -Eo [0-9]{2}:[0-9]{2}:[0-9]{2} 14:08:19 14:08:19 14:15:00 14:15:00 :
この例では-E
を併用して正規表現を使っているけど、例えばegrep -o ナントカ
みたいにしても良い。
便利ですね。
grepの戻り値あるいは -q
お恥ずかしながら、grepの戻り値で値が存在するかどうか判断できるのを今になって知りました
— IT業界のマー君 (@sugamasao) 2014, 12月 1
grepって、文字列が引っかかるかどうかで戻り値が変化するんですね。つまり戻り値を確認するだけで値が存在しているか確認できるというわけです。
$ echo foo | grep foo foo $ echo $? 0 $ echo hoge | grep foo $ echo $? 1
さらに、-q
を使うと、ヒットした文字列を出力しないので、より明示的に"このgrepは文字列の存在確認をしているのだ"というのが強調されるのと、自動化するときに標準出力が挟まってきてダルいみたいなことを回避できます。
$ echo foo | grep -q foo $ echo $? 0
便利ですね。
どうしても書かなくてはいけない宣伝
またかって感じかもしれませんが、よろしくお願い致します。
Webアプリエンジニア養成読本[しくみ、開発、環境構築・運用…全体像を最新知識で最初から! ] (Software Design plus)
- 作者: 和田裕介,石田絢一(uzulla),すがわらまさのり,斎藤祐一郎
- 出版社/メーカー: 技術評論社
- 発売日: 2014/03/11
- メディア: 大型本
- この商品を含むブログ (5件) を見る
あと、一時期パーフェクトRubyを始めとするパーフェクトシリーズのKindle版がamazonから姿を消していましたが、今日確認したら掲載されていましたので、買う機会を逃していた皆様はぜひお買い求めください*1。
- 作者: Rubyサポーターズ
- 出版社/メーカー: 技術評論社
- 発売日: 2014/10/31
- メディア: Kindle版
- この商品を含むブログ (1件) を見る
- 作者: すがわらまさのり,前島真一,近藤宇智朗,橋立友宏
- 出版社/メーカー: 技術評論社
- 発売日: 2014/10/31
- メディア: Kindle版
- この商品を含むブログ (1件) を見る
購入の際は紙かKindleか念のため確認してくださいね。
*1:インデントが破滅していた問題の対応をしていたっぽいですね
divergence_meterというgemを作った - Webアプリエンジニア養成読本 Advent Calendar 2014 24日目
Webアプリエンジニア養成読本 Advent Calendar 2014 - Qiita の24日目です。12/24の23:40の時点で書き始めているので許してニャン
Webアプリエンジニア養成読本[しくみ、開発、環境構築・運用…全体像を最新知識で最初から! ] (Software Design plus)
- 作者: 和田裕介,石田絢一(uzulla),すがわらまさのり,斎藤祐一郎
- 出版社/メーカー: 技術評論社
- 発売日: 2014/03/11
- メディア: 大型本
- この商品を含むブログ (5件) を見る
このアドベントカレンダーで Gemライブラリ作ってこ! - すがブロ という話を書きました。 その続きというわけではありませんが、少し前にGemライブラリを作成したのでその話をしたいと思います。
何を作ったのか
レーベンシュタイン距離 - Wikipedia という文字同士の編集距離を調べるアルゴリズムを実装したのでした。
例えば、aaa
と aab
は1文字変更すると同じ文字列を作成できるので、編集距離が1ということになり、 比較的似ている文字列である というのがわかります。
ついでに、編集距離を調べるだけではなく、調べたい単語と、辞書データ(単語群)を引数で渡すと、単語に最も近い辞書データの単語を探してくるという「もしかして?」機能も作ってみました。
$ gem i divergence_meter --no-document Fetching: divergence_meter-1.0.1.gem (100%) Successfully installed divergence_meter-1.0.1 1 gem installed $ pry [1] pry(main)> require 'divergence_meter' => true [2] pry(main)> DivergenceMeter.もしかして('__sand__', %w(send __send__ hoge)) => "__send__"
実装自体は上記のWikipediaに乗っている擬似コードをRubyに読み替えるだけなので大して難しくありません。それどころか、実装した後で気がついたのですが
編集距離が近いメソッドを勝手に呼ぶ - hitode909の日記
とか
編集距離 (Levenshtein Distance) - naoyaのはてなダイアリー
とかで語られていて、もう何周遅れのネタだったんだ、という感じです。テストケースの材料としていくらか参考にさせていただきました。
あ、ちなみにこのアルゴリズムを実装した目的は、この文章のような長文の文字列から誤字脱字を見つけられないかなと思って作ってみたのでした。
すでにあるもの作ってどうするの問題
自分にとっては、このアルゴリズムを実装するのは初めての経験だったので良いのです。いわゆる車輪の再発明ってヤツですが、作る上で学びがあるなら良いじゃないか〜という感じですね。あと、個人的なニーズとして、Gemライブラリになっていると都合が良かったというのもあります*1。
すでにあるものを作ってどうするのかという葛藤、あるにはありますが、その分野で一旗揚げるような野心がある人は別として、自分の経験のために作っても良いと思いますのでカジュアルに作ってみるのが良いのかな、と思います。
ちなみにGemライブラリの名前の由来は
編集距離を世界線変動率*2と置き換えてみたら面白いかなーという思った次第です。
書かなくてはならない宣伝
Webアプリエンジニア養成読本[しくみ、開発、環境構築・運用…全体像を最新知識で最初から! ] (Software Design plus)
- 作者: 和田裕介,石田絢一(uzulla),すがわらまさのり,斎藤祐一郎
- 出版社/メーカー: 技術評論社
- 発売日: 2014/03/11
- メディア: 大型本
- この商品を含むブログ (5件) を見る
この本を読んだあと、何かコードを書いてみたいけどイマイチ書くものが思いつかないよ! という方は、上記のレーベンシュタイン距離のような簡単なアルゴリズムを自分でRubyのコードに翻訳してみる、というのをやってみると意外と面白いかもしれませんね。
enjoy!
Webアプリエンジニア養成読本ではあまり説明できなかったRubyの便利なヤーツ
Webアプリエンジニア養成読本 Advent Calendar 2014 - Qiita の21日目です。ガチで書くことがなくなってきました!恐縮です。
Webアプリエンジニア養成読本[しくみ、開発、環境構築・運用…全体像を最新知識で最初から! ] (Software Design plus)
- 作者: 和田裕介,石田絢一(uzulla),すがわらまさのり,斎藤祐一郎
- 出版社/メーカー: 技術評論社
- 発売日: 2014/03/11
- メディア: 大型本
- この商品を含むブログ (5件) を見る
擬似変数たち
本書ではあまり触れていませんでしたが、Rubyでは擬似変数と呼ばれる、変数のような値がいくつか存在します。例えば、true
やfalse
もそれに該当します。
それ以外で面白いものとして、__FILE__
や__LINE__
等があります。これらは実行した時点でのファイルのパスや行数を取得することができます。
ちなみに、Ruby 2.0.0からは__dir__
というメソッド(これは特殊変数ではないのだった)も追加されていて、これを使うと File.dirname(__FILE__)
相当……つまり、該当のファイルが格納されているディレクトリ部分を取得できます。
こんな感じのコードで試してみましょう。
cat hoge.rb puts "start:hoge" puts __FILE__ puts __LINE__ puts __dir__ puts "end:hoge"
これを実行してみると
$ ruby hoge.rb start:hoge hoge.rb 3 /private/tmp end:hoge
こんな感じで取得できます。
詳しくは 変数と定数 を見てください。
その他によく使うもの
擬似変数のようなくくりではありませんが、例えばコマンドライン引数を扱うための値として、ARGVやARGFがあります。
ARGV.each do |arg| puts arg end
これを引数付きで実行するとこんな感じになります。
$ ruby sample.rb foo bar baz foo bar baz
ARGFを使うと、引数の値をファイルパスとみなして、内容を読み込むことができます。詳しくは constant Object::ARGV と object ARGF を参照してください。
ここらへんのオブジェクトなどを利用できるようになると、ちょっとしたコマンドラインツールを作るときに役に立ちますね。
おまけ
Rubyではputs
等のレシーバを指定しないメソッドはおおよそKernelに定義されているものです。 module Kernel あたりを見ると、例えば exit
や sleep
等のメソッドが定義されているのがわかります。ちょっとしたコードを書くときに知っておくと便利なヤーツがあるので、ここらへんのメソッド・特殊変数は抑えておくと良いでしょう。
書かなくてはいけない宣伝
今回のエントリで書いたようなことは書けていませんが、書店などで見つけたらぜひ立ち読みでもしてみて、あわよくば購入してみてくださいね。
Webアプリエンジニア養成読本[しくみ、開発、環境構築・運用…全体像を最新知識で最初から! ] (Software Design plus)
- 作者: 和田裕介,石田絢一(uzulla),すがわらまさのり,斎藤祐一郎
- 出版社/メーカー: 技術評論社
- 発売日: 2014/03/11
- メディア: 大型本
- この商品を含むブログ (5件) を見る
enjoy!