某Advent Calendar 8日目の記事です。
途中で止まってしまったので、そのうち再開するかも...ということでここで一回供養する話です。
Memcacheプロトコルを喋るサーバを勉強と検証ということで作ろうと思い、色々とやっておりました。
モチベーションとしてはMemcacheプロトコルをしゃべるが、データを永続化しながら色々できるようにするという目的です。決してMemcachedのクローンを作る話ではなありません。（速い要素を実装する力がないため）
一応こちらに置いてありますが、作りかけのまま終わってしまいました。
できること
- Get
- Set
- Delete
- Incr/Decr
- Flush
ちなみに若干バグがありますが、そこは🙈
大変だったこと
- 変なクライアントに当たるとつらい
- コネクションを持ったままのクライアントだとたまに落ちるということがあったので、そのパケットを飛ばすと言うところを実装するのが結構つらかった
- CAS対応
- まだちゃんと実装しないまま終わってしまいました
実装について
今回はテキストプロトコルではなくバイナリプロトコルで実装を行いました。バイナリプロトコルは BinaryProtocolRevamped · memcached/memcached Wiki · GitHubが参考になりました。あとはひたすらパースする感じです。今回はストレージにSQLite/LRUなインメモリストレージをが使えるようにしてあります。
基本的な実装はserverでパケットを受け取り、handlerで各タイプを処理していきます。storageパッケージでストレージは抽象化していて、そこからSQLiteやLRUなストレージを操作するという感じです。Memcachedのバイナリプロトコルは結構わかりやすく、Opcodeを見てそれぞれ処理していく、あとはQuietlyに気をつければなんとかなります。たまに本物のMemcachedにリクエストを投げながらつじつまを合わせたりしました。（本当はソースを理解できればよかったけど）
一応、ベンチマークを取ってみましょう。ストレージをSQLiteにした結果はこちらです。とりあえずベンチが回るところまで作れて良かったなあという感想です。
ALL STATS ========================================================================= Type Ops/sec Hits/sec Misses/sec Latency KB/sec ------------------------------------------------------------------------- Sets 1330.79 --- --- 25.04900 98.88 Gets 13293.28 4505.96 8787.32 13.13200 466.84 Waits 0.00 --- --- 0.00000 --- Totals 14624.07 4505.96 8787.32 14.21600 565.73
遅すぎますが、一応使えることが分かります。LRUにすると、こうなります。
ALL STATS ========================================================================= Type Ops/sec Hits/sec Misses/sec Latency KB/sec ------------------------------------------------------------------------- Sets 1524.89 --- --- 12.94800 113.30 Gets 15232.17 15230.34 1.83 12.65700 534.94 Waits 0.00 --- --- 0.00000 --- Totals 16757.06 15230.34 1.83 12.68400 648.24
実際のmemcachedはこちら。比べものにならないことがわかります...。（早いモノを作るのが目的じゃなかったので良いのですが）
ALL STATS ========================================================================= Type Ops/sec Hits/sec Misses/sec Latency KB/sec ------------------------------------------------------------------------- Sets 12417.96 --- --- 1.45500 922.69 Gets 124043.18 123961.91 81.26 1.46400 4356.26 Waits 0.00 --- --- 0.00000 --- Totals 136461.14 123961.91 81.26 1.46300 5278.94
ちなみに、RubyのMemcacheクライアントのDalliから使って見ましょう。
irb(main):003:0> d = Dalli::Client.new("localhost:11211")
=> #<Dalli::Client:0x00007f92d2046d90 @servers=["localhost:11211"], @options={}, @ring=nil>
irb(main):004:0> d.set("test",1)
=> 15988849166174051443
irb(main):006:1" ^C
irb(main):006:0> d.get("test")
=> 1
irb(main):007:0> d.version
=> {"localhost:11211"=>"0.0.1"}
きちんと値がセットされていることが分かります。
今回のこれで具体的なサーバの書き方が若干分かったり（今見ると直したいところが一杯ありますが）、バイナリと仲良くなれたのは良い経験だったなと思いました。ちゃんと書き直すのはいつになるか分かりませんが、とりあえずこれで供養をしておきます。
