All posts

Elasticsearch で約150万件のメール本文を検索してみた

改元に伴う10連休を利用して、以前から気になっていた検索エンジンを試してみました。きっかけは、リニューアル開発を進めているメールシステムの検索速度です。

このシステムには、約15年分、150万件のメールデータがあります。既存システムでは、メール本文を期間で絞らずに検索すると、結果が返るまで数分かかることもありました。

MySQL の全文検索も試したのですが、検索結果をもう少し調整したいと考えていたところ、検索に特化した Elasticsearch を知りました。実際のデータを読み込ませて試してみたので、そのときの記録です。

この記事は、当時の Elasticsearch と PHP クライアントを使った検証記録です。マッピングの形式やプラグインは、現在のバージョンと互換性がない場合があります。

リニューアル対象のメールシステム

独立する前に勤めていた会社では、ネットショップの運営に、自分で開発したメールシステムを使っていました。

注文が集中すると、一人ではメールを処理しきれません。そこで、一つのメールアカウントを複数のスタッフで扱えるよう、メールを中央のデータベースに集め、各スタッフが専用アプリケーションから確認できる仕組みを作りました。

メールは Ruby スクリプトで POP 受信し、MySQL に保存します。専用アプリケーションにはメールの閲覧だけでなく、商品の発注、納期管理、伝票の印刷、発送業務などの機能もまとめていました。

Windows 2000 の時代に作ったシステムですが、日々の業務を続けながら全面的に更新する時間を確保するのは難しく、仮想環境を使って運用が続いていました。独立した現在、そのシステムを Web アプリケーションとして刷新する仕事を受けています。

MySQL の全文検索を試す

既存システムでは、メール本文の検索速度が課題でした。検索対象を期間で絞らず、約150万件のメールを検索すると、数分待たされることもあります。

リニューアル後もデータベースには MySQL を使う予定です。そこで、全文検索インデックスを使い、形態素解析と N-gram の両方を試しました。

検索結果が返るまでの時間は大きく改善しました。ただ、今回のデータと検索したい言葉では、返ってくる結果をもう少し調整したいと感じました。

その後、検索に特化した Elasticsearch を知り、実際のメールデータで試してみることにしました。

Elasticsearch を試す

Elasticsearch と、データを確認するための Kibana を Docker コンテナで起動しました。

Elasticsearch は、JSON 形式のドキュメントを登録して検索できるエンジンです。HTTP API を使ってデータの登録や検索を行えるため、アプリケーションからも扱いやすそうです。

検索用のテキストは、登録時にアナライザーを通して加工できます。たとえば、文章を単語に分割したり、大文字・小文字や全角・半角の違いを吸収したりできます。

今回は、主に会社名、担当者名、電話番号、メールアドレスを検索する想定で設定を考えました。

日本語の本文を形態素解析する

本文の検索には形態素解析を使いました。文章を単語などの単位に分割し、それぞれの品詞などを調べる方法です。

たとえば、次の文章を解析するとします。

仕組みをざっくり説明すると、こんな感じかな。

分割結果のイメージは次のようになります。

仕組み / を / ざっくり / 説明 / する / と / 、 / こんな / 感じ / かな / 。

実際の分割結果は、使用する辞書や設定によって変わります。

今回の検証では、Kuromoji と NEologd を使った解析器を利用し、品詞フィルターで不要な語を除外する設定にしました。検索したい語は主に会社名や担当者名などだったため、本文では名詞を中心に残す方針です。

ただし、設定では名詞のすべてを残しているわけではありません。数詞や一部の接尾辞なども除外しているため、検索したい語が実際に残るかどうかは、データを使って確認する必要があります。

検索する項目ごとにアナライザーを分ける

Elasticsearch では、検索用途に合わせて、フィールドごとに異なるアナライザーを設定できます。同じデータから複数の検索用フィールドを作ることも可能です。

検討段階では、本文について、フレーズ検索用や部分一致検索用など、複数のフィールドを作ることも考えました。最終的に今回の検証では不要だったため、本文用は一つにしています。

電話番号とメールアドレスは、元データですでに別の項目になっていたため、それぞれ専用のアナライザーを設定しました。

本文 body

本文には、次の処理を組み合わせています。

  • ICU の正規化フィルターで文字の表記を整える
  • Kuromoji と NEologd を使って形態素解析する
  • 品詞フィルターで不要な語を除外する
  • カタカナの長音表記を正規化する

たとえば「サーバー」と「サーバ」のような表記の違いを吸収したい、という意図です。

電話番号 tel

電話番号には、文字の正規化に加えて、数字と空白以外を取り除く処理を設定しました。

ハイフンや括弧の使い方が異なっていても、検索しやすくするためです。ただし、元の設定は空白を残すため、空白を含む電話番号がどのように分割されるかも確認する必要があります。

メールアドレス email

メールアドレスには、文字の正規化と uax_url_email トークナイザーを使いました。

このトークナイザーは、メールアドレスや URL を一つのトークンとして扱うためのものです。メールアドレスの妥当性を検証する機能ではありません。 また、小文字化などの結果は、使用する正規化設定とバージョンで確認します。[Elastic の UAX URL Email tokenizer の説明]

アナライザーが処理される順番

今回の設定を考えるうえで、アナライザーの処理順序も確認しました。

char_filter
  文字列を加工する
      ↓
tokenizer
  文字列をトークンに分割する
      ↓
filter
  分割されたトークンを加工・除外する

たとえば、本文では文字を正規化してから形態素解析し、その結果に品詞フィルターを適用します。

登録時に作られた検索用の索引を使って、検索語に一致するドキュメントを探します。検索時にもアナライザーを指定できるので、登録時と検索時に同じような正規化をかけられます。

当時のマッピング設定

PHP から Elasticsearch を操作するため、当時は Elasticsearch の PHP クライアントを使いました。

今回のマッピングでは、本文・電話番号・メールアドレスの各フィールドに、登録時と検索時のアナライザーを指定しています。構造を抜き出すと、次のようになります。

'mappings' => [
    'mail' => [
        'properties' => [
            'body' => [
                'type' => 'text',
                'analyzer' => 'ja_neologd_meishi_analyzer',
                'search_analyzer' => 'ja_neologd_meishi_analyzer',
            ],
            'tel' => [
                'type' => 'text',
                'analyzer' => 'phone_number_analyzer',
                'search_analyzer' => 'phone_number_analyzer',
            ],
            'email' => [
                'type' => 'text',
                'analyzer' => 'email_analyzer',
                'search_analyzer' => 'email_analyzer',
            ],
            'mail_date' => [
                'type' => 'date',
                'format' => 'yyyy-MM-dd HH:mm:ss',
            ],
        ],
    ],
],

この例の mail は、当時の Elasticsearch で使っていたマッピングタイプです。また、各アナライザーの定義やプラグインの準備が別途必要です。

Elasticsearch では、その後マッピングタイプの扱いが変更されています。上のコードを現在のバージョンにそのまま適用せず、対象バージョンの仕様と、使用する解析プラグインの対応状況を確認してください。[Elastic のマッピングタイプ廃止に関する説明]

150万件のメールで検索してみる

準備ができたので、約15年分、150万件のメールデータを Elasticsearch に読み込ませました。登録には3時間以上かかりました。

得意先名で検索してみたところ、結果は約0.2秒で返ってきました。

既存システムでは、期間を絞らずに全文検索すると数分待つこともあったため、この結果には驚きました。今回試した範囲では、全角・半角や大文字・小文字の違いも吸収できています。

既存システムと Elasticsearch では、検索方法や構成が異なります。今回の数字は厳密な同条件の比較ではありませんが、実データで検索の使い勝手を試すうえで、良い手応えを得られました。

運用を始めてから部分一致などが必要になれば、N-gram を使うフィールドを追加することも考えています。別の案件でも大量の文章を扱う予定があるので、検索方法の候補として引き続き試していくつもりです。

Discussion