ベクトルデータベースとは——意味で探すための保管庫
文書を数値の並び(ベクトル)にして保管し、意味の近さで取り出せるようにした保管庫。社内文書をAIに読ませる仕組みの土台になります。
社内文書を読ませる仕組みの構成図を見ると、たいてい真ん中にこれが置かれています。ベクトルデータベース、あるいはベクトルストア。
役割は単純で、「意味で探せる形で文書をしまっておく場所」です。
通常のデータベースとの違い
これまでのデータベースは、値の一致や大小で探します。「顧客IDが1234のもの」「金額が一定を超えるもの」。条件がはっきりしていて、答えは一つに決まります。
ベクトルデータベースが探すのは、意味の近さです。埋め込みで数値の並びに変換した文書を保管し、質問文も同じ形に変換して、近いものを順に取り出します。
答えは一つに決まりません。「近いものを上から数件」という返り方をします。この違いは、使う側にも効いてきます。取り出す件数をいくつにするかが設計項目になり、少なすぎれば答えの材料が足りず、多すぎれば無関係な文書が混ざります。
部活の現場でいうと
部室の棚は、片づいていることより、誰でも取り出せることのほうが大事です。
きれいに箱へ収めても、中身が見えない箱を棚の上に置けば、その部では無いのと同じになります。ラベルを貼って、一年生の背でも届く高さに置いて、はじめて「持ってきて」が成立します。
ベクトルデータベースの議論も、性能の話に寄りがちですが、効いてくるのは同じところです。誰がどこまで開けてよいかと、中身が変わったときに誰が入れ替えるか。
二つ目は、後回しにすると必ず腐ります。学年が上がるたびの入れ替えを誰がやるか決めていない棚から先に、開かずの箱になる。社内文書でも同じことが起きます。
規模で選び方が変わる
導入相談でよく起きるのは、規模に合わない構成を提案されているケースです。
| 文書の量 | 現実的な選び方 |
|---|---|
| 数十〜数百件 | サービスに組み込まれたファイル置き場の機能で足りる |
| 数千件規模 | 既存データベースの拡張機能、または軽量な専用サービス |
| 数万件以上・部署ごとの権限分け | 専用のベクトルデータベースを構成する |
最初から一番下の構成で見積が出てきたら、その理由を聞いてください。妥当な理由があることもありますが、規模に対して重すぎる構成は、運用の負担が先に効いてきます。
小さく始めて、詰まったところで足すほうが、結果として早く形になります。
見落とされやすい二つ
構成の議論では性能の話になりがちですが、実務で効いてくるのは別のところです。
権限。人事の文書と、営業の文書と、経営会議の資料を同じ場所に入れると、誰の質問にもすべてが検索対象になります。「部長が見られる文書と、一般社員が見られる文書を分ける」を後から足すのは、最初から設計するより手間がかかります。導入時に、権限をどう分けるかを決めておいてください。
更新。文書は変わります。規程が改定される、マニュアルが差し替わる、価格表が更新される。入れ直す仕組みがないと、半年後には古い内容を自信たっぷりに答える仕組みになります。
更新の設計で決めておくのは三つです。誰が入れ直すか、どのタイミングで入れ直すか、古い版をどう消すか。三つ目が抜けていると、新旧が同居して、どちらが引かれるか運任せになります。
中身より、運用が続くか
技術としては成熟してきていて、選択肢も増えました。判断で見るのは、性能より運用が続く形になっているかどうかです。
入れ直しに専門知識が要る構成だと、担当者が異動した時点で止まります。文書を置き場所に入れれば反映される、くらいの手軽さがあるかどうか。ここを導入前に確かめておくと、一年後の状態が変わります。
顧問先によく聞かれること
- 専用のデータベースを別に用意する必要がありますか。
- 規模によります。文書が少ないうちは、既存のデータベースの拡張機能や、サービスに組み込まれた機能で足ります。専用のものが要るのは、件数が増えて検索が遅くなったとき、あるいは権限を細かく分ける必要が出たときです。最初から専用構成を提案されたら、その理由を聞いてください。
- 文書を更新したら、自動で反映されますか。
- 自動にはなりません。更新を検知して入れ直す仕組みを作る必要があります。ここを設計に入れていない構成は、半年後に「古い内容を答える仕組み」になります。誰がいつ入れ直すかを、導入時に決めておいてください。
出典(一次情報)
- Vector embeddings(ベクトル埋め込み) OpenAI API Docs
- File search(文書の分割・埋め込み・検索) OpenAI API Docs
解釈を挟まない一次情報だけを挙げています。仕様・条件・制度は改定されるため、 判断に使う際は必ずリンク先の最新版をご確認ください。