弊社の持つ要素技術についてご紹介いたします。
以下の3点の技術は、弊社の独自ノウハウが詰め込まれたものです。
依存関係の高速推論エンジン
データの項目(Column)間の依存関係を極めて短い時間で推論するものです。
これは、弊社の特許技術でもあります(特許第7526525号, データ間の依存性判定システム、データ間の依存性判定プログラム、及び、データ間の依存性判定方法)。
高速ベクトル検索エンジン
大量のベクトル(数千万ベクトル)に対して、複数(数十~数百)ベクトルで検索をかけることを目的とした検索エンジンです。
特別なハードウェアを用いることもなく、ソフトウェアベース・シングルスレッドで十分高速な検索を行います。
もちろん、環境が許せば複数スレッドでの検索も可能です。その場合は、更に高速な検索が可能となります。
ベクトルデータの高速クラスタリングエンジン
大量のベクトル群(数百次元のベクトルが数十~数億)に対して、クラスタリングを実施するものです。
クラスタ数としてターゲットとしている数は 100~10,000 程度です。
この領域は、既存のクラスタリング技術(k-means 及びその亜種)では応答時間が長くなりすぎ実用的ではありません。
本手法では、複数スレッドでの動作が前提となりますが、例えば100万弱であれば数日程度でクラスタリングが完了します。
また、高次のベクトル空間では、データ密度のゆらぎが強い影響を与えるため、密度ゆらぎをキャンセルする処理も入っています。もちろん、Off にすることも可能です。
分散型オブジェクト指向データベース(通信基盤込み)
EBt で主に利用しているデータベースですが、弊社製品でDB機能が必要なときは、これを組み込んでいます。例えば、DocuSleuth では分散機能は利用していませんが、オブジェクト指向DBとして利用しています。