本日のtopicsは、AIによるデータマネジメントツール「Adansons Base」をご紹介します。
株式会社Adansonsは、非構造化データのメタ情報を整理し、AI学習用データセットの作成・管理を容易にするデータマネジメントツール「Adansons Base」をリリースしました。
概要
画像や音声などの非構造化データをAI学習用に整理・整形することは、AI開発で頻繁に発生する工程です。「Adansons Base」ではこの工程にかける手間と時間を極力削減し、必要なデータを最適な形式で取り出すことができます。これによりデータセット設計を効率化し、学習結果のより深い考察やAIの性能の維持向上、いわゆるデータセントリックなAI開発を手助けします。
特長
主な特長を4つご紹介します。
①データセット作成に役立つ情報をデータベースに収集・統合
本製品では、データファイルのパスやファイル名などに含まれる情報や、Excelなどの外部ファイルに記述されたデータに関連する属性情報(メタデータ)を自動で抽出し、データセットとしていつでも使用できるように整形します。
つまり、重複する同じ内容のメタデータなどを、データファイルの情報などから自動で推測しながら、データベースに統合します。
例えば、下の例の場合、
・管理番号と番号
・クラス名とクラス名称
という列が自動で統合されます。
データベースに収集するメタデータの例
・ファイルパスやフォルダ名
・ExcelやCSV等にまとめられた学習データに関連する情報
・データに紐づくAIの学習結果やパラメータ
※データファイルそのものはユーザーの手元に残したまま、上記情報のみを吸い上げて紐付けます。
各種クラウドストレージ等に対応
ユーザーのローカルストレージの他に、各種クラウドストレージにも対応し、クラウド上にデータファイル自体は残したまま必要な情報のみを収集します。
②データセット作成時間の削減
各種MLフレームワークに対応し、作成したデータベースは、SDKを使えば、PyTorchやTensorflowですぐに使える形式で書き出しも可能です。わざわざDataloaderを記述する必要はありません。
また、学習結果もデータセット作成に反映可能です。学習した結果をデータベースに簡単に収集し、この結果を使って、例えば精度が悪かったデータだけを簡単に取り除くことも可能です。
つぎに、URLやCSV形式などでも書き出し可能です。書き出しの形式が複数あることで、DataRobotなど他のデータプラットフォームとの連携ができます。
③データセット共有の高速化
作成したデータセット、データファイル以外の学習に必要な情報は簡単に共有することができ、共有された人はすぐに最新のデータセットを使用できます。本製品をクラウドストレージのように使用して受け渡しすることが可能です。
④AI性能向上のためのデータセット高品質化サポート
本機能は、AIの学習結果とデータセットの持つ情報を合わせて活用することにより、ユーザーの手元で簡単にデータセントリックなAI開発を可能にするレコメンドエンジンです。
AIの学習結果とラベルなどの情報を比較して、様々な角度から、AIの性能を下げる要因を探して教えてくれます。
提案を受け入れたデータセットは、即時に提案内容を反映したデータセットとしてJupyterなどで使用可能です。
AIの学習用データセット作成を効率化する、データマネジメントツール「Adansons Base」に注目です!