高精度のAI姿勢推定エンジン「VisionPose」

VisionPoseは、マーカーや深度センサなどを使わずにカメラ画像を使用して複数人の骨格を検出する高精度の AI 姿勢推定エンジンです。

１．人体 30 キーポイントを最高 60FPS でリアルタイムに検出可能
２．2 台のカメラで 3D 推論（Standard）と、1 台のカメラで 3D 推論（Single3D）に対応 すぐに使える２つのアプリを標準添付
1) リアルタイムの姿勢推定と映像への表示（BodyAndColor）※ソースコードつき
2) 動画や静止画の電子ファイルを使った姿勢推定（VP Analyzer）※Single3D iOS 版を除く
３．商用利用を含め、用途に制限はありません
４．SDK として提供しており、C#/C++/Swift での開発が可能
５．追加学習が可能 ※追加学習はオプションサービスで、実施には条件があります

スポーツ競技は基本となるフォームがあり、技術を向上させる場合お手本を見て真似たり、アドバイスを受けることで習得していく場合が多くあります。しかし、個人の感覚の違いや伝わり方のズレから、成果の出にくい身体の動かし方や怪我しやすいフォームなどに悩まされる事もあります。

VisionPose では骨格情報を取得・データで可視化できるため、理想とするフォームと現在のフォームを比較し改善点を数値として明確化することができます。

各個人の感覚的なフォーム指導だけではなく、数値に基づいた改善点の提案・効率的な修正も可能になります。過去のフォームのとの比較を行う事で、伸びている部分へのフォロー等にも活用できます。

VisionPose を使用することで、姿勢情報を検出し作業員の身体にかかる負荷等の可視化ができます。それらをデータベースに蓄積することにより、作業内の各動作や内容を見直し、さらに全体的な改善へ役立てることが可能です。職場環境の改善により作業の明確化や無駄な作業の軽減等、作業員の負担軽減や品質の向上にも繋がります。

防犯カメラに VisionPose を組み込むこともできます。人の動きを常にチェックすることでデータを蓄積し、普段と違う行動を行った場合の判断基準に利用することが可能です。「立ち姿 → 寝姿 = 倒れている」のように因果関係から急病人の判断できたり、怪しい動作をしている人物の検出や、無人レジの人物チェックなどにもご利用いただけます。

VisionPose を利用すると、対象の人物にデバイス機器やマーカー等を装着することなくモーションキャプチャも可能です。カメラに映した体の骨格情報をAIが解析し、その動きを3DCGキャラクターに反映させることができます。デバイス等を身体に直接装着しないため、衛生面を気にすることなく簡単に全身の動きを検出が可能です。

また、VisionPose シリーズの1つであるSingle3D版ではカメラ1台で人間の骨格情報を3次元座標で推論できるため、スマートフォンアプリにもご利用いただけます。ユーザーは特別な機械を用意する必要がないため、3DCG キャラクターなどを使用するハードルも低くなり、VRやVTuberで利用するキャラクターを簡易的に動かす用途や、体を使ったアプリケーションなどの用途で活用できます。

WEB カメラ映像から骨格情報を可視化し、リアルタイムで映像上に骨格情報を表示できます。骨格情報を元に、部位ごとに色分けした線でわかりやすく確認することができます。VisionPose の SDK に同梱しているため、PC を設定後すぐに人間の動きや行動確認に利用することが可能です。

データは CSV 形式で出力できるため、このデータを利用して分析やモーション作成用途にも使用できます。

VisionPose はネクストシステムが独自に開発した AI エンジンであるため、追加学習（※）を行うことで精度を調整できます。普段の生活でとるような基本的な姿勢を認識しやすいように当社標準の学習済モデルを搭載していますが、日常生活から離れた特定の分野においての姿勢は、標準の学習モデルだと認識し辛い場合があります。この場合、追加学習を行うことで特定の分野に特化した学習モデルを作成できます。

※追加学習はオプションサービスです。
※追加学習の実施には条件があります。

VisionPose に追加学習をさせる際に利用する教師データ作成ツールです。精度を向上させたい画像に正しい骨格ポイントを入力し、追加した教師データを VisionPose に追加学習させることで、骨格検出の精度向上が期待できます。

学習のために必要な素材データは、精度を上げたい姿勢の画像のみであり、画像を読み込んで初期推論を行うことで、1から手でキーポイントを打つ必要がなく効率的に作業できます。

またネクストシステムにご相談いただければ、追加学習を含めての対応方法のご提案や検出ポイントの追加など、特定姿勢の精度向上の枠におさまらない新しい可能性を広げていくことも可能です。