リリース情報

画面のデザインを認識して、設計データを逆生成する AI ソフトウェア画像認識 AI「AISIA Design Recognition」発表

  • 2017.10.18
  • 株式会社システムインテグレータ
画面のデザインを認識して、設計データを逆生成する AI ソフトウェア画像認識 AI「AISIA Design Recognition」発表

株式会社システムインテグレータ(本社:さいたま市中央区 代表取締役社長:梅田弘之、東証1部 証券コード 3826、以下「当社」)は、業務ソフトや EC サイトなどの画面から、使われている部品や文字、配置情報を画像認識して設計データを逆生成する AI サービス「AISIA Design Recognition AI サービス(以下「AISIA-DR」)」を 2018 年3 月 7 日から販売開始します。

AISIA-DRによる設計書逆生成

通常のソフトウェア開発作業は、①エンジニアが設計書を作成して、②それをもとにプログラ
ミングして、③アプリケーション画面が出来上がります(図 1 A)。一方で、アジャイル開発(設計書を作成しないでソフトウェアを作成する手法)の場合や、メンテナンス(保守・改修)を繰り返した結果で当初の設計書が実物と乖離してしまった場合などに、「今後のメンテナンスの効率化のためにきちんとした設計書を作っておきたい」という要望をよく聞きます。
そこで、全世界に共通する「実物をもとに設計書を作成したい」というニーズを満たすため、
AI を使って実際の画面から設計データを逆生成する AISIA-DRを販売開始します(図 1 B)。

img1-2.png

AISIA-DRの仕組み

AISIA-DRは、①画面からオブジェクト(設計部品)を検出する、②部品の種類や文字、位置を認識する、③取得した情報をもとに設計データを生成する、という3つの連続した処理で実際の画面から設計データを逆生成します(図2)。

img2-2.png
アプリケーション画面は、一般にコントロールと呼ばれる部品で構成されています。部品に
は、値を入力する「テキストボックス」、説明文字の「ラベル」、選択につかう「ラジオボタ
ン」や「チェックボックス」、押しボタン「ボタン」、画面を切り替える「タブ」、プルダウンで候補を表示する「リストボックス」などがあります。

①オブジェクト(部品)検出
画面の中から上記のような部品を検出する処理です。一般に写真の中から人物や自動車、家
などのオブジェクトを検出する AI 画像認識は多く出回っています。しかし、画面内のコントロ
ール部品を検出するという特殊な用途にはどのモデルも使えません。AISIA-DRは、独自にオブジェクト検出機能を作成して高い検出率を達成しています。

②認識
・部品認識(コントロール種類判定)
検出したオブジェクトが「ラベル」なのか「テキストボックス」なのかという部品認識は、
ディープラーニングの CNN(畳み込みニューラルネットワーク)アルゴリズムを使っていま
す。一般的なコントロールの学習済モデルは「SI_control」として提供しますので、ユーザーは
一から学習しなくてもすぐに利用できます。

・文字認識
「ラベル」や「ボタン」、「テキストボックス」などに書かれている文字は、設計データとして
も重要です。そのため、オブジェクトに含まれている文字を OCR(光学文字認識)により読み取っています。ここでも従来技術の OCR ではなく、AI 技術を使った OCR としているため、英数字だけでなく日本語も高い文字認識率を達成しています。

・位置認識
設計データをもとに画面設計書を自動生成するためには、部品の位置や大きさの情報も必要で
す。そのためオブジェクト検出機能では、それらの必要な情報も一緒に読み取っています。

③生成
抽出・判定した設計データは、外部で利用しやすいように JSON 形式(簡単に利用できる構造
化されたデータ形式)で出力します。

AISIA-DRの活用用途

AISIA-DRは、ソフトウェア開発の設計工程や保守工程などの幅広い範囲で活用できます。例えば、紙にスケッチしたシステムのイメージ画像をAISIA-DRに送信するとテキストボックスやボタンなどの各要素を検出できますので、モックアップ(HTML)の生成に役立てることができます。また、レガシーなシステムにおいて設計書がないケース、メンテナンスされていないケースが多くありますが、稼働しているシステム画面の情報をもとに、最新の設計書が生成可能です。
また、“実物から設計書を逆生成”という発想は IT 業界に限らず利用可能です。例えば、自分の
家をカメラで撮影して「ドア」「窓」「壁」などのオブジェクトを検出し、CAD ソフトに取り込めば、新しい家づくりやリフォームに役立てることができます。

AISIA-DRと「SI Object Browser Designer(OBDZ)」との連携

当社は、アプリケーションソフトウェアを設計する CAD(コンピュータを使った設計)ツール
「SI Object Browser Designer (以下「OBDZ」)」を販売しています。この製品は、これまで
Word や Excel などで手書きしていたソフトウェア設計書作成作業を CAD 技術により効率化する設計ツールで、その先進的な発想で 2015 年に特許を取得しています。
AISIA-DRは、この OBDZ と連携してシームレスに実際の画面情報から抽出した設計データを OBDZ に取込むことができます(図3)。その結果、「出来上がった画面から設計情報を逆生成し、今後のメンテナンスは OBDZ で効率的に行う」という理想的な使い方ができるようになりました。

img3-2.png

今後の販売計画

現在急拡大しているクラウドを利用したシステム設計でも、AISIA-DRを幅広く使うことができます。AISIA-DRおよび OBDZ の利用者増加を見込み、2018 年度から 3 年間で約 3億 円、SI Object Browser シリーズ全体では、同年から 3年間で約 15 億円の販売を見込んでおります。

SI Object Browser Designer カタログ

SI Object Browser Designer カタログ