リリース情報

画面のデザインを認識して、設計データを逆生成する AI ソフトウェア画像認識 AI「(仮称)Design Recognition AI サービス」発表

  • 2017.10.18
  • 株式会社システムインテグレータ
画面のデザインを認識して、設計データを逆生成する AI ソフトウェア画像認識 AI「(仮称)Design Recognition AI サービス」発表

株式会社システムインテグレータ(本社:さいたま市中央区 代表取締役社長:梅田弘之、東証1部 証券コード 3826、以下「当社」)は、業務ソフトや EC サイトなどの画面から、使われている部品や文字、配置情報を画像認識して設計データを逆生成する AI サービス「(仮称)Design Recognition AI サービス(以下「Design Recognition AI サービス」)」を 2018 年3 月 7 日から販売開始します。

Design Recognition AI サービスによる設計書逆生成

通常のソフトウェア開発作業は、①エンジニアが設計書を作成して、②それをもとにプログラ
ミングして、③アプリケーション画面が出来上がります(図 1 A)。一方で、アジャイル開発(設計書を作成しないでソフトウェアを作成する手法)の場合や、メンテナンス(保守・改修)を繰り返した結果で当初の設計書が実物と乖離してしまった場合などに、「今後のメンテナンスの効率化のためにきちんとした設計書を作っておきたい」という要望をよく聞きます。
そこで、全世界に共通する「実物をもとに設計書を作成したい」というニーズを満たすため、
AI を使って実際の画面から設計データを逆生成する Design Recognition AI サービスを販売開始します(図 1 B)。

img1-2.png

Design Recognition AI サービスの仕組み

Design Recognition AI サービスは、①画面からオブジェクト(設計部品)を検出する、②部品
の種類や文字、位置を認識する、③取得した情報をもとに設計データを生成する、という3つの
連続した処理で実際の画面から設計データを逆生成します(図2)。

img2-2.png
アプリケーション画面は、一般にコントロールと呼ばれる部品で構成されています。部品に
は、値を入力する「テキストボックス」、説明文字の「ラベル」、選択につかう「ラジオボタ
ン」や「チェックボックス」、押しボタン「ボタン」、画面を切り替える「タブ」、プルダウンで候補を表示する「リストボックス」などがあります。

①オブジェクト(部品)検出
画面の中から上記のような部品を検出する処理です。一般に写真の中から人物や自動車、家
などのオブジェクトを検出する AI 画像認識は多く出回っています。しかし、画面内のコントロ
ール部品を検出するという特殊な用途にはどのモデルも使えません。Design Recognition AI
サービスは、独自にオブジェクト検出機能を作成して高い検出率を達成しています。

②認識
・部品認識(コントロール種類判定)
検出したオブジェクトが「ラベル」なのか「テキストボックス」なのかという部品認識は、
ディープラーニングの CNN(畳み込みニューラルネットワーク)アルゴリズムを使っていま
す。一般的なコントロールの学習済モデルは「SI_control」として提供しますので、ユーザーは
一から学習しなくてもすぐに利用できます。

・文字認識
「ラベル」や「ボタン」、「テキストボックス」などに書かれている文字は、設計データとして
も重要です。そのため、オブジェクトに含まれている文字を OCR(光学文字認識)により読み取っています。ここでも従来技術の OCR ではなく、AI 技術を使った OCR としているため、英数字だけでなく日本語も高い文字認識率を達成しています。

・位置認識
設計データをもとに画面設計書を自動生成するためには、部品の位置や大きさの情報も必要で
す。そのためオブジェクト検出機能では、それらの必要な情報も一緒に読み取っています。

③生成
抽出・判定した設計データは、外部で利用しやすいように JSON 形式(簡単に利用できる構造
化されたデータ形式)で出力します。

Design Recognition AI サービスの活用用途

Design Recognition AI サービスは、ソフトウェア開発の設計工程や保守工程などの幅広い範
囲で活用できます。例えば、紙にスケッチしたシステムのイメージ画像を Design Recognition AIサービスに送信するとテキストボックスやボタンなどの各要素を検出できますので、モックアップ(HTML)の生成に役立てることができます。また、レガシーなシステムにおいて設計書がないケース、メンテナンスされていないケースが多くありますが、稼働しているシステム画面の情報をもとに、最新の設計書が生成可能です。
また、“実物から設計書を逆生成”という発想は IT 業界に限らず利用可能です。例えば、自分の
家をカメラで撮影して「ドア」「窓」「壁」などのオブジェクトを検出し、CAD ソフトに取り込めば、新しい家づくりやリフォームに役立てることができます。

Design Recognition AI サービスと「SI Object Browser Designer(OBDZ)」との連携

当社は、アプリケーションソフトウェアを設計する CAD(コンピュータを使った設計)ツール
「SI Object Browser Designer (以下「OBDZ」)」を販売しています。この製品は、これまで
Word や Excel などで手書きしていたソフトウェア設計書作成作業を CAD 技術により効率化する設計ツールで、その先進的な発想で 2015 年に特許を取得しています。
Design Recognition AI サービスは、この OBDZ と連携してシームレスに実際の画面情報から抽
出した設計データを OBDZ に取込むことができます(図3)。その結果、「出来上がった画面から設計情報を逆生成し、今後のメンテナンスは OBDZ で効率的に行う」という理想的な使い方ができるようになりました。

img3-2.png

特許出願中

「設計書からアプリケーションを作成する」という通常の流れと真逆で、「実際の画面から設
計書を逆生成する」という発想はこれまでにない画期的な考え方として特許出願しておりま
す。(出願番号:2017-181768)


今後の販売計画

現在急拡大しているクラウドを利用したシステム設計でも、Design Recognition AI サービス
を幅広く使うことができます。Design Recognition AI サービスおよび OBDZ の利用者増加を見
込み、2018 年度から 3 年間で約 3億 円、SI Object Browser シリーズ全体では、同年から 3
年間で約 15 億円の販売を見込んでおります。

SI Object Browser Designer カタログ

SI Object Browser Designer カタログ
SI Object Browser Designer カタログ

本資料は、OBDZの概要をまとめた資料です。ぜひこの機会に新発想の設計ツール「SI Object Browser Designer」をご検討ください。

無料Eブックをダウンロード