【視線入力でコーディング!?】 Tobiiアイトラッカー5と「見るマウス」でScratchプログラミングしてみた!

アサシン グリードなども使えるゲーム用の視線追跡デバイス「Tobiiアイトラッカー5」と視線によるマウス操作を可能にする「見るマウス」でScratch(スクラッチ)をやってみました。最初はちょっと大変かもしれませんが、慣れてくればゲーム、アニメショーンなどをコーディングできそうです。
Tobiiアイトラッカー5はAmazonなどで4万円程度で購入できます。見るマウスはTopolo-Zさんにより無償で提供されているソフトウェアです。

視線入力でScratchプログラミングするまでの流れ

STEP.1
Tobiiアイトラッカー5
Tobiiアイトラッカー5を購入し、Tobii Experienceをインストール+設定する!
STEP.2
見るマウス
STEP.3
Scratch(スクラッチ)
Scratchコミュニティサイトにアクセスし、視線入力でプログラミングやゲームをプレイ!
Scratch(スクラッチ)とは?

MITメディアラボにより開発されたビジュアルプログラミング言語。子供たちが物語やゲーム、 アニメーションなどのインタラクティブな作品をプログラミングできる。また、自分の作った作品を世界中の人々と共有できるコミュニティーサイトでもある。世界中で1億人を超えるユーザがいる。
こちらのホームページにアクセスすれば無料で利用できる。

STEP.1 Tobiiアイトラッカー5のインストール+設定

STEP.1
Tobiiアイトラッカー5を購入
STEP.2
Tobiiアイトラッカー5をPCに接続

STEP.3
Tobii Experienceインストール1

https://gaming.tobii.com/にアクセスする。

STEP.4
Tobii Experienceインストール2

「Download」ボタンをクリックする。
STEP.5
Tobii Experienceインストール3

「tobii」というボタンをクリックする。
STEP.6
Tobii Experienceインストール4

Tobiiデバイスの中から、「Tobii Eye Tracker 5」を選ぶ。
STEP.7
Tobii Experienceインストール5

「DOWNLOAD DRIVER」ボタンをクリックする。
STEP.8
Tobii Experienceインストール6

ダウンロードが開始され、完了するとダウンロードフォルダーにmsiファイル(インストーラーパッケージ)が保存される。
STEP.9
Tobii Experienceインストール7

msiファイル(インストーラーパッケージ)をダブルクリックしてインストールを開始する。
STEP.10
Tobii Experienceインストール8

インストールが完了すると、Tobii Experienceが立ち上がる。

STEP.11
Tobii Experienceの初期設定1

「開始する」ボタンをクリックして、初期設定を行う。

STEP.12
Tobii Experienceの初期設定2

「承諾」ボタンをクリックする。

STEP.13
Tobii Experienceの初期設定3

キャリブレーションを行う。キャリブレーションは、画面のメッセージに従い、ドットを爆発するまで見続ければ数分で完了する。

STEP.14
Tobii Experienceの初期設定4

キャリブレーションが完了したら、プロフィール名を入力し「保存」ボタンをクリックする。

STEP.15
Tobii Experienceの初期設定5

「視線をプレビュー」をオンONにして、視線の軌跡(白いふわふわした輪)を表示させる。

STEP.16
Tobii Experienceの初期設定6

Tobii Experienceのインストールと初期設定の完了!

STEP.2 見るマウスのインストール+設定

STEP.1
見るマウスのインストール1


https://millmouse.wordpress.com/にアクセスする。

STEP.2
見るマウスのインストール2

画面を下にスクロールすると「Download」リンクが表示されるので、そのリンクをクリックする。
STEP.3
見るマウスのインストール3

ダウンロードが開始され、完了するとダウンロードフォルダーにMill_MouseのZipファイルが保存される。
STEP.4
見るマウスのインストール4

Mill_Mouse の Zip ファイルを右クリックし、メニューから「すべて展開」を選択して解凍する。

STEP.5
見るマウスのインストール5

Mill_Mouse の Zipファイルの解凍が完了すると、「Mill Mouse」というフォルダーが表示されので、そのフォルダーを開く。

STEP.6
見るマウスのインストール6

「Mill Mouse」フォルダー内には、UserGuide.pdfとMill_Mouse_815.exe(バージョンによって数字は異なる)ファイルがあるので、Mill_Mouse_815.exeをダブルクリックして実行する。

STEP.7
見るマウスのインストール7

「Windows によって PC が保護されました」という警告画面が表示されるので、「詳細情報」というリンクをクリックする。
※このSTEP以降の操作は自己責任で行ってください。
STEP.8
見るマウスのインストール8

「実行」ボタンをクリックする。
STEP.9
見るマウスのインストール9

「次へ」ボタンを何度かクリックする。
STEP.10
見るマウスのインストール10

「デスクトップ上にアイコンを作成する」にチェックを入れ、「次へ」ボタンをクリックする。

※「デスクトップ上にアイコンを作成する」と「見るマウスを自動的に開始する」のチェックボックスは、自由に設定して下さい。

STEP.11
見るマウスのインストール11

ここでは「デスクトップ上にアイコンを作成する」にチェックを入れたので、インストールが完了するとデスクトップ上に見るマウスのアイコンが表示される。
STEP.12
見るマウスの初期設定1

「見るマウス」を開いたら、「見るマウスの設定」ボタンをクリックして初期設定を行う。
STEP.13
見るマウスの初期設定2

「スタートアップ」タブをクリックし、「見るマウスの最新バージョンを自動的に確認する」チェックボックスにチェックを入れる。
STEP.14
見るマウスの初期設定3

「入力」タブをクリックして、入力方式にチェックを入れる。デフォルトは「同じ場所を見続けたときにクリックする」にセットされているが、複数の方式にチェックをいれることも出来る。ここでは「目を閉じたときにクリックする」だけにチェックを入れた。
※入力方式は、いくつかの方式を試してみて自分にあった方式に設定して下さい。私の場合、マウスを少しだけ動かそうとして画面を凝視すると、意図せずクリックしてしまうことが多かったので、「目を閉じたときにクリックする」だけにチェックを入れました。

STEP.15
見るマウスの初期設定4

「+補助操作」タブをクリックして、「Gaze Traceを使用する」にチェックを入れる。
※このチェックを入れることにより、「見るマウス」を開いたときも視線の軌跡(白いふわふわした輪)が表示されるようになります。

STEP.16
見るマウスの初期設定5

「クリック」タブをクリックして、「選ぶ」操作だけにチェックを入れる。
※左端のボタンを「クリック」ボタンのままとする場合、この設定は必要ありません。今回はScratch(スクラッチ)プログラミングでクリックとドラッグを頻繁に繰り返す必要があったため、左端のボタンを「選ぶ」ボタンにするためにこの設定をしました。
STEP.17
見るマウスの初期設定6

STEP.17の設定により、「見るマウス」の左端のボタンが「選ぶ」ボタンに変わる。
※「選ぶ」ボタンが選択された状態で、入力が行われると(今回の設定では目を閉じたとき)、「クリック」「右クリック」「ダブルクリック」「ドラッグ」の4つのボタンが表示され、その何れかのボタンを選ぶことが出来ます。

STEP.18
見るマウスの初期設定7

「クリック」タブをクリックして、「クリック」メニューをドラッグして「ボタン2」の下に配置し、チェックを入れる。
※左から2番目のボタンを「拡大」ボタンのままにする場合、この設定は必要ありません。ただ、STEP.17で左端のボタンを「選ぶ」ボタンにしたとき、「クリック」ボタンを2番目のボタンとして設定すると視線によるマウス操作がやりやすいと思います。
STEP.19
見るマウスの初期設定8

STEP.18の設定により、「見るマウス」の左から2番目のボタンが「クリック」ボタンに変わる。

STEP.20
見るマウスの初期設定9

「見るマウス」上でキャリブレーションを行いたい場合は、タイトルバーを右クリックする。

STEP.21
見るマウスの初期設定10

コンテキストメニューが表示されたら、「キャリブレーション」を選ぶ。

STEP.22
見るマウスの初期設定11

しばらくすると、Tobii Experienceのキャリブレーションが開始される。

STEP.23
見るマウスの初期設定12

「見るマウス」のインストールと初期設定の完了!

STEP.3 視線入力でScrtch(スクラッチ)プログラミング

STEP.1
Tobiiアイトラッカー5をパソコンに接続する

STEP.2
「見るマウス」を開く

STEP.3
「見るマウス」のモードを選択する

※Scratch(スクラッチ)プログラミングをするときは、クリックやドラッグを頻繁に行うので「選ぶ」モードにセットしました。

Scratch(スクラッチ)に公開されているゲームなどをプレイするときは、「クリック」モードにすると操作しやすいと思います。

STEP.4
「Scratch(スクラッチ)」を開く

scratch.mit.eduにアクセスします。

STEP.5
「Scratch(スクラッチ)」にサインインする

「サインイン」ボタンをクリックして、Scratchにサインインする。

Scratchアカウントを持っていない人は

画面右上の「Scratchに参加しよう」ボタンをクリックしてアカウントを作成して下さい。アカウントがなくてもScratchプログラミングは可能ですが、アカウントを持っていれば作ったプログラムをクラウドに保存したり、自分の作品を世界中の人に公開することが出来ます。

STEP.6
「作る」ボタンをクリックしてプログラミングを開始

STEP.7
Scratchエディターが開く

※このScratchエディターでゲーム、アニメーションなどプログラミングが出来ます。

STEP.8
視線操作によるScratchプログラミング実演動画

※↑マウスポインターでネコを操作するプログラムを作って見ました!

STEP.9
視線入力によるScratchプログラミングのキャプチャー動画

視線入力で楽しめるScratch(スクラッチ)プロジェクト10作品

視線入力で楽しめるScratch作品は、👇️こちらをご覧ください。

 

25043