いろいろ作るよ

今まで作った物やその過程を技術的なことを省いて残すよ

スマホ自動化!物理的に自動でスマホ・タブレット操作をするロボットの作成

hackdayで技術賞を受賞したのがコーポレートブログに載ったのでそれに便乗して作った物を記録するためのブログ書きます。 月に1回くらいは更新したいです。



作った物

自動スマホ・タブレット操作(物理)

f:id:ruteinyoyokk121:20161002182001g:plain

アームで自動的にスマホとかタブレットを操作できます。 4人1チームで作りました。



作った背景

ツールとか脱獄無しでソシャゲのログインボーナスの開くところまで自動化したい。

アプリ開発のテストを自動化して作業効率を上げるためです。



作成手順

  1. とりあえず動かす
  2. 簡単な一連の動きをしてみる
  3. タブレットを操作をする

作成する手順はこんな感じで、発表まで間に合わなそうならそれに合わせて発表しようとしてました。 結果としては最終目標のタブレットに一連の操作を行う所まで出来ました。


1.とりあえず動かす

サーボモーターをarduinoに繋げます。

f:id:ruteinyoyokk121:20161002185359j:plain

繋げたら適当に動かしてみます。

回転させたり

f:id:ruteinyoyokk121:20161002170311g:plain

伸ばしたり

f:id:ruteinyoyokk121:20161002183932g:plain

(最初は可動範囲が分からず、サーボモーターを壊してしまいました。。)


また、手で抑えないとアームが安定しないということが分かり、固定する板や滑り止めなどをホームセンターで買ってきて両面テープで固定しました。 f:id:ruteinyoyokk121:20161002172737j:plain


2.簡単な動きをしてみる

タブレット操作が上手くできないことの保険として、簡単な動作から試しました。

ハンコを押す

f:id:ruteinyoyokk121:20161003230056g:plain

iphoneからハンコを遠隔で押す。これで上長が近くにいなくても安心


缶を開ける

f:id:ruteinyoyokk121:20161003230725g:plain

缶を開けたい時にボタン1つで開けられます。 (缶を開けるためには一度缶を開けて穴を開ける作業とミリ単位の配置が必要)

そして、この時にまたモーターが壊れたのでアキバまでサーボモータを買いに行くことに・・・


3. タブレットを操作してみる

次に本命のタブレット操作をします。

先っぽのサーボモーターを外して f:id:ruteinyoyokk121:20161002172910j:plain

タッチペンに変更! f:id:ruteinyoyokk121:20161002172847j:plain タッチペンにGNDをつなげないといけないのもここで判明


途中で短いペンを運営の方に頂いたのでそっちに変更!安定感が違う!! f:id:ruteinyoyokk121:20161002172820j:plain

あとは動かした時にメモした内容を元に座標の位置計算をして、、 f:id:ruteinyoyokk121:20161002174017j:plain

ターミナルでやっていた操作をアプリに落とし込んで、、

マウスで操作するwindows版

f:id:ruteinyoyokk121:20161002173959j:plain

タブレットで操作するandroid版

f:id:ruteinyoyokk121:20161002173632p:plain

操作の順番を保存して動かせば完成!!

f:id:ruteinyoyokk121:20161002182001g:plain



感想

これでゲームを自動化でき・・

テストの自動化がこれでできる!