AIでPC(Mac)を操作してくれるアプリをHack Dayでチーム開発しました。
作ったもの
話しかけたり依頼を送信するとアザラシがPCを操作してくれます。
ちなみにアザラシの名前は「らしたん」です。
例えば大阪のホテルをエクセルにまとめてというと
ホテルを検索して。。
エクセルにおすすめポイントと一緒にまとめてくれます。
また、zoomを盛り上げてといえば、PCを入力してzoomをいい感じに盛り上げたり。
などなど、Appleスクリプトのアプリの権限があればガンガンアザラシが操作してくれます!圧倒的業務効率アップ!!
ぜひプロダクト紹介の動画もどうぞ!
仕組み
LangChain Agentを用いてApple Sciprtを作成することにより直接macを動かし、どのようなアプリに対しても操作を行えるようにしてあります。
一方、AIが危ない操作をしてしまう可能性があるのでそのような操作が行われそうな場合には事前に許可をもらうようにしています。
デザインに関して
デザインはデザイナーさんがキャラクターとの会話を通じて「パートナーとしてお仕事をしている感」を大切に作成しており、モーションパターンは8種類以上、アシスタントとして身近な存在に感じるよう親しみやすいビジュアルにしています。
まとめ
ほぼ毎年、ハッカソンに出ていますがここ最近の技術の進歩、特にAIの進化はすごいですよね。
5年以上前のハッカソンでは使っていればすごいレベルだったのが、今ではみんな当たり前のように使っているしなんなら開発中にもCopilotなどで使っていますよね。
おそらく数年前にあった実現が難しいアイデアとかでも今の技術なら実現できてしまいそうです。
開発もそうですが、AI系の新技術を見るのがとても楽しみです!
※操作を行うアプリ事前に設定画面からApple Scriptの許可が必要になります。