簡単 !! HoloLens で始める Cognitive Services

～ de:code 2018 特別バージョン～

AC62

自己紹介

HoloLens体験会やってます

本日紹介すること

はじめに

公式サンプル公開

https://docs.microsoft.com/ja-jp/windows/mixed-reality/academy

共通の前提事項

https://docs.microsoft.com/ja-jp/windows/mixed-reality/locatable-camera-in-unity

https://docs.microsoft.com/ja-jp/windows/mixed-reality/locatable-camera

実行環境バージョン情報

HoloLens＋Face API

サンプルその① HoloLens＋Face API

https://azure.microsoft.com/j

a-jp/services/cognitive-

services/face/

前提事項

https://docs.microsoft.com/ja-jp/windows/mixed-reality/mr-azure-304

サンプルその① HoloLens＋Face API

サンプルその① HoloLens＋Face API

エアタップごとに実行

顔ごとに実行

サンプルその① HoloLens＋Face API

サンプルその① HoloLens＋Face API

サンプルその① HoloLens＋Face API

URLを使用して外部から画像取得

サンプルその① HoloLens＋Face API

サンプルその① HoloLens＋Face API

サンプルその① HoloLens＋Face API

サンプルその① HoloLens＋Face API

#r "Newtonsoft.Json"

using System;

using System.Net;

using System.Threading.Tasks;

using Newtonsoft.Json;

public static async Task<object> Run(HttpRequestMessage req, TraceWriter log)

{

log.Verbose($"Webhook was triggered!");

string jsonContent = await req.Content.ReadAsStringAsync();

var personInfo = JsonConvert.DeserializeObject<PersonInfo>(jsonContent as string);

using (var client = new HttpClient())

{

var res = await client.PostAsJsonAsync("LogicAppsのURL",new {

name = personInfo.name

}

);

// Response Code

return req.CreateResponse(res.StatusCode);

}

}

public class PersonInfo {

public string name { get; set; }

}

サンプルその① HoloLens＋Face API

https://github.com/haveagit/HoloLensFaceAPISample

HoloLens＋Computer Vision API

サンプルその② HoloLens＋Computer Vision API

https://azure.microsoft.com/ja-

jp/services/cognitive-

services/computer-vision/

{ "tags": [ "train", "platform", "station", "building", "indoor",

"subway", "track", "walking", "waiting", "pulling", "board",

"people", "man", "luggage", "standing", "holding", "large",

"woman", "yellow", "suitcase" ], "captions": [ { "text": "people

waiting at a train station", "confidence": 0.833099365 } ] }

前提事項

サンプルその② HoloLens＋Computer Vision API

サンプルその② HoloLens＋Computer Vision API

エアタップごとに実行

音声入力ごとに実行

サンプルその② HoloLens＋Computer Vision API

サンプルその② HoloLens＋Computer Vision API

サンプルその② HoloLens＋Computer Vision API

サンプルその② HoloLens＋Computer Vision API

サンプルその② HoloLens＋Computer Vision API

https://github.com/haveagit/HoloLensComputerVisionSample

HoloLens＋Custom Vision Service

サンプルその③ HoloLens＋Custom Vision

どこに

https://azure.microsoft.com/ja-

jp/services/cognitive-

services/custom-vision-service/

前提事項

WebAPIによる物体検出

https://youtu.be/y2CLT9LgmOk

HoloLensローカル環境（要RS4）での分類、物体検出

http://akihiro-document.azurewebsites.net/post/hololens_windowsmachinelearningunity/

http://akihiro-document.azurewebsites.net/post/hololens_windowsmachinelearningpaint2/

WebAPIによる分類

前提事項

https://qiita.com/morio36/items/42ee34a1c97929d44ca2

サンプルその③ HoloLens＋Custom Vision

サンプルその③ HoloLens＋Custom Vision

エアタップごとに実行

サンプルその③ HoloLens＋Custom Vision

https://github.com/arXivTimes/arXivTimes/tree/

master/datasets

サンプルその③ HoloLens＋Custom Vision

https://southcentralus.dev.cognitive.microsoft.c

om/docs/services/eb68250e4e954d9bae0c265

0db79c653/operations/58acd3c1ef062f0344a4

2813

https://southcentralus.dev.cognitive.microsoft.c

om/docs/services/450e4ba4d72542e889d93fd

7b8e960de/operations/5a6264bc40d86a0ef8b

2c290

・TagがTagNameに・Regionが追加・現状、頭文字は小文字

サンプルその③ HoloLens＋Custom Vision

サンプルその③ HoloLens＋Custom Vision

https://github.com/haveagit/HoloLensCustomVisionAPISample

© 2018 Shingo Mori All rights reserved.

本コンテンツの著作権、および本コンテンツ中に出てくる商標権、団体名、ロゴ、製品、サービスなどはそれぞれ、各権利保有者に帰属します。

本情報の内容 (添付文書、リンク先などを含む) は、de:code 2018 開催日 (2018年5月22~23日) 時点のものであり、予告なく変更される場合があります