Post on 25-May-2020
簡単 !! HoloLens で始める Cognitive Services
～ de:code 2018 特別バージョン～
AC62
自己紹介
HoloLens体験会やってます
本日紹介すること
はじめに
公式サンプル公開
https://docs.microsoft.com/ja-jp/windows/mixed-reality/academy
共通の前提事項
https://docs.microsoft.com/ja-jp/windows/mixed-reality/locatable-camera-in-unity
https://docs.microsoft.com/ja-jp/windows/mixed-reality/locatable-camera
実行環境バージョン情報
HoloLens＋Face API
サンプルその① HoloLens＋Face API
https://azure.microsoft.com/j
a-jp/services/cognitive-
services/face/
前提事項
https://docs.microsoft.com/ja-jp/windows/mixed-reality/mr-azure-304
サンプルその① HoloLens＋Face API
サンプルその① HoloLens＋Face API
エアタップごとに実行
顔ごとに実行
サンプルその① HoloLens＋Face API
サンプルその① HoloLens＋Face API
サンプルその① HoloLens＋Face API
URLを使用して外部から画像取得
サンプルその① HoloLens＋Face API
サンプルその① HoloLens＋Face API
サンプルその① HoloLens＋Face API
サンプルその① HoloLens＋Face API
#r "Newtonsoft.Json"
using System;
using System.Net;
using System.Threading.Tasks;
using Newtonsoft.Json;
public static async Task<object> Run(HttpRequestMessage req, TraceWriter log)
{
log.Verbose($"Webhook was triggered!");
string jsonContent = await req.Content.ReadAsStringAsync();
var personInfo = JsonConvert.DeserializeObject<PersonInfo>(jsonContent as string);
using (var client = new HttpClient())
{
var res = await client.PostAsJsonAsync("LogicAppsのURL",new {
name = personInfo.name
}
);
// Response Code
return req.CreateResponse(res.StatusCode);
}
}
public class PersonInfo {
public string name { get; set; }
}
サンプルその① HoloLens＋Face API
https://github.com/haveagit/HoloLensFaceAPISample
HoloLens＋Computer Vision API
サンプルその② HoloLens＋Computer Vision API
https://azure.microsoft.com/ja-
jp/services/cognitive-
services/computer-vision/
{ "tags": [ "train", "platform", "station", "building", "indoor",
"subway", "track", "walking", "waiting", "pulling", "board",
"people", "man", "luggage", "standing", "holding", "large",
"woman", "yellow", "suitcase" ], "captions": [ { "text": "people
waiting at a train station", "confidence": 0.833099365 } ] }
前提事項
サンプルその② HoloLens＋Computer Vision API
サンプルその② HoloLens＋Computer Vision API
エアタップごとに実行
音声入力ごとに実行
サンプルその② HoloLens＋Computer Vision API
サンプルその② HoloLens＋Computer Vision API
サンプルその② HoloLens＋Computer Vision API
サンプルその② HoloLens＋Computer Vision API
サンプルその② HoloLens＋Computer Vision API
https://github.com/haveagit/HoloLensComputerVisionSample
HoloLens＋Custom Vision Service
サンプルその③ HoloLens＋Custom Vision
どこに
https://azure.microsoft.com/ja-
jp/services/cognitive-
services/custom-vision-service/
前提事項
WebAPIによる物体検出
https://youtu.be/y2CLT9LgmOk
HoloLensローカル環境（要RS4）での分類、物体検出
http://akihiro-document.azurewebsites.net/post/hololens_windowsmachinelearningunity/
http://akihiro-document.azurewebsites.net/post/hololens_windowsmachinelearningpaint2/
WebAPIによる分類
前提事項
https://qiita.com/morio36/items/42ee34a1c97929d44ca2
サンプルその③ HoloLens＋Custom Vision
サンプルその③ HoloLens＋Custom Vision
エアタップごとに実行
サンプルその③ HoloLens＋Custom Vision
https://github.com/arXivTimes/arXivTimes/tree/
master/datasets
サンプルその③ HoloLens＋Custom Vision
https://southcentralus.dev.cognitive.microsoft.c
om/docs/services/eb68250e4e954d9bae0c265
0db79c653/operations/58acd3c1ef062f0344a4
2813
https://southcentralus.dev.cognitive.microsoft.c
om/docs/services/450e4ba4d72542e889d93fd
7b8e960de/operations/5a6264bc40d86a0ef8b
2c290
・TagがTagNameに・Regionが追加・現状、頭文字は小文字
サンプルその③ HoloLens＋Custom Vision
サンプルその③ HoloLens＋Custom Vision
https://github.com/haveagit/HoloLensCustomVisionAPISample
© 2018 Shingo Mori All rights reserved.
本コンテンツの著作権、および本コンテンツ中に出てくる商標権、団体名、ロゴ、製品、サービスなどはそれぞれ、各権利保有者に帰属します。
本情報の内容 (添付文書、リンク先などを含む) は、de:code 2018 開催日 (2018年5月22~23日) 時点のものであり、予告なく変更される場合があります