swift-developers-japan

当方CoreML初心者なんですが、CoreMLで顔検出してそのCGRectを得られるやつみたいに、自作のモデルで検出したオブジェクトのCGRectを得られるみたいなAPIあるかどうかわかる方いませんか

顔検出はCoreMLというかVisionか。

ObjectDetectionはSDKレベルだとiOS12からで、iOS11まででやるのであれば https://github.com/r4ghu/iOS-CoreML-Yolo とかで吐いたモデルを使うみたいな感じですかね（僕も詳しくないですが・・・・

r4ghu/iOS-CoreML-Yolo

iOS-CoreML-Yolo - Almost Real-time Object Detection using Apple's CoreML and YOLO v1 -

7:23 AM

自作のモデルで検出したオブジェクトのCGRectを得られる

これは自作のmlmodelを追加した時に自動生成されるモデルの出力がCGRectになるみたいな感じなので多分明確にAPI的なのは無いと思います

そのリポジトリちょうど見てました。

8:11 AM

そのリポジトリだと let output = model.prediction(image) output.output // この値からrectを計算しているっぽい

8:12 AM

CreateMLで作った自作のmlmodelから生成されたクラスに画像突っ込んだ返り値にはoutputというプロパティ無いので、手詰まりっぽいですね

8:13 AM

そのリポジトリにあるTinyYOLOv1.mlmodelはXcodeみるとType: Neural Networkとあって、CreateML自作の方はType: Image Classifierなのでここの差なんでしょうかね。

例えば

8:13 AM

画像を入力して、カテゴリ番号を返すようなニューラルネットは

8:14 AM

画像のどこらへんにあったか、ってことは出力しないから

8:14 AM

取れない

8:14 AM

でも、画像の中から車っぽい領域を塗りつぶすようなニューラルネットは

8:14 AM

画像マスクとして位置を検出したりするから

8:15 AM

アルゴリズムによっていろいろありそう。

なるほど

これどうでしょう（僕はまだ見てないです） https://developer.apple.com/videos/play/wwdc2018/716/

Object Tracking in Vision - WWDC 2018 - Videos - Apple Developer

Vision is a high-level framework that provides an easy to use API for handling many computer vision tasks. We'll dive deep into a...

詳しくないですが、Vision使うなら↓とか関係ありそう？ https://developer.apple.com/documentation/vision/vncoremlrequest (edited)

@hiragramさんがやりたい事と合致してるかわかりませんが、このサンプルコード iOS11実機で動きましたよ。これ凄いです。 Tracking Multiple Objects or Rectangles in Video (iOS 11.3+, Xcode 10.0+) https://developer.apple.com/documentation/vision/tracking_multiple_objects_or_rectangles_in_video (edited)

1

入力画像を一定サイズのグリッドで区切って各領域ごとに顔が映ってるかどうかで確率を出力して最終的な矩型を求める、って感じかと思いますね CoreMLの場合は blocksize x blocksize x 1 のMLMultiArrayがoutputとして返ってくるのであとはよしなに、みたいな

8:34 AM

(試したことありませんが)

8:39 AM

VNDetectFaceRectanglesRequest をカスタムのCoreMLモデルに差し替える、みたいなAPIがあればいいんですかねえ

1

機械学習でカメラかアルバムから写真をとって判別したいのですが，起動できず原因が分からなかったのでお教えいただければ幸いです。以下ソースコード

6:59 AM

message.txt

5.06 KB

Info.plistにパーミッション要求の説明キーが無いとかですかね

10:13 AM

エラーログ見たら分かる気がします

1

こんばんは。coreMLのPoseNet(PoseNetMobileNet075S16FP16)を使って取得したBodyTrackingデータをリアルタイムでサーバーに送りたいのですが、その方法をご存知の方いらっしゃいますか？通信部分はSocket.ioで構築しているのですが、トラッキングデータの取得で悩んでいる状態です。