Guild icon
swift-developers-japan
開発環境, ライブラリ / coreml
Avatar
当方CoreML初心者なんですが、CoreMLで顔検出してそのCGRectを得られるやつみたいに、自作のモデルで検出したオブジェクトのCGRectを得られるみたいなAPIあるかどうかわかる方いませんか
Avatar
顔検出はCoreMLというかVisionか。
Avatar
ObjectDetectionはSDKレベルだとiOS12からで、iOS11まででやるのであれば https://github.com/r4ghu/iOS-CoreML-Yolo とかで吐いたモデルを使うみたいな感じですかね(僕も詳しくないですが・・・・
iOS-CoreML-Yolo - Almost Real-time Object Detection using Apple's CoreML and YOLO v1 -
7:23 AM
自作のモデルで検出したオブジェクトのCGRectを得られる
これは自作のmlmodelを追加した時に自動生成されるモデルの出力がCGRectになるみたいな感じなので多分明確にAPI的なのは無いと思います
Avatar
そのリポジトリちょうど見てました。
8:11 AM
そのリポジトリだと let output = model.prediction(image) output.output // この値からrectを計算しているっぽい
8:12 AM
CreateMLで作った自作のmlmodelから生成されたクラスに画像突っ込んだ返り値にはoutputというプロパティ無いので、手詰まりっぽいですね
8:13 AM
そのリポジトリにあるTinyYOLOv1.mlmodelはXcodeみるとType: Neural Networkとあって、CreateML自作の方はType: Image Classifierなのでここの差なんでしょうかね。
Avatar
omochimetaru 6/8/2018 8:13 AM
例えば
8:13 AM
画像を入力して、カテゴリ番号を返すようなニューラルネットは
8:14 AM
画像のどこらへんにあったか、ってことは出力しないから
8:14 AM
取れない
8:14 AM
でも、画像の中から車っぽい領域を塗りつぶすようなニューラルネットは
8:14 AM
画像マスクとして位置を検出したりするから
8:15 AM
アルゴリズムによっていろいろありそう。
Avatar
なるほど
Avatar
これどうでしょう(僕はまだ見てないです) https://developer.apple.com/videos/play/wwdc2018/716/
Vision is a high-level framework that provides an easy to use API for handling many computer vision tasks. We'll dive deep into a...
Avatar
詳しくないですが、Vision使うなら↓とか関係ありそう? https://developer.apple.com/documentation/vision/vncoremlrequest (edited)
Avatar
@hiragramさんがやりたい事と合致してるかわかりませんが、このサンプルコード iOS11実機で動きましたよ。これ凄いです。 Tracking Multiple Objects or Rectangles in Video (iOS 11.3+, Xcode 10.0+) https://developer.apple.com/documentation/vision/tracking_multiple_objects_or_rectangles_in_video (edited)
😄 1
Avatar
入力画像を一定サイズのグリッドで区切って各領域ごとに顔が映ってるかどうかで確率を出力して最終的な矩型を求める、って感じかと思いますね CoreMLの場合は blocksize x blocksize x 1 のMLMultiArrayがoutputとして返ってくるのであとはよしなに、みたいな
8:34 AM
(試したことありませんが)
8:39 AM
VNDetectFaceRectanglesRequest をカスタムのCoreMLモデルに差し替える、みたいなAPIがあればいいんですかねえ
👆 1
Avatar
機械学習でカメラかアルバムから写真をとって判別したいのですが,起動できず原因が分からなかったのでお教えいただければ幸いです。以下ソースコード
6:59 AM
Avatar
Info.plistにパーミッション要求の説明キーが無いとかですかね
10:13 AM
エラーログ見たら分かる気がします
🙏 1
Avatar
unwithdrawal 9/1/2020 1:56 PM
こんばんは。coreMLのPoseNet(PoseNetMobileNet075S16FP16)を使って取得したBodyTrackingデータをリアルタイムでサーバーに送りたいのですが、その方法をご存知の方いらっしゃいますか? 通信部分はSocket.ioで構築しているのですが、トラッキングデータの取得で悩んでいる状態です。
Avatar
お客様の中に iOS 18.1 を iPhone 15 Pro/Pro Max で動かしてるかたいらっしゃいませんかね。
1:41 AM
A test project that reproduces a bug on Neural Engine on iOS 18 - niw/iOS18NeuralEngineBugTestApp
1:41 AM
これためしてほしかったりします。
Avatar
Avatar
niw
これためしてほしかったりします。
CPU and GPU 0.400635 CPU and NeuralEngine 0.000000 Difference -0.400635 でした。 iPhone 15 Pro iOS18.1
💯 1
Avatar
うおー、なおってねえ
7:10 PM
M1のiPadでは再現しなかったのでSoC依存か…
Exported 33 message(s)
Timezone: UTC+0