swift-developers-japan
開発環境, ライブラリ / coreml
hiragram
6/8/2018 6:55 AM
当方CoreML初心者なんですが、CoreMLで顔検出してそのCGRectを得られるやつみたいに、自作のモデルで検出したオブジェクトのCGRectを得られるみたいなAPIあるかどうかわかる方いませんか
hiragram
6/8/2018 7:09 AM
顔検出はCoreMLというかVisionか。
noppe
6/8/2018 7:18 AM
ObjectDetectionはSDKレベルだとiOS12からで、iOS11まででやるのであれば
https://github.com/r4ghu/iOS-CoreML-Yolo
とかで吐いたモデルを使うみたいな感じですかね(僕も詳しくないですが・・・・
r4ghu/iOS-CoreML-Yolo
iOS-CoreML-Yolo - Almost Real-time Object Detection using Apple's CoreML and YOLO v1 -
7:23 AM
自作のモデルで検出したオブジェクトのCGRectを得られる
これは自作のmlmodelを追加した時に自動生成されるモデルの出力がCGRectになるみたいな感じなので多分明確にAPI的なのは無いと思います
hiragram
6/8/2018 8:09 AM
そのリポジトリちょうど見てました。
8:11 AM
そのリポジトリだと
let output = model.prediction(image) output.output // この値からrectを計算しているっぽい
8:12 AM
CreateMLで作った自作のmlmodelから生成されたクラスに画像突っ込んだ返り値にはoutputというプロパティ無いので、手詰まりっぽいですね
8:13 AM
そのリポジトリにあるTinyYOLOv1.mlmodelはXcodeみるとType: Neural Networkとあって、CreateML自作の方はType: Image Classifierなのでここの差なんでしょうかね。
omochimetaru
6/8/2018 8:13 AM
例えば
8:13 AM
画像を入力して、カテゴリ番号を返すようなニューラルネットは
8:14 AM
画像のどこらへんにあったか、ってことは出力しないから
8:14 AM
取れない
8:14 AM
でも、画像の中から車っぽい領域を塗りつぶすようなニューラルネットは
8:14 AM
画像マスクとして位置を検出したりするから
8:15 AM
アルゴリズムによっていろいろありそう。
hiragram
6/8/2018 8:18 AM
なるほど
Nao
6/8/2018 9:01 AM
これどうでしょう(僕はまだ見てないです)
https://developer.apple.com/videos/play/wwdc2018/716/
Object Tracking in Vision - WWDC 2018 - Videos - Apple Developer
Vision is a high-level framework that provides an easy to use API for handling many computer vision tasks. We'll dive deep into a...
koher
6/8/2018 9:14 AM
詳しくないですが、Vision使うなら↓とか関係ありそう?
https://developer.apple.com/documentation/vision/vncoremlrequest
(edited)
Nao
6/8/2018 10:17 AM
@hiragram
さんがやりたい事と合致してるかわかりませんが、このサンプルコード iOS11実機で動きましたよ。これ凄いです。 Tracking Multiple Objects or Rectangles in Video (iOS 11.3+, Xcode 10.0+)
https://developer.apple.com/documentation/vision/tracking_multiple_objects_or_rectangles_in_video
(edited)
1
kenmaz.
6/9/2018 8:33 AM
入力画像を一定サイズのグリッドで区切って各領域ごとに顔が映ってるかどうかで確率を出力して最終的な矩型を求める、って感じかと思いますね CoreMLの場合は blocksize x blocksize x 1 のMLMultiArrayがoutputとして返ってくるのであとはよしなに、みたいな
8:34 AM
(試したことありませんが)
8:39 AM
VNDetectFaceRectanglesRequest をカスタムのCoreMLモデルに差し替える、みたいなAPIがあればいいんですかねえ
1
WKWK
7/28/2020 6:59 AM
機械学習でカメラかアルバムから写真をとって判別したいのですが,起動できず原因が分からなかったのでお教えいただければ幸いです。以下ソースコード
6:59 AM
message.txt
5.06 KB
noppe
7/28/2020 10:13 AM
Info.plistにパーミッション要求の説明キーが無いとかですかね
10:13 AM
エラーログ見たら分かる気がします
1
unwithdrawal
9/1/2020 1:56 PM
こんばんは。coreMLのPoseNet(PoseNetMobileNet075S16FP16)を使って取得したBodyTrackingデータをリアルタイムでサーバーに送りたいのですが、その方法をご存知の方いらっしゃいますか? 通信部分はSocket.ioで構築しているのですが、トラッキングデータの取得で悩んでいる状態です。
niw
9/30/2024 1:41 AM
お客様の中に iOS 18.1 を iPhone 15 Pro/Pro Max で動かしてるかたいらっしゃいませんかね。
1:41 AM
https://github.com/niw/iOS18NeuralEngineBugTestApp
GitHub - niw/iOS18NeuralEngineBugTestApp: A test project that repro...
A test project that reproduces a bug on Neural Engine on iOS 18 - niw/iOS18NeuralEngineBugTestApp
1:41 AM
これためしてほしかったりします。
niw
これためしてほしかったりします。
noppe
10/2/2024 6:56 AM
CPU and GPU 0.400635 CPU and NeuralEngine 0.000000 Difference -0.400635 でした。 iPhone 15 Pro iOS18.1
1
niw
10/2/2024 7:10 PM
うおー、なおってねえ
7:10 PM
M1のiPadでは再現しなかったのでSoC依存か…
Exported 33 message(s)
Timezone: UTC+0