Avatar
識者の人々がLLMのモデルをMLX用に変換してHugging Faceに集めてたりしている。https://huggingface.co/mlx-community エンジニアがローカルで実行するだけならPythonで十分でSwiftである必要性はないけど、iOS/macOSアプリにしていくのだったらSwiftから扱えるのは便利(?)。
2:32 PM
On-device LLM界隈
2:33 PM
Hugging Faceの中の人もswift-transformersというLLMをCore ML経由で実行するためのライブラリは公開してて盛り上がっている https://huggingface.co/blog/swift-coreml-llm https://github.com/huggingface/swift-transformers