llama.cpp
要約済み 2
-
hf-blog 4日前 3llama.cppでOCRモデルのローカル実行が可能にUsing OCR models with llama.cpp1 day ago•19
llama.cppがGGUF形式でGLM-OCRなど軽量OCRモデルの実行をサポート。 4GB VRAM以下のGPUやCPUでも動作し、Q8_0量子化でパフォーマンスとサイズのバランスを調整可能。 サーバーモードによるAPI連携も実現し、外部サービス不要のローカルOCR環境が個人でも構築できる。
解説 クラウドAPIに依存せずローカルでOCRを完結できる実用的なガイド。GPT-4oやClaude等の商用マルチモーダルAPIは高精度だがコストとプライバシーの課題がある。本記事はGGUF量子化により4GB VRAMの低スペック環境でも動作する点が魅力で、エッジデバイスやオンプレ環境での文書処理パイプライン構築に直結する。開発者にとってはOpenAI互換APIとして即座に組み込める実用性が高い。 -
hf-blog 2ヶ月前 3llama.cpp、Anthropic API互換に対応——Claude CodeをローカルでNew in llama.cpp: Anthropic Messages APIJan 19•43
llama.cppのサーバーがAnthropicのMessages API形式をネイティブサポート。 ツール使用・ビジョン・拡張思考・ストリーミングなど主要機能を網羅。 Claude Codeなどのクライアントをクラウド不要でローカルモデルに接続可能に。
解説 llama.cppがAnthropic Messages APIに対応したことで、Claude Code等のAnthropicエコシステム向けツールをローカルモデルで動作させることが可能になった。内部的にはAnthropic形式をOpenAI形式に変換して既存の推論パイプラインを再利用する設計。プライバシー重視のユーザーやAPI費用を抑えたい開発者にとって実用的な選択肢となる。Claude公式APIの代替ではないが、ローカルLLMエコシステムの互換性拡大として注目に値する。