llm
描述
基于 ggml 的自包含 C 模块，用于 LLM 推理。除 ggml 库外无外部依赖。可在 CPU 与 Vulkan GPU（NVIDIA / AMD / Intel）上运行。
项目由两部分组成：llm.h / llm.c - 推理模块（GGUF 加载、分词器、chat 模板、工具调用、KV 缓存复用、生成）；test_llm.c - 控制台演示（test_llm.exe）：CPU 或 GPU 上的单次提示或交互对话。
技术
- C - llm.h/llm.c 模块 + test_llm.c 控制台演示
- ggml - 张量库（CPU + Vulkan 后端）
- GGUF - 模型格式
- OpenMP - CPU 并行化
- 许可证 GNU AGPL v3（Affero GPL）