llm
Описание
Самодостаточный C-модуль для инференса LLM поверх ggml. Без внешних зависимостей, кроме библиотеки ggml. Работает на CPU и на Vulkan GPU (NVIDIA / AMD / Intel).
Проект состоит из двух частей: llm.h / llm.c - модуль инференса (загрузка GGUF, токенизатор, chat-шаблоны, вызов инструментов, переиспользование KV-кэша, генерация); test_llm.c - консольное демо (test_llm.exe): разовый промпт или интерактивный диалог на CPU или GPU.
Технологии
- C - модуль llm.h/llm.c + консольное демо test_llm.c
- ggml - тензорная библиотека (CPU + Vulkan backend)
- GGUF - формат моделей
- OpenMP - параллелизация CPU
- Лицензия GNU AGPL v3 (Affero GPL)