МИНИ-МОЗГ
Начать чат

ИИ на процессоре · без GPU · без облака

ИИ, который
влезает в 1 ГБ
памяти

Чат с крошечными открытыми моделями. Всё считается на обычном процессоре мини-ПК, ответ печатается прямо по мере того, как модель его придумывает. Помнит беседу, умеет сравнивать модели между собой и честно говорит «не знаю».

Начать чат Как поднять у себя
  • llama.cpp
  • GGUF · Q4
  • 6 моделей
  • контекст 2048

Прямо сейчас · реальные данные сервера

Приборная панель

ОЗУ процесса-дерева (Node + llama.cpp) — МБ
  • Node.js —
  • llama-server —
  • пик —
Модель в памяти
Qwen3.5 0.8B
Скорость
00.0
Очередь
0
Состояние
готов

Как это помещается

Три приёма, из-за которых хватает гигабайта

  1. 01

    Сжатые веса

    Модели хранятся в формате GGUF с 4-битным квантованием: файл занимает ~0,4–0,5 ГБ вместо 2 ГБ. Качество чуть ниже, зато помещается и летает на процессоре.

  2. 02

    Одна модель за раз

    В памяти всегда ровно одна модель и один слот генерации. Смена модели — выгрузка и загрузка с прогрессом, а запросы честно стоят в очереди с видимой позицией.

  3. 03

    Бережный контекст

    Окно 2048 токенов, кэш внимания в 8 битах. Когда беседа разрастается, старые реплики сворачиваются в краткое содержание, а вы видите счётчик «контекст 1340/2048».

Модели на выбор

Шесть моделей, одна в памяти

Цифры — наши замеры (контекст 2048, 4 потока, ноутбучный процессор под посторонней нагрузкой), оценка русского — по 12 промптам, субъективная. «ОЗУ» — пик Node + llama.cpp вместе, как в таблице отчёта.

Сравнение моделей: размер, память, скорость, качество на русском
МодельФайлПик ОЗУТокенов/сРусскийДействие
загрузка…
загрузка…
загрузка…

Что умеет

Маленький, но не игрушечный

Помнит беседу

История идёт в модель в пределах окна, старое сворачивается в конспект. Спросите про то, что говорили полчаса назад.

Заметки-память

«Запомни: меня зовут Аня, я учусь на биолога» — и модель знает это в каждой беседе. Заметки можно править и удалять.

Сравнить модели

Один вопрос — два ответа по очереди, рядом. Видно, чем умнее модель отличается от самой быстрой.

Шесть персон

Помощник, репетитор, переводчик RU↔EN, редактор, наставник для кодеров и просто собеседник.

Очередь без хаоса

Один слот на всех: видно позицию и примерное время, запрос можно отменить, а длинные сообщения не пройдут.

Гость или аккаунт

Без регистрации беседы лежат в вашем браузере. С аккаунтом — на сервере и на всех устройствах; гостевые переезжают сами.

Свой мини-ПК

Как поднять у себя

Нужны Linux x86_64, Node.js 24+ и около 2 ГБ диска под модели. Компилятор не нужен: llama.cpp берётся готовым релизом.

  1. 1 · Движок
    node scripts/fetch-bin.mjs

    Скачивает llama-server (≈18 МБ) в bin/. Если нет OpenMP, берёт libgomp без root.

  2. 2 · Модели
    node scripts/fetch-models.mjs

    Пять моделей для 1 ГБ (≈1,9 ГБ на диске) с докачкой и проверкой sha256. Одну: … qwen3.5-0.8b.

  3. 3 · Запуск
    PORT=3109 node server.js

    Сервер стартует и без моделей — покажет «не установлена». С AI_AUTOFETCH=1 докачает их сам.

Частые вопросы

Честные ответы

Насколько умные эти модели?

Как очень начитанный стажёр после бессонной ночи: хорошо переписывают, переводят, объясняют базовые вещи и пишут короткий код. Но могут уверенно ошибиться в фактах, датах и арифметике. Поэтому в чате висит тихая плашка «Маленькая модель: проверяйте важное», а модель по умолчанию просим честно говорить «не знаю».

Правда, что нужна только 1 ГБ памяти?

Правда для моделей до 0,8 млрд параметров: пик процесса-дерева (Node.js + llama.cpp) у нас укладывается в ≈780 МБ (модель по умолчанию, окно заполнено почти целиком). Большая часть этого — файл модели, отображённый в память (mmap): система может вытеснить его при нехватке. Модель побольше (Gemma 3 1B) честно помечена «для 2 ГБ+».

Что значит «помнит контекст»?

В модель уходит ваша беседа целиком, пока она помещается в окно в 2048 токенов. Когда место заканчивается (около 70% окна), та же модель отдельным вызовом сворачивает старые реплики в краткое содержание. Мелкие детали при этом теряются — это цена маленького окна, поэтому важное лучше записать в «заметки».

Где хранятся мои беседы?

Без регистрации — только в вашем браузере (localStorage), с лимитом по числу бесед. После регистрации — в базе на сервере, привязаны к аккаунту, видны только вам. Гостевые беседы переносятся в аккаунт при входе.

Что будет, если запросов много?

Модель одна, слот генерации один, поэтому запросы ставятся в очередь: вы видите позицию («вы 2-й, ~15 с») и можете отменить. Есть лимиты на частоту запросов и длину сообщения, а слишком долгое ожидание завершается понятной ошибкой.

Можно ли добавить свою модель?

Любую GGUF-модель, которую умеет llama.cpp: положите файл в models/ и добавьте запись в lib/catalog.mjs (имя, размер, контрольная сумма). Для 1 ГБ берите варианты до ≈550 МБ в Q4.

Спросите что-нибудь у крошечного мозга

Регистрация не нужна: беседа сохранится в браузере.

Начать чат