Похоже, мне нужна вторая RTX 3090.
Нет, не потому, что первая плохо справляется. Скорее наоборот. После прошлого поста ещё поигрался с настройками запуска и контекст удалось поднять до 164к токенов. Можно запускать и на 192к, но там уже придётся…
Последние записи
201 в архивеПару слов о ручном тестировании методом чёрного ящика
О скучном, мануальном тестировании IT-продуктов методом черного ящика. Его нет. Его не было в суровых опенсорс-проектах с олдскульными разработчиками и сисадминами. Там каждый отвечает за свой кусочек, и редко…
Что я получил, купив б/у RTX 3090 за 75 тысяч рублей
Короткий ответ: вполне серьёзную локальную альтернативу большим облачным LLM. Цена удовольствия: нужно вникать. Параметры запуска, кванты, софт, архитектура, инфраструктура и тонны тестов. Большие LLM дают комфорт,…
Что если дизайн в Figma больше не нужен: собираем фронт нейросетью
На днях обсуждали с госпожой @Mirtelir как удешевить разработку её пэт-проекта. Я предложил не рисовать экраны в Figma, а сразу собирать фронтенд через нейросеть. Диана попробовала, и ... получается неплохо. Чем…
Один промпт — 20 000 токенов: эксперимент с расходом контекста
Промпт, которым обычно проверяешь, не отвалилась ли модель. Может VPN тупит, может что-то программно сломалось и т.д. Знаете, сколько контекстного окна отжирает этот промпт из одного слова у Гермеса? 20 тысяч…
Приехала оперативка!
Теперь комплект для запуска LLM локально собран полностью. Радуюсь, как ребёнок)
Buzz: рабочее пространство, где люди и ИИ-агенты — одна команда
Собирает людей и ИИ-агентов в одном рабочем пространстве, как полноценных членов команды. Интерфейс похож на Slack. На последнем проекте у нас как раз была смешанная команда. Из числа людей фронт, QA и менеджер, а…
ИИ-гейтвей в MAX на своём VDS: решение со вкусом общественного порицания
Поднять на VDS Гермес. Навайбкодить гейтвей к MAX. Использовать при БС как чат с интернетом. ?
Инфраструктура ИИ-агента для кодинга: Proxmox, Hermes, Gitea и стенды
У меня есть сервер с Proxmox. Внутри живут VPN-гейтвей, виртуалка с Hermes, Gitea, Planka, и там же поднимаются изолированные тестовые стенды под проекты. В Gitea для Гермеса заведен отдельный пользователь. Он…
Нанял ИИ-агента разработчиком: без собеседования и зарплаты
Как вы догадались, это ИИ-агент. Чтобы это заработало, нужно было дать агенту не только доступ к коду, но и к таск-трекеру. Мы используем менеджер проектов Planka. Когда-то она начиналась как self-hosted-клон Trello.…
