Короткий ответ: вполне серьёзную локальную альтернативу большим облачным LLM. Цена удовольствия: нужно вникать. Параметры запуска, кванты, софт, архитектура, инфраструктура и тонны тестов. Большие LLM дают комфорт,…
На днях обсуждали с госпожой @Mirtelir как удешевить разработку её пэт-проекта. Я предложил не рисовать экраны в Figma, а сразу собирать фронтенд через нейросеть. Диана попробовала, и ... получается неплохо. Чем…
Промпт, которым обычно проверяешь, не отвалилась ли модель. Может VPN тупит, может что-то программно сломалось и т.д. Знаете, сколько контекстного окна отжирает этот промпт из одного слова у Гермеса? 20 тысяч…
Теперь комплект для запуска LLM локально собран полностью. Радуюсь, как ребёнок)
Собирает людей и ИИ-агентов в одном рабочем пространстве, как полноценных членов команды. Интерфейс похож на Slack. На последнем проекте у нас как раз была смешанная команда. Из числа людей фронт, QA и менеджер, а…
Поднять на VDS Гермес. Навайбкодить гейтвей к MAX. Использовать при БС как чат с интернетом. ?
У меня есть сервер с Proxmox. Внутри живут VPN-гейтвей, виртуалка с Hermes, Gitea, Planka, и там же поднимаются изолированные тестовые стенды под проекты. В Gitea для Гермеса заведен отдельный пользователь. Он…
Как вы догадались, это ИИ-агент. Чтобы это заработало, нужно было дать агенту не только доступ к коду, но и к таск-трекеру. Мы используем менеджер проектов Planka. Когда-то она начиналась как self-hosted-клон Trello.…
Чтобы проверить RTX 3090, пришлось купить киловаттный блок питания с тремя отдельными PCIe 8-pin и взять у друга системник, куда эта махина хотя бы физически помещается. Полчаса "бублик" FurMark-а с потреблением на…
Может, инфраструктура у меня не такая большая, конечно. Сервер с Proxmox и внутренними сервисами, российская VDS с Traefik в качестве точки входа, два VDS-расходника для маршрутизации трафика отдельных приложений и…
