AliceAI 80B (Foundation 80B A3B Base): что выложил Яндекс и можно ли запустить её дома
Разбираю по официальной карточке Яндекса, что значит каждое слово в названии, почему модель не ведёт себя как чат и хватит ли вашего компьютера. Внутри готовые промпты: шаблон для базовой модели, разбор карточки, расчёт железа и вопросы разработчику.
AliceAI 80B (полное имя AliceAI-Foundation-80B-A3B-Base) это открытая базовая языковая модель Яндекса, обученная с нуля: файлы весов лежат на Hugging Face под лицензией Apache 2.0. Обычному домашнему компьютеру она не по силам: файлы весят больше полутора сотен гигабайт, а даже пример облегчённого дообучения в карточке рассчитан на четыре видеокарты по 80 ГБ памяти. И это не чат: Яндекс прямо пишет, что модель выложена без этапа post-training и не является готовым решением для пользовательских сервисов.
- Поймите, что это: заготовка для разработчиков, а не чат-ассистент. Чем это грозит и что с этим делать.
- Сравните компьютер с размером файлов: какие цифры записать и с чем сравнить.
- Возьмите готовый промпт: шаблон-документ для базовой модели, разбор карточки в любом чате или расчёт железа.
- Ответ нужен сегодня: откройте бесплатные нейросети на русском без установки, ставить ничего не надо.
Что выложил Яндекс: yandex AliceAI Foundation 80B A3B Base
Я открыл карточку модели на Hugging Face и разобрал её построчно. Hugging Face это открытый сайт, куда разработчики выкладывают нейросети и их файлы, что-то вроде библиотеки моделей. Все факты о модели ниже я беру только из этой карточки. В поиске модель встречается под разными именами: AliceAI 80B, AliceAI Foundation 80B, Yandex AliceAI Foundation 80B A3B Base. Это одна модель, её официальное имя: AliceAI-Foundation-80B-A3B-Base.
Яндекс выложил открытые веса. Веса простыми словами: это сам «мозг» модели, записанный в файлы. Чатом в браузере вы пользуетесь на чужом сервере, а веса можно скачать на вкладке Files and versions и запустить на своём. За эту свободу вы платите работой: интерфейс, сервер и настройку, которые за вас делает готовый сервис, здесь собирает ваш разработчик.
Важная деталь из карточки: «Модель была обучена полностью с нуля». То есть Яндекс не взял чужую открытую модель и не подкрутил её, а обучил свою. Лицензия указана Apache 2.0. Условия лицензии я пересказывать не буду: если собираетесь строить на модели продукт, покажите текст лицензии юристу.
«Раз модель открытая и от Яндекса, значит, это та же Алиса, только бесплатно». Нет, это разные продукты. Нейросеть Алиса работает как готовый ассистент, а AliceAI-Foundation-80B-A3B-Base остаётся заготовкой для инженеров. Сам Яндекс пишет о ней так: «Она не является готовым решением для непосредственного использования в пользовательских продуктах и сервисах». Разницу на примере показываю в разделе про то, почему это не чат-бот. Чтобы самому разобрать карточку без технического словаря, вставьте её текст в промпт ниже.
Разбери карточку AliceAI 80B для владельца небольшой бухгалтерской фирмы, который хочет хранить документы у себя.
Параметры. Это числа внутри модели. Бытовая аналогия: настройки механизма. Цитата: «Количество параметров: 80B всего, 3B активных».
Контекст. Это объём текста, доступный за один раз. Аналогия: рабочий стол, где лежат документ и образцы. Цитата: «Длина контекста: 262144».
Этап обучения. Модель пока служит фундаментом для дальнейшей настройки. Аналогия: заготовка. Цитата: «Этап обучения: предобучение».
Чего в карточке нет: цены вашей системы и гарантии работы на документах бухгалтерской фирмы. Пример дообучения не заменяет расчёт обычного запуска. Условия хранения документов обсудите с разработчиком. Аналогии являются общими пояснениями. Источник: карточка Яндекса.
Готовый промпт · скопируйте целиком
Промпт: разобрать карточку модели простыми словами в любом чате
Работает в: любой чат-ассистент
Ты технический редактор, который объясняет устройство нейросетей руководителям без технического образования. Тебе важна точность: ты пересказываешь только то, что написано в документе, и честно отмечаешь пробелы. Входные данные: ниже я вставлю текст карточки модели с Hugging Face. [Вставьте текст карточки целиком, например со страницы yandex/AliceAI-Foundation-80B-A3B-Base, вместе с таблицами и примерами кода] Моя ситуация: [кто вы и зачем смотрите модель, например: владелец небольшой бухгалтерской фирмы, хочу понять, можно ли держать нейросеть у себя и не отправлять документы клиентов в чужой сервис] Сделай по шагам: 1. Таблица «Термин из карточки | Что это простыми словами | Бытовая аналогия | Цитата из карточки». Только термины, которые есть в тексте: параметры, активные параметры, эксперты, контекст, этап обучения, лицензия, размер файлов, дообучение. 2. Три объяснения модели разной глубины, каждое под своим заголовком: «За 30 секунд для руководителя», «Для меня с учётом моей ситуации», «Для разработчика, которому я передам задачу». 3. Отдельный список «Чего в карточке нет»: цены, готовый чат, требования для обычного запуска и всё, о чём я могу подумать, но в тексте не найду. Отдельно выпиши, что карточка говорит о железе для запуска и дообучения, с цитатами из примеров кода. Это главный пункт: я хочу отличать факты от домыслов. 4. Вывод одной фразой: подходит ли модель под мою ситуацию или мне хватит готового чат-ассистента, и почему. Жёсткие правила: - Каждое утверждение о модели подтверждай цитатой из вставленного текста. Нет цитаты, пиши «в карточке не указано». - Не дополняй карточку своими знаниями об этой модели, даже если уверен. Общие знания о нейросетях помечай словом «общее». - Не округляй числа, если в тексте стоит точное значение. Не делай: вступлений, похвалы модели, канцелярита, советов купить оборудование. Перед ответом проверь себя: в каждой строке таблицы есть цитата, а в выводе нет ни одного факта, которого нет в карточке.
Как расшифровать название AliceAI Foundation 80B A3B Base
Название длинное, но читается по частям. AliceAI это семейство, Foundation и Base говорят, что перед вами фундамент, а 80B и A3B считают параметры. Параметры простыми словами: числа внутри языковой модели, которые она подобрала при обучении. Чем их больше, тем больше знаний и связей модель удерживает.
Имя целиком читается так: большая модель, экономная в расчётах, под диалог её не дообучали.
Яндекс пишет в карточке: «Модель содержит 80 млрд параметров, из которых для каждого токена активируются 3 млрд». Токен это кусочек текста: слово или его часть. Выходит, на каждом шаге работает меньше двадцатой части модели.
Такую схему называют смесью экспертов, MoE. Внутри модели много узких подсетей-«экспертов», и на каждый токен включаются только нужные. В карточке их число указано точно: 512 экспертов, а на токен работают десять плюс один общий. Представьте поликлинику, где на каждого пациента зовут не всех врачей, а нужных специалистов и терапевта. Расчётов на каждом шаге меньше, чем у модели того же размера, где работают все параметры. Но хранить в памяти компьютера всё равно приходится все 80 млрд, подробнее в разделе про вес файлов.
Ещё одна цифра из карточки: контекст до 262 144 токенов. Контекст это объём текста, который модель видит за один раз: ваш документ, образцы и её собственное продолжение.
Base и Foundation подтверждает сама карточка: «Этап обучения: предобучение». На этом этапе модель учится на огромном корпусе текстов продолжать их. Из такой заготовки компании потом делают своих ассистентов.
всего в модели
карточка модели на Hugging Face
включаются на каждый токен
карточка модели на Hugging Face
в MoE-слоях модели
карточка модели на Hugging Face
длина контекста
карточка модели на Hugging Face
Главное про AliceAI 80B: это не чат-бот
Здесь главная путаница вокруг AliceAI 80B. Яндекс пишет прямо: модель «предоставляется в исходном виде, без дополнительного этапа post-training / alignment». Простыми словами: её не учили вести диалог и слушаться просьб. Базовую модель учат продолжать текст: вы даёте начало, она дописывает самое вероятное продолжение.
Напишите базовой модели «Как почистить кофемашину от накипи?», как в чате, и результат непредсказуем: она может ответить, а может продолжить строку списком похожих вопросов, будто это начало страницы форума. Так ведут себя базовые модели, это не поломка. Теперь дайте начало инструкции: «Как очистить кофемашину от накипи. Шаг первый:». Модель видит жанр и дописывает шаги.
- Голый вопрос в стиле чата: «Расскажи, как вернуть товар»
- Инструкция «ты эксперт, ответь кратко» без образцов
- Ожидание вежливого диалога, как в Алисе
- Начало документа, которое нужно продолжить
- Два-три образца ответа в нужном формате
- Образец честного отказа, когда факта нет
- Пустое место ровно там, где нужен ответ
Сильнее всего работает приём с образцами: перед пустым местом покажите модели два-три готовых ответа в нужном формате. Яндекс сам мерил модель так: у теста на знание фактов в карточке стоит пометка 5-shot, то есть модели перед вопросом показывали пять решённых примеров. Шаблон с образцами ниже собран по этому принципу.
Компании, которой нужен ассистент, модель дообучают на своих примерах. В карточке есть пример облегчённого дообучения LoRA: это когда меняют не всю модель, а небольшую добавку к ней. Это работа разработчика, а не вечер с ноутбуком.
«Зачем мне модель, которая не ведёт себя как чат?» Вам лично, скорее всего, незачем: для писем, учёбы и идей удобнее готовый чат. Базовая модель ценна тем, кто строит своего ассистента и держит данные у себя.
Готовый промпт · скопируйте целиком
Главный промпт: шаблон-документ для базовой модели с образцами
Работает в: AliceAI-Foundation-80B-A3B-Base, другие базовые модели
ВНУТРЕННЯЯ БАЗА ОТВЕТОВ КЛИЕНТАМ Компания: [название и город, например цветочная мастерская «Пион», Казань] Раздел ведёт старший администратор. Правила раздела: ответ опирается только на блок «Факты компании»; если нужного факта нет, в ответе стоит фраза «Уточню у администратора и вернусь с ответом»; цифры не придумываются; без канцелярита и восклицательных знаков. Каждый ответ записан в трёх вариантах: «Коротко» (одна фраза для мессенджера), «Подробно» (три-четыре предложения), «Если клиент недоволен» (спокойно признать проблему и предложить конкретный следующий шаг). Факты компании: - Доставка: [например, по городу каждый день с 9:00 до 21:00] - Стоимость доставки: [например, 350 рублей, от 5000 рублей бесплатно] - Замена букета: [например, если цветы завяли за первые трое суток, меняем по фото] - Оплата: [например, картой на сайте или по ссылке в мессенджере] Запись 1 Вопрос клиента: Сколько стоит доставка в центр? Коротко: Доставка по городу стоит 350 рублей, а при заказе от 5000 рублей бесплатна. Подробно: Мы возим по всему городу каждый день с 9:00 до 21:00. Доставка стоит 350 рублей. Если сумма заказа от 5000 рублей, за доставку не платите. Оплатить можно картой на сайте или по ссылке в мессенджере. Если клиент недоволен: Понимаю, что доплата за доставку неприятна. Если добавить к заказу открытку или вазу и выйти на 5000 рублей, доставка станет бесплатной. Подсказать варианты? Запись 2 Вопрос клиента: Можно оплатить наличными курьеру? Коротко: Уточню у администратора и вернусь с ответом. Подробно: Сейчас у меня есть данные только об оплате картой на сайте и по ссылке в мессенджере. Про наличные уточню у администратора и вернусь с ответом. Если клиент недоволен: Понимаю, что хочется решить вопрос сразу. Я уже передал вопрос администратору, а пока могу прислать ссылку на оплату картой. Запись 3 Вопрос клиента: [вопрос, на который нужен ответ, например: Букет завял на второй день, что делать?] Коротко:
Сколько весит AliceAI Foundation 80B и хватит ли вашего компьютера
В карточке есть точный размер всех файлов весов: 162573137149 байт, это больше полутора сотен гигабайт. Чтобы модель отвечала с нормальной скоростью, веса держат в памяти видеокарты или в оперативной памяти. Если суммарная память компьютера меньше размера файлов, исходные веса с нормальной скоростью работать не будут.
Самая честная цифра про железо в карточке касается дообучения: «пример ниже рассчитан на четыре GPU с 80 GB памяти». Это пример облегчённой настройки LoRA, а не обычного запуска. Цифры про видеокарты из пересказов я повторять не буду: конфигурацию для запуска пусть разработчик сверит с примерами кода на карточке.
Готовый код запуска Яндекс даёт через кнопку Use this model, раздел Libraries, пункт Transformers. Transformers это популярная библиотека для работы с моделями, и Яндекс указывает для неё референсную версию 5.16.1.
Квантование это сжатие модели: каждое число записывают короче, файл худеет, часть качества теряется. Сжатые версии часто сохраняют в формате GGUF для программ домашнего запуска. Начинайте с официальной страницы модели в аккаунте yandex на Hugging Face. Сборку из чужого аккаунта проверяйте сами, как я советую в разделе про риски.
- 1Оперативная память
Посмотрите объём в характеристиках компьютера или спросите того, кто его настраивал. Запишите число в гигабайтах.
- 2Память видеокарты
Если видеокарта отдельная, у неё своя память, запишите и её. Если видеокарта встроенная, так и отметьте.
- 3Свободное место на диске
Файлам нужно больше полутора сотен гигабайт, плюс место под сжатые версии, если решите их пробовать.
- 4Цифры в промпт
Промпт для оценки железа посчитает за вас и пометит, где он угадывает.
| Путь | Что нужно | Кому подходит | Главный риск |
|---|---|---|---|
| Исходные веса с официальной страницы | Память больше размера файлов, разработчик | Компании со своими серверами | Дорогое железо |
| Сжатая версия от другого автора | Программа, которая открывает эту модель | Энтузиастам | Неизвестный автор, потеря качества |
| Арендованный сервер | Разработчик и бюджет на аренду | Пилот в компании | Данные лежат у арендодателя |
| Готовый чат-ассистент | Браузер или приложение | Работа, учёба, дом | Это другая модель, не AliceAI 80B |
Готовый промпт · скопируйте целиком
Промпт: потянет ли мой компьютер AliceAI 80B
Работает в: любой чат-ассистент
Ты инженер, который помогает компаниям запускать открытые языковые модели на своём оборудовании. Говоришь прямо и не подбадриваешь, если затея не получится. Мой компьютер: - Система: [например, Windows 11 или macOS] - Оперативная память: [например, 32 ГБ] - Видеокарта и её память: [например, NVIDIA с 12 ГБ или «встроенная»] - Свободное место на диске: [например, 400 ГБ] Модель: AliceAI-Foundation-80B-A3B-Base. Из карточки на Hugging Face: 80 млрд параметров, из них на каждый токен активируются 3 млрд; общий размер файлов весов 162573137149 байт; пример облегчённого дообучения LoRA рассчитан на четыре видеокарты по 80 ГБ памяти. Примеры кода из карточки: [вставьте код запуска с карточки модели или напишите «не вставляю»] Задача: оцени, потяну ли я запуск, в трёх вариантах: А. Исходные веса без сжатия. Б. Сжатая (квантованная) версия от другого автора. В. Отказаться от запуска у себя и решить задачу [моя задача, например черновики писем клиентам] готовым чат-ассистентом. Для каждого варианта: хватит ли памяти, хватит ли диска, что будет со скоростью, что я теряю в качестве. Правила: каждую цифру, которую ты берёшь не из моих данных и не из карточки, помечай словом «оценка» и показывай, как посчитал. Требования к видеокартам бери только из вставленного кода; если я его не вставил, не придумывай, а пиши «сверить с карточкой». Не путай пример дообучения с требованиями для простого запуска. Если данных мало, сначала задай мне до трёх уточняющих вопросов. Не советуй скачивать сборки неизвестных авторов и не обещай, что всё заработает. Первой строкой выведи расчёт: сколько гигабайт весят файлы и сколько памяти у меня всего. Последней строкой: один вариант, который ты рекомендуешь, и почему.
Насколько AliceAI 80B сильная: замер Яндекса
Вместе с весами Яндекс выложил таблицу сравнений с другими базовыми моделями. Я взял из неё тест WikiWebFacts: в карточке он описан как «бенчмарк на знание фактов на русском языке», режим 5-shot. Баллы AliceAI 80B и моделей сравнения смотрите в полной таблице на карточке модели.
| Вопрос | Ответ по карточке |
|---|---|
| Кто мерил | Сам разработчик |
| Что проверяли | Знание фактов на русском |
| Как подавали задачу | 5-shot: с пятью решёнными примерами |
| Что сравнивали | Базовые модели, не чаты |
| Что не проверяли в этом тесте | Письма, разбор документов, диалог |
Что показывает замер
Тест проверяет знание фактов на русском, то есть насколько модель помнит, кто, что, где и когда. Для компании, которая работает с русскоязычными текстами, это полезный сигнал.
Чего замер не обещает
Таблицу собрал и опубликовал сам разработчик: он выбрал тесты, модели для сравнения и провёл замеры. Сравниваются базовые модели, а не чаты, и проверяется знание фактов, а не умение написать письмо. Проверяйте на своих примерах, вопросы для такой проверки собраны ниже.
Высокий балл на тесте фактов не защищает от выдумок. Любая нейросеть может уверенно написать неправду, поэтому важное сверяйте с первоисточником.
Кому пригодится AliceAI 80B, а кому хватит готового чата
В моём агентстве ИИ-агенты каждый день забирают рутину, и для писем, текстов и разборов мне хватает готовых ассистентов. Базовая модель нужна, когда у компании есть причина держать нейросеть у себя.
Пример такой причины: у компании своя база договоров и внутренних регламентов, и отправлять их в чужой облачный сервис нельзя. Разработчики берут открытую модель, дообучают её на своих документах и запускают на своём сервере. Документы не покидают компанию.
Пробует модель, дообучает и встраивает в свой продукт
Держит модель на своём сервере, документы не уходят наружу
Берёт готовый чат и не тратит время на сервер
Остальным проще готовый чат: открыли и пишете вопрос, ставить ничего не нужно. Варианты без установки собраны в подборке бесплатные нейросети на русском, а другие модели, о которых я писал, в разделе модели.
Примеры под задачу: работа, учёба, дом, своё дело
Работа
Нужно разобрать договор поставщика или написать письмо клиенту: готовый чат сделает это сегодня. AliceAI 80B пригодится, если ваш отдел ИТ собирает внутреннего помощника по регламентам и не хочет отдавать их наружу.
Учёба
Студенту-программисту модель интересна как учебный объект: можно посмотреть, как устроена смесь экспертов, и потренировать приём с образцами. Для курсовой и конспектов удобнее чат-ассистент.
Дом
Для рецептов, писем в управляющую компанию и планов на выходные базовая модель неудобна: ей нужен шаблон документа под каждый вопрос. Здесь выигрывает обычный чат на телефоне.
Своё дело
Владельцу небольшого бизнеса AliceAI 80B стоит держать в уме как вариант для своего помощника клиентам. Решение принимайте после разговора с разработчиком, промпт ниже подготовит вас к нему. Другие сценарии разобраны в материале нейросети для бизнеса.
Три автомойки в Самаре: помощник администратора по прайсу, расписанию и частым вопросам; подготовь вопросы разработчику.
Данные. Где будут храниться прайс, расписание и переписка клиентов, кто получит доступ? Это нужно для контроля данных. Насторожит ответ без конкретного места хранения и списка доступов.
Железо и стоимость. Что входит в ежемесячные расходы: сервер, дообучение, поддержка? Цены и конфигурацию спросить у разработчика. Насторожит обещание назвать только стоимость оборудования.
Качество. Как помощник ответит, если в прайсе нет услуги или расписание устарело? Нужны наши реальные примеры и понятный порядок передачи вопроса администратору. Насторожит обещание надёжных ответов без проверки. Это начало списка вопросов, а не заключение о пригодности модели.
Готовый промпт · скопируйте целиком
Промпт для бизнеса: вопросы разработчику перед решением о своей модели
Работает в: любой чат-ассистент
Ты независимый консультант по внедрению ИИ, который работает на стороне заказчика, а не разработчика. Задача: подготовить меня к встрече с разработчиком, который предлагает развернуть у нас открытую модель AliceAI-Foundation-80B-A3B-Base. О компании: - Чем занимаемся: [например, сеть из трёх автомоек в Самаре] - Какие данные пойдут в модель: [например, прайс, расписание, частые вопросы клиентов] - Задача: [например, помощник администратора отвечает клиентам в мессенджере] - Что уже пробовали: [например, готовый чат-ассистент без наших данных] Важно: это базовая модель после предобучения, без дообучения под диалог. Сам разработчик модели пишет, что она не является готовым решением для пользовательских сервисов. Сделай: 1. Вопросы разработчику по пяти блокам: данные и где они хранятся; железо и полная стоимость владения в месяц; как модель будут дообучать под нашу задачу и как проверять качество; лицензия (вопросы, которые я передам юристу); кто поддерживает систему после запуска. 2. Для каждого вопроса: зачем его задавать и какой ответ должен насторожить. 3. Таблицу «Своя модель | Готовый сервис» по строкам: где лежат данные, срок запуска, кто отвечает за сбои, что будет, если разработчик уйдёт. 4. Два варианта итогового решения и условия, при которых выбирать каждый. Правила: цены, сроки и характеристики оборудования не называй как факт, если я их не дал, пиши «спросить у разработчика». Не утверждай, что модель справится с задачей: качество проверяется только на наших примерах. Без канцелярита и общих слов. Последним пунктом предложи проверку до подписания договора: как выбрать [число, например 30] реальных вопросов из нашей переписки, дать их модели и готовому чату и сравнить ответы вслепую, не зная, где чей.
Ограничения, риски и частые ошибки
Базовая модель, как любая нейросеть, может уверенно выдумывать факты, это называют галлюцинацией. Поэтому всё важное сверяйте с первоисточником.
Модель лежит в аккаунте yandex на Hugging Face. Копии и сборки в чужих аккаунтах проверяйте как незнакомый файл из интернета.
Скачивайте веса только с официальной страницы Яндекса на Hugging Face. Копии и сжатые сборки в чужих аккаунтах я проверяю как незнакомый файл из интернета и на рабочую машину не пускаю.
Яндекс выложил её без этапа post-training. Нужен надёжный диалог: берите чат-ассистента или шаблон-документ.
Четыре видеокарты по 80 ГБ в карточке относятся к примеру LoRA-дообучения. Для запуска считайте от размера файлов и сверяйте с кодом на карточке.
Сверяйте железо с примерами кода на официальной карточке.
Проверяйте, где лежит файл: официальная страница модели в аккаунте yandex на Hugging Face.
Голая инструкция для базовой модели ненадёжна: модель может её выполнить, а может просто продолжить текст. Образцы ответа работают предсказуемее.
Это тест разработчика на знание фактов, а не на вашей задаче.
В карточке указана лицензия Apache 2.0, условия читайте в её тексте.
Чек-лист: готовы ли вы к AliceAI 80B
Пройдите пункты до того, как просить разработчика скачивать больше полутора сотен гигабайт.
- Я понимаю, что AliceAI-Foundation-80B-A3B-Base базовая модель, а не дообученный чат-ассистент.
- Я сравнил память компьютера или сервера с размером весов из карточки.
- Разработчик сверил железо с кодом на официальной карточке и не путает запуск с дообучением.
- Я знаю официальную страницу модели и не беру сборки неизвестных авторов.
- Для пробы у меня есть шаблон-документ с образцами, а не голый вопрос в стиле чата.
- Я проверю модель на своих примерах, а не только по таблице Яндекса.
- Юрист прочитал лицензию Apache 2.0, если проект коммерческий.
AliceAI 80B это фундамент для своего ассистента. Нужен результат сегодня, берите готовый чат, нужна нейросеть внутри компании, начинайте с разговора с разработчиком.
Вопросы и ответы
Что такое AliceAI Foundation 80B?
Открытая базовая языковая модель Яндекса, обученная с нуля: 80 млрд параметров, из которых на каждый токен работают 3 млрд, контекст до 262 144 токенов. Веса выложены на Hugging Face, этап обучения в карточке: предобучение.
AliceAI 80B бесплатная, можно ли её использовать в коммерческих проектах?
В карточке указана лицензия Apache 2.0, а веса лежат в открытом доступе на вкладке Files and versions. Платить придётся за железо или аренду сервера. Можно ли строить на модели коммерческий проект, решают условия лицензии: читайте её текст и покажите его юристу.
Можно ли запустить AliceAI 80B на домашнем компьютере?
Файлы весов занимают 162573137149 байт, это больше полутора сотен гигабайт. Если памяти компьютера меньше размера файлов, исходные веса с нормальной скоростью работать не будут. Даже пример облегчённого дообучения в карточке рассчитан на четыре видеокарты по 80 ГБ.
Есть ли AliceAI Foundation 80B A3B в формате GGUF?
Начинайте с официальной страницы модели в аккаунте yandex на Hugging Face. GGUF-сборку из чужого аккаунта проверяйте как незнакомый файл из интернета и запускайте на отдельной машине, а не на рабочей.
Чем AliceAI 80B отличается от Алисы?
Это разные продукты Яндекса. Алиса работает как готовый ассистент, а AliceAI 80B выложена для разработчиков: по словам Яндекса, она не является готовым решением для пользовательских продуктов и сервисов.
Почему базовая модель не ведёт себя как чат?
Яндекс выложил её в исходном виде, без этапа post-training / alignment. На голый вопрос она может ответить, а может продолжить его как текст. Предсказуемее оформить запрос как начало документа с двумя-тремя образцами ответа.