Сравниваем Gemma 3, YandexGPT и T-Pro в домашних условиях. Экономия, автономность и подводные камни.
1. Введение: Почему я решил отказаться от облаков
Всё началось с простого подсчёта. Каждый месяц я смотрел на счёт за использование облачных API для перевода, и цифра упрямо ползла к отметке в 60–70 тысяч рублей. Это типичные расходы для бизнеса, работающего с большими объёмами текста, но в какой-то момент я поймал себя на мысли: «Постойте, да за эти деньги можно купить отличную видеокарту!» Так родилась идея для эксперимента: а что, если заплатить один раз и получить неограниченный и полностью контролируемый перевод навсегда?
Дело не только в деньгах. За годы работы с облачными сервисами, будь то Google Translate, DeepL или Яндекс.Переводчик, я столкнулся с целым рядом фундаментальных проблем, которые заставили меня искать альтернативу:
- Высокая стоимость. Для стартапов, инди-разработчиков или просто энтузиастов, занимающихся прототипированием, ежемесячные платежи становятся неподъёмной ношей.
- Отсутствие контроля и кастомизации. Невозможность загрузить свои словари — это постоянная головная боль. Мне периодически звонил менеджер из Яндекса с вопросом, что можно улучшить. Мой ответ был всегда один: «Дайте возможность загружать глоссарии!» Классический пример — слово Bonds. В финансовом тексте это «облигации», в художественном — «узы». Облачный сервис решает за вас, и часто ошибается, искажая смысл целых абзацев.
- Санкции и зависимость. Сегодня сервис работает, а завтра ваш аккаунт заблокирован. Ваш бизнес, ваш проект, ваша разработка останавливаются не по вашей вине. В текущих реалиях зависимость от зарубежных платформ — это огромный риск.
- Конфиденциальность. Отправляя тексты на перевод, вы, по сути, передаёте свои данные (возможно, коммерческую тайну или личную информацию) третьей стороне. Для многих компаний это недопустимо.
Все эти «но» и привели меня к главному вопросу этого исследования:
Можно ли на обычном домашнем ПК с «народной» геймерской видеокартой получить качество перевода, сопоставимое с гигантами вроде Google Translate и Яндекс.Переводчика, но избавившись от их главных недостатков?
Спойлер: можно. А теперь — к деталям.
2. Арена для битвы: Моё оборудование и бойцы
Чтобы эксперимент был честным, нужно четко определить правила и участников.
Оборудование («Железный» фундамент):
- Платформа: Мой домашний ПК с видеокартой NVIDIA RTX 3090, обладающей 24 ГБ видеопамяти (VRAM).
- Почему именно она? На сегодняшний день это «золотая середина». С одной стороны, её мощности и объёма памяти достаточно для запуска весьма серьёзных моделей. С другой — её можно найти на вторичном рынке по цене, сопоставимой с несколькими месяцами подписки на облачные API. Это делает эксперимент воспроизводимым для энтузиастов и малого бизнеса.
Важный нюанс: «Русский налог» на видеопамять
В ходе исследования я наткнулся на одну неприятную, но крайне важную особенность. К сожалению, при работе с русским языком мне не удалось найти ни одной качественной модели, которая бы уверенно помещалась в 20 ГБ видеопамяти.
Для задач, связанных с английским или китайским языками, можно существенно сэкономить и обойтись картами на 12-16 ГБ. Но русский язык в большинстве популярных мультиязычных моделей идёт «довеском», а не основной специализацией, что неоправданно раздувает их итоговый размер.
Поэтому, если вы планируете серьезно работать с русским языком локально, минимум в 24 ГБ VRAM на сегодняшний день — это не роскошь, а суровая необходимость. Это тот порог, который открывает доступ к действительно мощным инструментам.
Это, в свою очередь, открывает интересные возможности для сотрудничества: если разработчики русскоязычных моделей заинтересованы в создании более компактных и эффективных решений, я всегда открыт к диалогу.
Участники теста (Локальные бойцы):
Теперь представим наших претендентов, которые будут сражаться за звание лучшего локального переводчика. Критерий отбора был жёстким: модель должна поместиться в 24 ГБ VRAM.
- 🟢 Gemma 3 (27b) — Тяжеловес и фаворит. Это флагманская модель от Google, нативно доступная в Ollama. Её большой размер (27 миллиардов параметров) обещает высочайшее качество перевода и глубокое понимание контекста.
- 🟡 YandexGPT (8b, GGUF) — Отечественный претендент. Интереснейшая модель от Яндекса, которая, однако, потребовала серьезной подготовки.
- Важная ремарка: На момент проведения тестов найти стабильно работающую GGUF-версию для Ollama было настоящей проблемой. Многие сборки от других пользователей просто «вешали» сервер или работали некорректно. Поэтому мне пришлось самому пройти через болезненный процесс конвертации и отладки. Моя готовая и, главное, стабильная сборка теперь доступна для всех желающих прямо через поиск моделей на ollama.com под именем denisavetisyan/saiga_yandexgpt_8b_gguf_q:latest. Это подчёркивает один из плюсов локального подхода — гибкость и силу сообщества.
- ⚠️ T-Pro 2.0 (Q4/Q5) — Тёмная лошадка. Этот недавний релиз я добавил в тест из чистого любопытства.
- Нюанс с производительностью: Версия Q5_K_M показала чуть лучшее качество, но не поместилась в 24 ГБ VRAM, поэтому не может быть рекомендована для RTX 3090 и присутствует в тестах лишь для демонстрации. Рабочая версия Q4_K_M в лимиты уложилась, но, как мы увидим позже, обе квантизации оказались нестабильны.
3. Правила игры: Как проходило тестирование
Чтобы сравнение было объективным, а не просто набором случайных наблюдений, я разработал четкую методику и автоматизировал процесс.
Инструментарий:
Для массового прогона тестов я написал небольшой скрипт на Python — testalllocaltranslate.py.
Важное примечание: я не буду приводить здесь полный код скрипта. Это простая утилита, собранная за час, чтобы сэкономить время, и её главная ценность не в коде, а в той методологии, которую она реализует.
Процесс тестирования выглядел так:
- Подготовка. Я создал файл test_translate.txt, куда включил не случайные предложения, а специально подобранные «каверзные» фразы: игровые названия (Stellar Blade, Kingdom Come: Deliverance 2), финансовый сленг (XRP bulls), заголовки с HTML-разметкой (<b>Stellar Blade</b> 2) и просто неоднозначные конструкции.
- Запуск. Скрипт подключался к моему локальному серверу Ollama, последовательно загружал каждую из тестовых моделей и «скармливал» ей все фразы из списка.
- Использование исключений. При каждом вызове модели я передавал ей список исключений — слов и названий, которые переводить не нужно (например, Fortnite, Avowed, Stellar Blade). Это ключевой тест на управляемость модели.
- Сбор данных. Для каждого перевода скрипт фиксировал результат, время выполнения и скорость обработки в токенах в секунду (TPS), которую сообщала сама Ollama.
- Формирование отчёта. Все собранные данные автоматически выгружались в Excel-таблицу для удобного визуального сравнения и последующей ручной оценки.
Система оценки (Ключ к пониманию результатов):
Самая важная часть — оценка качества. Никакая автоматика здесь не поможет, поэтому каждый перевод я оценивал вручную по простой шкале штрафных баллов:
- 0 — Нет ошибок. Идеальный или близкий к идеалу перевод. Смысл, грамматика и стиль полностью сохранены.
- 1 — Незначительная ошибка. Мелкая стилистическая неточность или опечатка, которая не влияет на общий смысл. Читаемо и понятно.
- 2 — Существенная ошибка. Грамматическая или лексическая ошибка, небольшое искажение смысла. Контекст в целом понятен, но требует исправлений.
- 3 — Критическая ошибка. Смысл полностью искажён, важная информация упущена, модель выдала «галлюцинацию», нечитаемый текст или просто отказалась генерировать ответ (ошибка).
Эта система позволила мне не просто сказать «хорошо» или «плохо», а количественно оценить производительность каждой модели и выявить их сильные и слабые стороны.
4. Результаты: Кто победил, а кто споткнулся?
А теперь — к самой сути. После десятков тестов и ручной оценки я свел все данные в одну таблицу. Она наглядно демонстрирует, на что способна каждая модель.
(Здесь вы вставляете скриншот вашего Excel-отчета)
Даже беглый взгляд на таблицу позволяет сделать выводы, но давайте разберем поведение каждого «бойца» в деталях. А чтобы не быть голословным, рассмотрим несколько самых показательных примеров из теста.
Это был комплексный тест: сохранить HTML-теги, не переводить название из списка исключений и адекватно передать смысл длинного текста.
- Оригинал: So, <b>Stellar Blade</b> 2 is officially on the way! …
- 🟢 Gemma 3 (оценка 1): Почти идеально. Смысл передан точно, название сохранено. Единственный недостаток — модель удалила HTML-теги <b>.
- 🟡 YandexGPT (оценка 2): Провал. Модель не только удалила теги, но и исказила название (Stella вместо Stellar) и перевела остальной текст с неточностями.
- ⚠️ T-Pro (оценка 0): Неожиданный триумф! Обе версии T-Pro справились с задачей идеально, сохранив и HTML-теги, и оригинальное название, и точно передав смысл. В этом раунде аутсайдер обошел фаворитов.
Простой заголовок из мира финансов, который стал ловушкой для одной из моделей.
- Оригинал: Navitas surges as Nvidia gets good news
- 🟢 Gemma 3 (оценка 0): Идеальный и точный перевод: Navitas растет на фоне хороших новостей о Nvidia.
- 🟡 YandexGPT (оценка 3): Классическая галлюцинация. Модель выдумала несуществующее слово «Навиты» (Навиты взмывают вверх…). Это критическая ошибка, которая полностью искажает смысл и делает перевод бесполезным.
- ⚠️ T-Pro (оценка 0): Отличный перевод, название компании сохранено.
Этот, казалось бы, простой заголовок стал камнем преткновения для T-Pro.
- Оригинал: The Sims 4: Overpowered Reward Traits, Ranked
- 🟢 Gemma 3 / 🟡 YandexGPT (оценка 0): Обе модели справились отлично, выдав качественные и адекватные переводы.
- ⚠️ T-Pro (оценка 3): ОШИБКА: Перевод не получен (None). Обе версии T-Pro просто «упали» на этой фразе. Это наглядная демонстрация их нестабильности, которая делает их непригодными для реальной работы.
5. А почему не облачные LLM (GPT-4, Claude и другие)?
На этом моменте у многих продвинутых читателей наверняка возник вопрос: «Автор, это всё, конечно, интересно, но почему ты сравниваешь свои локальные модели с обычными API-переводчиками, а не с большими облачными LLM вроде GPT-4 или Claude 3?»
Ответ очень простой и прагматичный.
- Это ещё дороже. Если вы думали, что API Google Translate стоит дорого, посмотрите на ценники за использование топовых LLM. Стоимость обработки больших объёмов текста через API GPT-4 или Claude 3 Opus может в разы превышать расходы на специализированные сервисы перевода, делая эту затею экономически нецелесообразной.
- Все те же риски. Вы по-прежнему зависите от внешнего сервиса, который может быть недоступен из-за блокировок, санкций или технических сбоев. Проблема онлайн-зависимости и отсутствия контроля никуда не девается.
- Главная опасность — галлюцинации. Это ключевой момент. Задача специализированного переводчика — точность и дословность. Задача большой языковой модели (LLM) — генерация правдоподобного текста. LLM может не просто перевести, а «додумать», «интерпретировать» или «творчески переосмыслить» ваш исходный текст. Для художественной литературы это, может быть, и неплохо, но для технических инструкций, юридических документов или новостных заголовков — это катастрофа.
Локальные модели, особенно после дообучения на задачах перевода, ведут себя гораздо более предсказуемо. Они не пытаются быть писателями, а честно выполняют свою работу — переводят. Поэтому для данной задачи сравнивать их с «креативными» облачными гигантами было бы некорректно.
6. Выводы: Можно ли уволить Google Translate?
Итак, вернемся к вопросу, с которого всё началось. Можно ли на локальной машине получить качественный, управляемый и надежный перевод?
Да. Однозначно.
Мой эксперимент показал, что современные локальные модели не просто «догоняют» облачные сервисы, а по некоторым параметрам (гибкость, контроль, автономность) уже превосходят их. Они готовы к использованию в реальных проектах.
А что со скоростью?
Качество — это главное, но скорость обработки тоже имеет значение. Мой скрипт замерял производительность каждой модели в токенах в секунду (TPS) по данным из логов Ollama. Результаты оказались весьма интересными.
| Модель | Средний TPS (Токенов/сек) | Примечание |
| 🟢 Gemma 3 (27b) | ~38 | Отличная скорость для модели такого размера. |
| 🟡 YandexGPT (8b) | ~50 | Самая быстрая из рабочих моделей, что ожидаемо для 8b. |
| ⚠️ T-Pro 2.0 (Q4) | ~34 | Скорость сопоставима с Gemma 3, но с учетом нестабильности. |
| ⚠️ T-Pro 2.0 (Q5) | ~14 (нерепрезентативно) | Модель не поместилась в VRAM, часть слоев выгружались в медленную оперативную память, что и вызвало драматическое падение скорости. Этот результат не следует учитывать при сравнении. |
Как видно из таблицы, YandexGPT (8b) является чемпионом по скорости, что делает его привлекательным для задач, где производительность важнее нюансов перевода. Gemma 3 (27b), будучи почти в 3.5 раза больше, показывает очень достойную производительность — её скорости более чем достаточно для большинства интерактивных и пакетных задач.
Теперь, вооружившись данными и о качестве, и о скорости, можно дать финальные рекомендации.
Мои рекомендации для RTX 3090 (24 ГБ):
- Для максимального качества и контроля — 🟢 Gemma 3 (27b).
Это ваш выбор номер один. Она обеспечивает превосходное качество перевода, понимает контекст и имеет наименьшее количество ошибок. Несмотря на редкие огрехи с HTML, её общая надежность и точность делают её лучшим инструментом для перевода статей, документации и любого контента, где важны нюансы. - Для простых задач (с большой осторожностью) — 🟡 YandexGPT (8b).
Несмотря на высокую скорость, эта модель слишком склонна к галлюцинациям и искажению названий, чтобы рекомендовать её для ответственных задач. Подойдет для чернового перевода простых текстов, где некритичны ошибки и не нужно сохранять форматирование. - Кого стоит избегать (на данный момент) — ⚠️ T-Pro 2.0.
Несмотря на отдельные проблески гениальности, эта модель слишком нестабильна и непредсказуема для реальной работы. Возможно, в будущем разработчики исправят проблемы, но пока это лишь интересный экспонат для тестов.
В конечном счёте, переход на локальные модели — это не просто про экономию. Это про возврат контроля. Вы больше не зависите от ценовой политики корпораций, геополитической обстановки или их представлений о том, как нужно переводить ваши тексты. Одноразовая инвестиция в «железо» окупается за несколько месяцев и дарит бесценную свободу и независимость.
Вы точно знаете, что переводит ваш текст, а не надеетесь, что облачный гигант не начнёт фантазировать на заданную тему.
И да, кстати. Как показала практика, андроидам действительно снятся электрические овцы.
7. Что дальше? (Спойлер: всё только начинается)
Этот эксперимент — лишь верхушка айсберга. Мир локальных LLM развивается с невероятной скоростью, и то, что казалось невозможным вчера, сегодня работает на вашем домашнем ПК. Я планирую продолжить свои исследования, и вот несколько направлений, которые мне особенно интересны:
- Тестирование новых моделей. На горизонте уже маячат новые, еще более совершенные модели. Если эта статья вызовет интерес, я обязательно протестирую следующие поколения LLM, как только они появятся.
- Углубленное тестирование. Прогнать модели на более сложных корпусах текстов: юридических, медицинских, художественных, чтобы проверить их пределы.
- Дообучение (Fine-tuning). Самое интересное — взять лучшую модель (вероятно, Gemma 3) и дообучить её на собственных данных, чтобы создать узкоспециализированного переводчика, идеально заточенного под конкретную задачу. Например, квантовые вычисления со всеми их гейтам, вентилями и бра-кетами — сущий ад для автоматического перевода.
- Сборка «народного AI-компьютера». Если будет запрос от аудитории, я могу подготовить отдельный материал о том, как собрать оптимальную и бюджетную конфигурацию ПК для подобных экспериментов и локальной работы с нейросетями.
Так что, если вам интересна эта тема, дайте знать в комментариях. Ваша обратная связь — лучший стимул для новых исследований.
8. Приложения и полезные ссылки
Для тех, кто хочет погрузиться в детали и самостоятельно проверить результаты, я оставляю ссылки на ключевые ресурсы:
- Ссылка на детальный HTML-отчет с разбором всех фраз
- Модели в Ollama:
- ollama run gemma:27b
- ollama run denisavetisyan/saiga_yandexgpt_8b_gguf_q:latest
- ollama run hf.co/t-tech/T-pro-it-2.0-GGUF:Q4_K_M
- Ollama.com — официальный сайт проекта, с которого стоит начать свое путешествие в мир локальных LLM.
