Визуальное тестирование (visual testing) - это метод автоматической проверки, который сравнивает скриншоты веб-интерфейса между двумя версиями, чтобы обнаружить графические регрессии (сдвинувшийся элемент, изменившийся цвет, компонент, вылезающий за свой контейнер).
В Delta-QA мы ежедневно работаем с GitLab. Наши репозитории, пайплайны, merge request, CI/CD: всё работает на GitLab. Это не выбор по умолчанию, а осознанный выбор платформы, которая предлагает нативно встроенный пайплайн, реестр контейнеров и цельную сквозную философию DevOps.
Говоря о визуальном тестировании в GitLab CI, мы не пересказываем документацию, прочитанную накануне. Мы делимся тем, чему научились, реально пользуясь им. Эта статья охватывает доступные подходы, особенности GitLab CI, влияющие на визуальное тестирование, и то, как получить надёжный пайплайн визуальной регрессии.
Главное на одной странице (определение, автоматизация без кода, таблица выбора инструмента): Автоматизированное регрессионное тестирование без кода.
Ещё не готовы трогать свой
.gitlab-ci.yml? Освойте визуальное тестирование вне пайплайна: Delta-QA сравнивает ваши экраны без кода, с бесплатным аккаунтом и без банковской карты. Попробовать Delta-QA бесплатно →
Почему GitLab CI хорошо подходит для визуального тестирования
У GitLab CI есть особенности, делающие его особенно подходящим для визуального тестирования, особенности, которых по умолчанию нет у пользователей GitHub Actions или Jenkins.
Встроенные артефакты
GitLab CI нативно управляет артефактами пайплайна. Когда визуальный тест создаёт HTML-отчёты, изображения различий или скриншоты, вы объявляете их артефактами, и они становятся доступны прямо из интерфейса merge request. Внешний сервис для хранения и просмотра результатов не нужен.
Это недооценённое преимущество. В GitHub Actions нужно настраивать отдельную загрузку артефактов или использовать сторонний сервис, чтобы сделать результаты доступными. В GitLab это нативно.
Окружения для ревью
GitLab предлагает Review Apps: эфемерные окружения, автоматически разворачиваемые для каждого merge request. Ваше приложение работает в отдельной среде, доступной по временному URL. Это идеальная среда для визуального тестирования: стабильная, изолированная и репрезентативная для продакшена.
Собственные раннеры
GitLab позволяет использовать раннеры, размещённые на вашей собственной инфраструктуре. Для визуального тестирования это критично: вы контролируете среду отрисовки (ОС, шрифты, GPU), что снижает число ложных срабатываний из-за различий сред. Мы используем выделенные раннеры с зафиксированной конфигурацией, чтобы гарантировать воспроизводимость снимков.
Встроенный реестр контейнеров
У каждого проекта GitLab есть реестр контейнеров. В нём можно хранить предварительно настроенный Docker-образ для визуального тестирования (с нужными шрифтами, браузером и зависимостями) и использовать его как основу для тестовых задач. Это устраняет главный источник нестабильности.
Подходы к визуальному тестированию в GitLab CI
Playwright в задаче GitLab CI
Playwright - самый надёжный open source инструмент для визуального тестирования в CI. Его встроенный метод toHaveScreenshot() управляет съёмкой, сравнением и автоматическими повторами.
Интеграция с GitLab CI. Вы создаёте в .gitlab-ci.yml задачу, которая использует официальный Docker-образ Playwright, выполняет тесты и публикует результаты как артефакты. HTML-отчёты Playwright можно просматривать прямо в GitLab.
За точной структурой YAML-файла обратитесь к своему ИИ-помощнику (он безупречно знает синтаксис GitLab CI, это, пожалуй, единственное, в чём он (пока) не галлюцинирует). Если серьёзно, официальная документация Playwright по CI-средам - ваш лучший источник.
Что работает хорошо. Официальный Docker-образ Playwright включает все браузеры и необходимые системные зависимости. В сочетании с реестром контейнеров GitLab можно создать производный образ с вашими шрифтами и конкретными настройками. Артефакты GitLab делают тестовые отчёты доступными без дополнительной настройки.
Ограничения в контексте GitLab. Baseline нужно генерировать в среде CI, а не локально. Это универсальное правило визуального тестирования, но GitLab облегчает задачу: можно вручную запустить пайплайн для перегенерации baseline. Управление baseline в Git остаётся сложным (бинарные файлы, конфликты слияния), но GitLab LFS встроен нативно.
Percy с GitLab CI
Percy (BrowserStack) предлагает официальную интеграцию с GitLab CI. SDK Percy снимает snapshots во время вашего пайплайна и отправляет их в облако Percy для сравнения и ревью.
Что работает. Percy автоматически определяет ветку и merge request GitLab. Результаты появляются как внешний статус на вашем MR. Кроссбраузерность обеспечивается на стороне облака.
Ограничения. Тарификация по снимкам остаётся вопросом. И вы добавляете в пайплайн внешнюю зависимость: если Percy недоступен, ваша проверка остаётся в ожидании. Для команды, которая выбрала GitLab именно ради контроля над инфраструктурой, такая внешняя зависимость может противоречить философии.
BackstopJS в GitLab CI
BackstopJS работает в GitLab CI через свой официальный Docker-образ. HTML-отчёты отлично подходят системе артефактов GitLab.
Что работает. HTML-отчёт BackstopJS - один из самых наглядных и читаемых в экосистеме. Опубликованный как артефакт GitLab, он доступен для просмотра прямо в браузере из интерфейса MR. Настройка JSON-сценариями явная и версионируемая.
Ограничения. Проект переживал периоды нерегулярной поддержки (проверьте недавнюю активность, прежде чем на него полагаться). Настройка может стать громоздкой для сложных приложений, а перебор страниц или компонентов приходится организовывать вручную.
Delta-QA в GitLab CI: SDK Vision
Delta-QA попадает в пайплайн GitLab CI через ваши тесты Playwright, с помощью SDK Vision.
Как это работает. Вы кладёте API-ключ в маскированную переменную CI/CD (DELTAQA_API_KEY) и добавляете vision.check() на страницах, которые должны проверять ваши тесты. Задача запускает npx playwright test как обычно. Для каждой проверки Delta-QA сравнивает страницу с эталоном так, как это сделал бы человеческий глаз: он находит изменившиеся элементы и называет их в отчёте.
Что иначе. Не нужно хранить baseline в репозитории: эталоны живут в вашем пространстве Delta-QA, по одному на ветку; SDK не читает ни git, ни CI: строка вашей задачи передаёт ему ветку, базовую ветку и коммит. Неоценённое различие роняет задачу, а её журнал содержит ссылку на отчёт, сообщающий, какой элемент изменился; там оценивают «Намеренно» или «Баг». Тесты, передающие один и тот же коммит, образуют одну версию, даже если распределены по нескольким параллельным задачам.
И без кода. Сценарии, записанные в Delta-QA командой QA, оцениваются в том же пространстве. SDK охватывает Playwright на TypeScript и JavaScript, на Chromium; сначала он предлагается в предварительном доступе, доступ запрашивается на его странице.
Прежде чем писать хоть одну CI-задачу, оцените, что визуальное тестирование находит на ваших страницах. Delta-QA снимает и сравнивает ваши экраны в несколько кликов, с бесплатным аккаунтом и без банковской карты. Попробовать Delta-QA бесплатно →
Особенности GitLab CI, которые нужно знать для визуального тестирования
Кэш и артефакты
Многие путают эти понятия. Кэш GitLab CI разделяется между пайплайнами одного проекта (он нужен для ускорения задач: зависимости npm, браузеры Playwright). Артефакты - это результаты конкретной задачи: тестовые отчёты, скриншоты, различия.
Для визуального тестирования используйте кэш для браузеров и зависимостей, а артефакты для результатов тестов. Никогда не кэшируйте baseline (они должны жить в репозитории, чтобы версионироваться вместе с кодом).
Стадии и зависимости между задачами
GitLab CI организует задачи в последовательные стадии. Визуальный тест должен находиться в стадии, которая выполняется после развёртывания вашего Review App. Типичный шаблон:
- build: сборка приложения
- deploy-review: развёртывание Review App
- test-visual: визуальный тест на Review App
- cleanup: удаление окружения
Директива needs в GitLab CI позволяет создавать явные зависимости между задачами в обход последовательных стадий, что может ускорить ваш пайплайн.
Защищённые переменные окружения
API-токены для облачных сервисов (Percy, Chromatic) нужно хранить как переменные CI/CD в GitLab. Внимание: защищённые переменные доступны только на защищённых ветках. Если ваши feature-ветки не защищены, визуальный тест с облачным сервисом будет падать молча: классическая ловушка.
Ограничения по времени и памяти
Визуальное тестирование ресурсоёмко. Отрисовка страниц в headless-браузере расходует память, а сравнение изображений занимает время. У общих раннеров GitLab.com есть ограничения по времени (обычно один час на задачу) и памяти. Для объёмных наборов визуальных тестов рекомендуются собственные раннеры с выделенными ресурсами.
Построение надёжного пайплайна визуального тестирования
Вот подход, который мы рекомендуем, основанный на нашем собственном опыте.
Начинайте с малого и прицельно
Не тестируйте визуально все страницы с первого дня. Определите пять-десять самых критичных страниц (те, что пользователи видят первыми, те, где визуальная регрессия сильнее всего бьёт по бизнесу). Затем расширяйтесь постепенно.
Используйте Review Apps как цель
Вместо запуска локального сервера в CI-задаче разверните Review App и тестируйте её. Преимущество: среда стабильна, доступна и репрезентативна. Недостаток: к пайплайну добавляется длительность развёртывания. Компромисс того стоит.
Стабилизируйте среду отрисовки
Создайте Docker-образ, предназначенный для визуального тестирования, и храните его в реестре GitLab. Включите шрифты вашего приложения, точную версию браузера и все системные зависимости. Версионируйте этот образ. Когда среда отрисовки зафиксирована, число ложных срабатываний резко падает.
Начните в неблокирующем режиме
Настройте задачу визуального теста с allow_failure: true на первые недели. Это позволит команде привыкнуть к результатам, не блокируя merge request. Когда доверие установится, а ложные срабатывания будут под контролем, переключайтесь на блокирующий режим.
Уведомляйте с умом
GitLab CI может отправлять уведомления по разным каналам (Slack, email, webhook). Настройте уведомления визуального теста так, чтобы они срабатывали только при сбоях, а не при успехах. Цель - привлекать внимание, когда это необходимо, а не заваливать команду сообщениями.
Артефакты как система эталонов
Артефакты GitLab служат не только для публикации отчётов: правильно организованные, они становятся основой вашей стратегии эталонов. Различие создают две практики.
Структурируйте артефакты читаемо
Не сваливайте все скриншоты в одну кучу. Создайте понятную иерархию: по папке на каждую тестируемую страницу, внутри которой лежат эталонный скриншот, текущий скриншот и diff. Положите HTML-отчёт в корень для навигации по результатам. Когда тест падает, ревьюер открывает встроенный браузер артефактов GitLab, переходит к нужной странице и сразу видит различие, не покидая интерфейс.
Используйте артефакты main как эталоны
Вместо хранения baseline в репозитории можно использовать артефакты последнего успешного пайплайна основной ветки как набор эталонов. GitLab CI позволяет скачивать артефакты конкретной задачи на конкретной ветке через API.
Конкретно, задача визуального теста вашей feature-ветки начинает с загрузки эталонных скриншотов из артефактов последнего пайплайна main. Затем она снимает скриншоты feature-ветки, сравнивает два набора и сохраняет свои результаты как артефакты текущего пайплайна. Никакие бинарные baseline не засоряют историю Git.
Двухуровневая политика хранения
Срок хранения артефактов GitLab настраивается, и для визуального тестирования хорошо работает двухуровневая политика:
- Основная ветка: 30 дней (или больше). Эти артефакты служат стабильными эталонами для всех сравнений.
- Feature-ветки: 7 дней. Время, пока merge request обрабатывается и вливается.
Подстраивайте под свой ритм: команде с длинными циклами (ветки живут несколько недель) потребуется более долгое хранение на main, а также регулярный rebase или повторная загрузка самых свежих эталонов при каждом запуске, чтобы не сравнивать с устаревшими baseline.
FAQ
GitLab CI так же хорош, как GitHub Actions, для визуального тестирования?
Именно для визуального тестирования у GitLab CI есть нативные преимущества: встроенные артефакты, Review Apps, реестр контейнеров и собственные раннеры. Эти функции облегчают создание стабильной и воспроизводимой среды визуального тестирования. У GitHub Actions свой богатый marketplace, но для некоторых из этих функций нужна дополнительная настройка.
Нужны ли собственные раннеры для визуального тестирования в GitLab CI?
Это не обязательно, но настоятельно рекомендуется. Общие раннеры GitLab.com работают, но их переменная аппаратная конфигурация может приводить к различиям отрисовки. Собственный раннер с зафиксированной конфигурацией (шрифты, браузер, разрешение) устраняет этот источник ложных срабатываний и обычно даёт лучшую производительность.
Как управлять baseline визуальных тестов в репозитории GitLab?
Если вы используете Playwright или BackstopJS, baseline (PNG-файлы) живут в вашем репозитории. Включите GitLab LFS, чтобы бинарные файлы не раздували историю Git. Для конфликтов слияния по baseline самая простая стратегия - принять новые baseline из исходной ветки и при необходимости перегенерировать. С Delta-QA baseline управляются самим инструментом и не засоряют ваш репозиторий.
Можно ли использовать Review Apps GitLab как среду визуального тестирования?
Да, и именно этот подход мы рекомендуем. Review App даёт стабильную изолированную среду для каждого merge request. Ваша задача визуального теста ждёт развёртывания Review App, снимает скриншоты по временному URL и сравнивает с эталонами. Это надёжнее, чем сервер, запускаемый на лету в CI-задаче.
Работает ли визуальное тестирование в GitLab CI с монорепозиториями?
Да. GitLab CI поддерживает условные правила, позволяющие запускать визуальное тестирование только при изменении фронтенд-файлов. В сочетании с директивой only:changes вы избегаете ненужных визуальных тестов, когда изменился только бэкенд. Это важно для быстрого пайплайна в монорепозитории.
Какой Docker-образ лучше всего подходит для визуального тестирования в GitLab CI?
Официальный образ Playwright (mcr.microsoft.com/playwright) - отличная отправная точка. Он включает браузеры и системные зависимости. Для ещё более стабильной среды создайте производный образ, добавляющий шрифты вашего приложения и фиксирующий точные версии. Храните его в реестре контейнеров вашего проекта GitLab для быстрого доступа.
Заключение
GitLab CI - платформа, естественно подходящая для визуального тестирования. Её нативные функции (артефакты, Review Apps, реестр контейнеров, собственные раннеры) решают проблемы, которые в других CI-платформах приходится решать вручную.
Но платформа делает не всё. Визуальное тестирование в CI остаётся инженерной задачей: стабилизировать отрисовку, управлять baseline, справляться с ложными срабатываниями и построить процесс ревью, работающий для всей команды.
Если вы на GitLab и хотите добавить визуальное тестирование в пайплайн без сложности тестовых скриптов и ручного управления baseline, Delta-QA создан для нативной интеграции в ваш рабочий процесс GitLab CI.
Готовы повысить надёжность ваших merge request с помощью визуального тестирования? Запустите первое сравнение с Delta-QA, бесплатно и без банковской карты, ещё до того, как коснётесь своего
.gitlab-ci.yml. Попробовать Delta-QA бесплатно →
