Visueller Regressionstest (Visual Regression Testing): "Automatisierte Qualitätssicherungstechnik, die das Erscheinungsbild einer Benutzeroberfläche zwischen zwei Versionen einer Anwendung vergleicht, um unbeabsichtigte visuelle Änderungen zu identifizieren, ob strukturell (Layout), stilistisch (Farben, Schriften) oder funktional (fehlende oder verschobene Elemente)."
In der Arena des visuellen SaaS-Testens dominieren zwei Namen seit Jahren die Gespräche: Applitools und Percy. Der eine setzt auf künstliche Intelligenz und den Enterprise-Markt. Der andere auf CI/CD-Integration und das BrowserStack-Ökosystem. Beide versprechen, das zu erkennen, was Ihre funktionalen Tests nicht sehen: visuelle Regressionen.
Aber welchen wählen? Die Antwort lautet, wie so oft in der Technik, "es kommt darauf an". Dieser Artikel wird Ihnen keinen der beiden verkaufen. Er wird die Stärken und Schwächen jedes einzelnen mit der Objektivität eines Schiedsrichters sezieren — bevor er einen dritten Ansatz vorstellt, lokal und kostenlos, den solche Vergleiche selten erwähnen.
Applitools oder Percy — und was, wenn die wahre Antwort "keiner von beiden" lautet? Delta-QA vergleicht Ihre UI-Versionen kostenlos, no-code und lokal, ohne Ihre Daten zu senden und ohne Konto. Delta-QA kostenlos testen →
Inhaltsverzeichnis
- Applitools: KI im Dienste des Enterprise
- Percy: CI/CD-nativ von BrowserStack
- Direkter Vergleich: 7 Kriterien, die zählen
- Für wen ist jedes Tool gemacht?
- Der dritte Weg: Braucht visuelles Testen überhaupt die Cloud?
- FAQ
Applitools: KI im Dienste des Enterprise
Applitools wurde 2013 mit einer kühnen Idee gegründet: künstliche Intelligenz einzusetzen, um Benutzeroberflächen wie ein Mensch zu verstehen. Nicht ein einfacher Pixel-für-Pixel-Vergleich, sondern eine strukturelle Analyse, die einen echten Bug von einer unbedeutenden Änderung unterscheiden kann.
Die Stärken von Applitools
Visual AI — der große Differenzierungsfaktor. Die Kerntechnologie von Applitools, "Visual AI" getauft und zum "Ultrafast Grid" weiterentwickelt, ist wirklich beeindruckend. Während der Pixel-für-Pixel-Vergleich jede Mikro-Rendering-Variation als potenzielles Problem meldet, versteht die Visual AI von Applitools die Seitenstruktur. Sie weiß, dass zwei leicht unterschiedliche Renderings desselben Textes keine Regression sind. Sie weiß, dass ein Button, der seine Farbe geändert hat, wahrscheinlich eine ist.
In der Praxis bedeutet das eine signifikant niedrigere False-Positive-Rate als bei traditionellen Ansätzen. Für Teams, die in irrelevanten Meldungen ertrinken, ist das ein Paradigmenwechsel.
Das Ultrafast Grid. Statt Ihre Tests auf jeder Browser/Auflösung-Kombination lokal auszuführen, erfasst Applitools das DOM und CSS Ihrer Seite und rekonstruiert das Rendering in seinem Cloud-Grid. Sie führen den Test einmal lokal aus, und Applitools "spielt" ihn visuell auf Dutzenden von Kombinationen nach. Elegant und schnell.
Das Integrations-Ökosystem. Applitools integriert sich mit praktisch allem: Selenium, Cypress, Playwright, Puppeteer, Storybook, Appium und vielen mehr. Über 70 SDKs verfügbar. Egal welcher Stack, es gibt wahrscheinlich ein Applitools SDK dafür.
Enterprise-Funktionen. Team-Management, Zugriffskontrolle, erweiterte Berichte, Jira/Slack-Integrationen, gruppenweise Baseline-Wartung — Applitools erfüllt alle Anforderungen, die große Organisationen stellen.
Die Schwächen von Applitools
Der Preis. Sprechen wir über den Elefanten im Raum. Applitools bietet einen kostenlosen Starter-Plan (50 Test Units pro Monat), veröffentlicht aber die Details seiner kostenpflichtigen Tarife nicht, was die Budgetschätzung bei Skalierung erschwert. Marktrückmeldungen deuten auf Tarife hin, die schnell steigen können, besonders für Teams, die große Erfassungsvolumen brauchen. Das auf "Test Units" basierende Preismodell bedeutet: Je mehr Sie testen, desto mehr zahlen Sie — ein Anreiz, Ihre Tests zu begrenzen, sobald die kostenlose Stufe überschritten ist.
Die Komplexität. Der Funktionsumfang von Applitools ist ein zweischneidiges Schwert. Für ein Team, das einfach "Screenshots vor und nach einem Deployment vergleichen" will, ist die Lernkurve erheblich. Zwischen verschiedenen Testtypen (classic, ultrafast, native mobile), Matching-Stufen (strict, content, layout) und Konfigurationsoptionen braucht es Zeit, das Tool zu meistern.
Die Cloud-Abhängigkeit. Alle Ihre Screenshots laufen über die Server von Applitools. Für bestimmte Organisationen — Banken, Gesundheitswesen, Verteidigung — ist das ein sofortiger Stopper. Selbst für andere schafft es eine Abhängigkeit: Wenn der Service nicht verfügbar ist, sind Ihre visuellen Tests es auch nicht.
Die Pflicht zu coden. Trotz all seiner künstlichen Intelligenz bleibt Applitools ein Entwickler-Tool. Jeder Test muss in einer Programmiersprache geschrieben, über ein SDK integriert und wie Code gewartet werden. Der nicht-technische QA bleibt außen vor.
Percy: CI/CD-nativ von BrowserStack
Percy, 2020 von BrowserStack übernommen, hat sich anders positioniert. Während Applitools auf Enterprise mit einer ausgeklügelten KI zielt, setzt Percy auf die einfache Integration in CI/CD-Pipelines.
Die Stärken von Percy
Vorbildliche CI/CD-Integration. Percy glänzt in Continuous-Integration-Workflows. Jeder Pull Request kann automatisch visuelle Erfassungen auslösen, mit Ergebnissen direkt sichtbar in der Oberfläche Ihres Versionierungstools (GitHub, GitLab, Bitbucket). Der Review/Approve-Workflow ist natürlich für Teams, die an Code Reviews gewöhnt sind.
Die BrowserStack-Unterstützung. Seit der Übernahme profitiert Percy von der massiven BrowserStack-Infrastruktur für Multi-Browser-Rendering. Die Erfassungen werden auf echten Browsern durchgeführt (keine Emulation), was eine hohe Rendering-Treue garantiert.
Relative Einfachheit. Percy ist leichter zu erlernen als Applitools. Das Konzept ist klar: Sie integrieren das SDK in Ihre Tests, Percy erfasst und vergleicht. Das Dashboard ist sauber, die Ergebnisse lesbar und der Approve/Reject-Workflow intuitiv.
Storybook- und Komponenten-Support. Percy bietet eine dedizierte Storybook-Integration, die automatisch jede Story erfasst. Für Teams, die Storybook als Wahrheitsquelle für ihre Komponenten nutzen, ist das ein sehr natürlicher Einführungspfad — unser Leitfaden zum visuellen Storybook-Testing beschreibt detailliert, wie dieser Ansatz funktioniert.
Ein großzügiges kostenloses Tier. Percy bietet eine kostenlose Stufe von 5.000 Screenshots pro Monat, die es ermöglicht, das Tool vor einer Bindung zu testen. Das reicht für kleine Projekte oder eine ernsthafte Evaluierung. Auch Applitools bietet eine kostenlose Stufe an, allerdings eingeschränkter (50 Test Units pro Monat).
Die Schwächen von Percy
Der Pixel-für-Pixel-Vergleich. Das ist die technische Achillesferse von Percy. Im Gegensatz zu Applitools und seiner Visual AI verwendet Percy hauptsächlich einen Pixel-für-Pixel-Vergleich (mit einigen Verbesserungen). Das Ergebnis: mehr False Positives, besonders bei Projekten mit dynamischen Inhalten, Animationen oder variablem Schrift-Rendering.
Percy hat seine Algorithmen im Laufe der Zeit verbessert, aber der Abstand zum KI-Ansatz von Applitools bleibt spürbar. Es ist ein bisschen wie der Unterschied zwischen einer einfachen Rechtschreibprüfung und einem Sprachmodell — beide finden die offensichtlichen Fehler, aber eines versteht den Kontext und das andere nicht.
Die Grenzen des kostenlosen Tiers. Das kostenlose Tier von Percy hat, obwohl willkommen, strikte Limits bei den monatlichen Erfassungen. Einmal überschritten, steigen die Tarife branchentypisch: in Stufen, die schnell ansteigen.
Weniger Flexibilität beim Matching. Percy bietet weniger Konfigurationsoptionen als Applitools, um die Vergleichsempfindlichkeit anzupassen. Sie haben weniger Hebel, um False Positives zu reduzieren, was bei komplexen Projekten frustrierend werden kann.
Die BrowserStack-Abhängigkeit. Wie Applitools ist Percy ein Cloud-Service. Ihre Daten gehen zu BrowserStack. Ihre Testkapazität hängt von deren Verfügbarkeit ab. Und Ihr Budget hängt von deren Preisliste ab — die bei der nächsten Verlängerung nach oben korrigiert werden kann.
Applitools oder Percy – oder einfach ohne SDK? Delta-QA vergleicht Ihre UI-Versionen no-code und lokal, mit einer komplett kostenlosen Desktop-App. Delta-QA kostenlos testen →
Direkter Vergleich: 7 Kriterien, die zählen
1. Vergleichstechnologie
Applitools verwendet einen proprietären KI-Ansatz, der die visuelle Struktur der Seite analysiert, nicht die einzelnen Pixel. Percy verwendet einen verbesserten Pixel-für-Pixel-Vergleich. In der Praxis erkennt Applitools Regressionen mit weniger Rauschen. Percy meldet eher nicht-signifikante Unterschiede.
Vorteil: Applitools, deutlich.
2. CI/CD-Integration
Beide integrieren sich in CI/CD-Pipelines, aber Percy wurde um diesen Workflow herum konzipiert. Die Pull-Request-Erfahrung von Percy — mit visuellen Ergebnissen direkt in der Review — ist leicht flüssiger als die von Applitools.
Vorteil: Percy, knapp.
3. Multi-Browser-Rendering
Applitools rekonstruiert das Rendering über sein Ultrafast Grid (schnell, aber rekonstruiert). Percy verwendet die echten Browser von BrowserStack (langsamer, aber treuer). Beide decken die wichtigsten Browser ab.
Vorteil: Unentschieden — Geschwindigkeit vs. Treue, jeder wählt seine Priorität.
4. Einführungsfreundlichkeit
Percy ist einfacher für ein erstes Projekt aufzusetzen. Applitools bietet mehr Leistung, erfordert aber mehr Lernzeit. Beide erfordern Entwicklungskompetenz.
Vorteil: Percy zum Starten, Applitools auf lange Sicht.
5. Preisgestaltung
Keines der beiden glänzt durch Preis-Transparenz jenseits der kostenlosen Stufe. Beide rechnen nach Nutzung ab (Screenshots bei Percy, Test Units bei Applitools) mit steigenden Stufen. Percy bietet ein großzügigeres kostenloses Tier (5.000 Screenshots/Monat gegenüber 50 Test Units/Monat). Applitools wird allgemein als teurer wahrgenommen, besonders bei Skalierung.
Vorteil: Percy beim kostenlosen Tier, variabel darüber hinaus.
6. Ökosystem und Integrationen
Applitools unterstützt über 70 SDKs und integriert sich mit praktisch allen Test-Frameworks. Percy ist selektiver, deckt aber die wichtigsten ab (Cypress, Playwright, Selenium, Storybook). Die Storybook-Integration von Percy ist besonders gepflegt — wenn Storybook der Mittelpunkt Ihres Workflows ist, lohnt sich allerdings ein Blick auf den direkten Vergleich Chromatic vs Percy, da Chromatic dort als Storybook-natives Tool antritt.
Vorteil: Applitools in der Breite, Percy für Storybook.
7. Datenvertraulichkeit
Beide sind Cloud-Services, die Ihre Screenshots auf ihren Servern verarbeiten. Applitools bietet privates Hosting für Großkunden (zu einem Premium-Preis). Percy bietet diese Option nicht standardmäßig.
Vorteil: Applitools für Enterprise-Optionen, aber keines der beiden ist standardmäßig lokal.
Für wen ist jedes Tool gemacht?
Wählen Sie Applitools wenn:
Sie eine große Organisation mit dediziertem Testing-Budget sind. Sie Hunderte von Seiten auf mehreren Browsern testen müssen. Sie von False Positives eines Pixel-für-Pixel-Ansatzes überschwemmt werden. Sie Entwickler haben, die sich der Test-Wartung widmen. Sie eine signifikante Investition in ein Premium-Tool rechtfertigen können.
Wählen Sie Percy wenn:
Sie ein Entwicklungsteam mit einem reifen CI/CD-Workflow sind. Sie eine natürliche Integration in Ihre Pull Requests suchen. Sie Storybook für Ihre Komponenten verwenden. Sie schnell mit einem kostenlosen Tier starten wollen. Sie bereits im BrowserStack-Ökosystem sind.
Wählen Sie... etwas anderes wenn:
Sie keine Entwickler haben, um Tests zu schreiben und zu warten. Sie Ihre Screenshots nicht in eine Drittanbieter-Cloud senden wollen. Ihr Budget kein wiederkehrendes SaaS-Tool erlaubt. Sie etwas suchen, das das gesamte Team nutzen kann, nicht nur die Devs.
Der dritte Weg: Braucht visuelles Testen überhaupt die Cloud?
Applitools und Percy haben ein immenses Verdienst: Sie haben das Konzept des automatisierten visuellen Testens demokratisiert. Vor ihnen war die Erkennung visueller Regressionen entweder manuell (Menschen, die Screenshots mit bloßem Auge vergleichen) oder nicht existent.
Aber beide teilen Annahmen, die wir für diskutabel halten:
Annahme Nr. 1: Visuelles Testen muss in der Cloud sein. Warum? Weil SaaS so funktioniert, und SaaS das profitabelste Geschäftsmodell ist. Aber technisch kann der Bildvergleich perfekt lokal ausgeführt werden. Ihre Screenshots müssen nicht durch das Internet reisen, um verglichen zu werden.
Annahme Nr. 2: Visuelles Testen ist eine Erweiterung des Code-Tests. Beide Tools integrieren sich über SDKs in bestehende Test-Frameworks. Das ist logisch für Entwickler, schließt aber de facto jeden aus, der nicht programmiert. QA-Analysten, Designer, Product Owner — Leute, die eine Expertenmeinung über das Erscheinungsbild einer Oberfläche haben — sind darauf reduziert, zu warten, bis die Devs ihnen die Ergebnisse zeigen.
Annahme Nr. 3: Visuelles Testen hat wiederkehrende Kosten proportional zum Volumen. Je mehr Sie testen, desto mehr zahlen Sie. Das ist das klassische nutzungsbasierte SaaS-Modell. Aber sollte Ihr Engagement für Qualität von Ihrer Fähigkeit abhängen, pro Screenshot zu zahlen? Es ist ein bisschen so, als würde Ihr Rauchmelder Ihnen jede Luftkontrolle berechnen — irgendwann wären Sie versucht, ihn auszuschalten.
Delta-QA stellt diese drei Annahmen in Frage:
- Lokal, nicht Cloud: Ihre Daten bleiben bei Ihnen. Kein Transfer, keine externe Abhängigkeit, keine Compliance-Fragen.
- No-Code, nicht SDK: Jeder im Team kann visuelle Tests erstellen und interpretieren. Keine Programmierkenntnisse nötig.
- Kostenlos, nicht pro Erfassung: Testen Sie so viel Sie wollen, ohne auf einen Zähler zu schauen. Visuelle Qualität sollte keine Preisobergrenze haben.
Delta-QA ist nicht hier, um Applitools oder Percy zu "töten". Diese Tools haben ihren Platz, besonders in Organisationen, die eine tiefe Integration mit ihren Entwicklungspipelines wollen. Aber für Teams, die einen zugänglicheren, souveräneren und wirtschaftlicheren Ansatz zum visuellen Testen suchen, gibt es jetzt einen dritten Weg.
FAQ
Ist Applitools besser als Percy für visuelles Testen?
Applitools hat dank seiner Visual AI eine überlegene Vergleichstechnologie, die weniger False Positives erzeugt als ein Pixel-für-Pixel-Ansatz. Percy hingegen bietet eine bessere CI/CD-Integration und ein zugänglicheres kostenloses Tier. "Besser" hängt von Ihren Prioritäten ab: Präzision (Applitools) oder Integrationseinfachheit (Percy).
Wie viel kosten Applitools und Percy?
Weder Applitools noch Percy veröffentlichen detaillierte kostenpflichtige Preislisten. Beide funktionieren auf einem nutzungsbasierten Modell (Screenshots bei Percy, Test Units bei Applitools) mit steigenden Stufen, und beide bieten eine kostenlose Stufe an (5.000 Screenshots/Monat bei Percy, 50 Test Units/Monat bei Applitools). Applitools wird allgemein als der teurere der beiden bei Skalierung angesehen. Für genaue Preise müssen Sie deren Vertriebsteams kontaktieren.
Kann man Applitools oder Percy ohne Programmierkenntnisse nutzen?
Nein. Beide Tools erfordern eine Integration über SDK in ein bestehendes Test-Framework (Selenium, Cypress, Playwright usw.). Sie müssen Code schreiben, um Tests zu erstellen und Szenarien zu warten. Für einen No-Code-Ansatz zum visuellen Testen ermöglichen Alternativen wie Delta-QA nicht-technischen Profilen, Tests zu erstellen und zu verwalten.
Funktioniert Percy außerhalb des BrowserStack-Ökosystems?
Ja, Percy funktioniert eigenständig, auch wenn Sie keine anderen BrowserStack-Produkte nutzen. Allerdings ist die Integration mit BrowserStack ein Vorteil, wenn Sie es bereits für Cross-Browser-Tests verwenden. Die Übernahme durch BrowserStack hat die Multi-Browser-Rendering-Fähigkeiten von Percy verstärkt.
Gibt es kostenlose Alternativen zu Applitools und Percy?
Ja. Im Open-Source-Bereich bietet BackstopJS grundlegende, aber funktionale visuelle Testfähigkeiten. Playwright integriert nativ toHaveScreenshot() für den Screenshot-Vergleich. Für eine No-Code-Lösung, lokal und ohne Erfassungslimit, bietet Delta-QA eine kostenlose Alternative, die keine Entwicklungskenntnisse erfordert.
Sind meine Daten bei Applitools oder Percy sicher?
Beide Services verarbeiten Ihre Screenshots auf ihren Cloud-Servern. Applitools bietet privates Hosting für Großkunden. Percy speichert die Daten auf der BrowserStack-Infrastruktur. Wenn Datensouveränität eine absolute Priorität ist, eliminieren lokale Lösungen (wie Delta-QA) die Frage, indem alles auf Ihrer Infrastruktur bleibt.
Bereit, den dritten Weg zu gehen? Laden Sie Delta-QA Desktop herunter und vergleichen Sie Ihre UI-Versionen ab sofort — ohne SDK, ohne Cloud und ohne Rechnung pro Screenshot. Delta-QA kostenlos testen →