Delta-QA vs Percy: Struktureller Visueller Test oder Screenshots in der Cloud?
Visuelles Testing durch Referenz-Screenshot-Vergleich: Eine Methode zur Erkennung visueller Regressionen, bei der ein vollständiges Bild einer Webseite oder Komponente aufgenommen und pixelweise mit einem Referenz-Screenshot verglichen wird — jeder Unterschied oberhalb einer konfigurierbaren Schwelle wird als potenzielle Regression markiert.
Percy war lange Zeit der erste Name, der einem in den Sinn kam, wenn es um automatisiertes visuelles Testing ging. 2020 von BrowserStack übernommen, hatte sich das Tool als die „offensichtliche" Lösung für Teams etabliert, die eine visuelle Vergleichsschicht zu ihrer Test-Pipeline hinzufügen wollten. Und für lange Zeit war es tatsächlich die beste verfügbare Option — eher mangels Alternativen als durch herausragende Qualität, aber nonetheless die beste.
Die Landschaft hat sich gewandelt. Und die Frage, die sich jedes Team heute stellen sollte, lautet nicht mehr „Wie integriere ich Percy in meine Tests?", sondern „Ist Percys Ansatz noch der relevanteste für meinen Bedarf?"
Delta-QA bietet eine radikal andere Antwort auf dasselbe Problem. Keine Screenshots, keine Cloud, kein SDK, keine Abrechnung pro Screenshot. Ein struktureller, lokaler, No-Code- und kostenloser Ansatz. Lassen Sie uns beide Werkzeuge direkt vergleichen.
Percy: Visuelles Testing als Erweiterung Ihrer bestehenden Tests
Percy basiert auf einem Prinzip, das auf den ersten Blick simpel erscheint: An strategischen Punkten Ihrer automatisierten Tests lösen Sie eine Screenshot-Aufnahme aus. Diese Aufnahme wird an die Server von BrowserStack gesendet, wo sie pixelweise mit einem Referenzbild (der Baseline) verglichen wird. Differenzen werden in einem Web-Dashboard angezeigt, in dem Ihr Team jede Änderung genehmigen oder ablehnen kann.
Um Percy zu nutzen, brauchen Sie zuerst automatisierte Tests — Cypress, Playwright, Selenium. Dann installieren Sie das Percy SDK, aendern Ihre Tests fuer Aufnahmeaufrufe, konfigurieren einen Authentifizierungstoken. Wenn Sie Entwickler sind, ist das in Stunden machbar. Wenn nicht, haengen Sie vollstaendig von jemand anderem ab.
Um Percy zu nutzen, müssen Sie zunächst über automatisierte Tests verfügen — Cypress, Playwright, Selenium, Puppeteer oder eines der vielen unterstützten Frameworks. Dann installieren Sie das zum Framework passende Percy-SDK. Sie ändern Ihre Tests, um Aufnahmeaufrufe an den relevanten Stellen hinzuzufügen. Sie konfigurieren einen Authentifizierungstoken zur Kommunikation mit Percys Servern. Und Sie hoffen, dass Ihre CI-Pipeline eine stabile enough Netzwerkverbindung aufweist, um bei jedem Durchlauf hochauflösende Screenshots zu senden.
Wenn Sie ein Entwickler sind, der mit Testing-Werkzeugen vertraut ist, ist all dies in wenigen Stunden machbar. Wenn Sie kein Entwickler sind — und ein beträchtlicher Teil der für visuelle Qualität Verantwortlichen gehört nicht zu dieser Kategorie —, sind Sie vollständig von jemand anderem abhängig, um Ihr visuelles Testing-Werkzeug einzurichten und zu warten.
Delta-QA: Visuelles Testing als eigenständige Tätigkeit
Delta-QA basiert auf der gegenteiligen Prämisse: Visuelles Testing sollte kein Aufpfropfen auf Ihre funktionalen Tests sein. Es ist eine eigenständige Tätigkeit mit eigenen Anforderungen, eigenen Benutzern und eigenen Rahmenbedingungen.
In der Praxis geben Sie Delta-QA zwei Versionen einer Seite (zwei URLs, zwei Umgebungen oder zwei Zeitpunkte), und das Werkzeug analysiert die strukturellen Unterschiede zwischen ihnen. Keine Screenshots, die in die Cloud gesendet werden. Kein Pixelvergleich. Delta-QA untersucht den DOM, die berechneten CSS-Eigenschaften und die Elementhierarchie, um zu identifizieren, was sich verändert hat.
Das Ergebnis ist ein klarer Bericht signifikanter Unterschiede: hinzugefügte, entfernte, geänderte, verschobene Elemente mit den betroffenen CSS-Eigenschaften. Keine vage Interpretation, kein „Dieser Pixel hat seine Farbe um einen unmerklichen Hauch verändert." Strukturelle Fakten, überprüfbar und nachvollziehbar.
Und all dies, ohne eine einzige Zeile Code zu schreiben. Wenn Sie einen Webbrowser bedienen können, können Sie Delta-QA verwenden. Dieser Satz ist keine Marketingphrase — er beschreibt buchstäblich die Realität der Benutzeroberfläche.
Code vs. No-Code: Warum das alles verändert
Der grundlegendste Unterschied zwischen Percy und Delta-QA ist kein technischer — es ist ein organisatorischer.
Percy ist ein Entwicklerwerkzeug. Es lebt im Code, wird über npm oder pip installiert, in Konfigurationsdateien eingerichtet und in CI/CD-Pipelines ausgeführt. Das ist vollkommen logisch, wenn Ihre Tester Entwickler sind. Es ist eine Mauer, wenn sie es nicht sind.
Denken Sie an Ihr Team. Wem ist die visuelle Qualität Ihres Produkts wichtig? Den Entwicklern, gewiss. Aber auch den Designern, die die Mockups erstellt haben. Den Product Ownern, die die User Journeys validiert haben. Den QA-Managern, die die Akzeptanzkriterien definieren. Den Marketingleitern, die Inhaltsseiten verwalten. Keine dieser Personen sollte Code schreiben müssen, um zu überprüfen, ob die Website korrekt aussieht.
Percy schließt sie strukturell vom visuellen Testing-Prozess aus. Sie können die Ergebnisse im Dashboard einsehen — Änderungen genehmigen oder ablehnen —, aber sie können keine neuen Tests konfigurieren, keine neuen Seiten zur Überwachung hinzufügen oder Erkennungsparameter anpassen. Sie sind passive Konsumenten eines Werkzeugs, das für andere entwickelt wurde.
Delta-QA schließt sie ein. Jedes Teammitglied kann einen visuellen Vergleich starten, Seiten zur Überwachung hinzufügen, Empfindlichkeitsschwellen konfigurieren und Ergebnisse interpretieren. Visuelles Testing wird zu einer gemeinsamen Verantwortung statt einer delegierten technischen Aufgabe.
Die Abrechnung pro Screenshot: Ein Modell, das Gründlichkeit bestraft
Percys Preismodell verdient besondere Beachtung, weil es einen falschen Anreiz schafft.
Percy berechnet nach der Anzahl der Screenshots pro Monat. Die Pläne beinhalten ein Screenshots-Kontingent, und jeder Screenshot über dieses Kontingent hinaus wird separat abgerechnet. Je mehr Sie testen, desto mehr zahlen Sie. Je gründlicher Ihre visuelle Abdeckung, desto höher die Rechnung.
Denken Sie einen Moment darüber nach, was das in der Praxis bedeutet. Sie betreiben einen E-Commerce-Auftritt mit 500 Produktseiten. Sie möchten jede Seite nach jedem Deployment visuell überprüfen. Das sind 500 Screenshots pro Deployment. Bei täglichem Deployment sind das 15.000 Screenshots pro Monat. Wenn Sie auf drei Auflösungen testen (Desktop, Tablet, Mobil), sind das 45.000 Screenshots pro Monat. Der Plan, der dieses Volumen abdeckt, wird nicht der für 400 Dollar sein.
Dieses Modell erzeugt eine ungesunde Spannung zwischen Testabdeckung und Budget. Teams enden damit, die Anzahl der getesteten Seiten zu begrenzen, die Testfrequenz zu reduzieren oder auf weniger Auflösungen zu testen — nicht weil das die richtige technische Entscheidung wäre, sondern weil das Budget es verlangt. Das Preismodell des Werkzeugs verschlechtert aktiv die Testqualität.
Delta-QA berechnet nichts. Nicht pro Screenshot, nicht pro Seite, nicht pro Monat. Sie testen so viele Seiten, so häufig und auf so vielen Auflösungen, wie Sie möchten. Die Gründlichkeit Ihrer Testabdeckung wird durch Ihren Ehrgeiz begrenzt, nicht durch Ihren Geldbeutel.
Cloud vs. lokal: Die Souveränität über Ihre Daten
Jeder an Percy gesendete Screenshot passiert die Server von BrowserStack und wird dort gespeichert. Bei den meisten öffentlichen Websites ist das kein Problem. Doch öffentliche Websites stellen nur einen Bruchteil dessen dar, was Teams testen.
Wie sieht es mit Ihrem Admin-Backoffice aus? Mit Ihrem internen Dashboard, das Kundendaten anzeigt? Mit Ihrer Staging-Umgebung mit anonymisierten Produktionsdaten (oder nicht immer perfekt anonymisierten)? Mit Ihrem medizinischen Portal, Ihrer Bankenoberfläche, Ihrem HR-Management-System?
Screenshots dieser Seiten an die Server eines Dritten zu senden — selbst eines vertrauenswürdigen Dritten mit SOC-2-Zertifizierung —, wirft Fragen auf, die manche Organisationen nicht ignorieren können. Branchenvorschriften (DSGVO, HIPAA, PCI-DSS), interne Sicherheitsrichtlinien und der gesunde Menschenverstand im Umgang mit Datenschutz setzen Grenzen, was über externe Server passieren darf.
Delta-QA beseitigt die Frage. Das Werkzeug läuft lokal. Ihre Seiten werden lokal analysiert. Die Ergebnisse bleiben lokal. Keine Daten verlassen Ihre Umgebung. Das ist keine Premium-Funktion oder eine Enterprise-Deployment-Option — es ist die Grundarchitektur des Werkzeugs.
Ergebnisstabilität: Launische Pixel vs. zuverlässige Struktur
Jeder, der bereits ein screenshotbasiertes visuelles Testing-Werkzeug verwendet hat, weiß, dass Fehlalarme die Geißel dieses Ansatzes sind. Percy hat mit intelligenten Vergleichsalgorithmen, konfigurierbaren Empfindlichkeitsschwellen und Ausschlusszonen erhebliche Fortschritte erzielt. Doch das grundlegende Problem bleibt: Pixel zu vergleichen ist inhärent instabil.
Schriftrendering variiert je nach Betriebssystem. Anti-Aliasing unterscheidet sich je nach Grafikkarte. Animationen, die zu leicht unterschiedlichen Momenten erfasst werden, erzeugen unterschiedliche Bilder. Dynamische Inhalte (Datumsangaben, Zähler, Werbung) ändern sich zwischen den Aufnahmen. Von einem CDN geladene Bilder können in anderer Reihenfolge eintreffen. Eine ein- oder verschwindende Scrollbar verschiebt alle Elemente um einige Pixel.
Jeder dieser Fälle erzeugt in Percy einen „Diff", der kein echter Bug ist. Und jeder Fehlalarm kostet Zeit: Jemand muss den Diff betrachten, entscheiden, dass es sich nicht um ein echtes Problem handelt, und ihn genehmigen. Multipliziert man dies mit hunderten von Screenshots und dutzenden von Deployments, erhält man Stunden verschwendeter Arbeit beim Sortieren von Fehlalarmen. Es gibt aufregendere Dinge im Leben — praktisch alle, um ehrlich zu sein.
Der strukturelle Ansatz von Delta-QA ist immun gegen diese Probleme. Schriftrendering kann variieren — die CSS-Struktur bleibt identisch. Anti-Aliasing kann abweichen — die berechneten CSS-Eigenschaften ändern sich nicht. Textinhalte können sich aktualisieren — die DOM-Hierarchie und die Stile bleiben stabil. Die Fehlalarmrate des strukturellen Ansatzes ist ein Bruchteil der des Screenshot-Ansatzes.
CI/CD-Integration: Zwei Ansätze, dasselbe Ziel
Percy wird über sein SDK in CI/CD-Pipelines integriert. Das ist eine ausgereifte Integration, die gut mit den gängigen CI-Systemen (GitHub Actions, GitLab CI, Jenkins, CircleCI) funktioniert. Sie fügt jedoch eine Netzwerkabhängigkeit hinzu: Wenn Percys Server langsam oder nicht verfügbar sind, wird Ihre Pipeline beeinträchtigt.
Delta-QA lässt sich ebenfalls in CI/CD-Pipelines integrieren, jedoch ohne SDK oder externe Abhängigkeit. Das Werkzeug läuft lokal auf Ihrem CI-Runner. Keine Netzwerklatenz, keine Timeouts, wenn ein Drittanbieterdienst ausfällt. Ihre Pipeline hängt ausschließlich von Ihrer eigenen Infrastruktur ab.
Wann Percy die richtige Wahl bleibt
Percy ist ein gutes Werkzeug in bestimmten spezifischen Kontexten.
Sie brauchen visuelles Cross-Browser-Testing. Percy kann Screenshots auf verschiedenen Browser-/Aufloesungskombinationen ueber die BrowserStack-Infrastruktur aufnehmen.
Sie benötigen visuelles Cross-Browser-Testing. Percy kann über die BrowserStack-Infrastruktur Screenshots auf verschiedenen Browser-/Auflösungskombinationen aufnehmen. Wenn die gleichzeitige Überprüfung des visuellen Renderings über Chrome, Firefox, Safari und Edge eine Anforderung ist, bietet Percy diese Fähigkeit.
Ihr Team besteht ausschließlich aus Entwicklern. Wenn die einzigen Personen, die visuelles Testing durchführen werden, Entwickler sind, die mit SDKs und CI/CD-Pipelines vertraut sind, ist Percys Einstiegshürde vernachlässigbar.
Wann Delta-QA die bessere Option ist
Visuelles Testing ist ein eigenstaendiger Bedarf. Nicht-Entwickler muessen am visuellen Testing teilnehmen. Das Budget ist begrenzt oder Sie lehnen volumenbasierte Abrechnung ab. Datenvertraulichkeit ist nicht verhandelbar. Sie haben genug von Fehlalarmen.
FAQ
Ist Percy kostenlos?
Percy bietet einen kostenlosen Plan, der auf eine bestimmte Anzahl von Screenshots pro Monat begrenzt ist (der Schwellenwert hat sich im Laufe der Zeit verändert). Darüber hinaus beginnen kostenpflichtige Pläne bei mehreren hundert Dollar pro Monat und skalieren nach Screenshot-Volumen. Für ernsthaften professionellen Einsatz mit nennenswerter Testabdeckung ist der kostenlose Plan unzureichend. Delta-QA ist kostenlos ohne Volumenbegrenzung.
Kann man Percy ohne Code verwenden?
Nein. Percy erfordert die Integration eines SDK in ein automatisiertes Test-Framework. Auch die einfachsten Integrationslösungen (Percy CLI mit URLs) erfordern die Verwendung eines Terminals und von Kommandozeilenanweisungen. Delta-QA ist vollständig No-Code — die Weboberfläche reicht aus, um visuelle Tests zu konfigurieren und auszuführen.
Erkennt der strukturelle Ansatz dieselben Bugs wie Screenshots?
Er erkennt die überwältigende Mehrheit visueller Regressionen — jene, die durch CSS-Änderungen, HTML-Strukturänderungen oder Layoutänderungen verursacht werden. Er erkennt jedoch keine reinen grafischen Rendering-Probleme (Bildkorruption, Webfont-Probleme, browserspezifische Rendering-Bugs), die einen pixelgenauen visuellen Vergleich erfordern. Für die meisten Teams stellen strukturelle Regressionen über 90 % der in der Praxis auftretenden visuellen Bugs dar.
Handhabt Percy Seiten mit Authentifizierung?
Ja, jedoch ausschließlich im Kontext Ihrer automatisierten Tests. Ihr Testskript muss die Authentifizierung bewältigen (Login, Cookies, Tokens), und dann erfasst Percy Screenshots der authentifizierten Seiten. Mit Delta-QA ist der Zugang zu authentifizierten Seiten direkt möglich, da das Werkzeug in Ihrer lokalen Umgebung läuft, in der Sie bereits Zugriff auf Ihre Anwendungen haben.
Wie viel Zeit wird durch die Eliminierung von Fehlalarmen eingespart?
Teams, die screenshotbasierte visuelle Testing-Werkzeuge verwenden, berichten regelmäßig, dass das Sortieren von Fehlalarmen zwischen 30 % und 60 % der für visuelles Testing aufgewendeten Zeit ausmacht. Bei einer typischen Woche mit 20 Deployments und hunderten von Screenshots sind das mehrere Stunden menschlicher Arbeit, die für die Genehmigung von Differenzen aufgewendet werden, die keine Bugs sind. Der strukturelle Ansatz von Delta-QA reduziert diesen Anteil drastisch.
Können Percy und Delta-QA koexistieren?
Absolut. Sie können Percy in Ihren automatisierten Tests für den Pixelvergleich kritischer Komponenten einsetzen und parallel Delta-QA für die tägliche Abdeckung aller Ihrer Seiten nutzen. Die beiden Werkzeuge sind unabhängig und treten sich nicht in die Quere. Es ist sogar eine clevere Kombination, wenn Sie das Beste aus beiden Ansätzen möchten.
Visuelles Testing sollte ein breit aufgestelltes Sicherheitsnetz sein, kein Luxuswerkzeug, das Teams vorbehalten bleibt, die sich ein SDK und ein Cloud-Abonnement leisten können. Percy hat den Weg geebnet. Delta-QA macht ihn für alle zugänglich.