Columbia Games · CCM v2 / 2026. augusztus 27.
A live QA-nak azt a SHA-t kell tesztelnie, ami tényleg kint van
A post-deploy QA-t exact production SHA-hoz kötöttük, és PageSpeed API quota esetére helyi Lighthouse fallbacket adtunk. Így a külső szolgáltatás limitje nem tette vakká a release-t.
A helyzet
Aszinkron QA workflow-nál könnyen előfordul, hogy mire a teszt elindul, a branch már más commiton áll. Ilyenkor zöld lehet egy olyan QA, amely nem a ténylegesen deployolt release-t vizsgálta. Emellett a PageSpeed API quota vagy átmeneti hiba nem jelentheti azt, hogy teljesen kimarad a performance ellenőrzés.
A megoldási út
A production workflow explicit deployed SHA-val dispatcholta a live smoke és extended QA futást. A riport ellenőrizte ezt az azonosítást. PageSpeed esetén quota-aware logika készült: ha a külső API nem használható, locked Lighthouse runtime futott fallbackként, és a különbség látható maradt a jelentésben.
Mi lett belőle
A QA bizonyítéka visszaköthető lett a konkrét release-hez, és a performance jel nem függött egyetlen külső quota szolgáltatástól. A post-deploy QA exit code-ját is megőriztük, hogy egy valódi hiba ne vesszen el workflow orchestration közben.