За даними дослідження PM360 Consulting, IT-проекти в середньому перевищують бюджет на 75%, затримуються на 46% і створюють на 39% менше цінності, ніж очікувалося. Це пояснює, чому лише приблизно 25–30% є успішними (вчасно, в межах бюджету і з усіма функціями), ~40–45% є проблемними (з перевитратами, зривами або скороченим обсягом), а до 30% повністю провалюються. Основна причина провалів полягає в неправильному підході до побудови тестових фреймворків, коли компанії фокусуються на інструментах замість методології. Владислав Король, провідний інженер з розробки та тестування програмного забезпечення в Penn Entertainment, за чотири роки роботи в американських технологічних гігантах брав участь у створенні автоматизованих систем тестування для продуктів Amazon Ring, Disney і CVS Health. Його підхід дозволяє уникнути типових помилок і створювати масштабовані рішення для компаній з багатомільйонною аудиторією.

Головна помилка: тестування замість валідації бізнес-логіки

Більшість компаній починають автоматизацію з спроб замінити ручне тестування скриптами, не розуміючи різниці цих підходів. Ручне тестування перевіряє, чи працює функція відповідно до технічного завдання. Автоматизована валідація повинна перевіряти, чи вирішує система реальні бізнес-завдання користувачів.

Ця проблема особливо критична в індустрії розваг, де користувацький досвід безпосередньо впливає на доходи. Disney управляє медіа-імперією з річним оборотом понад $82 млрд і обслуговує 157 мільйонів відвідувачів тематичних парків щорічно. Системи аутентифікації Disney повинні обробляти пікові навантаження в моменти відкриття парків, коли десятки тисяч відвідувачів одночасно намагаються увійти в мобільні додатки.

"У Disney я зрозумів принципову різницю між тестуванням функцій і валідацією користувацького досвіду. Ми тестували не просто вхід в систему, а повні сценарії: сім'я купує квитки, бронює столик, синхронізує плани через додаток. Якщо хоча б одна ланка ламається, весь досвід відвідування парку зіпсований", – пояснює Владислав.

Замість тестування окремих функцій команда Disney, в якій працював Владислав, зосередилася на створенні комплексних користувацьких сценаріїв. Такий підхід полягає в проектуванні тестів на основі користувацьких історій від початку до кінця, включаючи обробку помилок і граничні випадки.

Помилки корпоративного рівня: досвід Amazon Ring

Друга критична помилка компаній полягає у використанні інструментів, розроблених для невеликих проектів, у корпоративних системах. Інструменти автоматизації, які чудово працюють для стартапів з тисячею користувачів, стають вузьким місцем при навантаженнях корпоративного рівня.

З цією проблемою зіткнулася команда Amazon Ring під час розробки Ring Alarm Pro, першої системи, яка об'єднала охоронну сигналізацію з Wi-Fi 6 роутером. Стандартні підходи до тестування не могли валідувати складні сценарії взаємодії між компонентами безпеки та мережевим обладнанням в реальних домашніх умовах. Владислав Король, який працював над проектом, запропонував свій підхід до тестування корпоративних систем.

"Базові інструменти тестування передбачають ідеальні умови: стабільний інтернет, мінімум підключених пристроїв, відсутність перешкод. Але реальні будинки – це хаос: у людей десятки гаджетів, слабкий сигнал, перешкоди від сусідів. Ми створили систему тестування, яка симулює саме такі умови", – розповідає фахівець.

Працюючи в команді Amazon Ring, Владислав зіткнувся з необхідністю тестувати першу на ринку систему, що поєднала функції охоронної сигналізації та роутера. Ring Alarm Pro вимагала принципово нового підходу до автоматизації тестування, оскільки стандартні методи не враховували взаємодію між компонентами безпеки та мережевим обладнанням.

Владислав був удостоєний престижної премії American Business Expo Award в номінації «Інновація року» за представлену ним систему Ring Alarm Pro. Система отримала понад 90 000 відгуків на Amazon із середньою оцінкою 4,5 зірки.

Виклики регульованих галузей: від медицини до розваг

Третя область провалів пов'язана з недооцінкою регулятивних вимог при проектуванні автоматизованого тестування. У високорегульованих галузях, таких як охорона здоров'я та розважальні ігри, помилки в продакшені спричиняють не тільки фінансові втрати, але й правові наслідки.

CVS Health є однією з найбільших мереж аптек у США з річним оборотом понад $300 млрд, яка обслуговує 100 мільйонів клієнтів через майже 10 000 аптек і 1 100 медичних клінік. Мобільні додатки для медичних працівників повинні відповідати стандартам HIPAA щодо захисту персональних даних пацієнтів, а будь-яка помилка може вплинути на якість медичної допомоги.

"У медичних додатках не можна допускати навіть теоретичної можливості помилки. Наша команда створила систему, яка перевіряє відповідність HIPAA на кожному етапі. Система автоматично аналізує, як обробляються дані пацієнтів, відстежує потенційні витоки, формує звіти для регуляторів", – пояснює Владислав.

Владислав інтегрував регулятивні вимоги в основну логіку тестування, замість того, щоб розглядати відповідність як додаткову перевірку. Це критично важливо для медичних і спортивних додатків.

Свій досвід роботи з регулятивними вимогами в охороні здоров'я Владислав також застосував у Penn Entertainment, технологічному підрозділі Penn Entertainment. Penn Entertainment управляє 44 гральними закладами в 20 штатах і провінціях, а її акції торгуються на NASDAQ. В гральній індустрії кожна транзакція підлягає суворому регулюванню, а системи повинні відповідати вимогам різних юрисдикцій США і Канади. Владислав став одним з небагатьох фахівців, який успішно адаптував принципи автоматизації тестування для таких різних регулятивних середовищ.

Еволюція галузі та нові виклики

Автоматизація тестування переживає кризу зростання: інструменти, створені для простих проектів, не справляються з корпоративними системами. Компанії витрачають мільйони на впровадження рішень, які ламаються при першому серйозному навантаженні або зміні вимог.

"Більшість команд починають автоматизацію з придбання дорогих інструментів, думаючи, що технологія вирішить усі проблеми. Але проблема не в інструментах, а в розумінні того, що саме потрібно автоматизувати. Спочатку потрібна методологія, а потім уже вибір технологій", – вважає Владислав.

Сьогодні під його контролем знаходяться системи оцінки ризиків Penn Entertainment, які обробляють фінансові транзакції на мільйони доларів щодня. Ці системи використовують ті ж принципи адаптивного тестування, які були розроблені в Amazon і Disney. Досвід показує: компанії, які продовжують розглядати автоматизацію як технічне завдання, а не як методологічну проблему, стикатимуться з тими ж провалами проектів, які фіксує статистика Standish Group.