Обнаружение ошибок и уязвимостей в приложении на этапе эксплуатации может обойтись очень дорого. Проблемы, которые возникают после запуска продукта, могут плохо сказаться на репутации компании и снизить доверие пользователей. Именно поэтому многие команды внедряют инструменты для Shift-Left тестирования. Они позволяют улучшить контроль качества на ранних этапах разработки.
Если начать тестирование на более ранних этапах, то можно устранить проблемы до того, как они станут серьёзными. В результате приложения становятся более качественными, стабильными и безопасными.
В этой статье мы разберём, как работает подход Shift-Left тестирования, а также рассмотрим лучшие инструменты для его реализации.
Итак, давайте начнём!
Друзья, поддержите нас вступлением в наш телеграм канал QaRocks. Там много туториалов, задач по автоматизации и книг по QA.
Что такое Shift-Left тестирование?
Shift-Left тестирование – это подход, который предполагает перенос тестирования на более ранние этапы разработки. Благодаря этому разработчики и QA-специалисты могут обнаружить и устранить баги на начальных стадиях, когда их исправление проще и дешевле.
Этот метод тестирования, как правило, используется на этапах проектирования и написания кода. Он включает разработку и реализацию программного обеспечения, которое будет работать так, как ожидается, с применением таких методик, как Test-Driven Development (TDD).
Shift-Left тестирование охватывает не только юнит-тесты, интеграционные тесты и End-to-end (E2E) тесты, но и статический анализ кода (SCA). Эти инструменты сканируют код, конфигурации, зависимости и настройки в репозитории для выявления уязвимостей и других дефектов. Основная цель — создать более надежное и качественное приложение еще до его выхода в эксплуатацию, что значительно улучшает процесс контроля качества (QA).
Подход Shift-Left отличается от Shift-Right тестирования, которое фокусируется на проверках на более поздних этапах разработки, ближе к моменту выпуска. Если Shift-Right тестирование использует мониторинг приложений для поиска ошибок в рабочей системе, то Shift-Left тестирование проводится до полного запуска приложения.
Основные преимущества Shift-Left тестирования
Перенос тестирования на более ранние этапы разработки программного обеспечения включает:
- Быстрое обнаружение ошибок: Выявление дефектов на ранних этапах разработки позволяет устранять их до того, как они станут серьезной проблемой. Это предотвращает накопление технического долга, который может замедлить развитие приложения в будущем.
- Улучшенное качество программного обеспечения: Устранение уязвимостей, дефектов и ошибок до выхода приложения в эксплуатацию приводит к написанию более качественного кода и снижению количества проблем в рабочей версии продукта.
- Снижение затрат: Решение проблем на ранних этапах разработки обходится дешевле, чем их устранение в готовом продукте. Ошибки могут существенно замедлять работу разработчиков, поэтому их своевременное устранение ускоряет процесс написания кода. В результате это сокращает время вывода продукта на рынок и снижает общие затраты на разработку.
- Эффективное сотрудничество: Уделяя внимание тестированию с первых этапах, разработчики и QA-специалисты начинают работать вместе, что улучшает взаимодействие и объединяет усилия всех команд — разработки, безопасности и качества.
- Усиление безопасности: Постоянный анализ кода, конфигураций и зависимостей помогает снизить риски безопасности до того, как станет слишком поздно.
Рекомендации по подходу Shift-Left тестирования
Shift-Left тестирование охватывает различные аспекты проверки программного обеспечения, включая:
- Ручные тесты: Тестовые сценарии, создаваемые разработчиками для проверки логики и функциональности кода. Это могут быть юнит-тесты, интеграционные тесты, автоматизированные тесты и другие.
- Анализ зависимостей: Проверка сторонних библиотек и пакетов, которые использует приложение, для выявления известных уязвимостей и проверки их актуальности.
- Анализ конфигурации: Оценка настроек используемых библиотек и технологий на соответствие лучшим практикам безопасности.
- Анализ качества кода: Проверка исходного кода на наличие проблем, таких как использование переменных вместо констант, и потенциальных уязвимостей, например, внедрение SQL-кода.
Рекомендуемый подход к Shift-Left тестированию заключается в использовании специализированных инструментов, которые охватывают все упомянутые аспекты. Это обеспечивает полноценное покрытие и позволяет эффективно достичь всех перечисленных ранее преимуществ.
Помните, что помимо ручных тестов, которые пишут ваши разработчики, данный подход в основном реализуется с помощью инструментов для статического анализа кода (SCA). Такие инструменты автоматически проверяют ваш код на наличие ошибок, дефектов и уязвимостей безопасности, анализируя все его файлы.
Поскольку в коде или конфигурациях могут содержаться учетные данные или другая информация, эти автоматизированные инструменты должны быть с открытым исходным кодом. Это позволяет сообществу проверять их работу, чтобы убедиться в отсутствии утечки данных или других нарушений.
Топ-5 инструментов Shift-Left тестирования с открытым исходным кодом
Рассмотрим лучшие и наиболее полезные инструменты для Shift-Left тестирования, доступные на рынке. Для каждого инструмента будут проанализированы следующие аспекты:
- Охватываемые сценарии тестирования: Ручное тестирование, проверка зависимостей, статический анализ кода и др.
- Языки программирования: Языки, которые поддерживает инструмент.
- Типы поддерживаемых приложений: Веб-приложения, приложения для компьютеров, мобильные приложения и т. д.
- Звёзды на GitHub: Количество звёзд, полученных проектом на GitHub.
- Загрузки: Количество загрузок инструмента из реестров зависимостей, таких как npm.
- Плюсы: Основные преимущества инструмента.
- Минусы: Основные недостатки инструмента.
- Стоимость: Цена для бизнеса или корпоративного использования, если применимо.
Для сравнения этих инструментов ознакомьтесь с представленной ниже таблицей:
| Инструмент | Цель | Языки программирования | Типы поддерживаемых приложений | Звёзды на GitHub | Загрузки | Версия с открытым кодом | Премиум-версия |
| Фреймворки автоматизированного тестирования | Написание и запуск тестовых сценариев | Зависит от фреймворка (например, JavaScript, Python, Java и др.) | Веб-, мобильные приложения, приложения для компьютеров | Зависит | Зависит | ✅ | Зависит |
| OSV-Scanner | Сканирование на уязвимости | C, C++, Dart, Elixir, Go, Java, JavaScript, PHP, Python, R, Ruby, Rust | Веб-приложения | 6 тыс. | Информация не предоставлена | ✅ | ❌ |
| TruffleHog | Сканирование и обнаружение секретных данных | Любые | Любые | 15.8 тыс. | Информация не предоставлена | ✅ | ✅ |
| Snyk | Сканирование на уязвимости в коде, зависимостях, контейнерах и IaC | Bazel, C/C++, Dart, Elixir, Go, Java, Kotlin, JavaScript, .NET, PHP, Python, Ruby, Swift, TypeScript, VB.NET | Веб-, мобильные приложения, приложения для компьютеров | 4.9 тыс. | 550k+ еженедельно | ✅ | ✅ |
| Checkov | Сканирование неправильной конфигурации в IaC | Любые | Веб-приложения | 7 тыс. | 1+ млн еженедельно | ✅ | ❌ |
А теперь давайте разберём их подробнее!
Фреймворки автоматизированного тестирования
Это не конкретный инструмент, а категория, включающая все фреймворки, которые позволяют писать ручные тесты в вашем коде. Например, Selenium, pytest, Playwright, Jest, Mocha, JUnit.
Эти фреймворки обычно содержат всё необходимое для реализации одного или нескольких типов тестирования. Они предоставляют API для написания тестов, библиотеки утверждений, средства запуска тестов, генерацию отчетов и другие функции.
🧪 Охватываемые сценарии тестирования: Ручное тестирование, включая юнит-тесты, интеграционные тесты, дымовые тесты, компонентные тесты, E2E тесты и др.
💻 Языки программирования: Зависит от выбранного инструмента, но существует фреймворк для каждого популярного языка программирования
🌐 Типы поддерживаемых приложений: Веб-приложения, приложения для компьютеров, мобильные приложения и др.
⭐ Звёзды на GitHub: Некоторые инструменты, например, Playwright, имеют более 65 тыс. звёзд
📥 Загрузки: Например, Jest скачивают более 24 миллионов раз в неделю
👍 Плюсы:
- Комлексные решения для тестирования
- Интеграция с CI/CD-пайплайнами
- Сильная поддержка сообщества
👎 Минусы:
- Некоторые инструменты сложно освоить
💰 Стоимость: Большинство из них бесплатны, но некоторые, например Cypress, предлагают премиум-функции, как в Cypress Cloud
OSV-Scanner
OSV-Scanner – это инструмент для сканирования уязвимостей, разработанный Google на языке Go. Он использует данные из OSV.dev — распределённой базы данных уязвимостей с открытым исходным кодом.
Этот инструмент анализирует зависимости вашего проекта, подключается к базе OSV.dev и сообщает об найденных уязвимостях. В отличие от сканеров, основанных на закрытых базах данных, открытая природа OSV.dev гарантирует, что каждая рекомендация исходит из надежного и доступного источника, и позволяет всем желающим вносить свой вклад.
🧪 Охватываемые сценарии тестирования: Проверка зависимостей для обнаружения уязвимостей безопасности
💻 Языки программирования: C, C++, Dart, Elixir, Go, Java, JavaScript, PHP, Python, R, Ruby и Rust
🌐 Типы поддерживаемых приложений: Веб-приложения
⭐ Звёзды на GitHub: 6 тыс. звёзд
📥 Загрузки: Информация не предоставлена
👍 Плюсы:
- Поддержка множества языков программирования и индексов пакетов
- Разработан и поддерживается Google
- Основан на распределённой базе данных уязвимостей с открытым исходным кодом
👎 Минусы:
- В настоящее время на GitHub зарегистрировано более 100 проблем
💰 Стоимость: Бесплатно
TruffleHog
TruffleHog – это инструмент для поиска секретных данных, который анализирует репозитории кода, историю версий, S3-директории, образы Docker и другие источники для выявления паролей, API-ключей и конфиденциальных данных.
TruffleHog также предоставляет превентивные меры, чтобы не допустить случайной публикации секретных данных, а также средства устранения с уведомлениями и рекомендациями. Инструмент минимизирует ложные срабатывания благодаря проверке обнаруженных данных.
🧪 Охватываемые сценарии тестирования: Поиск секретных данных
💻 Языки программирования: Любые
🌐 Типы поддерживаемых приложений: Любые
⭐ Звёзды на GitHub: 15.8 тыс. звёзд
📥 Загрузки: Информация не предоставлена
👍 Плюсы:
- Поддерживает GitHub, S3, директории, GCS и Docker с более чем 800 детекторами секретных данных
- Проверка учётных данных для минимизации ложных срабатываний
- Анализ нескольких веток одновременно
👎 Минусы:
- Большинство мощных функций доступны только в премиальной версии Enterprise
💰 Стоимость:
- Открытый исходный код: Бесплатно
- Для предприятий: Премиум-функции (цена по запросу)
Snyk
Snyk – это облачная платформа безопасности, ориентированная на разработчиков, которая помогает выявлять и устранять уязвимости на различных этапах разработки. Среди продуктов:
- Snyk Open Source: Обнаружение и устранение уязвимостей в открытых источниках.
- Snyk Code: Выявление и устранение проблем безопасности в коде приложений.
- Snyk Container: Защита образов контейнеров и приложений Kubernetes.
- Snyk Infrastructure as Code: Выявление ошибок в конфигурациях Terraform и Kubernetes.
Вы можете интегрировать Snyk CLI в рабочий процесс, IDE или CI/CD-пайплайн для беспрепятственного тестирования безопасности.
🧪 Охватываемые сценарии тестирования: Обнаружение уязвимостей в зависимостях, коде, контейнерах и конфигурациях
💻 Языки программирования: Bazel, C.C++, Dart и Flutter, Elixir, Go, Java, Kotlin, Javascript, .NET, PHP, Python, Ruby, Swift, Typescript и VB.NET
🌐 Типы поддерживаемых приложений: Веб-приложения, приложения для компьютеров и мобильные приложения
⭐ Звёзды на GitHub: 4,9 тыс. звёзд
📥 Загрузки: Более 550 тыс. еженедельных загрузок
👍 Плюсы:
- Поддержка множества инструментов для Shift-Left тестирования
- Простая интеграция CI/CD
- Специальные плагины для популярных IDE, таких как Visual Studio Code, Intellij IDEs и Eclipse
👎 Минусы:
- Для работы требуется учетная запись Snyk
- Не полностью открытая база данных уязвимостей
💰 Стоимость:
- Бесплатно: Для индивидуальных разработчиков и небольших команд (на постоянной основе)
- Для команд: Для команд разработчиков, желающих создать систему безопасности (цены уточняйте в отделе продаж)
- Для предприятий: Для стандартизации системы безопасности, ориентированной на разработчиков, в организации (цены уточняйте в отделе продаж)
Checkov
Checkov – это инструмент безопасности с открытым исходным кодом для сканирования конфигураций облачной инфраструктуры на наличие ошибок. Он выявляет проблемы безопасности и соответствия требованиям в платформах Infrastructure as Code (IaC), предотвращая появление потенциальных уязвимостей в облачных средах.
IaC-провайдеры, поддерживаемые Checkov, включают Terraform, Terraform plan, CloudFormation, Kubernetes, ARM Templates, Serverless, Helm и AWS CDK.
Помимо сканирования неправильной конфигурации, Checkov также может обнаруживать уязвимости в пакетах с открытым исходным кодом и образах контейнеров.
🧪 Охватываемые сценарии тестирования: Выявление ошибок в коде и уязвимостей в зависимостях
💻 Языки программирования: Любые
🌐 Типы поддерживаемых приложений: Веб-приложения
⭐ Звёзды на GitHub: 7 тыс. звёзд
📥 Загрузки: Более 1 млн еженедельных загрузок
👍 Плюсы:
- Содержит более 1000 встроенных политик
- Простая интеграция в рабочие процессы разработчиков
- Одобрен Prisma Cloud Application Security
👎 Минусы:
- Для работы требуется Python
💰 Стоимость: Бесплатно
Другие важные инструменты
Также стоить отметить и другие инструменты для Shift-Left тестирования:
- Trivy: Сканер безопасности, который проверяет уязвимости в образах контейнеров, файловых системах и Git-репозиториях. Он также может выполнять IaC-сканирование для обнаружения неправильных конфигураций.
- SonarQube: Инструмент для непрерывной проверки качества кода и безопасности, который выявляет ошибки, проблемные коды и уязвимости для разных языков программирования.
Заключение
В этой статье вы узнали, что Shift-Left тестирование помогает находить проблемы на ранних стадиях разработки. Это может снизить затраты и ускорить выпуск продукта. Использование подходящих инструментов для Shift-Left тестирования с открытым исходным кодом позволяет эффективно автоматизировать процесс тестирования приложений, находящихся на стадии разработки.
Перевод статьи «Best Shift-Left Testing Tools To Improve Your QA».