소프트웨어 테스트 원리와 테스트 유형

소프트웨어 테스트 원리와 테스트 유형

소프트웨어 테스트 원리

• 완벽 테스팅은 불가능 : 완벽한 테스팅 시도는 불필요한 시간과 자원 낭비
• 초기 집중 : 초기 테스트 설계시 테스팅결과를 단시간에 알 수 있고 테스팅 기간 단축, 개발 기간 단축 및 결함 예방
• 결함 집중 : 적은 수의 모듈에서 대다수의 결함이 발견됨
• 살충제 패러독스 : 동일한 테스트 케이스에 의한 반복적 테스트는 새로운 버그를 찾지 못함
• 정황 의존성 : 소프트웨어의 성격에 맞게 테스트 실시
• 오류-부재의 궤변 : 요구사항을 충족시켜주지 못한다면 결함이 없다고 해도 품질이 높다고 볼 수 없음

소프트웨어 테스트 프로세스

1. 테스트 계획
2. 테스트 분석 및 디자인
3. 테스트 케이스 및 시나리오 작성
4. 테스트 수행
5. 테스트 결과 평가 및 리포팅

소프트웨어 테스트 산출물

• 테스트 계획서(Test Plan) : 테스트 수행을 계획한 문서
• 테스트 베이시스(Test Basis) : 테스트 설계를 위한 기준이 되는 문서
• 테스트 케이스(Test Case) : 사용자의 요구사항을 준수하는지 확인하기 위한 테스트 항목의 명세서
• 테스트 슈트(Test Suites) : 테스트 케이스를 실행환경에 따라 구분해 놓은 테스트 케이스의 집합
• 테스트 시나리오(Test Scenario) : 테스트 되어야 할 기능 및 특징, 테스트가 필요한 상황을 작성한 문서
• 테스트 스크립트(Test Script) : 테스트 케이스의 실행 순서를 작성한 문서
• 테스트 결과서(Test Results) : 테스트 프로세스 리뷰, 테스트 결과를 평가하고 리포팅하는 문서

소프트웨어 테스트 유형

프로그램 실행 여부에 따른 분류

• 정적 테스트 : 테스트 대상을 실행하지 않고 구조를 분석하여 논리성을 검증하는 테스트
• 동적 테스트 : 소프트웨어를 실행하는 방식으로 테스트를 수행하여 결함을 검출하는 테스트

테스트 기법에 따른 분류

화이트박스 테스트(White-Box-Test)

• 구문 커버리지(Statement Coverage) : 프로그램 내의 모든 명령문을 적어도 한 번 수행하는 커버리지
• 결정 커버리지(Decision Coverage) : 결정 포인트 내의 전체 조건식이 적어도 한 번은 참과 거짓의 결과를 수행하는 테스트 커버리지
• 조건 커버리지(Condition Coverage) : 결정 포인트 내의 각 개별 조건식이 적어도 한 번은 참과 거짓의 결과가 되도록 수행하는 테스트 커버리지
• 조건/결정 커버리지(Condition/Decision Coverage) : 전체 조건식뿐만 아니라 개별 조건식도 참 한번, 거짓 한 번 결과가 되도록 수행하는 테스트 커버리지
• 변경 조건/결정 커버리지(Modified Condition/ Decision Coverage) : 개별 조건식이 다른 개별 조건식에 영향을 받지 않고 전체 조건식에 독립적으로 영향을 주도록 함으로써 조건/결정 커버리지를 향상시킨 커버리지
• 다중 조건 커버리지(Multiple Condition Coverage) : 결정 조건 내 모든 개별 조건식의 모든 가능한 조합을 100% 보장하는 커버리지
• 기본 경로 커버리지(Base Path Coverage) : 수행 가능한 모든 경로를 테스트하는 기법
• 제어 흐름 테스트(Control Flow Testing) : 프로그램 제어 구조를 그래프 형태로 나타내어 내부 로직을 테스트하는 기법
• 데이터 흐름 테스트(Data Flow Testing) : 제어 흐름 그래프에 데이터 사용현황을 추가한 그래프를 통해 테스트하는 기법

블랙박스 테스트(Black-Box-Test)

• 동등분할 테스트(Equivalence Partitioning Testing) : 입력 데이터의 영역을 유사한 도메인별로 유효값/무효값을 그룹핑하여 대푯값 테스트 케이스를 도출하여 테스트하는 기법
• 경곗값 분석 테스트(Boundary Value Analysis Testing) : 경곗값을 포함하여 테스트 케이스를 설계하여 테스트 하는 기법
• 결정 테이블 테스트(Decision Table Testing) : 요구사항의 논리와 발생조건을 테이블 형태로 나열하여, 조건과 행위를 모두 조합하여 테스트 하는 기법
• 상태 전이 테스트(State Transition Testing) : 테스트 대상, 시스템이나 객체의 상테를 구분하고 이벤트에 의해 상태가 전이되는 경우의 수를 수행하는 테스트 기법
• 유스케이스 테스트(Use Case Testing) : 시스템이 실제 사용되는 유스케이스로 모델링 되어 있을 때 프로세스 흐름을 기반으로 테스트케이스를 명세화하여 수행하는 테스트 기법
• 분류 트리 테스트(Classification Tree Method Testing) : SW의 일부 또는 전체를 트리 구조로 분석 및 표현하여 테스트 케이스를 설계하여 테스트하는 기법
• 페어와이즈 테스트(Pairwise Testing) :테스트 데이터값들 간에 최소한 한 번씩 조합하는 방식의 테스트 기법
• 원인-결과 그래프 테스트(Cause-Effect Graph Testing) : 그래프를 활용하여 입력 데이터 간의 관계 및 출력에 미치는 영향을 분석하여 효용성이 높은 테스트 케이스를 선정하여 테스트하는 기법
• 비교 테스트(Comparison Testing) : 여러 버전의 프로그램에 같은 입력값을 넣어서 동일한 결과 데이터가 나오는지 비교해 보는 테스트 기법

테스트 시각에 따른 분류

• 검증(Verification) : 개발자 혹은 시험자의 시각으로 소프트웨어가 명세화된 기능을 올바로 수행하는지 알아보는 과정
• 확인(Validation) : 사용자 시각으로 올바른 소프트웨어가 개발되었는지 입증하는 과정

테스트 목적에 따른 분류

• 회복 테스트(Recovery Testing) : 시스템에 고의로 실패를 유도하고 시스템의 정상적 복귀 여부를 테스트하는 기법
• 안전 테스트(Security Testing) : 불법적인 소프트웨어가 접근하여 시스템을 파괴하지 못하도록 소스 코드 내의 보안적인 결함을 미리 점검하는 테스트 기법
• 성능 테스트(Performance Testing) : 사용자의 이벤트에 시스템이 응답하는 시간, 특정 시간 내에 처리하는 업무량, 사용자 요구에 시스템이 반응하는 속도 등을 측정하는 테스트 기법
• 구조 테스트(Structure Testing) : 시스템의 내부 논리 경로, 소스 코드의 복잡도를 평가하는 테스트 기법
• 회귀 테스트(Regression Testing) : 오류를 제거하거나 수정한 시스템에서 오류 제거와 수정에 의해 새로이 유입된 오류가 없는지 확인하는 일종의 반복 테스트 기법
• 병행 테스트(Parallel Testing) : 변경된 시스템과 기존 시스템에 동일한 데이터를 입력 후 결과를 비교하는 테스트 기법

성능 테스트의 상세 유형

• 부하 테스트(Load Testing) : 시스템에 부하를 계속 증가시키면서 시스템의 임계점을 찾는 테스트
• 강도 테스트(Stress Testing) : 시스템에 임계점 이상의 부하를 가하여 비정상적인 상황에서의 처리를 테스트
• 스파이크 테스트(Spike Testing) : 짧은 시간에 사용자가 몰릴 때 시스템의 반응 측정 테스트
• 내구성 테스트(Endurance Testing) : 오랜 시간 동안 시스템에 높은 부하를 가하여 시스템 반응 테스트

테스트 종류에 따른 분류

• 명세 기반 테스트(블랙박스 테스트) : 프로그램 요구사항 명세서를 기반으로 테스트 케이스를 선정하여 테스트하는 기법
• 경험 기반 테스트(블랙박스 테스트) : 유사 소프트웨어나 유사 기술 평가에서 테스터의 경험을 토대로 한 직관과 기술 능력을 기반으로 수행하는 테스트 기법
• 구조 기반 테스트(화이트박스 테스트) : 소프트웨어 내부 논리 흐름에 따라 테스트 케이스를 작성하고 확인하는 테스트 기법