노년코딩

정석대로라면 실라버스 4.0 버전을 꼼꼼하게 다 읽어 봐야 되지만 시간이 없을 땐 여기 있는 내용들이라도 전부 읽어보도록 하자. 5번 이상 읽어서라도 이해해서 알아둬야 한다. 

들어가기 전 알아둬야 하는 1.1 용어 설명
: 사전적으로는 용어설명 글에서 설명했고, 이제는 이해가 쉽게 되도록 공부한 설명.

베리피케이션 : 요구사항 충족 확인, 준수 여부 확인.
밸리데이션 : 이해관계자가 만족하는지 확인.

동적 테스팅 : 소프트웨어 실행. << 시스템 돌리면서 처리.
정적 테스팅 : 리뷰 + 정적 분석. << 문서, 코드 보면서 해결.

< 테스팅과 디버깅의 차이 >
테스팅 : 결함이 존재하는 지 판단. 장애를 통해 결함을 발견하는 것.
디버깅 : 결함을 제거.

확인테스팅 : 수정이 되었는지 테스트 실행.
리그레션 테스팅 : 수정으로 새로운 버그가 발생하지 않았는지 테스트 실행.

1.1 테스팅이란 무엇인가?

- 올바르게 동작하지 않는 소프트웨어는 금전적, 시간적, 비즈니스 평판 손실은 물론, 심하게는 부상이나 사망에 이르기까지 다양한 문제를 일으킬 수 있다.
- 소프트웨어 테스팅은 소프트웨어 품질을 평가하고, 소프트웨어 사용 시 나타나는 장애의 위험을 줄여줄 수 있다.
- 소프트웨어 테스팅은 결함을 식별하고 소프트웨어 산출물의 품질을 평가하는 일련의 활동이다.
- 흔히 테스팅이 단지 소프트웨어를 실행하고 결과를 확인하는 테스트 수행에 국한된다고 오해하는 경우가 많지만, 소프트웨어 테스팅에는 다른 활동이 포함되며, 이 활동은 소프트웨어 개발수명주기(SDLC)에 따라서 달라진다.
- 테스팅은 시스템이 주어진 요구사항을 충족하는지 확인하는 베리피케이션을 포함, 시스템이 운영환경에서 사용자 또는 기타 이해관계자가 필요한 바를 만족하는지를 확인하는 밸리데이션도 포함한다.
- 테스팅은 동적 또는 정적일 수 있다. 
- 테스팅은 기술적인 활동에 국한되지 않으며, 적절한 계획/ 관리/ 추정/ 모니터링/ 제어도 필요하다.
- 테스터는 도구를 사용하지만, 테스팅은 주로 테스터가 전문 지식을 갖추고 분석 기술을 사용해 비판적 사고와 시스템적 사고를 적용하는 지적 활동이라는 점을 기억해야 함.

1.1.1 테스트 목적

1. 요구사항, 사용자 스토리, 설계, 소스 코드 등 작업 산출물 평가.
2. 장애 유발 및 결함 식별.
3. 테스트 대상에 필요한 커버리지 보장.
4. 소프트웨어 품질 부족으로 인한 리스크 수준 완화.
5. 정의된 요구사항의 충족여부를 확인하는 베리피케이션.
6. 테스트 대상의 계약, 법률, 규제 요구사항 준수 여부를 확인하는 베리피케이션.
7. 이해관계자가 정보에 입각한 결정을 내리는 데 필요한 정보 제공.
8. 테스트 대상의 품질에 대한 자신감 획득.
9. 테스트 대상의 완성 여부와 이해관계자의 기대 충족 여부를 확인하는 밸리데이션.

1.1.2 테스팅과 디버깅

들어가기 전 알아둬야 하는 1.2 용어 설명
: 사전적으로는 용어설명 글에서 설명했고, 이제는 이해가 쉽게 되도록 공부한 설명.

품질 보증(QA) : 프로세스 중심의 예방 접근법. 개발 및 프로세스가 잘 동작하고 있는지 확인하기 위한 피드백으로 사용.
품질 제어(QC) : 제품 중심의 교정 접근법. 결함을 수정하는 데 사용. 테스팅은 품질 제어의 주요 활동.
오류 : 인간의 행위, 실수.
결함 : 고장이나 장애의 원인. 결함은 제품에 있어.
장애 : 결함의 실행. 이벤트와 관련.

1.2 테스팅이 왜 필요한가?

- 품질 제어 활동의 일환으로 테스팅은 정해진 범위, 시간, 품질, 예산 내에서 합의된 목표를 달성하는 데 도움을 줌.
- 성공에 기여하는 테스팅이 테스트팀의 활동으로 국한된 것은 아니다.
- 모든 이해관계자는 자신이 가진 테스트 기술을 사용해 프로젝트 성공에 기여할 수 있다. 
- 컴포넌트, 시스템, 관련 문서를 대상으로 한 테스팅은 소프트웨어 결함을 식별하는데 도움이 된다.

1.2.1 성공을 위한 테스팅의 기여도

- 테스팅은 결함을 식별하는 비용 효율적인 방법이다.
- 디버깅을 통해 식별한 결함은 제거할 수 있기 때문에 테스팅은 테스트 대상의 품질 향상에 간접적으로 기여하게 된다.
- 테스팅은 소프트웨어 개발수명주기(SDLC)의 여러 단계에서 테스트 대상의 품질을 직접 평가하는 방법을 제공한다. 이런 평가 결과는 대규모 프로젝트 관리 활동에서 릴리스 여부의 판단과 같은, 소프트웨어 개발수명주기(SDLC) 다음 단계로의 이동 여부 결정에 기여하게 된다.
- 테스팅은 개발 프로젝트에서 사용자를 간접적으로 대변한다.
- 테스터는 개발수명주기 전반에 걸쳐 그들이 이해하고 있는 사용자 요구사항을 고려한다.
- 계약 또는 법적 요구사항을 충족하거나 규제 표준 준수를 위해 테스팅이 필요할 수 있다.

1.2.2 테스팅과 품질 보증(QA)

1.2.3 오류, 결함, 장애, 근본 원인

- 사람은 오류(실수)를 저지르며, 이에 따라 결함(결점, 버그)이 발생하고, 이는 결국 장애로 이어질 수 있다.
- 사람은 시간적인 압박, 작업 산출물의 복잡성, 프로세스, 인프라, 상호작용 등 다양한 이유로, 또 단순히 피로하거나 충분한 훈련이 부족해서 오류를 범할 수 있다.

- 결함은 요구사항 명세서나 테스트 스크립트와 같은 문서, 소스 코드, 빌드 파일과 같은 지원 산출물에서 나올수 있다.

- 장애의 원인이 오류와 결함만 있는 것은 아니다. 환경 조건으로 발생하는 것도 있다.

- 근본 원인은 문제 발생의 근본적인 이유(예 : 오류로 이어지는 상황)을 말한다. 근본 원인 분석을 통해 식별하며, 근본 원인 분석은 보통 장애가 발생하거나 결함을 식별한 경우 수행한다.
- 근본 원인을 처리(가령 제거)하면 유사한 장애나 결함을 예방하거나 빈도를 줄일 수 있다.

오로지 내 시험을 위해 정리해 보는 ISTQB 4.0 공부.

ISTQB가 4.0 버전으로는 정리되있는게 잘 보이지 않길래 직접 정리해 보면서 공부를 해보려 한다.

용어 정리를 시작으로 중간중간 이해되지 않았던 단어들 정리, 이론 정리, 샘플 문제 오답풀이, 문배 풀이 순서로 진행. 

처음부터 이렇게 공부하고 싶었지만 시간이 없었던 관계로 시간이 생긴 지금 내방식대로 정리 Start!

혼자 하는 공부가 제일 잘되는 나로서는 오늘도 역시 혼자 공부하겠지만 이 글을 보는 누구든 같이 공부해서 합격해 보자!

혹시나 나같이 취업을 준비하고 있는 경우라면 우리 모두 취준 화이팅!

++ 이 블로그를 보시는 모두가 제가 정리해 둔 내용으로 합격된다면 그 또한 기분 째질 것 같으니 혹시나 합격하면 댓글 달아주기! 

용어 정리
: 용어부터 찬찬히 알아둬야 문제에서 뭐라는지 알 수 있음.
▼ ISTQB에서 알려주는 용어 사전. 혹시나 모르는 단어가 있다면 Search해보라구. 영어로도 가능. ▼
++ https://glossary.istqb.org/ko_KR/  

커버리지 : 커버리지 항목이 식별되거나 테스트 스위트에 의해 수행된 정도를 백분로 표시한 것.

디버깅 : 컴포넌트 또는 시스템에서 장애의 원인 찾고 분석하고 제거하는 프로세스.

결함 : 요구사항이나 명세를 충족시키지 못하는 작업 산출물의 불완전함 또는 결점.
문배에서의 "결함" 설명 : 일반적으로 버그, 결함, 결정은 동의어로 사용될 수 있으며 요구된 기능을 적절히 처리하지 못하는 것. 즉 장애를 발생시키는 것.

오류 : 부정확한 결과를 만들어내는 인간의 행동.
문배에서의 "오류" 설명 : 잘못된 결과를 낳는 인간의 행위, 실수와 동의어.

장애 : 지정된 범위 내에서 요구되는 기능을 컴포넌트나 시스템이 수행하지 못하는 경우.
문배에서의 "장애" 설명 : 코드에 존재하는 결함의 실행.

품질 : 컴포넌트 또는 시스템이 다양한 이해관계자의 명시적 및 암시적 요구를 충족시키는 정도.

품질 보증 : 품질 요구사항이 충족될 것이라는 확신을 제공하는 데 초점을 둔 활동.

근본 원인 : 결함의 원인 중 제거되면 해당 결함유형 발생이 감소하거나 제거될 수 있는 원인.

테스트 분석 : 테스트 베이시스를 분석하여 테스트 컨디션을 식별하는 활동.

테스트 베이시스 : 테스트 분석 및 설계의 기초로 사용하는 지식 체계.

테스트 케이스 : 테스트 컨디션을 기반으로 개발된 사전 조건, 입력값, 행동(해당하는 경우), 기대 결과, 사후조건의 집합.

테스트 완료 : 테스트웨어를 나중에 사용할 수 있도록 만들고 테스트 환경을 만족스러운 상태로 남겨놓고 관련 이해관계자에게 테스트 결과를 전달하는 활동.

테스트 컨디션 : 테스팅의 베이시스로 식별된 컴포넌트 또는 시스템의 테스트 가능한 측면.

테스트 제어 : 테스트 프로젝트가 계획을 벗어났을 때 예정대로 진행되도록 시정 조치를 개발하고 적용하는 활동.

테스트 데이터 : 테스트 실행에 필요한 데이터.

테스트 설계 : 테스트 컨디션에서 테스트 케이스를 도출하고 명시하는 활동.

테스트 실행 : 컴포넌트 또는 시스템에서 테스트를 실행하여 실제 결과를 도출하는 활동.

테스트 구현 : 테스트 분석과 설계를 기반으로 테스트 실행에 필요한 테스트웨어를 준비하는 활동.

테스트 모니터링 : 테스트 활동의 상태를 확인하고 계획 또는 예상과의 차이를 식별하고 이해관계자에게 상태를 보고하는 활동.

테스트 대상 : 테스트할 작업 산출물.

테스트 목적 : 테스팅의 이유 또는 목적.

테스트 계획 : 테스트 계획서의 수립 또는 수정 활동.

테스트 절차 : 실행 순서로 나열된 테스트 케이스 순서. 초기 사전 조건을 설정하는 데 필요한 모든 관련 동작과 실행 이후의 모든 마무리 활동까지 포함.

테스트 결과 : 테스트 실행의 결과 또는 결괏값. 화면 출력과 데이터 변경, 보고서, 전송된 통신 메시지 등이 여기에 포함.

테스팅 : 소프트웨어 제품 및 관련 작업 산출물이 특정 요구사항을 충족하는지 확인하고, 목적에 부합하는지 여부를 입증하고, 결함을 발견하기 위해 정적/ 동적의 모든 계획, 준비, 평가와 관련된 수명주기 활동으로 구성된 프로세스

테스트웨어 : 테스팅에 대한 계획, 설계, 실행, 평가, 보고 등에 활용하기 위한 목적으로 테스트 프로세스 동안 생성되는 작업 산출물.

밸리데이션 : 의도된 특정 용도 또는 용도에 대한 요구사항이 충족되었음을 보증하기 위해 객관적 증거와 조사를 통해 확인하는 것.

베리피케이션 : 특정 요구사항이 모두 구현되었는지를 객관적 증거와 조사를 통해 확인하는 것.

자주 나오는 테스팅의 종류
: ISTQB 공부하면 적어도 한번 이상 접하는 애들이니까 잘 읽어봐.

기능 테스팅 : 컴포넌트 또는 시스템이 기능 요구사항을 충족하는지 평가하기 위해 수행되는 테스트.
비기능 테스팅 : 컴포넌트 또는 시스템이 비기능적 요구사항을 충족하는 지 평가하기 위해 수행되는 테스트.

정적 테스팅 : 테스트 항목의 실행을 수반하지 않는 테스팅.
동적 테스팅 : 테스트 항목의 실행과 관련된 테스트.

화이트박스 테스팅 : 컴포넌트나 시스템의 내부구조 분석에 기반한 테스팅.
경험 기반 테스팅 : 테스터의 경험, 지식, 직관에 기반한 테스팅.
리스크 기반 테스팅 : 연관된 리스크 유형과 리스크 수준을 기반으로 테스트 활동 및 리소스의 이용, 관리, 선택, 우선순위 등을 다루는 테스팅.

베타 테스팅 : 개발 조직에 속하지 않는 인원에 의해 개발자의 테스트 환경과 다른 외부 사이트에서 수행되는 인수 테스트 유형.
사용자 인수 테스팅 : 의도된 사용자가 시스템을 승인하는지 확인하기 위해 수행되는 인수 테스트 유형.
운영 인수 테스팅 : 운영 및 시스템 관리 직원이 시스템을 인수할 수 있는지 확인하기 위해 수행되는 인수 테스트 유형.

리그레션 테스팅 : 소프트웨어의 변경되지 않은 영역에 결함이 도입 또는 발현되었는지 여부를 감지하기 위한 변경 관련 테스트 유형.
확인 테스팅 : 결함을 수정한 후 해당 결함으로 인해 발생한 장애가 다시 나타나지 않는지 확인하기 위해 수행하는 변경 관련 테스트 유형.

애자일 테스팅 사분면 : 4 사분면으로 구성된 테스트 유형/ 레벨 분류 모델로, 테스트 목표의 두 가지 차원(팀 지원 대 제품 비평, 기술 대면 대 비즈니스 대면)과 관련됨.

시스템 테스팅 : 전체로 봤을 때 시스템이 명시된 요구사항을 충족하는지 확인하는 데 초점을 둔 테스트 레벨.
시스템 통합 테스팅 : 시스템 간의 상호작용에 초점을 둔 테스트 레벨.
통합 테스팅 : 컴포넌트 또는 시스템 간의 상호작용에 중점을 둔 테스트 레벨.
컴포넌트 테스팅 : 개별 하드웨어 또는 소프트웨어 컴포넌트에 초점을 둔 테스트 레벨.

탐색적 테스팅 : 테스터가 자신의 지식, 테스트 항목에 대한 탐색과 이전 테스트 결과를 기반으로 테스트를 동적으로 설계하고 실행하는 테스트 접근 방식.
요구사항 기반 테스팅 : 테스트 케이스를 요구사항을 기반으로 설계하는 테스트 접근 방식. 

컴포넌트 통합 테스팅 : 테스트 항목이 통합된 다른 컴포넌트와 인터페이스하고 상호 작용하는 테스트. 통합된 컴포넌트 간의 인터페이스와 상호작용에서의 결함을 노출시키기 위한 테스팅.

화이트박스 테스트 기법 : 컴포넌트나 시스템의 내부 구조 분석에만 기반을 둔 테스트 기법.
블랙박스 테스트 기법 : 컴포넌트나 시스템의 명세에 대한 분석을 기반으로 하는 테스트 기법.
경험 기반 테스트 기법 : 테스터의 경험, 지식, 직관에만 기반을 둔 테스트 기법.


조건 테스팅 : 테스트 케이스가 원자 조건의 결과를 실행하도록 설계된 화이트박스 테스트 기법.
결정 테스팅 : 테스트 케이스가 결정 결괏값을 실행하도록 설계하는 화이트박스 테스트 기법.

조합 테스팅 : 테스트 케이스가 복수의 매개변수 값의 특정 조합을 실행하도록 설계되는 블랙박스 테스트 기법.
유스케이스 테스팅 : 유스케이스 동적을 수행하도록 테스트 케이스를 설계하는 블랙박스 테스트 기법.
사용자 스토리 테스팅 : 사용자 스토리를 기반으로 테스트 케이스를 설계하여 올바르게 구현되었는지를 확인하는 블랙박스 테스트 기법.
상태 전이 테스팅 : 테스트 케이스가 상태 전이 모델의 개별 요소를 실행하도록 설계된 블랙박스 테스트 기법. 
동등 분할 기법 : 각 도메인의 구성 데이터 중 하나를 사용하여 테스트 케이스가 동등 분할을 실행하도록 설계하는 블랙박스 테스트 기법.

구문 테스팅 : 테스트 케이스가 구문을 실행하도록 설계하는 화이트박스 테스트 설계 기법.
결정 테이블 테스팅 : 테스트 케이스가 결정 테이블에 표시된 조건과 결과 행위 조합을 실행하도록 설계하는 블랙박스 설계기법.

체크리스트 기반 테스팅 : 경험, 점검, 기억에 의한 목록 또는 제품 검증 기준 및 규칙을 상위 수준으로 나열한 목록을 숙련된 테스터가 사용하는 경험 기반 테스트 기법.

아쉽게도 지난번 시험은 22개를 맞아서 떨어졌다. 흑.

그래도 약 일주일 동안 공부한 결과치고는 가능성이 보여 내가 시험문제를 풀 때 어렵게 느껴졌던 응용문제들에 대해 보완을 하고자 "문제로 배우는 소프트웨어 테스팅" 책을 구매했다. "개발자도 알아야 할 소프트웨어 테스팅 실무"라는 책도 고민을 해봤는데 책이 2010년에 나오고 더 이상 변화가 없는 상태인 것을 보고 아무래도 구글로 직접 검색해 보면서 공부하는 편이 좋을 것 같다는 결론을 냈다.

중고로 구매하려면 대략 배송비 포함 15000원 정도의 가격이 드는 것을 확인한 나는 알라딘으로 찾아 나섰다.(내가 애정하는 알라딘) 마침 가을이벤트를 하고 있었는데 최대 2000원까지의 랜덤 적립금을 주는 이벤트에서 무려 2000원이 당첨되었다. 이로써 기본 적립금 2000원과 합산하니 4000원의 적립금이 생겼다. 여기서 지난달 책선물을 하느라 1500원의 적립금을 적립해 두었던 나는  알라딘으로 새책을 샀을 때 중고 가격이랑 비슷하게 살 수 있었다.

양탄자 배송이라고 오후 1시 전에 사면 당일 밤까지 배송된다는 것을 보고 12시 57분에 구매했는데 아쉽게도 뭔가 오류가 있었는지 다음날에 도착했다. 어플에서 처음엔 떠있다가 나중엔 사라졌던 것 같기도 한데 뭔가 일정한 시간 이후가 되면 ui가 없어지는 걸까? 그래도 다음날 빠르게 받아 볼 수 있어서 세상 두근거리는 마음으로 택배 포장을 뜯어보았다.

영롱한 옥색의 책이 날 바라봤다. "이거 얘도 오래되어 보이네."라는 생각으로 책 맨 앞장을 읽어보았더니 2011년 ISTQB 내용인가 보다. 개정판이라 해서 달라져있을 까 싶었지만 뭐 어쩌겠는가. 그래도 문제들이 이렇게 한가득 있는데 어느 부분에서는 도움이 되겠지!

일단은 원래 공부하던 데로 실라버스를 중점으로 샘플문제 오답풀이와 함께 틀을 잡고 추가적으로 이 책을 통해 문제들을 보완하면서 공부를 해볼 생각이다. 실라버스가 4.0으로 업데이트되면서 내용들도 많이 추가되고 단어들 이름 또한 달라진 것들을 볼 수 있었는데 그런 부분에 대해 헷갈리지 않게 공부하는 게 가장 중요할 것 같다. 

이제 다음시험인 10월엔 합격해 보자고!

그래도 시험응시 비용 너무 빡셈... 제발 잘해보자.

테스팅의 독립성 4가지

>> 문제로 나오면 나열하는 문제로 나올 텐데 "독립성이 높은 것부터 나열하세요"라 하면 4,3,2,1 반대로면 1,2,3,4 생각하면 돼. 

테스트의 제약

▶ 관리자나 테스터가 테스팅에 대하여 단편적인 지식만 가지고 있음. 
▶ 부족한 인력과 자원으로 인해 테스팅에 대한 투자여력이 없음.
▶ 테스팅을 투자가 아닌 불필요한 비용으로 간주함.
▶ 의사결정권자나 프로젝트 관리자가 테스팅에 대한 인식이 부족함.

>> 전부 이러면 안 돼.

소프트웨어 테스팅에 대한 오해 >> 틀린 답으로 정확하게 파악하고 있어야 돼.

▶ 시간, 인력이 부족해서 테스팅을 제대로 못한다.
▶ 테스트는 완벽하게 수행될 수 있다.
▶ 테스트는 그리 어려운 작업이 아니다.
▶ 아무나 테스트를 수행할 수 있다.
▶ 프로그램이나 시스템이 잘 수행될 수 있음을 보여주는 것이다. >> 이건 개발자가 하는 거!!
▶ 테스트는 개발 이후의 작업이다. >> 초기 or 동시!!!
▶ 개발 일정에 따라 테스트는 생략될 수 있다. >> 생략 절대 ㄴㄴ

>> 계속 얘기하지만 여기도 전부 이러면 안 돼.

* 알기 쉬운 소프트웨어 공학 배우 유튜브 찾아서 한번 봐봐.

테스트의 심리학 (>> 도덕적 태도에 대해 말하고 있는 거야. 문제에서 긍정적인 게 답이겠지.)

▶ 개발자와 테스팅 엔지니어 분리 >> 각자의 활동에 집중.

▶ 테스팅 독립성(-> 단계가 오를 수록 독립성이 높아짐)

 1. 테스트 대상 소프트웨어의 개발자가 설계한 테스트(독립성 정말 떨어짐)

 2. 개발팀 내의 다른 인원이 설계한 테스트

 3. 다른 그룹의 독립적인 테스트 팀의 인원, 또는 테스트 전문가(사용성 또는 성능 테스트 전문가 등)가 설계한 테스트

 4. 다른 조직 또는 다른 회사의 인원이 설계한 테스트(외부적 조직에 의한 인증, 아웃소싱)

- 명확한 테스팅의 목표 설정은 테스팅을 성공적으로 수행하는데 있어 중요

▶ 테스팅 진행하는 동안 결함을 식별하는 과정

- 작성자에 대한 비판으로 오해될 소지 존재 (야 너 뭐 이따위로 테스트했어! >> 이러면 안 돼)

 >> 호기심, 전문적인 비평, 비판적인 시선, 세밀한 것에 주목하는 태도, 개발자 또는 개발팀 동료와의 원활한 의사소통, 그리고 결함을 유추해 내는 경험 필요.

- 오류나 결함, 장애가 긍정적인 방법으로 의사소통 된다면, 테스트와 개발자 간에 발생할 수 있는 감정 악화를 피할 수 있다. (명세화시킨 문서로 이야기하고, 전문적 비판을 하면 만족도 높아지겠지.)

- 테스터, 테스트 리더 사이 >> 좋은 대인관계 필요..

- 결함 정보

 >> 결함 발견 -> 시간과 비용 절감 및 리스크 요소 줄임

▶ 테스터의 역할

- 다툼보다는 협력으로 시작 -> 공통적인 목표를 모든 사람에게 전달

- 소프트웨어를 개발한 사람에게 비평을 배제하고 중립적이고 사실에 근거한 제품의 결함만 전달하려고 노력한다.

- 다른 인원이 어떻게 느끼는지, 왜 그렇게 반응하는지 이해하도록 노력한다.

- 상호 간에 의사소통 했던 것을 상대방이 정확하게 이해했는지 확인한다.

▶ 최근 소프트웨어는!

- 전통적인 컴퓨팅 영역 탈피 >> 가전, 무선단말기, 산업기기, 휴대폰, 자동차(ESU) 분야, AI분야

- SW개발 프로세스 품질의 중요성과 함께 SW 결함을 사전에 진단하고 정상 동작여부를 시험하는 테스팅의 중요성 부각

 >> 전체 개발비의 40~60% 이상의 테스팅 비용(개발 < 테스팅 비용)(유지보수비용이 많이 든다.)

 >> 하지만 기존 개발자들은 테스팅에 소극적 -> 하위레벨 테스트 부족. (컴포넌트, 통합테스트)

- 품질에 대한 인식 높아져 기대 수준 높아짐 -> 리스크 관리 필요.

 >> 체계적인 테스팅을 위해서는 테스트의 우선순위 중요.

소프트웨어 테스팅을 제약하는 요소

▶ 테스트에 대한 문제점

- 테스터가 테스팅에 대해 너무 단편적으로 알고 있는 것은 체계적인 테스팅을 제약하는 요인.

 >> 개념과 연관성 이해

 >> 리스크 기반 테스팅 접근법, 테스트 기법, 테스트 커버리지

 >> 이론을 실무에 적용하는 노력 필요 (이론과 실무를 골고루 알고 있어야 된다!)

- 의사결정권자와 매니저의 테스팅에 대한 인식 부족 (테스팅은 언제나 해야 돼!)

 >> 임시방편

 >> 테스트 자동화 도구의 중장기적 계획 or 테스트 프로세스 정립 필요

- 테스팅을 투자가 아닌 불 필요한 비용으로 인식

 >> 테스팅은 개발보다 더 확실한 ROI(Return On Investment - 투자자본수익률) 활동

(얼마나 효율적으로 투자가 이루어진 건지??)

테스팅 분야의 매력

▶ 테스팅 분야의 전문가

- 체계적인 지식 체계를 갖는 전문 분야

 >> 기존적인 컨셉과 테스트 전략, 계획, 설계 기법, 테스트 케이스 작성, 결함관리, 지원도구, 정적 테스트 기법, 비기능성 테스팅 테스트 프로세스 관리, 기반 설비 및 환경, 메트릭과 리포팅 등의 분야 포함.

- 테스팅 분야는 넓고 다양함.

 >> 자동화 도구에 대한 전문적 기술

 >> 보안성 테스트, 신뢰성 테스팅 분야 전문가

 >> 테스팅 컨셉, 기법 및 관리 방법을 소프트웨어 종류별 최적화하여 적용

- 테스팅 필요성 급증

- 테스팅 분야에서 연령 제한(X), 경험 중시

테스팅에 대해 알아보자.

1. 결함 발견과 격리(때로는 예방까지)
2. 결함 발견 메커니즘을 가지고 있다.
3. 제품의 자신감 제공
4. 결함 예방과 조화를 이루어야 함
5. 품질과 리스크에 대한 통찰 제공(결함을 많이 잡으면 리스크 낮아짐)
6. 테스팅은 수명주기와 프로세스를 갖는 프로젝트
7. "테스트"는 실제 수행하는 하나하나의 실체이다.

▶ 테스트를 하는 목적
프로그램의 동작(기능)과 성능, 안정성이 사용자의 요구하는 수준을 만족하는지 확인하기 위해 결함을 발견하는 방법.

테스팅의 목적

▶ 주요 이유
- 잔존 결함 발견
>> 잔존 결함이 있는 채로 출시했다가 후에 발견하면 유지보수 비용이 많이 들어! 그전에 찾아내야 됨.
- 개발 시스템 / sw자신감 부여 >> 품질 수준에 대한 자신감 획득과 정보 제공
- 결함을 미연에 방지
- 명세를 충족 확인
>> 소비자의 요구사항에 만족하는지를 확인한다!
- 사용자 및 비즈니스의 요구 충족 확인
- 비즈니스 리스크를 감소시키는 정보 제공(발견된 결함 기반의 수치 데이터 제공)
>> 리스크는 큰 것부터(시간이 많지 않아. 출시시키고 나중에 잡을 수 있는 작은 것들보단 큰 것부터!)

▶ 기타 이유
- 개발 프로세스 점검, 이슈 제거 
- 논리적 설계의 구현 검증
- 시스템 / sw가 적절히 동작함을 확인

▶ 테스팅의 목적은 테스트의 상황이나 관점에 따라 달라질 수 있다.

무슨 말인가 하면, 
개발과정 : 소프트웨어의 결함을 찾아내고 수정하기 위해서 가능한 많은 장애의 원인을 발생시킴. >> 많은 결함을 발견하기 위해!
인수과정 : 예상된 대로 시스템이 동작하는지 확인하고, 요구사항에 맞는지 확신을 얻는 과정. >> 말 그대로 사야 되니까 제대로 동작하는지 확인을 해야지!
품질 평가 : 특정시간에 시스템을 출시하는 것의 리스크를 개발 프로젝트 관련자에게 전달. >> 개발 시간은 항상 정해져 있으니까. 
유지 보수 : 변경사항을 추가적으로 개발하는 중에 새로운 결함이 유입되었는지 확인하는 테스팅 과정 포함.
운영 : 신뢰성 또는 가용성과 같은 시스템의 특성을 평가.

1.1.1 SW 시스템 관점에서 테스팅의 필요성

▶ SW 관점에서 테스팅(SW테스팅이 왜 필요할까?)

- 비즈니스 애플리케이션에서 소비자 제품에 이르기까지 폭넓게 생활의 많은 부분 사용 >> 비중은 계속 증가.

- 금전적인 손실, 시간낭비, 비즈니스의 이미지 손상(== 제품 잘못됐다고 하면 사용자는 그 제품을 더 이상 쓰지 않음), 그리고 부상이나 사망에 이르기까지 다양한 심각성

- 테스팅은 소프트웨어 시스템의 문제를 최소화하기 위해 필요.

▶ 소프트웨어 결함 - 세 가지 구분해야 돼! 오류, 결함, 장애!

- 오류(error) : 인간의 행위, 실수 (== 사람이 실수하는 것)

>> 코드 작성, 소프트웨어나 시스템 또는 문서 작성 시 결함을 만드는 오류.

- 결함(defect) - 요구된 기능의 부정확한 처리를 말하며 이것으로 인해 고장 또는 장애를 발생시키는 원인이 됨(장애가 발생할 수 있는 원인)

>> 시간적인 압박, 복잡한 코드, 기반환경의 복잡성, 기술이나 시스템의 변경, 수많은 시스템 상호 간의 연동.

>> 결함은 장애의 원인(환경, 기술이나 시스템의 변경, 요구된 기능의 부정확한 처리)

>> But, 모든 결함이 장애를 발생시키는 것은 아니다.★★

- 장애(failure) : 코드에 존재하는 결함의 실행 또는 환경적 조건에 의해 부정확하게 처리되는 것을 의미함.

>> 결함 + 환경적인(방사, 전자기장, 물리적 오염 등) 조건.

소프트웨어의 결함을 발생시키는 2가지 원인

1. 인간의 소스코드 실수 - 인간의 실수 또는 시스템 코드에 결함을 야기시켰을 때.
2. 주변환경에 의한 결함 - 전자파, 자석, 공해, 자연현상 등과 같은 주변 환경의 영향으로 소프트웨어 또는 시스템이 사용하는 하드웨어 영향을 주 오류 

소프트웨어 결함의 원인 문제가 나오면 대부분 결함이 정답이래!! 기억하고 가래!!

1.1.2 테스팅이란 무엇인가??

▶ 테스팅

- 응용 프로그램 또는 시스템의 동작과 성능, 안정성이 사용자가 요구하는 수준을 만족하는 지 확인하기 위해 결함을 발견하는 메커니즘

 >> 정상 동작 여부 확인.

 >> 사용자의 기대 수준과 요구사항에 맞게 구현되고 동작하는지 확인. == 벨리데이션

 >> 개발 프로젝트의 리스크 정보를 정량적 수치로 의사결정권자에게 전달.

- 초기 개발 산출물 -> 리뷰.(초기엔 코드가 없어서 리뷰를 해. 리뷰는 정적분석이라고도 하는데 코드없이 테스팅하는것을 말함. / 동적 분석이라는 것도 있는데 얜 코드를 실질적으로 돌려보는걸 말해) 

- 테스트 케이스 작성 과정(결함 예방 활동)

- 다양한 테스팅 활동. (단통시인)

1.1.3 SW 개발, 유지보수, 운영 시 테스팅의 역할

▶ 테스팅

- 개발 초기의 요구사항 분석 단계부터 리뷰와 정적분석을 통해 정적으로 시작

>> 각각의 개발 단계에 대응하는 테스트 레벨별(단위, 통합, 시스템, 인수) 테스팅

- 컴포넌트, 통합 테스팅은 개발 조직 중심으로 수행

- 시스템이 갖춰진 이후의 테스팅은 독립적인 테스트 조직 중심

- 테스트 레벨에 따른 테스트

>> 소프트웨어 품질을 높이고, 결함 발생 가능성을 최소화하는 게 목적.

- 유지보수 활동으로 변경 및 단종되거나 환경이 변경

>> 변경된 환경에 대해 운영 테스팅(리그레이션 테스팅)

>> 변경으로 인한 결함과 장애를 예방

- 계약상 요구조건 및 산업에 특화된 표준 만족

1.1.4 테스팅과 품질

▶ 품질 특성 및 향상

- ISO /IEC 9126 소프트웨어 제품 품질

>> 기능성, 신뢰성, 사용성, 효율성, 유지보수성, 이식성 높아야 돼!!

(외울 때! 기사신효이성 - 기사가 신효를 지키려고 이성을 붙잡는다. )

- 품질 향상 

>> 테스팅 결함을 찾아내고, 발견된 결함을 수정한다.

- 품질 보증

>> 이전 프로젝트를 통해 많은 테스트 경험과 정보 확보

>> 발견되니 결함의 근본 원인 이해를 통해 프로세스 개선

>> 결함의 재발 방지

- 개발 표준이나 교육 훈련 그리고 결함 분석

1.1.5 테스팅, 얼마나 해야 충분한가?

▶ 적절한 테스팅 정도

- 리스크 수준을 고려

- 프로젝트 제약 사항

>> 기술적인 내용, 비즈니스, 제품, 프로젝트 리스크, 시간, 비용

- 테스팅은 테스트된 sw나 시스템을 다음 단계로 전달하는 데 있어 프로젝트 이해 관계자들이 릴리즈 결정을 내릴 수 있도록 충분한 정보를 제공

- 적절한 릴리즈를 결정해야 한다.(다른 회사보다 먼저 출시해야 하며 안전한지 정보를 제공할 수 있을 만큼 테스팅이 진행되어야 한다.)

커버리지

1. 커버리지를 높이면 결함이 줄어들어 품질이 높아짐.
2. 리스크를 반영해 커버리지를 높이면 테스트의 완성도가 높아짐.
3. 커버리지는 어떤 커버리지인지 명시해 주지 않으면 의미가 없음.
4. 테스트 케이스의 수를 늘린다고 커버리지가 높을 수 있는 것은 아님!!!! ★

테스트 프로세스에서 3~4 문제 나온데. 중요, 중요!!

아주 중요한 파트!!

테스트 프로세스

* 테스트 모니터링과 제어 : 관리자 역할(감시자 역할)로 계획, 분석, 설계, 구현, 실행, 완료단계까지 다 들어가. 

* 테스트 스위트 / Test Suite : 테스트 케이스들을 하나로 묶은 것. 테스트 스크립트 세트.

* 테스트 하네스 / Test Harness : 자동화된 테스트 지원 도구, 다양한 환경에서 프로그램 단위를 작동시키고 그 작동과 출력을 모니터하기 위해 사용되는 소프트웨어와 테스트 데이터의 집합. >> 테스트하기 위한 환경이라 알아두면 돼.

*** 테스트 모니터링과 제어는 테스트 분석, 테스트 설계, 테스트 구현, 테스트 실행 까지 테스트 모니터링과 제어는 계속 되어야 해!!! 한 단계에서 필요한게 아니야. 테스트 계획단계에서 테스트 모니터링과 제어가 시작하는거 X.

테스트 프로세스의 기초 (빨간 글씨들은 다 외운다 생각해야돼!!)

▶ 테스트 프로세스

 - 테스팅 관련 활동이 체계적으로 진행되어 의도된 테스트 목적과 목표를 달성할 수 있도록 테스팅의 구성요소를 엮어 주는 역할.

 >> 테스트 베이시스 : 계획단계 부터 필요. 설계시 반드시 요구 -> 문서화를 해야 한다.

 >> 테스트 조직 : 계획단계 부터 필요, 실행 단계에서 다수 인력 필요

 >> 테스트 전략

 >> 테스트 기법 : 분석 및 설계 단계에서 필요.

 >> 테스트 대상 : SW는 가장 이른 시기 준비, 늦어도 실행 단계에서는 필수.

 >> 테스트 기반 설비 및 환경 : 실행 단계 전에 구축.

- 체계적으로 발견한 결함과 관련 정보를 바탕으로 정량적(수치적)으로 개발 프로젝트에 조언(분석한 리스크) 제공.

테스트 계획과 제어(통제)

▶ 테스트 제어
- 계획 대비 실제 진행 상황을 비교하는 지속적인 활동
- 계획과의 차이 확인 >> 지속적인 모니터링
- 제어 작업
 >> 테스트 결과에 대한 측정과 분석
 >> 테스트 진척 사항, 완료조건의 모니터링과 문서화
 >> 테스트 계획과의 차이 교정
 >> 테스팅의 진행과 변경에 대한 의사 결정 활동
 >> 테스팅 계획은 테스팅의 제어와 모니터링 활동으로부터 받은 피드백을 반영

▶ 테스트 계획과 제어
- 주요 활동
 >> 테스트 목적/ 목표 및 대상 연구
 >> 테스트 전략 개발
 >> 테스트 완료 조건의 결정(80~90%)
 >> 테스트를 추정
 >> 테스트 조직 구성
 >> 테스트 계획 활동
 >> 테스트 관리 및 제어
 >> 리포팅 

테스트 프로세스

▶ 1-1. 테스트 계획
- 테스트 계획은 테스팅의 미션과 목표를 정의하고 이를 만족시키기 위한 테스트 활동들을 수립하는 과정.
- 테스트 계획은 모니터링 및 통제 활동의 피드백에 따라 조치를 할 수 있도록 수립되어야 한다.

★ ★ ★ 계획 단계에서 해야하는 일 ★ ★ ★
 >> 1.테스트를 위한 자원 파악(인적 자원, 테스트 환경, PC사양 등).
 >> 2. 테스트 정책 및 테스트 전략 수립.
 >> 3. 테스트 분석 및 설계 업무 일정 관리.
 >> 4. 테스트의 적용, 실행, 평가에 대한 일정 관리.
 >> 5. 완료 조건 결정.

▶ 1-2. 테스트 제어
- 테스트 통제는 실제 진행 상황과 계획을 비교하고 보고 하는 활동.
- 여기에는 프로젝트의 미션과 목표를 위해 조치가 이루어질 수 있음.
- 이를 위해 프로젝트의 진행이 지속적으로 모니터링 되어야 할 것.

★ ★ ★ 제어 단계에서 해야 하는 일 ★ ★ ★
 >> 1. 결과 측정 및 분석.
 >> 2. 모니터링 및 문서화의 진행, 테스트 범위, 종결 기준.
 >> 3. 결과 반영(수정, 변경 등) 활동.
 >> 4. 의사 결정

 - 테스트 계획과 제어 단계는 테스트 분석과 설계, 테스트 구현과 실행, 종료 조건의 평가 레포팅의 모든 단계를 모니터링 해줘야돼. 

▶ 2. 테스트 분석과 설계
- 테스트 계획에서 제시된 목표를 테스트 케이스로 반영.

>> 일반적이고 추상적인 테스팅 목적을 실제적이고 구체적인 테스트 상황과 테스트 케이스로 변환하는 활동.

★ ★ ★ 분석과 설계 단계에서 해야하는 일 ★ ★ ★
 >> 1. 테스트 베이시스 리뷰(가장 기초 문서, 요구사항 명세서, 설계 계획서, 디자인 등). *테스트 베이시스 : 요구사항 등 테스트 케이스의 토대. 
 >> 2. 테스트 대상 아이템 또는 명세, 구조 분석을 통해 테스트 상황을 식별하고 우선순위 선정.
 >> 3. 테스트 케이스 설계와 우선 순위 선정.
 >> 4. 비공식적인 기법으로 테스트 케이스 추가 도출 및 보완
 >> 5. 테스트 상황과 테스트 케이스에 필요한 테스트 데이터 식별.
 >> 6. 테스트 환경 구축에 대한 디자인과 요구되는 기반 시설 및 도구 식별. (완전한 구축이 아니라 어떠한 환경에서 할지 정하는 것)

▶ 3. 테스트 구현 및 실행  (테스트 프로시저, 테스트 스크립트 키워드 나오면 테스트 구현 및 실행!)
- 효과적/ 효율적 테스트를 위해 테스트 케이스를 조합하고, 테스트 프로시저(==모듈시스템이 있으면 정하는 순서)/ 테스트 스크립트를 작성.(자동화)

- 테스트 환경이 구축되어 있어야 한다.(환경 완성돼있어야 됨.)

★ ★ ★ 구현 및 실행 단계에서 해야하는 일 ★ ★ ★
 >> 1. 테스트 데이터 생성.
 >> 2. 효과적인 테스트를 위해 테스트 프로시저 생성.
 >> 3. *테스트 하네스 준비.
 >> 4. 테스트 환경이 제대로 설정되었는지 확인.
 >> 5. 계획된 절차에 따라 테스트 케이스를 직접 또는 툴을 사용하여 수행.
 >> 6. 테스트 실행 결과를 기록하고 테스트 수행 대상 및 소프트웨어 버전을 기록.

 >> 7. 예상 결과와 실제결과를 비교.

 >> 8. 불일치하는 결과가 나오는 원인을 기록.

 >> 9. 각각의 불일치에 대한 반복적인 활동.

++ 주요 작업(위의 해야하는 일과 같은데 같이 읽어보고 공부해. 아마 비슷할꺼. 키워드 위주로 봐봐.)

- 테스트 케이스 개발, 구현과 우선 순위 설정

- 자동화 테스트 스크립트 작성

- 테스트 하네스 준비

- 효율적인 테스트 실행을 위해 테스트 수트(테스트 케이스 묶음) 생성

- 테스팅 실행(겨로가 기록 -식별과 버전 관리)

- 기대 결과와 비교 -> 예상 결과와 실제 결과 간의 차이에서 오는 불일치를 인시던트 또는 결함으로 보고 -> 불일치 원인 파악(원인을 파악하는건 테스터가 하는 일, 원인을 찾아서 수정하고 제거하는 건 개발자가 하는 일.)

- 예상과 실제의 불일치로 테스트 케이스 결함, 테스트 정황 결함, 어플리케이션 결함이 있을 수 있다.

- 불일치를 조치한 결과를 확인하기 위한 테스트 활동 반복

 >> 수정이 되었는지 테스트 실행 -> 확인 테스팅(Confirmation Testing).

 >> 수정으로 새로운 버그가 발생하지 않았는지 전체를 테스트 실행 -> 회귀 테스팅(Regerssion Testing). 

- 결함의 유형

 >> 기획시 유입된 결함 : 요구사항의 표준 미준수, 테스트 불가능 등.

 >> 설계시 유입된 결함: 설계의 표준 미준수, 테스트 불가능 등.

 >> 코딩 시 유입된 결함: 코드의 표준 미준주 등. 

*테스트 하네스 :

- 테스트 드라이버 + 테스트 스텁.

- 드라이버 : 상향식 테스트, 하위 모듈에서 상위 모듈로의 테스트를 진행

- 스텁 : 하향식 테스트, 상위 모듈에서 하위 모듈로의 테스트를 진행.

▶ 4-1. 완료 조건의 평가와 리포팅
- 테스트 수행 결과를 목적과 비교하여 평가.

★ ★ ★ 완료 조건의 평가와 리포팅 단계에서 해야하는 일 ★ ★ ★
 >> 1. 테스트 계획에 정의된 완료 기준에 따라 테스트 로그 확인. (로그가 나온다? 무조건 완료 조건.)
 >> 2. 추가 테스트가 필요한지에 대한 평가를 하거나 완료 기준을 변경.
 >> 3. 이해 관계자들을 위한 테스트 요약 보고 작성.
 

- 리포팅 내용으로 뭐가 있냐. -> 리포팅에 표현되는 내용.

 >> 발견된 결함과 미해결 결함의 추이 및 우선순위. 

 >> 테스트 진척도. (테스트 어느 정도 진행됐는지.)

 >> 리스크 및 메트릭으로 실증된 조언.

*메트릭 : 메트릭이란 지연, 오류 비율에서 사용자 가입까지 시간에 따른 모든 환경 변화를 추적할 수 있는 숫자 값.

 >> 테스트 환경의 가용성.

 >> 테스트 커버리지, 결함 발견 효과성/ 효율성, 품질 평가 결과, 결함 상태별 결함수.

 >> 소프트웨어 사이즈 대비 결함 수 등.

▶ 4-2.  테스트 마감 조건과 리포팅

- 모든 테스트 활동에서 경험, 테스트 도구, 사실, 통계를 종합하기 위해 데이터를 수집하고 완료.

★ ★ ★ 테스트 마감 조건과 리포팅 단계에서 해야하는 일 ★ ★ ★
 >> 1. 계획된 산출물이 산출되었는지에 대한 확인, 개별 요소에 대한 보고완료, 또는 아직 수행 중인 활동의 변경에 기록에 대한 이슈제기.

 >> 2. 시스템 인수와 관련된 문서 확인.
 >> 3. 유지보수 조직에 테스트 도구 인계.
 >> 4. 사후 관리 및 테스트 성숙도 향상 수준 분석.

++ 

▶ 테스트 마감 활동

- 산출물 확인, 테스트 웨어(산출물) 보관(-> 다음 프로젝트를 위해)

- 테스트 프로세스 평가 심사.

- 주요활동

>> 테스트 결과 마감(예정된 산출물, 인시던트 레포트 종료, 해결되지 않은 요구사항에 대한 처리, 시스템 인수에 대한 문서화 등)

>> 테스트웨어, 테스트 환경, 테스트 기반 설비를 차후에 사용위해 마감, 보관.

>> 테스트 웨어를 유지보수 조직에 이관

>> 테스트 프로세스 심사 및 개선 사항

>> 이후 릴리즈나 프로젝트, 테스트 성숙도의 개선에 지침이 될 수 있도록 테스트 프로젝트를 통해 얻은 교훈을 분석

효과적 / 효율적의 차이(시험엔 안나와도 알아는 둬볼까.)

효율적이면서 효과적인 그 중간을 찾아야 된다.

테스팅과 디버깅의 차이

테스팅의 특성 ★

▶ 완벽한 테스팅은 불가능하다.
- 한 프로그램 내의 내부 조건이 무수히 많을 수 있다.
- 입력이 가질 수 있는 모든 값의 조합이 무수히 많다.
- 이벤트 발생 순서에 대한 조합도 무수히 많다.
▶ ★ ★ ★ 테스트는 결함이 없음을 보이려는 것이 아니다. ★ ★ ★
- 테스팅은 결함이 존재함을 밝히는 활동.
▶ 본인이 만든 프로그램의 결함을 발견하기는 쉽지 않다,
▶ 현실적인 테스팅의 목적.
- 주어진 리소스(시간, 인력 등)로 리스크가 높은 시스템 부분의 결함을 발견할 확률을 극대화 >> 리스크의 최소화.

테스팅의 일반적 원리 7가지

1. 테스팅은 결함이 존재함을 밝히는 활동이다.
- 잠재적으로는 존재하는 결함 줄임.
>> But, 결함이 없다고는 증명할 수 없다.
2. 완벽한 테스팅은 불가능하다.
- 리스크가 높은 것부터 해결해 나가야 함.(중요도 순서)
>> 한 프로그램 내에 내부 조건이 너무 많음.
>> 입력이 가질 수 있는 모든 값의 조합이 무수히 많다.
>> 이벤트 발생시 발생 순서에 대해 조합도 무수히 많다.
>> 리스크에 따라 테스트 강도 높게 수행 -> 실제 완벽하게 수행하는 것은 불가능하다.
3. 개발 초기에 테스팅 시작한다.
>> 개발의 시작과 동시에 테스트를 계획하고 전략적으로 접근.
>> 요구사항 분석서와 설계서 등의 개발 산출물 분석후 테스트 케이스 도출. 
4. 결함은 집중되어 있다. 
- 특정 모듈에 집중되어 있음. (넓게 퍼져있지 않음.) >> 결함이 집중돼있는 곳을 잡아야 돼.
>> 대다수의 결함들은 소수의 특정 모듈에 집중되어 발생하는 경향을 보임.
>>결함의 집중은 운영상의 장애를 초래함. (운영상의 장애 ex : 복잡한 구조의 모듈, 다른 모듈과 다량의 상호작용을 하는 모듈, 개발 난이도가 높거나 최신 기술을 사용한 모듈, 크기가 큰 모듈, 경험이 미흡한 팀에서 개발한 모듈, 새롭게 개발한 모듈)
5. 살충제 패러독스.
- 면역력이 생기는 거 >> 테스트 케이스를 늘 똑같은 걸 사용하면 버그 찾기 쉽지 않음. >> 주기적으로 업데이트된 테스트 케이스 필요.
>> 동일한 테스트 케이스로 동일한 테스트를 반복하면 결함을 찾기 어려워진다.
>> 더 많은 결함을 찾기 위해서는 테스트 케이스를 정기적으로 리뷰하고 개선해야 함. 
6. 테스팅은 정황에 의존적이다. >> 테스트는 정황과 도메인(대상 영역)에 따라 다르게 수행되어야 함.(똑같은 테스트 케이스를 쓰는 게 X)
>> 모든 테스트에 적용되어야 하는 것 : 테스트 프로젝트 기획, 표준적인 기법 적용, 독립적인 테스트 환경, 효율적/ 효과적 테스트 팀 조직, 정식 리포팅 등.
7. 오류 - 부재의 궤변.
- 개발된 소프트웨어를 사용자가 원하는 데로 만들지 않으면(요구사항 충족 ㄴㄴ, 요구 수준 만족 ㄴㄴ) 결함을 수정해도 필요(또는 의미)가 없음.

테스팅에 대한 오해

1. 테스트는 완벽하게 수행될 수 있다. >> X
2. 아무나 테스트를 수행할 수 있다. >> X 
3. 테스트는 그리 어려운 작업이 아니다. >> X
4. SW나 시스템이 잘 실행됨을 보여주는 것이다 >> X >> 결함이 있다는 것을 보여주는 것. 결함을 잡고 리스크를 낮춘다!! 실행이 잘되는 걸 보여주는 건 개발자의 역할!
5. 테스트는 개발 이후의 작업이다. >> X 개발 초기의 작업.
6. 개발 일정에 따라 테스트는 생략 될 수 있다. >> X
7. 시간, 인력이 부족해서 테스팅을 제대로 못한다. >> X 말도 안 되는 내용.

테스트 프로세스와 산출물

계획 / 통제(제어) - 조직 구성 테스트 베이시스(기초문서- 엑셀파일) 필요.
▼
분석 및 설계 - 테스트 기법 필요, 테스트 베이시스 필수, 테스트 설비 및 환경 구축.
▼
구현과 실행 - 테스트하는 거.
▼
완료 조건의 평가와 리포팅 - 테스트 커버리지 90퍼센트 했으니까 그만 끝내자. 마감 보고서 쓰기(리포팅).
▼
테스트 마감활동 - 결함 보고서 쓰기.

유튜버 "Ares"의 ISTQB 자격증 강의를 보면서 정리해 둔 내용.

이전에 봤던 유튜버 "김기테의 JAVA를 자바"의 SW 테스팅 강의를 다 듣고 들으니 이해가 쉽게 된다.

혹시나 ISTQB를 준비한다면 이 두 유튜브 강의를 둘다 들어보는 것을 추천함!

하드웨어 : 

- 입력장치, 중앙처리 장치, 기억장치, 출력장치

소프트웨어 :

- 시스템 소프트 웨어 : 컴퓨터를 사용하기 위해 가장 근본 적으로 필요한 소프트웨어 (ex. 윈도우, 리눅스, 맥)

- 응용 소프트 웨어 : 컴퓨터를 사용할 때 편리한 기능을 제공해주는 소프트웨어(ex. exe 파일)

소프트웨어 테스팅의 필요성 - 결함을 발견하는 것.
테스팅의 필요성 - 소프트웨어 시스템의 문제를 최소화하는 것.

테스팅의 정의

- 결함 발견과 격리(때로는 예방까지).

- 결함 발견(Defect Detenction) 메커니즘.

- 결함 예방 조화를 이루어야 함.

- 품질과 리스크에 대한 통찰력을 제공.

- 테스팅은 수명 주기와 프로세스를 갖는 프로젝트

- "테스트"는 실제 수행하는 하나하나의 실체

소프트웨어 테스팅의 정의

- 프로그램의 동작(기능)과 성능, 안정성이 사용자가 요구하는 수준을 만족하는지 확인하기 위해 결함을 발견하는 방법.

소프트웨어 테스팅 용어
오류 >> 결함 == 결점 == 버그 == 인시던트 == 이슈 >> 장애 >> 리스크로 이어질 수 있음.

*인시던트 : 테스팅 중 발생하여 조사가 요구되는 모든 이벤트 ( 6 파트에서 나옴 )

오류(에러) : 사람의 실수에 의한 에러, 원인은 사람.
결함 : == 결점(Defect), 버그(bug), 에러에 의해 발생하는 것, 에러가 실제로 코드에 구현(내재화) 된 것.
장애 : 결함을 가진 SW 실행하면 발생(눈에 보이게)하는 것, 눈에 보여지는 것.

★ 모든 결함이 장애로 가지는 않는다. ★ 
결함이 있어도 정상적으로 실행될 수 있다.

소프트웨어 결함의 원인

소프트웨어 결함 :
- 인간의 실수 : 사람의 실수는 소프트웨어 또는 시스템 코드에 결함을 야기시킬 수 있다.
- 주변환경에 의한 결함: 전자파, 자석, 공해, 자연현상 등과 같은 주변 환경의 영향으로 소프트웨어 또는 시스템이 사용하는 하드웨어에 영향을 주어 오류를 발생시킬 수 있다.(ex. 컴퓨터 속에 먼지나 벌레가 들어가서 전원이 제대로 안 켜지는 경우)

ISTQB 답)
 결함은 소프트웨어에서만 문제를 야기시킨다 >> X,
 결함은 소프트웨어와 하드웨어에서 모두 다 문제를 야기시킬 수 있다. >> O

소프트웨어의 개발, 유지보수, 운영과 테스팅

▶ 소프트웨어 개발 과정에서의 테스팅은?
- 개발 초기부터 정적 분석(코드 문을 보면서 테스팅하는 것 >>정적분석은 리뷰랑 연계됨)을 통해 시작한다.
- 개발 단계에 대응하는 테스트 레벨에 따라 테스팅을 실행한다.
- 테스트 조직의 독립성 문제.

▶ 운영 테스팅
- 기존 운영 시스템의 변경/ 단종/ 환경 변화 등으로 변경된 시스템에 대한 테스팅.

테스팅과 품질

▶ 소프트웨어 품질 특성
: 기능성, 신뢰성, 사용성, 효율성, 유지보수성, 이식성

▶ 테스팅
: 기능 테스팅, 비기능 테스팅

어느 정도의 테스팅이 적절한가?
▶ 테스팅의 제약 사항
- 테스팅을 많이 할수록 좋겠지만, 현실적으로는 제약이 있다.
- 대표적인 4가지 제약 사항 : 일정, 비용, 조직의 성숙도, 테스터의 역량.
▶ 적절한 테스팅의 정도는?
- 리스크 수준을 고려(리스크 큰 것부터 제거)
- 기술적인 내용, 비즈니스, 제품 리스크, 프로젝트 리스크, 시간, 비용 등을 고려.

소프트웨어 테스팅의 목적 1

소프트웨어 테스팅의 목적 2

▶ 주요 이유 
- 잔존 결함을 발견
- 개발 시스템/ SW 자신감 부여
- 결함을 미연에 방지
- 명세를 충족 확인 >>엑셀 파일 문서(테스트 베이시스 == 요구사항문서)
- 사용자 및 비즈니스의 요구 충족 확인 (사용자가 원한 거 충족 됐는지 확인)
- 비즈니스 리스크를 감소시키는 정보 제공 (발견된 결함 기반의 수치 데이터 제공)

▶ 기타 이유
- 개발 프로세스 점검
- 논리적 설계의 구현 검증
- 시스템/ SW가 적절히 동작함을 확인

소프트웨어 테스팅의 목적 3

테스팅의 목적은 테스트의 상황이나 관점에 따라 달라질 수 있다.
1. 개발 과정: 소프트웨어의 결함을 찾아내고 수정하기 위해서 가능한 많은 장애의 원인을 발생시킴.
2. 인수 과정: 사용자에게 예상된 대로 시스템이 동작하는지 확인하고, 요구사항에 맞는지 확신을 얻는 과정.
3. 품질 평가: 특정 시간에 시스템을 출시하는 것의 리스크를 개발 프로젝트 관련자에게 전달.
4. 유지 보수: 변경사항을 추가적으로 개발하는 중에 새로운 결함이 유입되었는지 확인하는 테스팅 과정 포함.
5. 운영 과정 : 신뢰성 또는 가용성과 같은 시스템의 특성을 평가.
테스팅은 문서의 리뷰와 함께 정적 분석에 의한 테스트 포함한다.