분류트리방법과 상태천이시험법을 결합한 모터제어기의 체계적인 기능 시험 방법

2.1 상태천이시험법

많은 임베디드 시스템은 상태기반의 동작 특성을 가지고 있다. 해당 기능이 상태에 기반한 것이라면, 명세화 단계 혹은 설계 단계에서 상태를 모델링하여 사용한다. 이 상태기반 모델은 물론 시험 단계에서도 활용할 수 있다.

상태기반의 모델은 일반적으로 상태도로 표시한다. 이와 동등하지만 다른 표현 방법인 상태-이벤트 테이블, 혹은 액티비티 차트로도 표현할 수 있다. 상태기반 동작을 테스트하는 방법은 상태 천이에 영향을 주는 입력 이벤트와 조건을 시스템에 인가하여 주고, 올바른 상태로 천이되고 출력되는 지를 확인하는 것이다. 여러가지 상태기반 시험 방법들 중에 모든 상태와 천이를 전체 커버리지로 시험할 수 있는 상태천이시험 기법이 널리 사용되고 있다.⁵⁾

상태천이시험기법은 다음과 같은 절차로 이루어진다.

(1) 상태-이벤트 테이블 구성: 상태도를 활용하여 각 상태에서 이벤트 입력에 대하여 어떻게 다음 상태로 천이해 가는지 테이블로 구성한다. 각 상태 천이에 대하여 고유한 식별자를 할당하여 구분지어 놓는다. 상태-이벤트 테이블은 상태도와 등가의 의미를 갖는다. 상태-이벤트에 대하여 모든 커버리지를 확인하기 위하여 테이블을 구성하는 것이다. 간단한 경우라면 상태-이벤트 테이블을 생략할 수도 있다.

Fig. 1에 예시로 준비(Ready), 동작(Run), 오류(Fault) 상태를 갖는 간단한 시스템의 상태도를 나타내었다. 이 시스템은 천이 화살표 위에 표시된 이벤트가 발생하였을 경우 다음 상태로 천이하게 된다. 이 시스템을 상태-이벤트 테이블로 표현하면 Table 1과 같이 나타낼 수 있다.

Fig. 1

State diagram example

Table 1

State-event table example

(2) 상태천이트리 구성: 초기 상태가 천이트리의 시작점(Root)이 된다. 이 시작점으로 부터 천이되는 상태들로 다음 레벨 상태들을 나열한다. 상태-이벤트 테이블에서 붙여놓은 식별자를 각 천이화살표에 표시한다. 천이결과 상태가 초기 상태나 이미 트리에 나와 있는 상태라면(이 점을 조건부 종료점, Provisional Terminal Point, 라 한다) 여기서 중지하고, 아니면 위의 단계를 계속 반복한다.

Fig. 2는 예시 시스템의 상태천이트리이다. 초기상태인 Ready에서 시작하여 초기상태인 Ready 혹은 조건부 종료점인 Fault 상태에서 마치게 된다.

Fig. 2

State transition tree example

(3) 유효한(Legal) 테스트 케이스에 대한 시퀀스 구성: 상태천이트리를 사용하여 모든 경로를 지나갈 수 있도록 시퀀스를 구성한다. 각 테스트 시퀀스는 시작점에서 시작하여 시작점에서 종료하여야 한다.

Table 2에 예시 시스템의 유효한 상태 천이 시퀀스를 나타내었다. L1.1 - L1.3와 L2.1 - L2.2 - L2.3 그리고 L3.1 - L3.2, 이렇게 3개의 유효한 시퀀스를 구성할 수 있다.

Table 2

Legal transition sequence example

(4) 무효한(Illegal) 테스트 케이스에 대한 시퀀스 구성: 상태-이벤트 조합에서 상태 천이를 일으키지 않는 경우에 대하여 테스트 시퀀스를 구성한다. 해당 상태로 천이 시키기 위해서는 유효한 테스트 케이스를 사용하고, 그 상태에서 반응을 보이면 안되는 이벤트들을 나열한다.

Table 3에 무효한 테스트 시퀀스를 구성하였다. I1- I2와 I3-I4, 그리고 I5-I6-I7 이렇게 3개의 시퀀스를 구성할 수 있다. 이 무효 시퀀스는 개별적으로 실행하는 것이 매우 어려우므로, 해당 상태로 천이시키는 유효 시퀀스와 결합하여 실행한다.

Table 3

Illegal transition sequence example

상태천이시험방법은 상태를 가지고 있는 시스템의 상태와 천이 조건들에 대하여 커버리지를 고려하여 확실하게 시험할 수 있는 방법이다. 이 방법이 보편화 되어 자동으로 시험 케이스를 도출하는 방법까지 나와 있다.^4,10)

그러나 위의 예에서 보았듯이 시험을 위해서 여러 가지 그림과 테이블을 구성해야 하고 이것들을 체계적으로 관리하여야 한다. 또한 이 방법은 이산-이벤트 동적 기능의 경우에는 전형적으로 적용이 가능하지만, 단순 입력 기능과 연속변수 동적 시스템의 기능에 대해서는 직접적인 적용이 불가능 한다.

2.2 분류트리방법

분류트리방법은 여러개의 입출력에 대한 시험을 체계적으로 관리하는 기법으로 1993년도에 Grimm과 Grochtmann에 의해 제안되어 소프트웨어 혹은 시스템 시험의 여러 단계에서 활발하게 사용되고 있다.⁷⁾ 최초의 분류트리방법은 소프트웨어의 기능 시험을 위한 것으로 제안되었지만 향후 임베디드 시스템의 시험을 위한 것으로 확장되었다.⁸⁾ 이 확장된 제안에서는 단순한 시험 케이스에 대한 관리 뿐만 아니라 각 시험 케이스를 나열한 테스트 시퀀스 개념, 각 스텝의 유지 시간, 그리고 스텝을 넘어가는 단계에서 신호의 천이 방법에 대한 구체적인 표기법 등이 보완되었다. 최근에는 이 방법을 지원하는 상용 프로그램도 나오고 있다.¹¹⁾

분류트리방법은 크게 입력을 분류하여 트리를 만드는 단계와 각 입력 클래스를 조합하는 단계로 구성된다(Fig. 3).

Fig. 3

Classification tree example

첫번째 분류트리를 만드는 단계에서는 시험과 관련된 입력을 인지하고 이것으로 분류(Classification)를 만들고 각 분류 내에 클래스(Class)을 결정한다. 시스템의 기능 명세서, 사용예 등 정보를 참고하여 시험자가 분류트리를 결정 한다. Fig. 3은 입력이 3가지가 있는 기능에 대하여 분류트리를 구성한 예제이다. 각 입력의 유효한 범위를 인식하고, 출력에 영향을 미치는 클래스로 나눈다. 예를 들어 Fig. 3에서 ‘Test Input A’는 A1, A2, A3의 클래스를 갖고 있다.

두번째 단계에서는 각 분류의 클래스들을 조합하여 표를 구성하고 모든 클래스를 커버할 수 있도록 나열하여 시험케이스들을 도출한다. 이때 분류들 간에 상관관계를 논리합으로 혹은 논리곱으로 고려할 수 있다. 논리합의 관점으로 도출한다면 제일 큰 분류의 클래스 개수 만큼의 시험 케이스를 도출하게 되고, 논리곱 관점으로 고려한다면 각 분류의 클래스 개수의 곱 만큼 시험 케이스를 도출하게 된다. Fig. 3의 경우에서는 ‘Test Input A’와 ‘Test Input C’가 각각 3개의 클래스를 가지고 있다. 논리합 관점에서 유도한다면 최소 3개의 시험 케이스만 있다면 전체 입력 공간을 확인할 수 있는 시험 케이스를 만들 수 있다. 논리곱 관점으로 시험 케이스를 유도한다면 총 18가지 (A의 3가지 × B의 2가지 × C의 3가지) 시험 케이스를 만들 수 있다. 위의 예는 시퀀스를 사용하여 이를 절충한 6가지의 시험 케이스를 유도한 것이다.

분류트리방법은 시험과 관계된 많은 정보들을 그래픽한 방법으로 표현할 수 있다는 장점이 있다. 특히 개별적인 입력과 조합을 일목요연하게 표현할 수 있다. 이 표현 방법은 시험의 설계 단계부터 최종 보고 단계에 이르기 까지 매우 유용하게 사용할 수 있다.

그러나 규모가 큰 시스템이거나 상태를 갖는 복잡한 시스템의 경우에는 시험자의 직관과 경험에 의존하고 있는 요소들이 있다. 시험대상의 입력이 많을 경우에는 시험자가 임의로 시험을 분할해서 관리 가능한 크기로 조정하여야 한다. 아울러 단순 동작에 대해서는 잘 설명되어 있으나, 상태를 갖는 복잡한 동작에 대해서는 구체적인 적용방법을 제시하지 않고 있다.

3.1 입출력과 상태 결정

첫단계로 명세서와 사용예를 분석하여 시험 대상의 입출력을 정확히 인식하고 시스템의 상태를 결정한다.

각 입력의 범위와 단위 인식하고, 단순 동작 관련 입력인지, 이산 상태를 결정하는 입력인지, 연속변수 동적 기능과 관련된 입력인지 구분하여야 한다. 시스템의 출력의 경우 내부적인 피드백을 통해서 시스템의 상태에 영향을 미치는 경우라면 이것 또한 입력으로 간주한다.

이산 상태의 경우에는 상태기계로 직접적으로 모델링하여야 한다. 명세서에 명시적으로 표현되어 있지 않더라도 시험케이스 도출을 위하여 모델링하는 것이 더욱 효율적이다. 연속변수 동적 기능은 대부분 성능 시험과 직접적인 연관을 가지고 있으나 기능시험 단계에서도 제한적으로 기능을 시험할 수 있다. 정상상태, 혹은 과도상태를 활용하여 시험을 위한 상태기계로 표현한다.

출력을 결정하는 입력이 많은 경우 모든 입력을 한꺼번에 고려하면 트리가 너무 커져서 관리가 어렵다. 이런 경우 입력의 상호 의존성과 시험의 편의성을 고려하여 시험 그룹으로 나누어 관리하는 것이 효율적이다.

Fig. 5는 출력주파수 기능에 대하여 입출력을 표현한 블록선도이다. 주파수 출력을 결정하기 위하여 총 5가지의 입력이 관련되어 있다. 명시적이지는 않지만 주파수 지령치와 주파수 출력치를 비교하여 가속/감속구간의 운전 상태를 결정짓는다. 그러므로 주파수 출력치 또한 피드백이 되는 입력으로 볼 수 있다. 이 입력들의 속성을 살펴보면, 가속시간, 감속시간 입력은 단순 동작을 결정하는 입력으로 볼 수 있고, 운전/정지, 운전 방향 입력은 이산 상태를 결정하는 입력이 된다. 그리고, 주파수 지령치, 주파수 출력치는 연속변수 동적 기능을 결정하는 입력이 된다. Table 5에 입출력들과 관련된 속성들을 요약하였다.

Fig. 5

Input/Output determination

Table 5

Input/Output properties

주파수출력 기능에 대하여 상태기계로 모델링 하면 Fig. 6과 같다. 운전/정지 입력은 이산상태를 결정하는 입력으로 볼 수 있다. 운전 방향 입력은 운전 상태에서 회전 방향을 결정짓는 조건이 되며, 주파수 지령치와 주파수 출력치 또한 4개의 운전 상태를 결정하는 조건이 된다. 운전 방향과 주파수 조건에 따른 상태들은 모두 운전 상태의 하위 상태로 간주할 수 있으며, 이 두가지 조건은 서로 병렬적으로 동작하게 된다.

Fig. 6

State diagram

Fig. 7에 시험과 관련된 분류트리를 나타내었다. 이 예에서는 운전/정지와 운전 방향 입력 만을 가지고 이산상태에 대한 시험 그룹과 주파수 지령치와 가속/감속시간 입력을 가지고 연속변수 동적 기능에 대한 시험 그룹으로 나누어서 관리하고자 한다.

Fig. 7

Test groups

3.2 시험 입력 분할

각 입력의 유효하고 의미있는 시험값을 결정하여 분류트리를 구성한다. 입력의 유효한 범위 내에서 서로 중첩되지 않고 전체 범위를 대표할 수 있도록 분할한다. 각 분할 구간을 대표하는 입력 값을 선정한다. 단순 동작 기능과 관련된 입력은 동등 분할, 경계값 분석 등의 방법을 활용한다. 상태천이와 관련되는 입력은 다음 단계의 시나리오 구성과 밀접한 관련이 있으므로 세심한 관리가 필요하다.

예제의 입력 중에 분할한 값들의 결과를 요약하면 다음과 같다.

· 가속시간: [0.1, 30, 3000]
· 가속시간: [0.1, 30, 3000]
· 운전/정지: [RUN, STOP]
· 운전 방향: [FORWARD, BACKWARD]
· 주파수 지령치: [0, 100, 200, 300]

단순입력인 가속/감속시간의 경우 경계값인 0.1, 3000을 선택하고, 사이 구간의 값 중에 시험의 편의성을 고려하여 30을 선택하였다. 경계값 분석을 위하여 경계값 0.1과 근접한 0.2와 0.0 등을 추가적으로 선택할 수 있다. 이산 상태 동작 입력은 상태 천이에 영향을 미치는 값들을 선택하였다. 연속변수 동작 입력인 주파수 지령치는 경계값인 0과 300을 선택하고 사이값을 선택하였다. 사이값은 다시 가속, 감속 하는 경우를 시험하기 위하여 100, 200 두가지를 선택하였다.

3.3 시험 시나리오 구성

단순 기능 관련 입력만 모아서 시험을 구성해도 되고 다른 입력들과 결합하여 시험을 구성해도 된다. 시험의 편의성과 유효성을 고려하여 시험자가 구성하면 된다.

이산 상태 입력은 상태도에 따라 상태천이 이벤트와 조건들을 고려하여 상태천이트리를 구성하고 반응/무반응 시험 시퀀스를 만든다. 이 시험 시퀀스를 분류트리방법의 시퀀스를 사용하여 표현한다.

연속변수 동적 입력의 경우에도 상태천이 조건과 시간을 고려하여 상태천이트리를 구성하고 시험 시퀀스를 구성한다. 상승시간, 안정화 시간과 같은 과도상태에 대한 기능 요구 사항을 고려하여야 하고, 정상상태에 도달한 경우도 연속 변수 값의 허용범위를 고려하여야 한다.

주파수 출력기능의 예에서 이산 상태 입력에 대한 상태천이트리와 이것을 사용한 시험시퀀스를 Fig. 8과 Fig. 9에 각각 나타내었다. 이산상태 기능은 원래 2단계의 계층구조로 되어 있지만 시험의 편의와 이해도를 위하여 1단계로 단순화시켜서 상태천이트리를 구성하였다.

Fig. 8

State transition tree for discrete-event dynamic functions

Fig. 9

Test sequences for discrete-event dynamic functions

단순 동작 입력과 연속변수 동작 입력을 결합한 시험 그룹에 대한 상태천이트리는 Fig. 10과 같다. Fig. 11은 이 시험 그룹의 시험 시퀀스이다. 이때 상태 천이 조건에 암묵적으로 영향을 미치는 주파수 출력치를 고려하여 해당 스텝의 유지시간을 결정한다. 예를 들어 가속/감속시간이 30초인 두번째 시퀀스(SEQ2)의 STEP_A의 경우, 정지상태로 부터 최대출력의 2/3인 200[Hz]까지 도달하는 데 걸리는 시간은 기능 명세상으로 20초 정도가 걸리게 된다. 그러므로 STEP_A의 상태를 20초 이상 유지해 주어야 한다. 마찬가지로 주파수 출력의 변화를 고려하여 각 스텝의 유지시간을 설정해 준다.

Fig. 10

State transition tree for continuous-variable dynamic functions

Fig. 11

Test sequences for continuous-variable dynamic functions

3.4 시험 데이터 결정

앞서 결정한 각 시험 시나리오에 대한 구체적인 신호파형을 결정하고 각종 시험환경에서 사용할 데이터 집합을 만들어 준다.

시스템 시험의 경우에는 각 신호에 대한 변화 양상을 고려한 신호 파형이 필요하다. 이때 시험 입력의 변화 양상을 스텝, 램프, 혹은 사인파 모양 등으로 다양하게 고려해 줄 수 있다. 각 신호들을 조합하여 시험입력 집합으로 만들어서 시험 대상에 공급해 주어야 한다.

주파수 출력의 예에서는 주어진 5개의 입력에 대하여 파형을 구성해 주어야 한다. 이 예에서는 주파수 지령치가 스텝으로 변화하도록 신호 파형을 만들어 준다.