Home > Vol. 37, No. 1

디자인 연구소의 디자인 사고에 대한 성과 측정을 위한 MBO 평가 개선에 대한 연구
Research on Improvement of MBO-based Evaluation in Design Research Teams : Measuring Design Thinking as Performance
  • Soonkyu Jang : Visual Communication Design, Assistant Professor, Keimyung University, Daegu, Korea
  • 장 순규 : 계명대학교 시각디자인과 조교수, 대구, 대한민국
  • Yoonsu Kim : Rhode Island School of Design RI, MFA, USA
  • 김 윤수 : Rhode Island School of Design, 석사, RI, USA

연구배경 연구배경 MBO 고과제도는 조직의 발전과 조직원의 동기부여를 위해서, 능력과 목표 달성률에 따라 보상 체계를 달리하는 평가 제도이다. 이러한 MBO 고과제도가 올바르게 작동하기 위해서는 목표 달성률의 객관적 지표를 통한 공정한 평가가 이뤄져야 한다. 하지만 기업의 미래 전략과 방향을 제시하는 디자인 연구소의 주 업무인 디자인적 사고에 대한 평가는 객관적 지표로서 평가되기 어렵기 때문에 MBO 고과제도의 장점이 발현되는 것이 어려운 실정이다.

연구방법 연구는 디자인적 사고를 통해 조직의 미래 전략과 방향을 제시하는 제조업의 디자인 연구소를 대상으로, 전자기기를 생산하는 대기업 두 곳의 디자인 연구소에서 경력 5년 이상 전문가를 8명을 모집하여 진행하였다. 연구는 델파이를 통해서, 전문가들의 의견과 개선할 요인을 수집하였다. 연구는 MBO의 평가 요인에 대한 개선 여부를 리커트 5점 척도로, 개선할 요인과 방향에 대해서는 무형식 인터뷰로 구성하였다.

연구결과 실험은 델파이를 통해서 전문가 패널의 의견이 CVR 최솟값 0.75 이상으로 수렴되는 과정으로 진행되었다. 이 과정은 3차까지 진행되었다. 이 과정을 통해 객관적 지표로서 확인하기 어려운 디자인 연구소의 조직원의 디자인적 사고의 능력을 평가하기 위한 6가지 요인을 도출하였다. 이는 외부평가, 상대평가, 별도평가, 융합평가, 대응력, 업체의 도움 정도이다.

결론 본 연구는 기업의 성장을 유발하는 MBO 고과제도에 있어 디자인적 사고를 중심으로 한 조직에 공정한 평가와 조직원의 동기 부여를 유발하는 데 도움이 될 수 요인을 도출하였다. 위 요인은 객관적 지표로서 평가되기 어려운 디자인 연구소의 조직원 성과 평가의 척도 마련에, 그리고 기업의 디자이너 조직 문화에 도움이 될 것이다.

Abstract, Translated

Background Management by Objectives (MBO)-based evaluation is based on a differentiating reward depending on the ability and rate of achieving a goal. MBO is a system for the development of an organization and the motivation of an employee. For such a performance measurement system to work correctly, a fair evaluation must be conducted through objective indicators regarding the rate of target achievement. However, for teams at a design research center, which the main goal is to propose a future design strategy and direction for the company through design thinking, is difficult to evaluate with an objective indicator. Therefore, in organizations with design research teams, the advantages of the MBO system are questionable.

Methods The study was conducted by recruiting eight experts who have more than five years of experience in a design research team of a major electronics company. These experts have carried out projects about future design directions of the company through design thinking. This study collected expert’s opinions and factors to improve the MBO-based evaluation through Delphi. The experiment consisted of an informal interview and using a 5-point Likert-type scale, to determine whether to improve or not improve the evaluation factors of the MBO system.

Results The experiment was conducted through Delphi in which the opinions of the expert panel converged to a content validity ratio (CVR) minimum of 0.75 or higher. This process was repeated up to three rounds. Through this process, six factors were derived to more fairly evaluate the ability of design thinking, which was previously difficult to evaluate objectively. The six factors are the external evaluation, relative evaluation, separate evaluation, convergence evaluation, responsiveness, and the degree of assistance from the subcontractor.

Conclusions This study derived six factors that can facilitate a fair evaluation centered on design thinking in the MBO system for company growth. The above factors will contribute to the fair performance measurement of design research teams through a more objective evaluation of design thinking, which will help the corporate design culture of the company.

Keywords:
Design Thinking, Design Research Center, In-house Designer, MBO, Performance Measurement, Performance Appraisal System, 디자인 사고, 디자인 연구소, 인하우스 디자인, 성과 측정, 고과제도.
pISSN: 1226-8046
eISSN: 2288-2987
Publisher: 한국디자인학회Publisher: Korean Society of Design Science
Received: 22 Nov, 2021
Revised: 21 Mar, 2022
Accepted: 21 Mar, 2022
Printed: 31, May, 2022
Volume: 35 Issue: 2
Page: 167 ~ 179
DOI: https://doi.org/10.15187/adr.2022.05.35.2.167
Corresponding Author: Soonkyu Jang (jeanskyu@gamil.com)
PDF Download:

Citation: Jang, S., & Kim, Y. (2022). Research on Improvement of MBO-based Evaluation in Design Research Teams : Measuring Design Thinking as Performance. Archives of Design Research, 35(2), 167-179.

Copyright : This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0/), which permits unrestricted educational and non-commercial use, provided the original work is properly cited.

1. 서론
1. 1. 연구의 배경 및 목적

현대 사회의 기업에서는 조직원 간의 성과를 비교하여 차별화된 보상을 제시하는 조직 관리 제도를 운영하고 있다. 이는 개인의 능력과 목표 달성 여부를 타 조직원과 비교하는 성과주의 기반의 MBO(Management By Object) 고과제도다.

MBO 고과제도는 조직 구성원의 공정한 경쟁을 유발하여 기업의 성장이 빠르게 되도록 하는 장점이 있다. 하지만 평가가 공정하도록 만드는 것에는 다소 어려움이 따른다. 이는 조직원 개인의 목표 달성 여부와 성과 비교에 대한 객관적인 지표가 부족하기 때문이다.

선행 연구에서는 조직원 간의 목표 달성률 평가에 영향을 미치는 여러 외부 요인에 집중하고 있으나, 객관적 지표로 업무 성과를 평가하기 어려운 직무에 대한 연구는 부족한 실정이다. 이러한 직무로서, 현재의 문제를 예측하고 이를 해결하기 위한 전략을 도출하는 업무로 평가받는 디자인 연구소의 디자이너가 있다. 디자인 연구소는 명확하게 측정하기 어려운 디자인적 사고 능력을 평가받는 조직이다. 디자인적 사고 능력은 매출 향상 혹은 양산품의 원가 절감과 같은 정량적 비교 지표가 없기에 객관적 평가에 다소 어려움이 수반된다. 따라서, 디자인 연구소에서는 MBO 고과제도의 장점을 극대화하는 데 어려움이 따를 것이다.

이에 본 연구는 디자인적 사고를 바탕으로 기업의 미래 전략과 방향을 제시하는 디자인 연구소의 조직원 평가에 있어, MBO 고과제도의 문제를 확인하고 개선할 요인을 발굴하고자 한다. 위 과정을 통해 디자인적 사고에 대한 올바른 평가 지표 발굴과 활용 방안을 제안하여, 기업의 디자이너 및 디자인 조직 문화에 도움이 되고자 한다.

2. 이론적 배경
2. 1. MBO 고과제도

MBO 고과제도는 조직에 대한 공헌도와 개인의 업무 성과를 평가하는 보상 체계로서 연봉제의 균등성을 지양하고, 개인에 대한 공정한 평가를 지향한다. 공정한 평가는 조직원 간의 능력과 목표 달성 여부에 대한 비교로 구성된다. 이러한 비교는 조직원 간의 차별화된 임금 보상으로 직결되는데, 이는 조직원의 동기 부여와 경쟁을 유발하며 조직과 기업에 유의미한 영향을 미치게 된다.(Bae&Lee, 2004; Kim, 2005)

MBO 고과제도가 효과적으로 운용되기 위해서는 고과권자가 조직원의 능력과 업적을 객관적이고 공정하게 평가해야 한다. 문헌조사를 통해 확인한 공정한 평가를 위한 기준은 다음과 같다. McConkie(1979)는 고과권자와 조직원이 측정 가능한 목표에 대해 수립부터 최종 목표 달성까지 전 과정을 타 조직원과 비교해야 한다고 했다. Park&Shin(1999)은 고과권자가 목표 수립부터 달성까지의 전 과정을 객관적으로 비교하기 위해서 단계를 세분화해야 한다고 했다.

이러한 단계는 고과권자와 조직원이 목표 수립하고, 이를 이해하며, 목표 달성을 위한 행동의 3단계로 구분할 수 있다. 위 단계에서 고과권자 평가와 조직원의 자발적 평가의 비교를 통해서 최종 평가를 구성하게 된다. 이는 Figure 1과 같다.


Figure 1 The process of performance appraisal based on MBO (Park&Shin, 1999)
2. 2. 객관적인 업무 평가에 대한 어려움

MBO 고과제도가 효율적으로 운용되기 위해서는 공정한 평가가 필수적인데, 평가 단계를 세분화 및 고과권자와 조직원의 평가 구분을 하여도 객관적인 평가에 어려움을 미치는 요인과 상황이 존재한다. 문헌 조사를 통해 확인한 공정한 평가를 방해하는 상황은 다음과 같다.

기업이 빠른 성장과 조직의 업무 수행을 위해서 MBO 고과제도를 우선적으로 도입하고 공정성과 같은 이슈를 뒤로 하면서 발생하는 문제다. 이러한 문제 중 하나로서, 조직원이 개인의 능력보다 낮은 수준으로 목표를 설정하는 상황이 있다. 목표치를 낮게 설정하면 설정한 목표 이상으로 성과를 달성하는 데 다소 이점이 있으며, 긍정적인 평가를 받는 것이 수월해진다. 이러한 상황은 타 조직원과의 평가 상황에 있어 비교적 긍정적인 평가를 받게 하는 문제를 유발한다. 또한, 고과권자의 사적인 감정과 오랜 기간 업무를 하며 형성된 관계가 영향을 미칠 수 있다. (Kane&Freeman, 1987; Koontz&O’Donnell, 1977). Stein(1975)은 타 팀으로 전배 혹은 파견으로 조직이 이동되면 동일 업무 숙련도 및 발전에 대한 지속적 평가에 문제가 발생함을 제시했다. Muczyk(1979)는 조직원의 근속 기간 혹은 직급에 따른 업무 숙련도의 차이가 조직원을 평가하는 데 있어 공정성에 대한 문제를 유발함을 제시했다.

상기의 상황 외에도 조직원의 능력과 성과를 객관화하기 어려운 직무가 있다. 이는 디자인적 사고(design thinking)를 바탕으로 한 직무다. Brown(2008)은 디자인적 사고는 기업의 비즈니스와 고객의 니즈 사이에서 기술적인 실현 가능성, 양산 비용, 판매 가격 등 여러 제약 조건을 선행적으로 판단한 후 균형점을 찾는 능력으로 제시했다. Kim(2011)은 기업의 영업 이익, 기업 이미지, 시장 점유율 등의 성과는 디자인적 사고의 결과물과 유의미한 관계를 맺기에, 디자인을 평가할 기업의 측정 도구를 개발하는 것이 중요하다 제시했다. Kim&Park(2015)은 기업의 경쟁력에 중요한 역할을 하는 인적 자원으로서 디자인을 설명했고, 디자인 직군을 효율적으로 관리할 방법, 분위기 조성방안, 성과에 따른 보상 체계가 조직을 보다 활성화하는 방법이라 제시하였다. 하지만, Hyun(2013)은 기업에 긍정적인 영향을 미치는 업무 능력임에도 불구하고, 기업에서는 타 조직원과의 사고 능력 및 성과의 비교 분석에 있어 객관적 지표가 부족하기 때문에 평가에는 다소 어려움이 따르게 된다고 했다. Choi&Park(2011)은 기업에서 디자인 평가 기준은 디자인 결과물의 질과 양이기 때문에, 실제 결과물 자체만 평가하게 되는 한계를 제시했다. 이처럼 기업의 경쟁력에 긍정적인 영향을 미치는 디자인적 사고의 결과물은 상품의 양과 질로 평가되는 것과는 다르게 측정되기에 다소 어려운 부분이 있으며, 평가가 다소 불명확하게 진행된다면 디자인 조직을 활성화하는 데 문제가 형성될 것이다.

2. 3. 디자인적 사고 평가 요인

디자인적 사고를 바탕으로 업무하는 조직의 형태는 다양하다. Hyun(2013)은 디자인적 사고 중심의 조직을 2방향으로 구분하여 제시했다. 첫째, 양산을 통해서 기업의 매출과 성장에 직접적인 영향을 미치는 사업부 소속의 오케스트라 밴드형 조직이다. 둘째, 여러 분야의 전문가가 모여 미래를 예측하고 분석하여 전략을 도출하는 디자인 연구소의 재즈 밴드형 조직이다. 이는 Figure 2와 같다.


Figure 2 The difference in shape of design organization dependent on objective

이 중에서, 디자인 연구소의 재즈 밴드형 조직은 사업부의 오케스트라형 조직보다 조직원을 평가하는 데 어려움이 따른다. 이는 매출 향상, 원가 절감과 같이 정량적으로 비교 분석할 객관적인 기준이 존재하는 사업부와 달리, 디자인적 사고로 도출한 미래 전략은 정량적인 비교가 어렵기 때문이다. 이처럼 객관적 평가가 어려운 디자인 연구소의 조직원은 주로 디자인적 사고 능력만을 타 조직원과 비교 및 평가받게 된다.

하지만 디자인적 사고 능력은 객관적으로 평가되기가 어렵다. 이는 조직원 개인의 디자인적 사고 능력이 정보에 근거하지 못하고, 고과권자의 주관적인 판단과 기억, 선호 경향에 의존될 수 있기 때문이다. 이처럼 디자인적 사고 능력은 객관적으로 평가하기 어렵기 때문에, 객관적 평가를 바탕으로 조직원의 동기 부여와 경쟁을 유발하는 MBO 고과제도는 디자인 연구소에서 효과적이기 어려울 것으로 판단된다.

3. 연구 방법
3. 1. 연구 접근

본 연구는 기업의 미래 전략을 도출하는 디자인 연구소 조직원 상황에 집중하고자 한다. 기업에서는 임직원을 평가하는 데 있어 직군에 따라 별도의 평가 방식을 두지 않고, 동일한 방식으로 평가하고 있다. 이에 본 연구는 기업에서 디자이너를 평가하는데 있어 MBO 고과제도를 운영하는 기업의 조직원으로 한정하여 연구를 진행하고자 한다. 이는 MBO 고과제도 조직원에게 미치는 영향을 확인하고 이를 개선할 요인과 내용을 발굴하기 위함이다.

실험 진행은 디자인 연구소에서 업무 경험이 있는 전문가를 선정하여 정성 연구를 진행한다. 이는 디자인 연구소에서 MBO 고과제도로 평가받은 경험자가 문제 발굴 및 개선점을 제안할 수 있을 것이기 때문이다. 실험 진행은 합의점을 찾지 못한 그룹의 문제 진단과 해결방안을 찾는데 효과적인 델파이(Delphi)로 한다.

델파이에서 전문가 타당성을 평가하기 위한 전문가의 모집군은 3~10명이며, 실험 결과는 평가 항목의 평균치가 CVR 최소값 이상이면 타당하다고 판단된다.(Rubio et al., 2003; Yoon et al., 2010) 더하여, 델파이를 통해 확인한 정량적 평가의 결과를 보완하기 위해서, 전문가별로 5분 정도 무형식 인터뷰를 진행한다.

3. 2. 전문가 패널 선정

본 실험 결과에 미치는 영향을 최소화하기 위해 다음의 상황을 고려하여 전문가 선정을 통제하였다.

첫째, 실험에서 전문가 패널 그룹은 제조업 기반의 디자인 연구소에서 근무한 경험자로 통제한다. 이는 프로토타입을 통해서 빠르게 테스트하고 온라인을 통한 업데이트로 문제 해결을 하는 서비스 업계와 달리, 제조업은 공장에서 제품을 만드는 과정부터 납품까지 전반적인 과정에서 변화가 단기간에 일어날 수 없기 때문이다. 즉, 디자인적 사고를 통해 도출한 전략을 바탕으로 문제 해결 및 개선안을 구현하기 위해서는 다소 시간이 걸리게 될 것이며, 기업의 매출 등에 미치는 영향은 서비스업에 비해서 다소 느리게 확인될 것이다. 이러한 점을 바탕으로 명확하고 객관적인 평가가 어려울 것을 고려하여 제조업 기반 경험자로 전문가를 제한했다.

둘째, 제조업 그룹은 모바일, TV, 가전기기를 양산하는 국내 대기업의 디자인 연구소 조직원으로 통제하였다. 전자 기기는 매년 새롭게 개선된 기기를 출시하나, 자동차의 경우에는 새로운 모델 및 라인업이 등장하는 데 다소 시간이 소요되는 차이를 고려하였다.

상기의 조건을 바탕으로, 제조업인 S, L 전자 소속 디자인 연구소에서 6년 이상의 업무 경험이 있는 디자이너를 전문가로 모집했다. 본 실험에서는 고과권자를 배제하였는데, 이는 조직원의 업무 목표를 선정하고 조정할 수 있는 위치가 실험 결과에 편중된 결과를 유발할 수 있는 문제를 차단하기 위함이다. 상기 내용을 바탕으로 모집한 총 8명의 전문가는 Table 1과 같다.

Table 1
Experimental Participation Panel

Experience Position Degree Field
11 years Senior MA UI design
7 years Junior BA UI design
6 years Junior BA Product design
12 years Senior MA UX design
7 years Senior MA UX design
6 years Junior BA Product design
9 years Senior MA Package design
7 years Senior BA UI design

3. 3. 실험 요인

실험은 전문가가 인지하는 MBO 고과제도에 대한 문제를 확인하고, 이를 개선할 부분에 대해서 의견을 수렴하는 과정으로 진행한다. 델파이 진행을 위한 첫 실험에서는 MBO 고과제도의 필요성을 확인하기 위한 요인으로서 공정성에 대한 요인과 디자인적 사고 평가를 위한 요인을 구분하여 전문가에게 제시한다. 위 요인은 다음과 같다.

첫째, 기본 평가 요인이다. 이는 MBO 고과제도가 효과적으로 운용되기 위해서 필수적인 요건으로 제시된 평가의 공정성으로 설정하였다. 2.1, 2.2에서 제시된 문헌조사의 내용에서 업무 성과가 공정하게 평가되었는지 여부와 조직원과 관계에서 고과권자의 주관적 개입이 있었는지 여부를 확인한다. 둘째, 기업의 조직원에 대한 디자인적 사고 능력을 평가하기 위한 요인이다. 위 요인은 Lee(2021)가 제시한 기업 내 조직원의 디자인적 사고를 평가하기 위한 요인을 중심으로 구성하였다. 여기에는 협업 능력의 공감, 관찰, 협업 문항과 개인 능력의 통합적 사고, 지속적 개선 문항이 선정되었다. 협업 능력은 디자인적 사고를 통해서 타 조직원과 얼마만큼 어우러질 수 있는지 여부를 측정하는 내용으로 구성되었고, 개인 능력은 타 분야에 대한 개인의 이해를 바탕으로 한 빠른 시뮬레이션 도출 능력과 상상 구현 수준, 새로움을 추구하는 내용으로 구성되었다. 평가 요인은 Table 2와 같다.

Table 2
Evaluation Factors for Experiment

Category Factors Question
Basic ability Fairness The assessment of me was done fairly.
There was no intervention in superior's subjective assessment. (R)
Thinking ability Relationship with others Empathy Lead emotional communion/active emotional experience of others was evaluated.
Observation Responsibility for leading roles, understanding other people's abilities, and adaptation to the situation were evaluated.
Collaboration Active suggestion, other people's abilities were recognized.
Individual Characteristics Integrated thinking An analysis of the objectives and an evaluation of intuition were conducted.
Continuous improvement The constant process of improvement and modification to the objective was evaluated.

실험은 상기에 제시된 기업에서 조직원을 평가하는 요인과 그 내용에 대해서 전문가들이 5점 척도로 평가하고, 이에 따른 개인 의견을 전달하는 방식으로 진행된다. 전문가들이 평가한 항목의 평균값 중 CVR 최솟값 이상 요인만 도출하고, 해당 요인에 대한 전문가의 의견을 바탕으로 개선안을 다음 평가 요인으로 제안한다. 이러한 과정을 반복하며 모든 요인에 대한 평가 평균값이 CVR 최솟값 이상으로 수렴되면, 이를 최종 요인으로 정리한다.

4. 실험 결과
4. 1. 1차 델파이 결과

실험은 유선을 통해서 연구에 대한 간략한 소개와 설문지 작성 방법을 전달하는 방식으로 시작되었다. 설문지는 2021년 8월 2주차에 이메일 및 메신저를 통해 전달하였고, 평가 기한은 1주일로 요청하였다. 설문 회수율은 기한 내에 100% 응답하였다.

실험은 디자인적 사고 능력을 평가하는 데 다소 객관적이지 못하여 어려움이 따를 MBO 고과제도의 개선 방향을 도출하는 목적으로 진행하였기에, 개선되어야 할 요인에 대한 요인에 대하여 높은 점수를 부여하여 평가하였다. Soung&Hong(2010)은 피험자 8명에 대한 CVR 최솟값은 0.75로 정의하였다. 따라서 CVR 값 0.75 이하 요인들은 타당성이 없다고 판단하여 배제하였다. 결과는 Table 3과 같다.

Table 3
1st Result of Delphi

Category Factors Average CVR
Basic ability Fairness 4.11 0.82*
4.44 0.89*
Thinking ability Relationship with others Empathy 3.56 0.71
Observation 3.89 0.78*
Collaboration 3.33 0.67
Individual Characteristics Integrated thinking 3.78 0.76*
Continuous improvement 3.89 0.78*
CVR > 0.75*

1차 델파이에서는 디자인적 사고 능력의 평가에 있어 공정, 관찰, 통합적 사고, 지속적 개선 항목에 대해서 타당성이 있음을 확인하였다. 이에 해당하는 요인과 항목에 대한 무형식 인터뷰에서 도출된 개선점은 다음과 같다.

공정 요인은 개인의 사고를 타인과 명확히 비교할 기준이 없기 때문에, 사고를 하는 속도 및 아이디어 개수를 평가 기준으로 활용하여 정량적인 데이터를 바탕으로 평가해야 된다는 의견이 제시됐다. 또한, 진급 대상자가 존재하는 상황은 문제를 유발할 수 있기 때문에 별도로 업무를 측정해야 할 것임을 제시했다. 그리고 고과권자가 목표 조정에 개입할 경우, 고과권자의 편애가 타 조직원과 평가에 영향을 미칠 것이라 판단했다.

협업 능력의 관찰 요인에서 과제 구성원 마다 전공, 직군, 과제에 투입되어 문제를 관찰하고 집중한 기간이 조직원마다 다를 수 있을 것임을 제시하였다. 이는 투입된 과제의 개수 등이 다를 수 있기 때문이다. 따라서 이러한 상황은 상대적 평가에 공정성을 저해 할 것이라 의견을 제시했다.

개인 능력의 통합적 사고 요인에서는 직급 및 연차에 따라 디자인 사고 능력에 차이가 있을 것인데, 이러한 부분이 세밀하게 평가되지 못한다고 했다. 이는 동일 직급의 조직원에서도 누적 업무 연차가 다르기 때문에 형성될 문제로서 제시했다. 그리고, 지속적 개선 요인에서는 상품기획 단계 혹은 사장단의 목표 변화에 따른 빠른 사고 전환의 능력과 유관부서와 업무 진행에 있어 매끄러운 사고 전달 능력이 제대로 평가되지 못하는 문제를 제시했다. 위 의견을 정리한 문항은 Table 4와 같다.

Table 4
2nd Evaluation Factors for Experiment

Category Factors Question
Basic ability Fairness Like sales volume, there is no clear standard for evaluating ideas.
Idea of someone, who is related external factors as like promotion, is given priority.
The favoritism of the superior influences the evaluation of ideas.
Thinking ability Relationship with others Observation The superior, specialized in management, lacks the ability to evaluate ideas.
The Difference in perspective of problem-solving based period of continuous service or position isn't evaluated in detail.
Individual Characteristics Integrated thinking The differences in major and occupational groups of project members aren't expressly evaluated.
The differences in observation period and method according to the content of project aren't clearly evaluated.
Continuous improvement Quick responses and thinking, which change in external circumstances, are not evaluated.
The ability of easy explanation and smooth delivery of project for relevant departments are not evaluated.

4. 2. 2차 델파이 결과

2차 델파이는 Table 4의 내용을 바탕으로 8월 4주차에 진행하였다. 1차 결과에 대한 간략한 설명과 도출된 요인에 대한 평가를 1주일 내로 요청하였고, 설문 회수율은 100%였다. 2차 델파이에서는 수정된 문항에 대해서, 긍정적으로 작용될 요인과 그 내용에 대해서 긍정적인 답변에 높은 점수를 주었다. 이는 개선안으로 제시된 의견을 바탕으로, 디자인적 사고를 평가하기 위한 MBO 고과제도의 요인으로 반영하기 위함이다. 결과는 다음과 같다.

Table 5
2nd Result of Delphi

Category Factors Average CVR
Basic ability Fairness 4.22 0.84*
4.00 0.80*
3.89 0.78*
Thinking ability Relationship with others Observation 3.78 0.76*
3.33 0.67
Individual Characteristics Integrated thinking 3.56 0.71
3.00 0.60
Continuous improvement 3.78 0.76*
3.44 0.69
CVR > 0.75*

2차 델파이에서 공정의 전 내용, 협업 능력의 관찰에서 전공과 직군의 차이에 따라 평가 기준을 구분, 개인 능력의 지속적 개선의 시장 및 사장단 목표의 변화에 빠르게 대응하는 능력 평가 내용이 최솟값 이상이었다. 최솟값 이상에 해당하는 요인과 내용에 대한 전문가 의견은 다음과 같다.

공정에서는 공모전과 특허, 전시 등의 외부 평가 결과와 사업부 관점에서 결과물을 평가하는 방식과 같은 외부 평가 관점을 도입하자고 제시했다. 이는 디자인적 사고에 대한 가능성에 대해서 보다 객관적일 수 있는 방법으로 활용될 수 있을 것이라 예측되기 때문이라 하였다. 그리고 진급 대상자에 대한 평가 기준을 별도로 활용하자는 내용에 대해서는 타 조직원과 비교보다는 진급을 위한 객관적인 평가 등을 도입하자고 제시했다. 더하여, 상사의 편애가 미치는 영향에 대하여, 고과권자와 장기간 업무를 한 조직원에 대한 평가를 일정 부분 제약하자고 제시했다. 이를 위한 대안으로 과제를 함께 진행했던 타 조직원의 평가에 가치를 두어, 보다 면밀하게 조직원의 능력을 파악해야 한다고 했다.

협업 능력의 관찰 내용에서 전공과 직군의 차이에 따라 평가 기준을 구분하는 것에 대해서는, 직군마다 목표가 서로 다를 것이기 때문에 최종 결과물을 세분화하여 각 직군의 목표치를 재확인해야 한다고 제시했다. 이를 위해서, 상기의 공모전과 같이 각 직군별로 공모전, 특허 등의 외부 평가를 세밀화한 후 평가를 받아야 한다고 제시했다. 그리고, 협력 업체의 도움을 얼마만큼 받았는지 명확히 확인해야 한다고 제시했다. 이는 디자인적 사고에서 개인의 상상을 구체화하는 데 있어, 개인의 능력과 외부의 도움에 대해서 얼마만큼 격차가 있는지를 확인하기 위한 평가로서 제시되었다.

개인 능력의 지속적 개선 요인 중 시장 및 사장단 목표의 변화에 빠르게 대응하는 능력에 대해서는, 빠르고 유연하게 대응하는 능력에 대해서 평가되어야 할 것이라 제시했다.

상기의 전문가 패널 의견을 바탕으로 Table 6과 같이 내용을 정리하였다.

Table 6
3rd Evaluation Factors for Experiment

Factors Explain
External Evaluation - Evaluate the result such as competitions, patents
- Evaluate the perspective of development or business divisions : Useful or Necessary.
Relative Evaluation - Evaluate classifying the results such as competitions and patents, which are separately registered by job categories.
- Evaluate the result of each job categories based on classifying the perspective of development or business divisions by job groups.
Separate Evaluation - Evaluate the ability of a promotion target separately
Convergence Evaluation - Evaluate constraints considering the period of interest with the superior.
- Utilize horizontal evaluation of seniors and juniors relevant the project.
Responsiveness -Evaluate considering of changes in the situation relevant direction and schedule of tasks.
The degree of assistance from subcontractor - Consider the period of input and manpower of subcontractor for expressing design thinking as an evaluation.

정리한 내용은 다음과 같다.

첫째, 공모전과 특허 등 외부 평가의 결과를 평가 요인으로 활용하며, 프로젝트를 이행하는 유관 부서의 평가를 활용하는 ‘외부 평가’다.

둘째, 공모전과 특허 등을 직군별로 분리 후 등록하여, 직군별로 명확히 성과를 측정하기 위한 ‘상대적 평가’다.

셋째, 동일 직군에 피해자를 줄이기 위해서 진급 대상자를 별도로 평가하는 ‘진급 대상자 별도 평가’다.

넷째, 고과권자와 업무를 한 기간을 고려하여 평가 점수에 제약을 두고, 과제를 함께 한 조직원의 평가를 함께 반영하여 다방면으로 조직원의 능력을 고려하는 ‘융합 평가’다.

다섯째, 과제 투입 기간에 따른 차이와 과제의 방향이 급격히 변하는 상황에 얼마만큼 빠르게 대응하는지 확인하는 ‘대응력 평가’다.

여섯째, 조직원 개인의 디자인 사고의 구체화 능력을 명확하기 확인하이 위한 ‘협력 업체의 도움 정도 평가’다.

4. 3. 3차 델파이 결과

3차 델파이는 Table 6을 바탕으로 9월 1주차에 진행되었고, 앞선 결과를 통해 도출한 평가 요인에 대한 평가 및 개인 의견을 요청하였다. 답변 기간은 1주일이었고, 회수율은 100% 였다. 3차 델파이에서는 2차와 마찬가지로 활용될 수 있는 요인과 내용에 대해서 점수를 긍정적으로 평가하였다. 결과는 Table 7과 같다.

Table 7
3rd Result of Delphi

Factors Average CVR
External Evaluation 4.22 0.84*
Relative Evaluation 4.56 0.91*
Separate Evaluation 3.89 0.78*
Convergence Evaluation 4.00 0.80*
Responsiveness 4.11 0.82*
The degree of assistance from subcontractor 3.78 0.76*

3차 델파이에서 모든 요인에 대해서 CVR 최솟값 0.75 이상의 결과를 도출하였다. 따라서, Table 7에서 제시한 6가지 요인은 MBO 고과제도의 문제를 개선할 요인으로서 정리한다. 3차 델파이에서 전문가의 의견은 다음과 같다.

첫째, 외부 평가와 상대적 평가에서 공모전과 특허를 등록한 결과는 최소 3개월 이상 걸리기 때문에, 1년 평가 과정에서 적용되기 어렵다는 점을 고려해야 한다고 했다. 이는 MBO 고과제도가 1년 정도의 과제 기간을 바탕으로 구성되기 때문에, 과제 결과물을 공모전에 등록하여 결과를 확인하는 별도의 기간이 조직원 평가에 영향을 미치도록 스케줄을 조정해야 할 것이라 했다.

둘째, 융합 평가에서 개인의 성격이 주변 조직원에게 미치는 영향을 고려해야 한다고 했다. 이는 주변으로부터 평판이 긍정적인 조직원의 경우에는 능력보다 긍정적인 평가를 받을 수 있기 때문이라고 제시했다. 디자인적 사고 능력 평가와 조직원으로서의 주변 평가를 확실하게 구분하여야 한다고 제시했다.

셋째, 협력 업체 도움을 받을 경우, 개인의 직군과 무관한 업무를 진행하는 경우에는 디자인적 사고를 구체화하는 능력과 격차로 볼 수 없을 것으로서 제시했다.

4. 4. 소결

본 연구는 델파이 실험을 통해서 디자인적 사고 능력을 평가하는 데 있어 MBO 고과제도를 개선하기 위한 요인을 6가지로 발굴하였다. 이는 다음과 같다.

첫째, 디자인적 사고 능력 및 기업의 미래 전략을 도출한 과제 성과물 등은 공모전과 특허에 등록한 후 결과에 대한 내용과 유관 부서의 관점을 평가에 반영하는 ‘외부 평가’다. 둘째, 공모전, 특허 등록에 있어 직군 별로 구분하여 등록한 뒤, 직군 별로 평가받는 ‘상대적 평가’다. 상기의 평가 요인들은 고과권자의 주관적 판단에만 의존하지 않기 때문에, 평가에 공정성을 유지하는데 도움이 될 것이라 사료된다. 하지만 MBO 고과제도가 보편적으로 1년마다 평가되기 때문에, 과제 결과물을 공모전과 특허에 제출하고 결과를 확인하는 기간이 추가되는 상황을 어떻게 적용할지 고려해야 할 것이다.

셋째, 동일 직급에 영향을 미칠 진급 대상자를 별도로 평가하도록 별도의 평가 과정을 마련하는 ‘진급 대상자 별도 평가’다. 넷째, 고과권자와 함께 업무를 한 기간이 미치는 영향을 최소화하기 위해서 고과권자의 평가 점수를 일부 제약하며, 과제를 수행한 조직원의 평가를 적절하게 활용하는 ‘융합 평가’다. 위 요인들은 진급과 같이 특수한 상황과 고과권자의 사적인 감정이 영향을 미치는 문제에 대해서 공정함을 유지하는 데 도움이 될 것이다. 또한, 과제를 함께했던 조직원의 평가는 고과권자가 보지 못한 부분을 평가할 수 있기 때문에 일부 객관성을 유지하는 데 도움이 될 것이다. 하지만, 평가 대상자인 조직원에게 주변에 긍정적인 평판이 미칠 수 있는 영향에 대해서는 주의해야 할 것이다.

다섯째, 급작스럽게 변화하는 과제 상황에 빠르고 유연하게 대처하는 ‘대응력 평가’다. 여섯째, 디자인적 사고를 표현하는 데 있어 개인의 능력을 세밀하게 검증할 ‘업체의 도움 정도 평가’다. 이는 조직원의 직군과 동일한 분야의 협력 업체 전문가를 통해서 도움을 받는 경우에 발생하는 장애 요인을 고려한 평가 항목이다. 위 요인의 경우, 조직원과 동일하지 않은 직군의 업무를 도움 받는 경우는 별도의 기준으로 바라봐야 할 것이다.

5. 결론 및 제언

본 연구는 기업의 디자이너 중 기업의 매출과 같이 객관적으로 확인 가능한 결과물을 도출하지 않는 연구소 소속의 디자이너 평가에 집중했다. 이는 기업의 미래 전략 도출과 같은 결과물은 객관적인 평가 척도가 부족하여, 조직원의 디자인적 사고 능력을 주로 평가받게 된다. 따라서, MBO 고과제도가 효과적으로 적용되지 못할 것이다. 이에 본 연구는 디자인적 사고 평가에 도움이 될 수 있도록, MBO 고과제도의 개선점을 발굴하고자 했다.

실험은 디자인 연구소 조직원으로서 6년 이상의 업무 경험이 있는 전문가를 패널로 모집하여 진행했다. 실험 진행은 MBO 고과제도에 있어 공정성에 대한 내용과 문헌조사를 통해서 확인한 기업의 디자인적 사고 평가 요인을 전문가가 평가하고 개선을 위한 의견을 전달하는 방식으로 진행했다. 실험 과정은 전문가 평가에서 CVR 최솟값이 0.75가 넘는 요인만 도출하고, 이에 대한 의견을 바탕으로 개선안을 도출하여 다시 평가를 요청하는 과정을 반복하였다. 최종적으로 모든 요인과 내용에 대해서 최솟값 0.75가 도출되면, 그 요인들을 최종 평가 요인으로 정리하는 과정으로 진행했다. 위 과정에서 도출한 최종 요인 6가지는 다음과 같다.

공모전과 특허 혹은 사업부의 관점으로 평가를 받는 ‘외부 평가’와 직군별로 결과물을 분리하여 외부의 심사를 받는 ‘상대적 평가’다. 위 요인에서는 목표 일정 외에 달성하는 성과에 대한 기준이 필요할 것이다. 다음으로, 동일한 직군의 조직원들 비교에 영향을 미칠 수 있는 상황을 고려한 ‘진급 대상자 별도 평가’다. 그리고 고과권자와 오랫동안 업무를 하며 형성되는 사적인 감정이 미칠 수 있는 영향을 고려하여 고과권자의 평가를 일부 제한하고, 평가 대상자와 함께 과제에 참여했던 조직원의 의견을 도입하는 ‘융합 평가’다. 다음으로, 과제 투입 기간의 차이와 과제 방향의 급작스러운 변화에도 대응할 수 있는 ‘대응력 평가’와, 디자인적 사고를 표현하는 개인 능력을 평가하기 위한 ‘업체의 도움 정도 평가’로 정리되었다.

이처럼, 본 연구는 디자인적 사고 능력을 평가받는 디자인 연구소 조직원에 도움이 될 MBO 고과제도의 평가 요인 개선점을 6가지 항목으로 도출하였다. 상기의 6가지 항목을 통해, MBO 고과제도를 운용 중인 기업에서 디자인 연구소 조직원의 성과를 보다 객관적으로 판단하여, 공정한 경쟁과 기업의 발전에 긍정적인 영향을 유발하길 희망한다. 이를 통해, 기업의 디자인 문화에도 도움이 될 수 있기를 바란다.

본 연구의 한계는 업무 평가와 관련된 이해관계자로서 고과권자 및 디자인 인사 조직의 의견을 청취하지 못한 데 있다. 이에 상기 요인을 바탕으로 고과권자 및 인사의 입장에서 추가 및 보완이 되는 사항들을 확인하는 연구를 지속하고자 한다.

References
  1. 1 . Bae, M., & Lee, S. (2004). A Study on the Direction for Administration of Annual Salary System. Management & economic research institute of Korea, 22, 25-56.
  2. 2 . Bong, H. (2000). An explorative case study on obstacles in the process of introducing the MBO-based performance appraisal system in a korean bank. Proceedings of the Korean Operations and Management Science Society Fall Conference, 101-129.
  3. 3 . Brown, T. (2008). Design thinking. MA: Harvard Business Review.
  4. 4 . Choi, W., & Park, B. (2011). The Need of Design Management by Factor and Management Performance - Focused on Environemental Design Firms. Journal of Korean Society of Design Science, 24(2), 117-128.
  5. 5 . Hyun, S. (2013). (A) study on the design thinking based Organization typology for creative innovation - Focus on Team and leader level perspective. (Unpublished master's thesis). Hongik University, Seoul, Korea.
  6. 6 . Kane, S., & Freeman, A. (1987). MBO and performance appraisal : A mixture that's not solution, part 2. Personnel, 64(2), 26-32.
  7. 7 . Kim, H. (2011). The Relationship between Design and Business Performances. Journal of the Korean Society of Design Culture, 17(2), 135-144.
  8. 8 . Kim, S. (2005). The Study of the Previous Factor and Effectiveness of an Annual Salary Wage System. Research Kyunghee University, 18(1), 329-346.
  9. 9 . Kim, S., & Park, H. (2015). A Study of the application of the Product Design Developing process to environmental changes. Journal of Basic Design & Art, 16(2), 35-54.
  10. 10 . Koontz, H., & O'Donnell, C. (1977). Essentials of Management. NY: McGraw-Hill.
  11. 11 . Lee, K. (2020). A Study of Measures for Utilizing Design Thinking in Performance Evaluation in the Organization. (Unpublished master's thesis). Hongik University, Seoul, Korea.
  12. 12 . MaConkie, L. (1979). A Clarification of the Goal Setting and Appraisal Processes in MBO. Academy of Management Review, 4, 29-40. [https://doi.org/10.2307/257401]
  13. 13 . Muczyk, P. (1979). Dynamics and hazard of MBO application. The Personnel Administrator, 51-62.
  14. 14 . Park, S., & Shin, T. (1999). A Study on the Design and Adoption of MBO and Yeonbong-Je Payment System in the University Organization. Korean Association Of Human Resource Development, 1(2), 1-31.
  15. 15 . Rubio, D., Ber-Weger, M., Tebb, S., Lee, E., & Rauch, S. (2003). Objectifying content validity: Conducting a content validity study in social work research. Social Work Research, 27(2), 92-104. [https://doi.org/10.1093/swr/27.2.94]
  16. 16 . Soung, Y., & Hong, A. (2010). Analysis on the Validity of Evaluation Items for ODA Projects in Vocational Education and Training. Journal of Lifelong Education and HRD, 6(3), 45-67. [https://doi.org/10.35637/klehrd.2010.6.3.003]
  17. 17 . Stein, I. (1975). Objective Management Systems : Tow to five Years After. Implementation Personnel Journal, 525-548.
  18. 18 . Yoon, H., Kim, J., & Bang, D. (2010). dentification of Variables as the Effects of Integrated Education Using the Delphi Method. Journal of the Korean association for science education, 36(6), 959-968. [https://doi.org/10.14697/jkase.2016.36.6.0959]