[AI 혁명, 인간 이후의 시대 ⑬] 인간 중심 설계의 필요성

인공지능(AI)이 인간의 판단을 대신하는 영역이 빠르게 넓어지고 있다. 기업은 AI를 활용해 지원자의 이력서를 분석하고, 병원에서는 의료진이 질병을 진단하는 데 AI의 도움을 받는다. 금융기관은 대출 심사에 알고리즘을 활용하고, 공공기관 역시 행정업무와 민원 처리에 AI를 도입하고 있다. 과거에는 사람이 정보를 검토하고 결정을 내렸던 일들이 이제는 데이터와 알고리즘을 통해 처리되는 시대가 열리고 있다.

이러한 변화는 분명 편리함을 가져온다. 사람이 오랜 시간 검토해야 했던 자료를 빠르게 분석하고, 복잡한 업무를 자동화하며, 이전에는 발견하기 어려웠던 문제를 찾아낼 수도 있다. 그러나 기술이 더 정확하고 효율적으로 작동한다고 해서 그 결과가 언제나 인간에게 바람직한 것은 아니다.

가령 AI가 채용 과정에서 특정 지원자를 부적합하다고 판단했다면 그 사람은 왜 탈락했는지 알 수 있을까. 대출 심사에서 거절된 사람은 판단의 근거를 이해하고 잘못된 정보를 바로잡을 수 있을까. 의료 AI가 제시한 치료 방향에 환자가 동의하지 않는다면 누구의 판단이 우선해야 할까.

이러한 질문은 AI가 얼마나 뛰어난 기술인지를 묻는 것과는 다르다. 기술이 인간의 삶에 깊이 들어올수록 우리는 그 기술이 누구를 위해 만들어졌으며, 누구의 권리와 선택을 보호하도록 설계됐는지 살펴봐야 한다.

바로 이 지점에서 인간 중심 설계(Human-Centered Design)의 중요성이 드러난다.

인간 중심 설계란 무엇인가

인간 중심 설계는 기술이나 제품을 만드는 과정에서 사용자의 필요와 특성, 실제 이용 환경을 충분히 이해하고 이를 설계에 반영하는 접근 방식이다.

국제표준화기구(ISO)의 ISO 9241-210은 인간 중심 설계를 인간과 시스템의 상호작용을 다루는 설계 접근법으로 설명한다. 사용자의 요구와 이용 환경을 이해하고, 설계 과정에 사용자를 참여시키며, 평가 결과를 반영해 시스템을 개선하는 것이 주요 원칙이다.

쉽게 말하면 기술을 먼저 만든 뒤 사람이 그 기술에 적응하도록 요구하는 것이 아니라, 사람이 실제로 무엇을 필요로 하는지 살펴보고 그에 맞게 기술을 만드는 것이다.

예를 들어 고령자가 사용하는 병원 예약 시스템을 생각해 보자. 개발자의 입장에서는 여러 기능을 하나의 화면에 담고 빠르게 예약을 처리할 수 있도록 만드는 것이 효율적일 수 있다. 그러나 작은 글씨를 읽기 어렵거나 복잡한 메뉴에 익숙하지 않은 고령자에게는 오히려 사용하기 불편한 시스템이 될 수 있다.

이때 필요한 것은 기능을 더 많이 추가하는 일이 아니라 실제 이용자의 경험을 이해하는 것이다. 글씨를 쉽게 읽을 수 있는지, 안내 문구를 이해할 수 있는지, 잘못된 버튼을 눌렀을 때 이전 단계로 돌아갈 수 있는지 등을 살펴야 한다.

AI 시스템에서는 이러한 문제가 더욱 복잡해진다. AI는 단순히 사용자가 입력한 명령을 수행하는 데 그치지 않고, 데이터를 분석해 예측하거나 판단을 제시하기 때문이다.

따라서 AI의 인간 중심 설계는 화면을 편리하게 만드는 문제를 넘어 인간의 권리와 안전, 자율성, 공정성까지 고려하는 방향으로 확장될 필요가 있다.

AI의 판단이 정확해도 문제가 발생할 수 있다

AI의 성능을 평가할 때 흔히 사용하는 기준은 정확도와 처리 속도다. 얼마나 많은 데이터를 분석할 수 있는지, 예측 결과가 얼마나 정확한지, 사람이 수행하는 업무보다 얼마나 빠른지가 중요한 지표로 활용된다.

그러나 인간의 삶에 영향을 미치는 판단에서는 정확도만으로 충분하지 않다.

의료 분야를 생각해 보자. AI가 영상검사 자료를 분석해 특정 질환의 가능성을 제시할 수 있다. 이러한 기술은 의료진이 이상 징후를 발견하거나 진단을 보조하는 데 도움을 줄 수 있다.

하지만 환자의 상태는 검사 결과 하나로만 설명되지 않는다. 기존 질환과 복용 약물, 생활환경, 치료에 대한 개인의 선호와 경제적 여건 등 다양한 요소가 함께 고려돼야 한다.

AI가 통계적으로 가장 적절한 치료 방향을 제시하더라도 환자가 감당하기 어려운 부작용이나 생활상의 부담이 있다면 다른 선택이 필요할 수 있다.

채용 과정에서도 비슷한 문제가 발생한다. 과거 채용 데이터를 학습한 AI가 특정 경력이나 학력, 근무 이력을 가진 지원자를 선호하도록 작동한다면 기존의 편향이 새로운 채용 과정에 반영될 수 있다.

과거의 데이터가 반드시 공정한 판단의 기준이 되는 것은 아니다. 데이터에 사회적 불평등이나 차별이 포함돼 있다면 AI는 이를 학습하고 반복할 가능성이 있다.

문제는 AI가 이러한 결과를 빠르고 일관되게 만들어낸다는 점이다. 인간의 편향이 개별적인 판단에서 나타났다면 알고리즘의 편향은 하나의 시스템을 통해 많은 사람에게 반복적으로 영향을 미칠 수 있다.

결국 AI의 정확도가 높다는 사실과 그 판단이 공정하고 바람직하다는 사실은 구분해야 한다.

인간의 통제권은 어디까지 보장돼야 할까

인간 중심 AI를 논의할 때 중요한 개념 가운데 하나는 인간의 감독과 통제(Human Oversight)다.

AI가 정보를 분석하고 판단을 제시하더라도 그 결과를 검토하고 필요할 경우 수정하거나 거부할 수 있는 권한이 인간에게 남아 있어야 한다는 것이다.

다만 모든 AI 시스템에 동일한 수준의 인간 개입이 필요한 것은 아니다. 음악을 추천하거나 문서의 맞춤법을 검사하는 기능과 의료 진단, 채용, 대출 심사처럼 개인의 삶에 중대한 영향을 미치는 시스템을 같은 기준으로 관리할 수는 없다.

위험이 큰 영역일수록 인간의 감독과 이의제기 절차를 더욱 중요하게 고려해야 한다.

유럽연합(EU)의 AI법(AI Act)은 이러한 위험 기반 접근을 제도화한 사례다. 이 법은 AI의 활용 목적과 위험 수준에 따라 의무를 달리 정하고, 고위험 AI 시스템에 대해서는 인간의 감독과 위험관리, 데이터 관리, 기록 유지 등 여러 요건을 규정하고 있다.

특히 인간의 감독은 단순히 사람이 최종 승인 버튼을 누르는 절차로 이해해서는 안 된다.

담당자가 AI의 판단 근거를 충분히 이해하지 못하거나 결과를 검토할 시간과 권한이 없다면 형식적으로 사람이 개입하더라도 실질적인 통제가 이뤄졌다고 보기 어렵다.

AI가 제시한 결과를 무조건 신뢰하는 현상도 주의해야 한다. 이를 자동화 편향(Automation Bias)이라고 한다. 사람은 컴퓨터가 제시한 결과를 객관적이고 정확한 판단으로 받아들이는 경향이 있으며, 그 과정에서 오류를 발견하지 못할 수 있다.

따라서 인간 중심 설계에서는 사람이 언제 개입해야 하는지뿐 아니라 AI의 판단을 비판적으로 검토할 수 있는 정보와 권한을 갖추고 있는지도 중요하다.

설명할 수 없는 결정은 신뢰받을 수 있을까

AI가 일상적인 의사결정에 활용되면서 설명 가능성(Explainability)도 중요한 과제로 떠오르고 있다.

대출을 신청한 사람이 AI 심사 결과에 따라 거절 통보를 받았다고 가정해 보자. 금융기관이 단순히 알고리즘의 판단이라는 이유만 제시한다면 신청자는 어떤 정보를 보완해야 하는지, 잘못된 자료가 사용됐는지 알기 어렵다.

채용이나 복지급여 심사에서도 마찬가지다. 개인의 권리와 기회에 영향을 미치는 결정이라면 당사자가 결과를 이해하고 필요한 경우 문제를 제기할 수 있어야 한다.

그러나 모든 AI 모델의 내부 작동 과정을 일반인이 완전히 이해할 수 있는 형태로 설명하는 것은 쉽지 않다. 특히 복잡한 기계학습 모델은 수많은 변수와 계산을 거쳐 결과를 만들어내기 때문에 특정 판단의 원인을 단순하게 설명하기 어려울 수 있다.

그렇다고 설명이 어렵다는 이유로 책임까지 사라지는 것은 아니다.

시스템을 개발하고 운영하는 기관은 AI가 어떤 목적으로 사용되는지, 어떤 데이터와 기준이 판단에 영향을 미치는지, 어떤 한계와 오류 가능성이 있는지 적절한 수준에서 알려줄 필요가 있다.

무엇보다 중요한 것은 결과에 문제가 발생했을 때 이를 바로잡을 수 있는 절차다.

AI의 판단을 설명하는 것과 잘못된 판단을 시정하는 것은 서로 연결돼 있다. 당사자가 문제를 제기할 수 없고 담당 기관도 결과를 검토하거나 수정할 수 없다면 설명만으로는 충분한 권리 보호가 이뤄지기 어렵다.

누구도 소외되지 않는 AI를 만들 수 있을까

인간 중심 설계가 필요한 또 다른 이유는 사람마다 기술을 이용하는 조건이 다르기 때문이다.

같은 AI 서비스를 사용하더라도 연령과 장애 유무, 언어 능력, 디지털 기기 사용 경험, 경제적 환경에 따라 이용의 편리함과 접근성은 크게 달라질 수 있다.

젊은 이용자에게 익숙한 음성 명령이나 복잡한 화면 구성이 고령자에게도 편리한 것은 아니다. 시각장애인에게는 화면의 정보를 음성으로 전달하는 기능이 필요할 수 있고, 청각장애인에게는 음성 안내를 문자로 확인할 수 있는 기능이 중요하다.

언어와 문화적 차이도 고려해야 한다. 특정 언어의 데이터를 중심으로 학습한 AI는 다른 언어를 사용하는 사람의 표현을 충분히 이해하지 못할 수 있다. 지역이나 문화에 따라 같은 말이 서로 다른 의미로 사용되는 경우도 있다.

이러한 문제는 단순히 사용자의 불편함에 그치지 않는다. AI가 교육과 의료, 금융, 공공서비스의 주요 통로가 될수록 기술에 접근하기 어려운 사람은 필요한 정보와 서비스를 이용하는 데 불리한 위치에 놓일 수 있다.

디지털 기술의 발전이 오히려 기존의 사회적 격차를 확대할 가능성이 있는 것이다.

인간 중심 설계에서는 평균적인 이용자만을 기준으로 삼지 않는 태도가 필요하다. 다양한 연령과 능력, 생활환경을 가진 사람들이 실제로 시스템을 이용할 수 있는지 살펴야 한다.

기술을 잘 사용하는 사람에게만 편리한 AI가 아니라 도움이 필요한 사람도 배제하지 않는 AI를 만드는 것이 중요하다.

인간 중심 AI를 위한 국제사회의 움직임

인간 중심 AI는 단순한 기술 개발 원칙을 넘어 국제사회의 주요 정책 과제로 자리 잡고 있다.

경제협력개발기구(OECD)는 2019년 AI 원칙을 채택하고 2024년 이를 개정했다. 이 원칙은 포용적 성장과 지속가능한 발전, 인권과 민주적 가치의 존중, 투명성과 설명 가능성, 견고성과 안전성, 책임성 등을 강조한다.

유네스코(UNESCO) 역시 2021년 ‘인공지능 윤리에 관한 권고’를 채택했다. 이 권고는 인간의 존엄성과 인권, 환경과 생태계의 보호, 다양성과 포용성 등을 AI의 개발과 활용 과정에서 고려해야 할 가치로 제시한다.

미국 국립표준기술연구소(NIST)는 2023년 AI 위험관리 프레임워크(AI RMF 1.0)를 발표했다. AI 시스템의 신뢰성을 높이기 위해 유효성과 신뢰성, 안전성, 보안과 복원력, 설명 가능성, 개인정보 보호, 공정성과 편향 관리 등을 함께 살펴보도록 제안했다.

이러한 국제적 논의는 서로 다른 제도와 접근법을 취하고 있지만 공통적인 방향을 보여준다.

AI의 성능을 높이는 것만으로는 충분하지 않으며, 기술이 사회에 미치는 영향을 고려하고 위험을 관리할 수 있는 체계가 필요하다는 것이다.

다만 국제기구의 권고와 각국의 법률은 법적 구속력과 적용 범위가 서로 다르다. 원칙을 선언하는 것과 실제 현장에서 이를 이행하는 것은 별개의 과제다.

기업은 AI를 어떻게 설계하고 운영해야 할까

인간 중심 AI를 실현하기 위해서는 기술 개발 초기부터 사람에게 미칠 영향을 검토해야 한다.

기업이 고객 상담 AI를 도입한다고 가정해 보자. 상담 시간을 줄이고 운영비용을 절감하는 것은 중요한 목표일 수 있다. 그러나 고객이 복잡한 문제를 해결하지 못했을 때 사람 상담원에게 연결할 수 없다면 서비스의 효율성이 높아졌다고만 평가하기 어렵다.

AI가 잘못된 안내를 제공했을 때 이를 수정하는 절차도 필요하다. 고객이 같은 문제를 반복해서 설명해야 하거나 자동응답 시스템 안에서 해결책을 찾지 못한다면 기술 도입의 혜택은 제한적일 수 있다.

직원들이 사용하는 AI 시스템도 마찬가지다. 업무 속도를 높이는 기능을 도입하더라도 직원이 결과를 검토하고 수정할 수 있는 시간이 충분히 보장되지 않는다면 오히려 새로운 부담이 발생할 수 있다.

특히 기업은 AI가 제시한 판단에 문제가 생겼을 때 누가 책임지고 대응할 것인지 명확히 해야 한다.

개발자는 시스템의 기술적 한계와 오류 가능성을 검토해야 하고, 운영자는 실제 이용 과정에서 발생하는 문제를 확인해야 한다. 경영진은 AI 도입의 경제적 효과뿐 아니라 이용자와 노동자에게 미치는 영향도 함께 살펴야 한다.

이용자의 의견을 반영하는 과정 역시 중요하다. 시스템을 개발할 때부터 다양한 사용자를 참여시키고, 실제 운영 이후에도 불편과 오류를 지속적으로 확인해 개선하는 방식이 필요하다.

인간 중심 설계는 제품을 출시하기 전에 한 번 점검하고 끝내는 절차가 아니다. 기술이 사용되는 동안 반복적으로 검토하고 개선해야 하는 과정이다.

인간을 위한 기술은 무엇을 기준으로 평가해야 할까

AI의 발전은 앞으로도 계속될 것이다. 지금보다 더 많은 업무를 수행하고, 더욱 복잡한 문제를 해결하며, 인간의 판단을 보조하는 수준을 넘어 상당한 자율성을 갖춘 시스템도 확대될 수 있다.

그러나 AI가 할 수 있는 일이 늘어난다는 사실과 그 일을 AI에 맡기는 것이 바람직하다는 판단은 구분해야 한다.

어떤 업무는 자동화하는 것이 사람의 부담을 줄이고 서비스의 질을 높일 수 있다. 반면 어떤 결정은 인간의 경험과 가치판단, 당사자의 의사를 충분히 고려해야 한다.

특히 의료와 복지, 교육, 고용처럼 개인의 삶에 직접적인 영향을 미치는 영역에서는 효율성만을 기준으로 기술 도입을 결정하기 어렵다.

우리가 살펴야 할 것은 AI가 얼마나 빠르게 판단하는가뿐 아니라 그 판단으로 영향을 받는 사람이 자신의 권리를 충분히 보호받고 있는가이다.

AI가 제공하는 편리함이 모든 사람에게 고르게 돌아가는지, 잘못된 결과를 수정할 수 있는지, 중요한 결정에 대해 인간이 실질적인 통제권을 갖고 있는지도 함께 평가해야 한다.

이러한 기준은 기술 발전을 방해하기 위한 것이 아니다. 오히려 사람들이 AI를 신뢰하고 안전하게 활용할 수 있도록 만드는 조건이다.

AI 이후의 시대, 중심에는 누가 있어야 할까

인간 중심 설계는 기술보다 인간이 언제나 더 정확한 판단을 내린다는 주장과는 다르다. 사람 역시 편견을 가질 수 있고, 실수하거나 잘못된 결정을 내릴 수 있다. 어떤 분야에서는 AI가 인간보다 더 빠르고 정확하게 정보를 분석할 수도 있다.

중요한 것은 인간과 AI 가운데 누가 더 뛰어난지를 가리는 일이 아니다. 각각의 장점과 한계를 이해하고, 인간에게 도움이 되는 방향으로 역할과 책임을 설계하는 것이다.

AI가 반복적인 업무를 줄여준다면 사람은 더 많은 시간을 창의적인 활동이나 돌봄, 인간관계에 사용할 수 있을 것이다. 의료진은 자료 분석에 들이는 시간을 줄이고 환자와 충분히 대화할 수 있으며, 교사는 학생마다 다른 학습 상황을 살피는 데 더 많은 관심을 기울일 수도 있다.

하지만 이러한 변화가 저절로 실현되는 것은 아니다. 기술이 절약한 시간이 인간의 여유로 이어질지, 아니면 더 많은 업무와 성과를 요구하는 수단이 될지는 기술을 도입하고 운영하는 방식에 따라 달라진다.

따라서 AI의 미래를 논의할 때는 무엇을 자동화할 수 있는가라는 질문과 함께 무엇을 인간에게 남겨두어야 하는가라는 질문도 필요하다.

인간이 직접 판단해야 할 영역은 어디까지인지, AI가 제시한 결과에 이의를 제기할 권리는 어떻게 보장할 것인지, 기술을 이용하기 어려운 사람을 위해 어떤 대안을 마련할 것인지 사회적 논의가 이어져야 한다.

앞으로의 AI는 더욱 정교해지고 인간의 능력에 가까워질 수 있다. 그러나 기술의 발전 방향을 결정하는 것은 여전히 인간 사회의 선택에 달려 있다.

AI 혁명의 성패는 기계가 얼마나 인간을 닮아가는가에만 달려 있지 않다. 기술이 발전할수록 인간의 선택권과 존엄성이 얼마나 존중되고, 그 혜택을 얼마나 많은 사람이 누릴 수 있는가에 달려 있다.

인간 중심 설계가 필요한 이유는 결국 하나다. AI가 인간을 대신하는 시대가 오더라도, 그 기술이 존재하는 이유만큼은 인간의 삶을 더 나아지게 하는 데 있어야 하기 때문이다.