지금까지 한동안 저희는 현재 사용자 평가에 대한 변화를 계획하고 있었습니다. 그리고, 우선 해결해야 할 문제들 중 하나인 '평가 폭탄'에 대한 저희의 대응 전략에 대한 생각을 여러분과 나누는 것이 좋겠다고 생각했습니다. '평가 폭탄' 이란, 특정 게임에 대한 '평가 점수'를 낮추려는 목적으로 플레이어들이 매우 짧은 기간 내에 부정적인 평가를 대량으로 게시하는 것을 말합니다. 이들은 평가를 게시하는 동시에 서로의 평가에 대해 '추천'을 누르고, 다른 평가에 대해서는 '비추천'을 누릅니다. 이 '평가 폭탄'이 도대체 왜 문제가 되는지 이해하려면, '사용자 평가' 및 평가와 연관된 '평가 점수'의 목적에 대해 생각해 봐야 합니다.

'사용자 평가'의 목적은 비교적 명확합니다. 게임을 먼저 플레이한 사람들이 잠재 고객에게 해당 게임을 구매하는 것을 추천하는지, 아니면 추천하지 않는지, 또 그 이유는 각각 무엇인지 알릴 수 있도록 허용하는 것이 그 목적이지요. 평가 기능을 처음 적용했을 때 저희는 이 기능이 있는 것만으로도 충분했으면 좋겠다고 생각했습니다. 하지만 얼마 지나지 않아, 많은 잠재 고객분들께서 요약된 형태의 평가를 원하셨고 그 요청에 따라 '평가 점수' 시스템을 만들었습니다. '평가 점수'는 게임을 구매한 사람들이 게시한 긍정적인 평가와 부정적인 평가의 비율을 나타냅니다. 이 비율은 잠재 고객이 게임을 구매했을 때 얻게 될 대략적인 만족도에 대한 정보를 제공하는 것에 그 목적이 있습니다.

그러면 여기서 평가 폭탄은 왜 문제가 될까요? 어찌 보면 평가 폭탄 현상을 일으키는 플레이어는 '사용자 평가'의 목적에 부합하는 행동을 하는 것입니다. 게임을 왜 사지 말아야 하는지 자신의 의견을 말하고 있기 때문입니다. 하지만 이 플레이어들이 비판하는 내용은 게임 자체와는 관련이 없는 문제일 수 있다는 점에 유의해야 합니다. 예를 들어, 개발자가 온라인에서 발언한 내용이 마음에 들지 않거나, 개발자가 Steam 버전을 만들면서 다른 플랫폼과 다르게 선택한 사항들에 이의가 있는 경우, 또는 개발자의 정치적 견해에 동의하지 않기 때문에 부정적인 평가를 내릴 수 있습니다. 사실, 게임 외 문제들은 게임 자체의 품질과는 큰 관련이 없습니다. 하지만 그러한 문제 중 일부는 플레이어가 게임 구매에 불만족 하는 실제 원인이 되기도 합니다.

하지만 '평가 점수' 자체의 경우에는 게임과 관련 없는 이러한 이유들이 그만큼 점수에 연관이 있는지에 대해서는 상대적으로 명확성이 떨어집니다. 평가 폭탄 현상이 평가 점수에 미치는 영향을 관찰한 결과, 그 영향은 일반적으로 감소하는 것을 볼 수 있었으며 어떤 경우에는 원래 상태를 회복하기도 합니다. 평가 폭탄 현상이 일어난 기간 동안 게시된 긍정적 평가와 부정적 평가의 비율을 측정한 데이터를 면밀히 살펴본 결과, 평가 폭탄 현상은 '평가 점수'를 일시적으로 왜곡할 뿐이라는 사실이 분명해졌습니다.

이는 평가 폭탄 현상 유발자가 개발자의 결정에 불만족해 평가를 남기더라도 이후 제품을 구매한 고객의 만족도는 이러한 평가 폭탄 현상 이전과 거의 다름없다는 것을 뜻합니다. '평가 점수'가 이전 상태로 완전히 회복되지 않는 경우에는 평가 폭탄 현상의 이유가 실제로 게임에 대한 미래 고객의 만족도에 영향을 끼쳐 새로 게임을 구매한 고객들이 게시하는 평가에 정확히 반영되었다고 확신합니다. 어떤 평가 폭탄 현상의 경우에는 해당 개발자가 커뮤니티의 불만족에 반응하여 필요한 부분을 변경하기도 했고, 어떤 경우에는 개발자가 반응하지 않기도 했습니다. 하지만 이후 '평가 점수'는 개발자의 반응 여부와 큰 관계가 없는 것으로 나타났습니다.

간단히 말해서, 평가 폭탄은 '평가 점수'가 제품을 구매했을 때 얻는 만족감의 가능성을 정확히 반영하고자 하는 목표를 달성하는 것을 어렵게 만듭니다. 이러한 문제를 해결해야 한다면 플레이어가 자유롭게 자신의 의견을 말하는 것을 막지 않는 방향으로 해결하는 것이 좋다고 생각했습니다.

그럼 저희가 생각한 해결 방법으로는 어떤 것들이 있을까요? '평가 점수' 시스템을 없애면 간단히 해결됩니다. 하지만 그럴 경우, 잠재 고객은 제품이 구매할만한 것인지 판단하기 위해 '사용자 평가'를 하나하나 직접 읽어야만 합니다. 게임 자체에 대한 것이 아닌 내용을 다루는 평가를 읽게 되더라도, 그 내용이 게임 구매 시 만족도에 영향을 줄 것인지 아닌지는 고객이 직접 판단할 수 있을 것입니다. 그러나, '평가 점수' 시스템을 없애는 것은 현실적으로 고려할만한 선택 사항이 아니라고 생각합니다. 우선 점수 시스템은 과거 플레이어들의 수요에 따라 추가되었으며, 플레이어분들이 생각하기에 점수가 항상 정확한 것은 아니더라도 평가 요약에 대한 수요는 여전히 존재하기 때문입니다.

저희가 생각했던 또 다른 방법은 사용자 평가 기능에 일시적으로 제한을 설정하는 것으로, 주식 시장에서 비정상적인 움직임이 감지된 특정 주식의 거래를 전면 중지하는 것과 흡사합니다. 이러한 '평가 폭탄'이 일시적인 현상이라는 이론에 근거하여, 평가 게시량에 극심한 변동이 있을 때마다 단기간 동안 평가를 차단하는 것입니다. 기존 커뮤니티가 게임에 대해 불만을 느끼는 원인이 새로운 고객으로부터 기대되는 만족도에 실제로 영향을 끼치는 경우에는, 차단 기간이 끝난 후에도 평가 점수가 하락하는 결과가 나타날 것이라 확신합니다.

그런데, 제품에 대한 평가를 단기간 동안 차단한다면 어떻게 될까요? 해당 기간 동안 플레이어들은 평가를 전혀 게시할 수 없어야 할까요? 혹은, 평가 게시는 가능하지만, 평가 점수를 계산할 때만 해당 게시 정보를 무시해야 할까요? 결국, 저희는 이러한 결정이 궁극적으로 플레이어의 의사 표현권을 제한한다는 의미를 갖게 되는 것을 원치 않았습니다. 그런 대화는 아마도 Steam 사용자 평가에 게시하기엔 적합하지 않다고 생각하지만, 커뮤니티에 불만을 주는 문제에 대한 토론을 저희가 막을 수는 없는 거죠. 

저희 측에서 평가 점수가 계산되는 방식을 가장 최근 정보를 집중적으로 참고하는 방향으로 변경할 수도 있습니다. 평가 폭탄이 게임에 대해 오랫동안 평가 점수를 왜곡하는 원인이 되는 이유는, 해당 점수를 산출할 때 ‘최근 수량’은 지난 30일간의 평가를 바탕으로, ‘종합 수량’은 전체 기간을 바탕으로 하기 때문입니다. 그런데, 이런 방식은 평가 폭탄에 영향을 받은 게임뿐 아니라, 전체 게임들의 점수에 변동을 일으키고, 정확도를 떨어뜨릴 가능성이 있습니다.

결론적으로, 저희는 플레이어가 게임을 평가하는 방식을 변경하지 않고, 대신 잠재 고객들이 기존의 평가 데이터를 이용하는 방법에 집중하기로 했습니다. 오늘부터, 모든 게임 페이지에는 발매일부터 현재까지의 긍정적 평가와 부정적 평가의 비율을 나타내는 히스토그램이 추가되며, 히스토그램에서 아무 곳이나 클릭하면 해당 기간의 평가 샘플을 읽을 수 있습니다. 이 히스토그램으로 잠재 고객은 스스로 평가 점수의 일시적 변동을 감지하고, 변동의 발생 원인을 분석하여, 자신이 관심을 가질만한 사항인지 여부를 쉽게 결정할 수 있습니다. 이러한 접근 방식은 누가 평가를 게시하든 막지 않는다는 이점이 있지만, 잠재 고객을 약간 더 수고롭게 만듭니다.

또한, 시간이 흐름에 따라 변화하는 게임 평가 점수를 볼 수 있는 장점이 있으며, 서비스의 형태로 운영하는 게임의 경우에 큰 도움이 됩니다. 처음엔 잘 눈에 띄지 않는 미묘한 점은, 대부분의 게임은 게임 자체에는 아무런 변화가 없더라도 시간이 지남에 따라 평가 점수가 서서히 하락한다는 사실입니다. 일반적으로, 게임을 비교적 초기에 구매한 고객들이 나중에 구매한 이들보다 만족도가 높다는 이론에 동의합니다. 어떤 하나의 게임에 관심을 가진 여러 플레이어가 있다고 할 때, 게임에 대한 호감도가 더 높은 이들은 다른 사람들 보다 먼저 게임을 구매할 것이고, 시간이 지남에 따라 남은 잠재 고객들은 점점 더 게임 구매에 대한 확신이 없어집니다. 그래서, 어떤 게임의 평가 점수가 시간이 지날수록 높아진다면, 그 게임의 개발자들이 가진 제작 능력 및 작품의 품질에 대한 확실한 증명이라고 할 수 있습니다.



이 글이 도움이 되셨으면 좋겠네요. 앞으로 여러분들이 이 전에 즐겼던 게임들을 바탕으로 새로 구매한 게임에 대한 만족도를 예상하는 방식을 사용하는 맞춤 평가 점수를 적용하게 되면, 다시 이 주제에 관해 얘기를 하게 될 것입니다. 그 때까지는, 평가에 대한 커뮤니티의 대화 내용에 귀를 기울이겠습니다.