몇 주전 게시한 블로그 포스트에서 사용자 평가와 추가된 도구들 및 앞으로 해결할 예정인 부분들에 대한 저희의 생각을 말씀드렸습니다. 해당 게시글은 평가와 평가의 목적, 그리고 사용자 평가의 역할에 대한 저희의 생각을 이해하는 데 도움이 되니 읽어 보시기 바랍니다.

오늘 저희는 지금까지 받은 피드백과 문제 제기에 대한 응답으로 새롭게 개선된 사용자 평가를 공개합니다. 또한, 사용자 평가가, 여러분이 게임을 알아보고 즐길 수 있도록 돕는 유용한 도구로서 계속 기능하도록 하기 위해 변경을 진행했습니다. 이번 업데이트에서는, 각 게임 페이지에서 보이는 평가의 유용성을 판단하는 방법과 평가가 표시되는 순서를 결정하는 방법에 대해 집중적으로 다룹니다.

 

사용자 평가는, 어떤 게임을 이미 플레이해본 사람들이 그 게임을 얼마나 재미있게 플레이했는지, 그 게임을 플레이하면 어떤 느낌인지, 다른 사람이 쉽게 상상할 수 있도록 잘 설명하고 묘사해야 합니다. 잘 작성된 평가는 보통 게임 플레이 경험에 직접 영향을 주는 요소들에 대해 설명합니다. 즉, 매치메이킹의 원활한 작동 여부, 게임 내 버그 존재, 가성비 등 여러 가지가 이에 포함됩니다.

누구나 어떤 게임을 플레이 했다면 그 게임이 얼마나 재미있는지 재미없는지에 대한 의견이 있을 것입니다. 그 중 어떤 사람들은 배려 깊은 설명 및 묘사에 재능이 있고, 이는 다른 잠재 플레이어들에게 도움이 됩니다. 플레이어들은 모두 어떤 게임에 대해 좋고 싫음을 표현할 수 있다고 생각하지만, 모든 평가가 그러한 내용을 상세히 보여주는 유용한 평가는 아니라고 봅니다. 유용한 평가는, 여러분이 해당 게임을 재미있게 플레이할 것인지 아닌지, 또는 그 게임을 플레이하지 말고 다른 게임을 대신 플레이하는 것이 좋은 지, 판단할 수 있도록 충분한 정보를 제공하는 평가입니다.

현재 Steam에는 플레이어들이 올린 36,579,839개가 넘는 평가가 있습니다. 수천개가 넘는 평가가 작성된 게임도 있고 보다 적은 수의 평가가 달린 게임도 있습니다. 평가의 숫자와 관계없이, Steam 상점에서 게임 페이지를 방문했을 때 가장 유용하고 관련성 높은 평가가 맨 위에 표시되도록 하고자 합니다.
  각 평가 아래 부분을 보시면 '이 평가가 유용한가요?'라는 질문과 '네', '아니요' 버튼이 있습니다. 이 버튼은 해당 게임의 구매 여부와 관계없이 사용할 수 있습니다. 왜냐하면 보통 구매 전에 사용자 평가를 확인하고 어떤 평가가 구매 결정에 도움이 되는지 아닌지 판단하기 때문입니다.

이 버튼은 일반적으로 사람들이 어느 평가를 유용하게 생각하는지 결정하는 데 사용됩니다. 지금까지 저희 시스템은 단순히 '유용함'을 선택한 사람들의 수와 '유용하지 않음'을 선택한 사람들의 수를 계산하여 다수의 사람들이 유용하다고 뽑은 평가 중 상위 10개를 하이라이트로 표시했습니다. 게임은 시간이 지남에 따라 바뀔 수 있기 때문에(어떤 경우에는 상당한 변화), 게임의 현재 상태를 잘 반영할 수 있도록 최근 게시 평가를 우선으로 표시하는 방식으로 얼마 전 변경을 진행한 바 있습니다. 물론 이 기능은 모두 상점 페이지에서 기본적으로 표시되며, 더 알고 싶은 경우에는 특정 게임에 대한 평가도 손쉽게 모두 찾아볼 수 있습니다.

완벽한 세상에서라면, 사람들은 해당 게임의 구매 여부에 대한 결정에 도움을 주는 몇 개의 평가에만 솔직하게 '유용함' 표시를 할 것이고, 저희는 그 데이터를 그대로 사용하여 가장 유용한 평가를 정하면 되겠지요. 안타깝게도, 모든 사람들이 우리가 기대하는 만큼 정직한 도움을 주는 것은 아니라는 것이 밝혀졌습니다. 반대로, 상점 페이지에서 유용한 평가라고 표시되는 평가들이 사실은, 사람들이 해당 게임을 얼마나 재미있게 플레이하고 있는지 반영해주지 못한다는 피드백을 꾸준히 받고 있습니다.
  따라서, 평가에 대한 유용성을 투표하는 사람들의 행동과 패턴을 자세히 살펴보았습니다. '유용함' 버튼을 누른 1,100,000명의 사용자는 대게 합리적인 사용 패턴을 나타냈습니다. 일반 플레이어들은 몇 개의 평가에 대해서만 구매 결정에 유용한지 아닌지 표시합니다. 하지만 소수 극단적인 사용자들은 한 게임에 10,000개 가 넘는 평가에 '유용함'과 '유용하지 않음' 투표를 하여 보통 플레이어들의 목적과는 명확히 다른 목적을 달성하려고 한다는 것을 발견했습니다. 이 행동은 현실적으로 실제 사람이 하기에 불가능할 뿐 아니라 각 평가가 유용한지 아닌지 에 대해 세심하게 주위를 기울인 행동이 아닙니다. 이러한 사용자들은 기본적으로 표시되는 평가를 왜곡하기 위해 긍정적인 평가에 대해 '유용하지 않음'으로 투표하고 부정적인 평가에 대해 '유용함'이라고 투표하는 경향이 있습니다(또는 그 반대).

이러한 사용자가 투표하는 평가의 수에 따라 유용한 평가의 표시에 불균형한 영향을 미치고 특정 평가가 비정상적으로 눈에 띄게 표시될 수 있습니다. 이 때문에 대다수의 플레이어들이 긍정적인 평가를 작성했고 분명히 게임을 재미있게 플레이했음에도 불구하고 부정적인 평가가 고정으로 표시되어, 혼란을 야기할 수 있습니다.
  이 시점까지 저희는, 평가가 도움이 되었다고 말한 사용자의 비율과 숫자를 이용하여, 제품 평가가 도움이 되는 지 여부를 산출해내는 간단한 연산 방법을 보여드리려고 시도해 왔습니다. 저희는 투명하고 이해하기 쉬우며, 믿고 신뢰할 수 있는 시스템을 선호했습니다. 그러나 안타깝게도, 이러한 시스템을 악용해 소수의 사용자들이 평가를 조작하여, 대다수의 Steam 사용자에게 제공하는 기존 평가의 가치가 분명히 하락하게 되었습니다. 결국 저희는 두 가지 중요한 사항을 변경했습니다.

1. 첫 째로, 저희 시스템은 사용자의 시스템 조작 가능성을 염두에 두고 구축한 새로운 방식으로 각 평가의 유용성 연산하게 될 것입니다. 새로운 방법의 일환으로, 일반적인 기준에 부합하지 않는 사용자를 대상으로는 평가의 유용성을 계산하는 방식을 다르게 적용하게 됩니다. 일반적인 투표 패턴을 따르는 사용자들이 제출하는 투표는 계속 원래의 방식으로 계산하게 되지만, 하나의 게임에 과다한 양의 투표를 제출하는 계정이 있을 경우 해당 사용자 개인의 투표 수치의 중요도는 점차 줄어들게 됩니다.
2. 두 번째로, 이제 상점 페이지에서 기본적으로 표시되는 긍정적 평가와 부정적 평가의 비율은 해당 게임에 대한 전체 평가의 비율과 유사하게 조정됩니다. 예를 들면, 어떤 게임의 전체 평가 결과가 80% 긍정적으로 산출되었다면, 상점 페이지에 기본적으로 게시되는 평가 내용 역시 동일한 80%로 조정되어 8개의 긍정적 평가와 2개의 부정적 평가를 표시하게 됩니다. 이러한 변화는, 소수의 편파적 플레이어들이 쉽게 게임 페이지 상의 평가 내용을 조작하는 것을 방지하고, 게임을 플레이한 실제 사용자 전체의 의견을 정확하게 반영할 수 있게 해줍니다.

이 두 가지 변경 사항의 베타 버전을 오늘 공개할 계획입니다. 새로운 계산 방식을 자유로이 켜고 끌 수 있으므로, 어떤 상점 페이지에서나 이러한 변화가 기본 평가 표시에 어떤 영향을 끼치는지 확인할 수 있습니다. 이러한 변경 사항은 사용자 평가의 기본 표시 목록('요약') 및 '가장 도움이 되는' 표시 옵션에만 영향을 준다는 점에 유의하세요.


  사용자 평가 시스템을 더욱 발전 시키고자 추가할 사항들이 남아 있습니다. 현재 검토하고 있는 한 가지는, 시간이 흐르면서 게임이 성공하거나 인기가 떨어지는 경우 평가 점수의 변화 양상과, 그에 따라 현 시점에서 플레이어들의 게임에 대한 만족도를 정확히 알릴 수 있는 방법입니다. 또한, 저희는 플레이어들이 특정 지역(예: 서버들의 위치), 또는 특정 언어(예: 번역상의 오류)에만 적용되는 문제를 평가에 반영하는 경우에 대해 정확히 파악하기를 원합니다. 그리고 저희는 각각의 플레이어를 위한 맞춤 평가 점수를 산출해 내는 방법과, 그 결과물이 어떤 형태로 실현될 지 연구하고 있습니다.

평가 시스템이 플레이어 및 개발자 여러분 들에게 얼마나 중요한지 저희는 알고 있으며, 사용자 평가 시스템이 항상 유용하고 신뢰할 수 있도록 끊임 없는 개선과 발전을 시도하겠습니다. 앞서 말씀드린 최근의 변동 사항에 대해 고객님의 의견을 들려주세요.

-Steam 팀 일동