아마 3~4년 전 쯤이었던 것으로 기억한다. 트위터와 페이스북 등 SNS가 빠르게 확산되면서 이와 함께 빅데이터라는 단어를 자주 듣게 됐다. 사실 IT와 관련없는 일에 종사하는 사람이라면 굳이 빅데이터의 뜻이 뭔지, 어떤 때 쓰는 건지에 대해 세세하게 알 필요는 없을 것이다.

일상과 매우 밀접한 관계를 갖고 있다고는 하지만, 대다수의 사람들은 평생을 살면서 단 한 번이라도 말해볼 기회조차 없는 단어이기에 모르고 지나친다 해도 사는데 전혀 지장이 없다. 빅데이터의 관리와 발전은 오롯이 종사자들의 몫이기 때문이다. 다만 몇 년 전부터 새롭게 정의된 빅데이터라는 개념이 우리 삶의 백그라운드에서 생활을 더욱 윤택하게 만드는 윤활유가 된다는 점, 또 이것이 없다면 현재의 찬란한 문명이 30년 이상 퇴보를 거듭할 것이라는 점은 인지해 둘 필요가 있다.

즉 빅데이터의 생성과 관련된 과정까지 머리 아프게 공부할 필요는 없겠지만, 우리가 하루에도 수 십 번씩 스마트폰을 통해 쓰는 글과 페이스북에 올리는 소소한 사진들이 사실은 어마어마한 용량의 데이터로 축적된다는 사실과 이 데이터들을 체계적으로 정리함으로써 현재의 디지털 세상이 온전하게 유지되고 있다는 사실은 기억해 두는 것이 좋다.

그러한 점에서 빅데이터는 현대인들에게 일종의 발자국과 같은 것이다. 체계화된 빅데이터를 통해 현재의 트렌드를 파악할 수 있으며 이를 토대로 기업은 수익 구조를 만들어갈 수 있다. 많은 대기업들이 대규모 전산 시스템을 앞다투어 구축하고 HDD를 기반으로 한 스토리지 시스템에 데이터를 저장하고 관리하기 위해 천문학적인 비용을 투자하는 이유도 같다.

뜬금없는 이야기일 수는 있지만, 이번 기사에서는 이 소중한 빅데이터를 지탱하는 원동력인 HDD의 발전사와 미래, 그리고 HDD가 빅데이터에 있어 어떤 역할을 하는지에 대해 알아봤다.

"하드가 1GB요? 평생 써도 다 못 쓰겠다"

영화 건축학개론에서 주인공 승민이 선배의 최신 PC를 보고 놀라 한 말이다. 당시 PC인들에게 기가바이트(GB)라는 용량은 약간의 과장을 보태 동해의 바닷물을 모두 담아내고도 남을 정도의 양이었다. 언론에서는 기가바이트의 등장으로 머지않아 디스켓이나 CD와 같은 저장매체가 사라질 지도 모른다는 호들갑을 떨기도 했다.

약 10년의 차이를 두고 등장한 테라바이트(TB)는 또 어떠한가? 이는 혁신을 넘어 오랜 숙원 사업이자 인류의 꿈을 실현한 것과 마찬가지로 대단한 것처럼 여겨졌다. 사실 수 백여 개의 영상을 하나의 스토리지에 남아낼 수 있게 됐으니 당연히 기념비적인 사건일 수밖에 없었다.

하지만 부족한 용량 문제를 해결할 수 있을 것이라는 기대감은 그 때 뿐이었다. 스토리지 용량이 늘어나는 속도와 콘텐츠의 용량이 커지는 속도가 거의 비슷했고, 고품질 콘텐츠에 대한 소비자들의 기대감도 빠르게 높아졌기 때문이다. 이제 테라바이트는 전문가들의 예상보다 더 빠르게 꿈에서 현실로 바뀌게 됐다.

어쩌면 그런 이유 때문에 아직까지 HDD가 필요한 것일 수도 있다. 대용량화 된 콘텐츠를 편리하게 저장하고 불러오기 위해서는 이를 안전하게 담아내는 그릇이 필요하다. 그리고 현재 그릇의 역할을 해줄 장치로 HDD가 적임자라는 사실은 누구도 부인할 수 없다. 혹자는 HDD의 존재에 대해 냉소적으로 말하지만, HDD가 없다면 SSD가 없는 것보다 더 큰 퇴보가 올 것이다. 국을 종지에 퍼다 먹을 수는 없는 노릇 아닌가?

뻔하지만 흥미로운 HDD의 발전사와 빅데이터

오늘날 하드디스크드라이브(이하 HDD)는 사실상 표준화된 기록 장치이자 스토리지 시스템의 근간으로써 그 역할을 해내고 있다. 데이터를 저장하기 위한 목적으로 우리가 HDD 외의 저장장치에 대해 뚜렷한 대안을 찾을 수 없는 이유는 너무도 명확하다.

폭주하는 데이터를 효과적으로 수집하고 관리 가능한 스토리지는 HDD만 한 것이 없기 때문이다.

SNS 서비스의 대표격인 페이스북을 예로 보자. 이용자가 하루 동안 주고받는 사진의 수는 무려 20억 장에 달한다. 이들 데이터를 실시간으로 저장하기 위해서는 속도, 용량 그리고 비용이라는 3가지 조건 중 어느 한 가지도 허투루 할 수 없다.

HDD와 함께 오랜 기간 공존하며 대량의 데이터를 저장하는 데 사용된 또 다른 저장장치로는 테이프드라이브(Tapr Drive)가 빠질 수 없다. 다만 큰 용량에 비해 상대적으로 느린 속도는 ‘실시간’이라는 키워드와는 어울리지 않는다.

한풀 꺾인 블루레이드라이브(Bluray Drive) 또한 매한가지이며 현대 기술이라고 총아라 불리는 SSD도 HDD를 대적하기에는 여전히 부족한 용량이다. 이후 이의 기술을 보완한 제품이 씨게이트에서 등장했는데, SSD의 용량 한계를 극복한 솔리드스테이트 하이브리드 드라이브 (Solid State Hybrid Drive, 이하 SSHD) 제품이 그것.

시스템의 증설이 이뤄지는 상당수 환경은 ‘용량 부족’ 해결을 이유로 꼽는데. 가장 효과적인 저장장치이자 가장 명확하게 이유를 설명할 수 있는 유일무이한 제품으로 그 가치는 HDD만 한 것이 없다. 속도는 물론 활용성까지 두말할 필요 없다. 그렇지만 분위기가 이렇게 HDD를 향해 기운 것은 불과 반세기도 안 된 최근의 일이다.

HDD는 무려 58년이 넘은 오랫동안 진화를 거듭했다. HDD의 뿌리이자 태동이라고 할 수 있는 ‘라맥350(RAMAC 350)’이 처음 공개된 시기가 1956년 9월 4일이다. 당 시대에는 가장 앞선 기술이었지만 한계는 너무 명확했다.

초기 제품의 용량은 5MB에 불과했지만, 방 한 칸을 차지할 정도로 거대한 크기를 자랑했으며, 무게 또한 1톤에 근접한 971kg에 달했다. 오늘날의 HDD를 떠올리면 상상도 하기 힘든 형태를 하고 있어 사실상 특별한 용도 이외에 거의 활용되지 않았지만 이의 기술은 오늘날 테라바이트에 달하는 용량의 스토리지로 진화하며 우리에게 데이터를 기반으로 한 스마트혁명을 선사하는데 주효했다.

그렇다면 오늘날의 HDD와 가장 근접한 HDD는 언제 등장했을까?

1980년에 들어와서야 가능해진 것. 씨게이트가 선보인 ‘ST-506’ 모델을 기반으로 그 가능성이 예견됐다. 방 한 칸에 달하는 크기에서 5.25인치 크기로 대폭 축소되었으면 회전 속도는 분당 3,600rpm에 달해 다양한 분야에 접목 가능성을 열어놨다.

이후 수요의 증가와 함께 코너(Conner Peripherals)와 맥스터(Maxtor)가 등장하면서 스토리지 시장을 키웠으나 순차적으로 씨게이트에 합병되면서 사실상 스토리지 업계는 씨게이트를 중심으로 재편되며 오늘에 이르게 된 셈이다. 방대한 저장 공간과 빠른 성능을 제공하는 효과적인 저장장치라는 타이틀도 자연스럽게 HDD에 넘어가게 됐다.

하지만 데이터는 HDD의 발전속도보다 더욱 빠르게 증가하며 방대한 공간을 찾고 있다. 4K 해상도의 멀티미디어 콘텐츠면 충분할 줄 알았던 영상 분야는 한발 더 나아가 더욱 고해상도를 추구하기 시작했다. 그 결과 저장 공간의 수요는 기하급수적으로 늘어났으며, 같은 시각 각종 소셜네트워크서비스(Social Network Service, 이하 SNS)의 대두와 함께 단위 시간당 생산되는 데이터의 양 또한 엄청난 속도로 증가하면서 HDD의 발전을 재촉하고 있다.

빅 데이터 시대, 왜 HDD 인가?

다양한 루트를 통해 수집된 데이터는 다양한 분야에 활용된다. 누적된 통계가 다양할수록 예측 가능한 확률은 더욱 신회성이 높아지고 가치 또한 상승하는데 우리가 일상에서 쉽게 마주하는 CCTV 등의 보안관제 시스템이 대표적인 운용사례다.

불과 얼마 전까지만 해도 방대해 가치가 없을 것으로 취급받던 데이터가 지금은 황금알을 낳는 노다지로 탈바꿈해 귀한 몸값을 자랑한다. 그렇다 보니 ‘정보를 리드하는 자가 세상을 이끈다.’는 말이 나올 정도로 데이터의 효과적인 관리가 중요해졌다. 단적으로 보자면 최근 화두인 ‘빅데이터’를 효과적으로 운용하기 위해서라도 스토리지는 그 어느 때보다 중요하다.

고화질∙고음질로 진화한 각종 멀티미디어 콘텐츠는 잘 발달한 인터넷을 통해 실시간으로 내 PC나 스마트폰으로 전송된다. 대표적인 사회관계망서비스(이하 SNS)는 사용자 개개인이 주체가 되어 생산하는 콘텐츠를 전송하는 통로의 역할을 하며 소통 창구로써 제 임무를 다하고 있다.

우리의 관심을 끄는 디지털 콘텐츠와 가공된 파생상품도 결국 데이터를 기반으로 발전했다. 그리고 이렇게 생성된 데이터는 효율적으로 운영되는 저장공간을 요구하고 있다.

이것이 우리가 느끼지 못하는 사이 데이터 스토리지 솔루션이 거대해지고, 시장이 더욱 확대되고 있는 이유이다. 수십억 세계인이 무심결에 이전과 다른 방법으로, 과거와 비교할 수 없는 막대한 양의 데이터를 실시간으로 생산하는 시대가 바야흐로 도래한 것이다.

누적된 DB는 필요 때문에 2차 가공되어 새로운 부가가치를 창출하기도 한다. 즉, ‘빅데이터’를 기반으로 한 신규 서비스의 등장이 가능해진 것. 현대인의 생활 깊숙하게 파고든 다양한 이벤트의 기반이 곧 빅 데이터를 근간으로 파생된 결과물이라는 사실은 인지하기 어려울 정도로 대중화 됐다.

다만 눈에 보이지 않았기 때문에 ‘PC 시장의 축소 = HDD의 입지 축소’로 이해했고, 이것을 시장 전체 상황의 축소로 확대해석하는 인식의 오류를 범한 것도 있다. 디지털 시대를 살아가며, 우리가 사용하는 데이터는 어딘가에 보관돼야 한다는 간단한 원리를 잠시 망각한 것이다. 바야흐로 HDD는 PC라는 비좁은 테두리를 벗어나 ‘빅 데이터’를 활용하기 위한 기본 플랫폼으로써의 역할에 충실할 채비를 갖춘 것이다.

내일의 HDD는 어떤 모습일까?

언뜻 보기에 별 차이가 없어 보이는 HDD는 그러나, 태생별로 용처가 구분되어 설계 단계부터 특별한 대우를 받으며 차별화된 몸값을 내세우는 것이 현실이다. 이를 무시하고 나스(NAS) 등과 같이 개인이나 기업 내부용으로 구축하는 프라이빗 클라우드 또는 365일 ‘무중단·무정전’이라는 더 엄격한 조건을 따지는 보안감시(CCTV)를 목적으로 한 DVR(Digital Video Recorder) 시스템에 적용되는 모습을 찾는 것이 그리 어려운 일은 아니다. 하지만 이의 부작용은 예측할 수 없으며 사고로 이어질 경우 회복 가능 여부는 누구도 대답할 수 없다. 그래서 이와 같은 사용법에 경종을 울리고 늦기 전에 HDD의 선택에 대해 심각하게 고민해볼 필요가 있다.

이 같은 문제를 제기하는 가장 큰 이유는, 이들 시스템은 PC용 HDD에 적용되는 것보다 더욱 높은 신뢰성이 요구되며, 실제 NAS, DVR 등에 사용되는 HDD는 기술적으로 다른 환경에서 특별한 관리를 받고 있기 때문이다. 그리고 이 차이는 결국 스토리지 시스템의 안정성, 신뢰성과 직결된다.

HDD의 구분은 크게 두 가지, PC에서 지금까지 사용해왔던 데스크톱 드라이브와 서버나 데이터센터 등에 사용하는 엔터프라이즈 드라이브로 구분할 수 있다. 이 중 365일 24시간 동작할 가능성을 염두에 둔 엔터프라이즈 드라이브는 컨슈머를 대상으로 제조된 데스크톱 HDD 보다 요구하는 조건이 까다롭다.

최근 개인이나 기업이 내부 보안을 이유로 클라우드 시스템을 자체적으로 구축하는 것이 일반적이며, 24시간 감시하는 CCTV도 일상으로 스며들었다. 그던데도 대개의 소비자는 별다른 고민 없이 데스크톱 드라이브를 선택하는데 주저하지 않는다. 이런 시스템에 엔터프라이즈 드라이브를 사용하기엔 비용의 제약이 너무 크다는 이유 때문이다.

분명한 것은 개인 사용자의 패턴에 맞추어 제작된 데스크톱 드라이브는 안정성을 담보할 수 없다는 사실. 최고의 비용대비 효과를 기대한다면 데이터의 신뢰성은 빠뜨리면 안 되지만 이를 간과한 오류를 범한 것.

제조사에 따라 차이는 있지만, HDD 제조사는 급변한 시장흐름에 따른 제품을 선보이고 있다. 씨게이트의 NAS HDD나 서베일런스(Surveillance) 시리즈, WD의 클라우드 시리즈 등의 제품을 손에 꼽을 수 있다.

엔터프라이즈 드라이브만큼의 엄청난 비용을 들이지 않아도 사용환경에 맞는 수준의 높은 성능과 안정성을 기대할 수 있는 바로 그런 제품 말이다. 그리고 사용 환경의 변화와 시장의 요구는 HDD의 진화 속도를 더욱 재촉하고 있다. 향후 어떤 제품이 등장할지 아무도 예측할 수 없지만 HDD가 추구하는 가치는 분명하다. ‘제품을 사용하는 사용자의 니즈 충족’이라는 명제의 해결이다.

상상은 현실이 된다

영화 ‘월터의 상상은 현실이 된다.’속의 주인공과 같은 삶을 꿈꾼 적이 있는가? 이미 세상은 우리의 상상보다 더욱 빠른 속도로 변화하고 있다. 손안의 작은 휴대 단말기로 들어온 세상은 시간과 장소에 구애받지 않고 진화를 거듭하고 있다. 마음먹은 대로 내 뜻을 펼칠 수 있는 온라인 환경에서 ‘빅데이터’와 ‘클라우드’는 현시점을 대변하는 대표적인 트렌드로써 막강한 영향력을 발휘하는 상황이다.

HDD는 이들 서비스를 구축하기 위해 가장 베이스가 되는 스토리지 시스템의 핵심이자 데이터를 통해 부가가치를 창출하기 위해 갖춰야 하는 필수적인 장비로써 변함없이 가치를 인정받고 있다.

하지만 HDD의 변화와 달리 시장의 움직임은 안일하게 진행되고 있다. 용처를 고려하지 않는 제품의 선택 그 결과 발현되는 각종 부작용에 데이터복구 서비스가 우후죽순 범람했지만 이의 신뢰성은 누구도 담보할 수 없다. 오죽했으며 씨게이트가 자체적으로 데이터복구 서비스인 레스큐(+Rescue)를 선보이고 사용자의 피해를 줄이기 위해 서비스는 선보였을까 싶다.

‘빅데이터’ 시대에 사는 우리에게 중요한 것은 데이터의 가치 실현이고 이를 위해서는 올바른 데이터 보관이 선결 과제다. 아무리 좋은 데이터가 우리 곁을 스쳐 지나간들 이를 적재적소에 보관하고 관리할 수 없다면 트래픽만 유발하는 더미 데이터에 불과하다.

지금까지 데이터가 안착하는 최종 도착지이자 지금까지 무심했던 HDD의 현재부터 미래를 진단해봤다. 그렇기에 남는 한 가지 의문점. 그토록 중요한 HDD이지만 정작 이의 선택은 무심했던 현대인에게 필요한 ‘선택’ 기준이다. 그 해답은 다음 편에서 확인할 수 있다.