빅데이터의 중요성에 대한 이야기가 쏟아져나오는 시대다. 데이터에 대한 이해를 위해 뭐부터 시작해야 할지 막막한 분들을 위해, 지금부터 우리가 몰랐던 빅데이터에 관한 오해 3가지를 이야기해보려고 한다.
첫째, 데이터의 함정에 빠지지 말자.
데이터가 많으면 무조건 좋다고 생각할 수도 있지만, 그렇지 않다. <모두 거짓말을 한다>의 저자 세스 스티븐스 다비도위츠는 영리한 빅데이터 기업들은 종종 데이터를 줄인다고 한다. 데이터가 많아야지만 중요한 식견을 발견할 수 있는 건 아니다. 필요한 것은 ‘적절한 데이터’임을 기억하자.
둘째, 질문이 중요하다.
밤에 엉뚱한 곳에 망원경을 향하고 명왕성을 발견할 수 없듯이 적절한 데이터를 찾으려면 유망한 곳을 봐야 하고 좋은 질문을 생각할 줄 알아야 한다. 아인슈타인 역시 문제 해결에 1시간이 주어진다면 55분을 적합한 질문을 찾는 데 할애할 것이라고 말했다. 이처럼 문제해결에 무엇보다 중요한 건 ‘좋은 질문’임을 기억해야 한다.
셋째, 좋은 데이터 과학은 복잡하지 않음을 이해한다.
다비도위츠는 최고의 데이터 과학은 놀랄 만큼 직관적이라고까지 말한다. 데이터 과학의 본질은 ‘패턴’을 알아차리고 하나의 변수가 다른 것에 어떤 영향을 줄지 예측하는 데 있다. 사실 우리 모두 데이터 과학자다. 어린 시절 당신이 울면 엄마의 주의를 끌 수 있다는 걸 알아차렸듯이 말이다. 하지만 이런 직관이 언제나 맞는 것은 아니다. 사람마다 경험의 데이터 세트가 다르고 불충분하기 때문이다. 그렇기에 인간의 인지적 한계를 인정하고 데이터를 적절하게 잘 이용한다면 우리는 보다 좋은 판단을 내릴 수 있다.
많은 사람이 인공지능에 의해 일자리가 줄어들 것이라며 불안해한다. 하지만 인공지능이 할 수 있는 일과 인간이 잘하는 일은 엄연히 다르다. 이 차이를 명확하게 인식하고 우리가 할 수 있는 일에 집중한다면 인공지능을 이용해서 더욱더 현명한 결정을 내릴 수 있지 않을까? 어떤 대상을 잘 모르면 두려울 수밖에 없다. 하지만 제대로 안다면 우리는 그걸 잘 이용할 수 있다.
참고 :
1) 모두 거짓말한다, 세스 스티븐스 다비도위츠
2) 이미지 출처 : 드라마 <스토브리그>, 드라마 <검블유>
Written by HY
