빅데이터와 소셜 네트워크 분석 정리 개요 이번과제에서는쉽게빅데이터가뭐냐,빅데이터를통해서소셜네트워크분석에활용가능한데이터의유형이나범위,빅데이터를활용한소셜네트워크분석사례등을정리해보도록하겠습니다.
빅데이터란? 빅데이터란 생산자와 소비자의 모든 생산, 유통, 소비의 전 과정으로 모든 것이 연결되어 그 행위가 이루어지는 과정(4차 산업의 핵심)에서 발생하는 모든 데이터를 가리키는 것으로 텍스트, 이미지, 영상, 음성 등 대부분의 데이터 유형을 포함하고 있습니다.
빅데이터의 특징 “3V” 빅데이터는 크게 3개의 V-키워드로 정의됩니다.
사이즈(Volume) : 데이터의 물리적 크기로 대량의 데이터 저장 속도(Velocity) : 데이터 처리 능력으로 수집 가공 분석 등을 일정 주기 내에 처리할 수 있는 능력 다양성(Variety) : RDB와 같은 데이터 외에 웹로그, 기기데이터에서 발생하는 정형, 비정형의 다양한 형태를 의미하는 빅데이터의 유형 빅데이터는 크게 고정된 형식을 갖춘 “정형데이터”와 XML, HTML 등과 같이 “데이터, 소형데이터, 소형데이터, 소형데이터”와 같은 다양한 종류의 데이터, 정형데이터, 표준데이터, 소셜네트워크 빅데이터의 구축과 운영에 있어 더욱 필요한 목적 및 활용이 필요합니다.
즉, “가치를 생성할 수 있는 데이터”를 목표로 해야 하며, 그 활용 중 하나에 “소셜 네트워크 분석”을 적용할 수 있습니다.
위치는 물론 이동속도 정보를 포함한 데이터로는 특정 장소의 영향력과 고객 이해를 높일 수 있습니다.
빅데이터와SNA를통해소비패턴및제품관련상호관련성등을확인할수있습니다.
Linked In이나 Remember, Reddit과 같은 경우 개인의 상세 정보를 활용하여 개인의 관심사를 이해하는 데 도움이 됩니다.
SNA를 위한 빅데이터 선택 소셜 네트워크 분석을 위해 기업이 자체적으로 확보한 빅데이터를 활용하는 경우도 있지만 비즈니스 및 마케팅 등의 분석 목적에 따라 공공 빅데이터나 오픈 빅데이터 – SNS, 블로그, 언론, 뉴스, 커뮤니티 등과 같은 자원에 API 및 제공 Solution을 이용하여 데이터를 다운로드할 수 있습니다.
중요한 것은 어떤 목적의 활용을 위해서 어떤 데이터를 선택할지에 대한 방향성 책정이 필요합니다.
빅데이터에서SNA를위한기술,빅데이터에는정형데이터보다는비정형데이터가상당한비율을차지하고있으며이중에서SNA를수행하기위해서는기본적으로다음과같은기술이활용되어야합니다.
빅데이터활용기술SNA활용을위한데이터를다운로드할수도있지만빅데이터기반중에서직접SNA필요한데이터를추출하기위해서는빅데이터기반기술을활용해야합니다.
특히 많은 양의 데이터를 분석하기 위하여 저장 기반(하둡, 클라우드, Nosql 등)과 분석 기반(Spark, In-Memory, ML, Deep Learning 등)을 활용할 수 있습니다.
자연어 처리(NLP) SNS 유형의 데이터는 대부분 Text 데이터로 이를 분석하기 위해서는 기본적으로 자연어 처리가 필수입니다.
SNA에 필요한 노드나 엣지, 연결성이나 중량 등을 실현하기 위해서는 NLP를 통해 정형 데이터의 추출 및 변환 작업을 해야 합니다.
텍스트 마이닝(Text mining) 자연어 텍스트에 포함된 의미 있는 데이터나 정보를 추출, 분석하는데 활용되는 기술입니다.
NLP 뿐만 아니라, 기계 학습, 통계는 물론, SNA의 관련성이나 중요도의 추출에 활용할 수 있다고 생각됩니다.
음성인식 컴퓨터가 음성을 인식하고 이해할 뿐만 아니라 상황에 맞는 데이터와 관련시킬 때 유용한 반응을 이끌어낼 수 있습니다.
최근에는 지능형 개인 비서 프로그램 – 시리, 대시, 아마존 고, 에코 – 의 발전으로 특히 필요한 기술입니다.
감정분석 비정형 빅데이터 중에서 감정 및 의견의 비구조적 데이터를 이해할 수 있는 기술입니다.
SNA시 연결된 고객 클러스터가 상품에 어떠한 감정이나 브랜드인지를 파악하는 데 도움이 될 것으로 생각됩니다.
▲SQL 언어 = 최근 빅데이터나 머신러닝, 딥러닝에 비해 전통적인 DB 영역이 좁아지는 경향이 있으나, 실무자 입장에서 대부분의 최종 분석 목적 데이터는 정형데이터로 변환되어 최종적으로 DB에 저장되기 때문에 SQL 언어 활용은 필수적이라고 판단됩니다.
빅데이터로의SNA수행과정,빅데이터환경에서SNA를수행하기위해서는다음과같은과정을수립해야한다고생각합니다(극히개인적인현업의입장입니다.
연구목적 정의 분석방법 정의 빅데이터 기반 선택 빅데이터 정보 탐색 발굴 빅데이터 추출(Raw Data 수준) 데이터 정비 가공 필터링 결과를 위한 통계 집계 등의 전처리 시각화 실현결과 분석 및 서비스 반영 비즈니스 활용
