목록IT/빅데이터 (2)
두루 잘하는 전문가
출처 : http://12bme.tistory.com/14 Part1.소개쉘은 명령어 해석기(command interpreter)로서, 단지 커널과 사용자 중간에 놓여 있는것 이상으로 꽤 강력한 프로그래밍 언어입니다. 보통 스크립트(script)라고 부르는 쉘 프로그램은 시스템 콜, 여러 프로그래밍 도구들, 유틸리티, 실행파일 등을 "묶어서" 어떤 어플리케이션을 쉽게 만들어 줍니다. 사실 모든 종류의 유닉스 명령어, 유틸리티, 도구들이 쉘에서 쓰일 수 있습니다. 만약에 이런 것들로 부족하다면 테스트문이나 루프문등의 쉘 내부 명령어를 써서 추가적인 강력함과 유연함을 얻을 수 있습니다. 쉘 스크립트는 완전히 구조적인 프로그래밍 언어의 편리한 부가 기능들(bells and whistles)이 필요없는 작업들,..
Apache Hadoop에서 실행되는 쿼리 엔진HDFS에 저장돼 있는 데이터를 SQL을 이용해 실시간으로 분석할 수 있는 시스템MapReduce 프레임워크를 이용하지 않고 분산 질의 엔진을 이용해 분석하기 때문에 빠른 결과 제공 Impala SQL Statementshttps://www.cloudera.com/documentation/enterprise/5-8-x/topics/impala_langref_sql.html Select Statementhttps://www.cloudera.com/documentation/enterprise/5-8-x/topics/impala_select.html 임팔라는 거대한 데이터 집합들에서도 빠른 응답 시간을 갖는 데에 초첨이 맞춰져 있습니다. 설치아래와 같은 소프트웨어..