SQL-on-Hadoop이란 HDFS에 저장된 데이터에 대한 SQL 질의 처리를 제공하는 시스템을 의미합니다. 대부분의 SQL-on-Hadoop 시스템들은 기존 Hadoop 에서 제공하는MapReduce 아키텍처를 이용하지 않고, 새로운 분산 처리 모델과 프레임워크를 기반으로 구현되어 있습니다.

Apache Hive, Apache Tajo, Cloudera의 Impala, Facebook의 Presto, Pivotal HD의 HAWQ, Apache Drill, 이외도 수많은 SQL-on-Hadoop 엔진들이 앞다투어 출시되고 있습니다. 춘추전국시대라는 표현이 과하지 않을 정도로, 치열한 경쟁을 벌이고 있습니다. 

Fault Tolerance​

모든 시스템은 언제든지 장애가 발생할 수 있습니다. 어플리케이션에 문제가 있을 수도 있고, CPU, 메모리, 디스크, 네트워크같은 시스템 리소스도 언제든지 문제가 발생할 수 있습니다.SQL-on-Hadoop에서 Fault Tolerance란 “질의 처리 중 발생하는 오류를 처리하여, 질의를 완료하는 기능"을 의미합니다. Long Time 질의 경우 수십분에서 수시간 이상이 소요됩니다. 

이러한 질의는 작은 단위의 task(태스크)로 나누어 처리를 하고, 오류의 범위를 해당 태스크로 한정한 후, 태스크를 재시작해야 합니다. 단, Fault Tolerance를 지원할 경우, 질의 처리 중간에 생성되는 데이터를 materialization해야 하는데, 디스크 부하를 유발할 수 있습니다. 결국 Fault Tolerance와 시스템의 Throughput (처리량)은 trade-off 관계 (상반관계)라고볼 수 있습니다.

Dynamic Scheduling​

스케쥴링 기법에는 Fixed Scheduling (고정 스케쥴링)과 Dynamic Scheduling (다이나믹 스케쥴링)이 있습니다. 고정 스케쥴링의 경우, 작업을 시작할 때 클러스터 노드들에게 균등하게분할된 작업을 한번에 할당합니다. 하지만 다이나믹 스케쥴링은 각 노드에 노드가 한 번에 실행할 수 있는 태스크를 우선적으로 분배합니다. 그리고 노드가 할당 받은 태스크가 완료되면,다시 태스크를 할당합니다.

Long Time Query​

“Long Time 질의를 지원하는가? 지원하지 않는가?” 입니다. SQL-on-Hadoop 시스템들의 벤치마크 테스트 결과를 보면, 수 밀리세컨드 혹은 수 초가 소요되는 질의들의 테스트 결과만 제시하는 경우가 많습니다. 이렇게 눈 깜짝할 사이에 끝날 수 있는 질의는 Short Time 질의를 의미하며, 이는 low latency를 지원한다고 말합니다. 하지만 Long Time 질의는 이와는 질의를 수행하는데 많은 시간이 소요되는 질의를 의미합니다. 적게는 수 분에서, 많게는 수 시간까지 소요 되는 경우를 말합니다.

Long Time 질의의 지원 여부는 처리하고자 하는 데이터 사이즈에도 영향을 받습니다. 데이터 처리를 빠르게 하는 방법 중 하나는 캐시나 메모리에 데이터를 로딩 하는 방법이 있습니다. 이때 원본 데이터의 사이즈가 메모리보다 크다면, 질의를 처리할 수 없거나, 다른 방법으로 질의를 실행해야 할 것입니다.   실제로 low latency를 지향하는 시스템들을 테스트해보면, low latency에 적합한 질의는 매우 빠르게 처리되지만, 특정 질의는 오류가 나거나, low latency 실행 시간과 극도로 차이가 나는 것을 쉽게 확인할 수 있습니다. 하지만 Long Time 질의는 수 TB에서 수 PB 이상의 원본 데이터를 지원한 수 있습니다. 그래서 데이터의 

사이즈가 폭발적으로 증가하여도, 시스템이 안정적으로 질의 처리를 지원해줍니다.

Low Latency​

       컴퓨터의 Input과 output 사이의 과정에서 지연을 최소화 하는 것을 말합니다​