Hive Meta Database

Hive Meta Database

 

·       Version : Hadoop 3.0.0-cdh6.3.2, Hive

 

하이브(Hive)의 메타정보는 파일의 물리적인 위치 및 데이터에 대한 디렉터리 정보를 저장를 데이터베이스에 저장하며 기본적으로 사용되는 데이터베이스로는 더비(Derby), MySQL, Oracle, PostgreSQL이 있다. 하이브 클라이언트를 이용해서 확인하는 정보는 메타 데이터베이스 정보에 기반하고 있으며, 각 테이블 관련 정보는 메타 데이터베이스에서 직접 쿼리하여 확인이 가능하다.

·       Hive Architecture : http://sqlmvp.kr/221718439399

 

hive메타 데이터베이스가 설치된 DB에 접속하여 테이블 목록을 살펴보면 매우 많은 테이블이 있는 것을 확인할 수 있다. 필자의 경우 MySQL을 메타데이터베이스로 사용하였다.

# Tables_in_hive
AUX_TABLE	MASTER_KEYS	SD_PARAMS
BUCKETING_COLS	METASTORE_DB_PROPERTIES	SEQUENCE_TABLE
CDH_VERSION	NEXT_COMPACTION_QUEUE_ID	SERDES
CDS	NEXT_LOCK_ID	SERDE_PARAMS
COLUMNS_V2	NEXT_TXN_ID	SKEWED_COL_NAMES
COMPACTION_QUEUE	NOTIFICATION_LOG	SKEWED_COL_VALUE_LOC_MAP
COMPLETED_COMPACTIONS	NOTIFICATION_SEQUENCE	SKEWED_STRING_LIST
COMPLETED_TXN_COMPONENTS	NUCLEUS_TABLES	SKEWED_STRING_LIST_VALUES
DATABASE_PARAMS	PARTITIONS	SKEWED_VALUES
DBS	PARTITION_EVENTS	SORT_COLS
DB_PRIVS	PARTITION_KEYS	TABLE_PARAMS
DELEGATION_TOKENS	PARTITION_KEY_VALS	TAB_COL_STATS
FUNCS	PARTITION_PARAMS	TBLS
FUNC_RU	PART_COL_PRIVS	TBL_COL_PRIVS
GLOBAL_PRIVS	PART_COL_STATS	TBL_PRIVS
HIVE_LOCKS	PART_PRIVS	TXNS
IDXS	ROLES	TXN_COMPONENTS
INDEX_PARAMS	ROLE_MAP	TYPES
KEY_CONSTRAINTS	SDS	TYPE_FIELDS
		VERSION
		WRITE_SET

 

메타 데이터베이스 테이블에서 많이 사용되는 정보는 DBS, TBLS, PARTITIONS 이다. 각 테이블을 조인하여 기본적인 메타데이터 정보를 확인할 수 있다.

·       DBS : hive에 생성되어 있는 데이터베이스 정보

·       TBS : hive에 생성되어 있는 테이블 정보

·       PARTITIONS : hive에 생성되어 있는 파티션 정보

 

아래 스크립트는 DBS 테이블과 TBLS 테이블을 조인하여 각 DB에 어떤 테이블에 생성되어 있는지 확인할 수 있다.

SELECT               * FROM hive.TBLS as t               inner join hive.DBS as d on t.DB_ID = d.DB_ID ORDER BY d.NAME;

 

 

아래 스크립트는 특정 이름(예제에서는 key라는 글자를 포함하는)을 포함하는 테이블을 찾아서 DB 정보, 테이블, 파티션 정보를 출력한다.

SELECT               d.NAME, t.TBL_NAME, p.PART_NAME FROM hive.DBS as d               inner join hive.TBLS as t on d.DB_ID = t.DB_ID     inner join hive.PARTITIONS as p on t.TBL_ID = p.TBL_ID where t.TBL_NAME like '%key%';

 

 

 

 

 

 

2019-12-18 / Sungwook Kang / http://sungwookkang.com

 

Hadoop, hive, 하이브 메타 데이터베이스, hive meta database, 하이브 테이블, 하이브 테이블 정보, 메타 정보