SW Engineering/Hadoop

Hive Meta Database

SungWookKang 2019. 12. 19. 00:45
반응형

Hive Meta Database

 

·       Version : Hadoop 3.0.0-cdh6.3.2, Hive

 

하이브(Hive) 메타정보는 파일의 물리적인 위치 데이터에 대한 디렉터리 정보를 저장를 데이터베이스에 저장하며 기본적으로 사용되는 데이터베이스로는 더비(Derby), MySQL, Oracle, PostgreSQL 있다. 하이브 클라이언트를 이용해서 확인하는 정보는 메타 데이터베이스 정보에 기반하고 있으며, 테이블 관련 정보는 메타 데이터베이스에서 직접 쿼리하여 확인이 가능하다.

·       Hive Architecture : http://sqlmvp.kr/221718439399

 

hive메타 데이터베이스가 설치된 DB 접속하여 테이블 목록을 살펴보면 매우 많은 테이블이 있는 것을 확인할 있다. 필자의 경우 MySQL 메타데이터베이스로 사용하였다.

# Tables_in_hive

AUX_TABLE

MASTER_KEYS

SD_PARAMS

BUCKETING_COLS

METASTORE_DB_PROPERTIES

SEQUENCE_TABLE

CDH_VERSION

NEXT_COMPACTION_QUEUE_ID

SERDES

CDS

NEXT_LOCK_ID

SERDE_PARAMS

COLUMNS_V2

NEXT_TXN_ID

SKEWED_COL_NAMES

COMPACTION_QUEUE

NOTIFICATION_LOG

SKEWED_COL_VALUE_LOC_MAP

COMPLETED_COMPACTIONS

NOTIFICATION_SEQUENCE

SKEWED_STRING_LIST

COMPLETED_TXN_COMPONENTS

NUCLEUS_TABLES

SKEWED_STRING_LIST_VALUES

DATABASE_PARAMS

PARTITIONS

SKEWED_VALUES

DBS

PARTITION_EVENTS

SORT_COLS

DB_PRIVS

PARTITION_KEYS

TABLE_PARAMS

DELEGATION_TOKENS

PARTITION_KEY_VALS

TAB_COL_STATS

FUNCS

PARTITION_PARAMS

TBLS

FUNC_RU

PART_COL_PRIVS

TBL_COL_PRIVS

GLOBAL_PRIVS

PART_COL_STATS

TBL_PRIVS

HIVE_LOCKS

PART_PRIVS

TXNS

IDXS

ROLES

TXN_COMPONENTS

INDEX_PARAMS

ROLE_MAP

TYPES

KEY_CONSTRAINTS

SDS

TYPE_FIELDS

 

 

VERSION

 

 

WRITE_SET

 

메타 데이터베이스 테이블에서 많이 사용되는 정보는 DBS, TBLS, PARTITIONS 이다. 테이블을 조인하여 기본적인 메타데이터 정보를 확인할 있다.

·       DBS : hive 생성되어 있는 데이터베이스 정보

·       TBS : hive 생성되어 있는 테이블 정보

·       PARTITIONS : hive 생성되어 있는 파티션 정보

 

아래 스크립트는 DBS 테이블과 TBLS 테이블을 조인하여 DB 어떤 테이블에 생성되어 있는지 확인할 있다.

SELECT

              *

FROM hive.TBLS as t

              inner join hive.DBS as d on t.DB_ID = d.DB_ID

ORDER BY d.NAME;

 

 

아래 스크립트는 특정 이름(예제에서는 key라는 글자를 포함하는) 포함하는 테이블을 찾아서 DB 정보, 테이블, 파티션 정보를 출력한다.

SELECT

              d.NAME, t.TBL_NAME, p.PART_NAME

FROM hive.DBS as d

              inner join hive.TBLS as t on d.DB_ID = t.DB_ID

    inner join hive.PARTITIONS as p on t.TBL_ID = p.TBL_ID

where t.TBL_NAME like '%key%';

 

 

 

 

 

 

2019-12-18 / Sungwook Kang / http://sungwookkang.com

 

Hadoop, hive, 하이브 메타 데이터베이스, hive meta database, 하이브 테이블, 하이브 테이블 정보, 메타 정보

반응형

'SW Engineering > Hadoop' 카테고리의 다른 글

Hive Skewed (스큐)  (0) 2019.12.24
Hive Partition 생성,수정,복구  (0) 2019.12.21
Hive Meta Store 설정  (0) 2019.12.18
MapReduce 메모리 부족으로 인한 쿼리 실패  (0) 2019.12.14
HiveServer2 와 Beeline  (0) 2019.12.13