Hive Meta Store 설정

Hive Meta Store 설정

 

·       Version : Hadoop 3.0.0-cdh6.3.2, Hive

 

하이브(Hive)의 메타정보는 파일의 물리적인 위치 및 데이터에 대한 디렉터리 정보를 저장하고 있다. 메타스토어는 쓰리프트(Thrift) 프로토콜을 사용하여 다른 서비스에 정보를 제공한다. 메타 정보는 JDBC 드라이버를 이용하여 RDBMS에 저장한다. 메타스토어는 3가지 타입(Embedded, Local, Remote)이 있으며 타입에 대한 특징은 아래 링크를 참고 한다.

·       Hive Architecture : http://sqlmvp.kr/221718439399

 

[Embedded Meta Store]

하이브 기본설정은 더비DB를 사용하며, 이 DB는 한명의 사용자만 접근할수 있어 실제 서비스에는 사용이 불가능하다.

hive-site.xml

<property>    <name>javax.jdo.option.ConnectionURL</name>    <value>jdbc:derby:metastore_db;create=true </value>    <description>JDBC connect string for a JDBC metastore </description> </property>

 

[Local Mete Store]

로컬 메타스토어는 하이브와 같은 JVM에서 동작하며 메타데이터는 외부 RDBMS에 저장한다. 동시 사용자 접속이 가능하다.

hive-site.xml

<property>     <name>javax.jdo.option.ConnectionURL</name>     <value>jdbc:mysql://[IP]:[port]/[DB NAME]</value>     <description>username to use against metastore database</description> </property>   <property>     <name>javax.jdo.option.ConnectionDriverName</name>     <value>org.mariadb.jdbc.Driver</value>     <description>username to use against metastore database</description> </property>   <property>     <name>javax.jdo.option.ConnectionUserName</name>     <value>User</value>     <description>username to use against metastore database</description> </property>   <property>     <name>javax.jdo.option.ConnectionPassword</name>     <value>Password</value>     <description>password to use against metastore database</description> </property>

 

 

[Remote Meta Store]

원격 메타스토어는 메타스토어가 별도의 JVM에서 동작하며 쓰리프트(Thrift) 프로토콜을 사용하여 접속한다.

hive-site.xml

<property>     <name>hive.metastore.uris</name>     <value>thrift://[Meta Store IP]:[Meta Store Port]</value>     <description>JDBC connect string for a JDBC metastore</description> </property>

 

 

 

2019-12-17 / Sungwook Kang / http://sungwookkang.com

 

Hadoop, hive, 하이브 설정, hive-site.xml, 하이브 메타스토어, hive meta store,