2020-07-04 Big Bear Lake Camping (빅베어 호수 캠핑)

-      Serrano campground

 

 

202074, LA에서 약 2시간 거리인 빅베어 호수(Big Bear Lake)로 캠핑을 떠낫다. 지난 캠핑을 다년온후 1주일만에 다시 떠나는 캠핑이어서 그런지, 쉽게 준비가 되었다. 우스갯 소리로, “삼대가 덕을 쌓아야 74(미국 독립 기념일)에 스팟을 예약할 수 있다고 했는데, 매일 같이 예약 사이트를 리프레시 하면서 취소된 스팟을 잡을 수 있었다. 그것도 매우 좋은 자리로!

12일 일정으로 캠핑을 하였고, 낮에는 매우 더우면서도 밤에는 매우 추웠으며(고도 7000ft), 일주일 정도 머무르면서 호숫가 산책과 생각하는 시간을 가지고 싶은 장소였다. 특히 겨울에는 눈이 많이 오는 지역으로 다시 한번 겨울에 방문해야겠다는 생각이 들었다.

 

빅베어 호수에 아래쪽으로 위로 도는 방식으로 한바퀴 돌면서 캠프그라운드로 이동하였다. 아래 위치는 Boulder Bay Park로 많은 사람들이 카약, 보트 등 다양한 수상 레저를 즐기고 있었다. COVID19 임에도 정말 많은 사람이 있었으며, 마스크를 쓰고 있지않아 재빨리 다른 장소로 이동하였다. (마스크는 유일하게 우리 가족만 쓰고 있었던듯)

 

 

캠프사이트로 이동하는길에 반대편 저 멀리 스키장이 보였다. 빅베어는 겨울에 눈이 1미터이상 오기도 하기 때문에, LA에서 스키를 즐길수 있는 가까운곳중 하나이다.

 

 

고도 7000ft (2133m)에 위차한 캠프그라운드, 하이브리드를 타고 올라오느라 차가 고생이 많다. 특히나 하이브리드 배터리가 소진된 시점에서는 정말 뒷차들에게 민폐였다. 캠핑 때문에 심히 차를 바꿔야 하나 고민까지 드는 순간이었다. (그래도 연비하나는 정말 탁월하니, 개스값 걱정없이 돌아다닐수 있는 장점이 있다.)

 

오전에 출발해서 점심 시간에 맞춰 도착 하도록 계획하였기에, 짐을 풀자마자 점심 준비부터!! 이번에 새로 구입한 2버너 스토브! 화력 짱! (부르스타 바이바이~)

 

점심은 역시 짜장면과 짬뽕 라면이죠! 그런데 고산지대여서 그런지 물이 잘 안끓습니다. 면이 익기도 전에 불어버리네요.

 

 

깨끗한 파란 하늘과 구름. 그리고 나무 그늘.

 

 

지난번 조슈아트리 캠핑과 너무 대비되는 모습입니다. 물론 조슈아 트리는 사막, 빅베어는 숲이라 분위기가 많이 다르겠죠.

 

 

미국은 전화가 안되는 지역이 많아서, 이동시 연락을 하기 위해서 (트레일이나 기타 용무로 이동시) 무전기를 준비하였습니다. 분명 설명서에는 22마일이라고 했는데, 실제 사용지 1마일 정도 밖에 안되네요. (반품할까 하다가 개당 2만원에 3개 구입했기에 그냥 쓰기로 하였습니다.)

 

차콜과  LA갈비, 새우등 다양하게 준비하였지만, 편하게 먹을 있는 삼겹살부터 시작했는데, 결국 삼겹살로 배가 불러, 나머지 음식은 그대로 다시 집으로 고고싱하였습니다. 삼겹살은 역시 철판이죠.

 

 

항상 기대되는 불멍타임. 고산지대여서 그런지, 해가 기울어갈때쯤부터 온도가 확 떨어집니다. 그래서 불을 일찍 피웠더니, 장작이 부족한 사태가 발생했네요. 항상 장작은 넉넉히 준비해야겠습니다.

 

 

이튿날 아침, 산책. 간밤의 추위는 흔적도 없이 사라졌으며 해가 뜨니, 온도가 급격히 빠르게 상승합니다. 기온차가 20도 이상 나는, 감기 걸리기 딱 좋은 환경이죠. 멀리 트레일을 가지 않아도, 캠핑 그라운드 내부에 아름다운 자전거 길이 있어서 산책하기 좋았습니다.

 

캠핑 그라운드에서 조금만 걸으면 볼 수 있는 빅베어 레이크와 천문대. 천문대를 가보진 못했는데, 그냥 눈으로도 밤하늘의 쏟아지는 별을 볼 수 있었습니다.(하지만 내가 방문했떤 날은 대보름으로 아주 달이 밝았습니다.)

 

 

 

2020-07-04 / Sungwook Kang / http://sungwookkang.com

 

LA 여행, 서부 여행, 미국 여행, 빅베어, Big Bear, Big Bear Lake, 빅베어 호수, LA 캠핑, 미국캠핑, 서부캠핑

 

2020-06-27 Joshua Tree National Park Camping(조슈아트리 국립공원)

-      Indian Cove campground

 

 

2020627, COVID19로 인한 Stay at Home3개월이 지난 시점에서, 일부 사이트들이 오픈하면서 캘리포니아에 위치한 조슈아트리 국립공원에서 캠핑을 했다. 운좋게 사이트가 오픈한는날 캠핑을 계획하여서 바로 스팟을 예약할수 있었다. 어릴때 보이스카웃 외에 처음하는 캠핑이어서 (심지어 군대에서도 텐트에서 자본적이 없다.) 많은 준비와 함께 설레는 마음으로 캠핑을 기대하였으나, 사막의 뜨거운 기후와, 태풍급으로 부는 바람으로 인해서 험난하고도 기억에 남는 캠핑이었다.

 

국립공원 입구는 아닌데, (대부분 입구 간판을 찍었는데 난 바보같이 이걸 찍어왔다.) 가는 길에 만날 수 있는 간판이다.

 

Visit Center 가 오픈을 하였으나, 입장 제한 및 마스크 필수, 그리고 최대한 비대면 서비스로 운영되고 있어, 내부는 매우 한산하였다.

 

국립공원 내부의 Hidden Valley Trail이다. 조슈아 나무와 큰 바위들을 볼 수 있다.

 

푸른 하늘과 함께 화씨 106도에 이르는 뜨거운 태양과 사막의 건조한 공기는 건식 사우나에 있는듯 한 착각이 들었다.

 

파노라마 뷰

 

트레일을 도전하였으나, 너무나 뜨거운 태양에 일단 후퇴

 

 

공원의 트레이드마크인 조슈아 나무이다.

 

사막이라고 식물이 없는건 아니다. 일년 강수량이 기준치 미만이면 사막이라고 하는데, 많은 식물과 동물들이 살고 있다. (심지어 사막여우도 만났다. 로드킬 할뻔...)

 

 

 

Keys View

 

유명한 해골바위!

 

진짜 해골처럼 생겼다.

 

 

캠핑은 숯불에 구운 스테이크!! 역시 탄맛이 최고!

 

 

캠프 그라운드는 다양한 스팟중에 Indian Cove로 조슈아 트리 국립공원에서 다시 밖으로 나와서 뒷편으로 들어가야 한다. 큰 바위들에 둘러쌓여있었으며, 그룹 캠핑장이어서, 매우큰 스팟을 단도으로 사용 (거의 산과 산사이를 통째로 사용) 할 수 있었다.

 

 

어둠이 내리는 Indian Cove Campground.

 

 

조슈아트리하면 쏟아지는 밤하늘의 별이 포인트인데, 생각보다 달이 밝다. 아무런 불빛이 없는 곳에서 달이 이렇게 밝을줄 몰랐다. 그래도 쏟아지는 별, 별똥별을 볼 수 있다.

 

불멍타임!

 

태풍급의 바람으로 아수라장이 된 캠프사이트. 사진에는 어느정도 정리된 모습이지만 완전 초토화 되었다.

 

이틑날은 Barker Dam Trail 로 향하였다. 트레일 길이가 약 1마일 정도로 경사도 완만하다고 해서 도전했는데, 말그대로 힘들지는 않다. 그런데 한 낮의 뜨거운 태양은 살을 태울 정도다.

 

댐이라고 하지만 작게 물을 막아 놓은곳으로, 비가 거의 오지않아서 많이 마른 상태였다. 그래서 댐을 건너서 트래킹을 하였다.

 

2020-06-27 / Sungwook Kang / http://sungwookkang.com

 

LA 여행, 서부 여행, 미국 여행, 조슈아트리, Joshua Tree, LA 캠핑, 미국캠핑, 서부캠핑

Hive 파티션 테이블에서 where  없는 쿼리 실행 방지

 

·       Version : Hive

 

하이브에서 테이블 파티셔닝을 하는 가장 이유는 빠르게 데이터를 검색하기 위해서이다. 아주 데이터가 있더라도 파티션 스키마가 검색하려는 범위 필터링을 반영한다면 파티셔닝 테이블은 쿼리의 성능을 극적으로 올려준다. 그래서 특정값을 필터하는 WHERE 절에 파티션 조건을 포함하는데 이러한 조건을 파티션 필터라고 부른다.

그러나 파티셔닝이 되어 있다고 하더라도, 테이블 데이터가 많거나 파티션 개수가 많다면 거대한 맵리듀스 작업을 유발할 있다. 이러한 맵리듀스의 부하를 방지하기 위해 WHERE 절에  파티션 필터가 없는경우 쿼리 실행이 되지 않도록 옵션을 설정할 있다.

 

아래 스크립트는 WHERE절에 파티션 필터가 없는경우 쿼리가 실행되지 않도록 적용한 예시이다.

hive> set hive.mapred.mode = strict;

hive> select * from campaign;

FAILED: SemanticException [Error 10056]: Queries against partitioned tables without a partition filter are disabled for safety reasons. If you know what you are doing, please set hive.strict.checks.no.partition.filter to false and make sure that hive.mapred.mode is not set to 'strict' to proceed. Note that you may get errors or incorrect results if you make a mistake while using some of the unsafe features. No partition predicate for Alias "campaign" Table "campaign"

hive>

 

 

 

아래 스크립트는 WHERE 절에 파티션 필터가 없을 경우에도 쿼리가 실행된다.

hive> set hive.mapred.mode = nonstrict;

hive> select * from campaign;

OK

Time taken: 0.671 seconds

hive>

 

현재 테이블에 생성되어 있는 파티션키 정보를 확인하려면 아래 명령을 실행한다.

hive> show partitions campaign;

OK

date_local=20200616

date_local=20200617

date_local=20200630

Time taken: 0.13 seconds, Fetched: 3 row(s)

hive>

 

 

 

 

2020-07-01 / Sungwook Kang / http://sungwookkang.com

 

 

Hadoop, Big Data, 하둡, 빅데이터, 데이터분석, HDFS, 하둡 파일 시스템, Hive, 하이브, 하이브 테이블, Hive table, 하이브쿼리, Hive SQL, 하이브파티션, 파티션필터, partition filter

Hive 매니지드 테이블 외부 테이블

 

·       Version : Hive

 

하이브에는 매니지드 테이블과 외부 테이블이라고 불리는 테이블 저장 방식이 있다. 둘의 차이점은 데이터 소유자가 하이브이냐, 아니냐로 크게 구분할 있다.

 

매지니드 테이블 (Managed Table) 내부 테이블이라고도 불리며 하이브 속성(hive.metastore.warehouse.dir)에서 정의한 디렉터리의 하위 디렉터리를 만들어서 데이터를 저장한다. 하이브에서 매니지드 테이블을 삭제할때 테이블내의 데이터가 삭제된다.

 

외부 테이블은 테이블을 생성할때, EXTERNAL 키워드를 사용하며, LOCATION절에서 지정한 위치에 데이터가 존재한다는것을 하이브에게 알려준다. 하이브에서 외부 테이블을 삭제하면, 하이브 내에서 스키마만 삭제될 데이터는그대로 존재한다. 그래서 중요한 데이터의 경우 실수를 방지하기 위해 외부 테이블로 만드는것을 권장한다.

 

테이블의 속성이 매니지드 또는 외부인지 확인할 있는 방법은 DESCRIBE EXTENDED 명령을 사용한다.

DESCRIBE EXTENDED 테이블명;

  

 

 

아래 스크립트는 매니지드 테이블처럼 스키마만 복사하여 외부 테이블로 생성한다.

create external table if not exists testdb.tbl_b

like testdb.tbl_a

location '/user/data/';

 

스키마를 복사하려는 원본 테이블이 외부 테이블인 경우 EXTERNAL 명령을 생략하여도 외부 테이블로 생성된다.

 

 

 

2020-06-24 / Sungwook Kang / http://sungwookkang.com

 

 

Hadoop, Big Data, 하둡, 빅데이터, 데이터분석, HDFS, 하둡 파일 시스템, Hive, 하이브, 하이브 테이블, Hive table, 하이브쿼리, Hive SQL

+ Recent posts