Data Science Lab

[스마트팜] 팜랩에 구성된 스마트팜(에어로팜) 훑어보기

팜랩(이라 쓰고, 방구석 팜이라 읽는다.)에 구성된 시스템에 대한 전체적인 구조를 살펴본다. 이번 포스트는 현재 구성되어 있는 팜의 컨셉 및 전체적인 모습을 간략히 설명하고, 자세한 제작 과정은 다른 포스팅에서 하나씩 제작 과정을 다뤄 볼 예정이다.

참고로 글쓴이의 경우 농사를 경험 해본적이 없고, 친인척, 지인 통틀어 농사와 관련된 사람이 없기 때문에 순수하게 데이터(매뉴얼) 관점에서 재배를 도전하는 중이며, 이 프로젝트의 컨셉이 “데이터로만 농사를 지을 수 있을까?” 라는 것을 미리 알려둔다. 그래서 모든 부분을 데이터로 관리하고, 최대한 자동화 하여 사람의 손은 최소한으로 투입하는 것을 목적으로 하고 있다.

현재 구성되어 있는 팜은 “에어로팜”으로 “분무수경”이라고도 한다. 말 그대로 분무 방식으로 식물을 키우는 것이다. 수경재배는 대부분의 사람들이 잘 알고 있는데, 수경재배는 물에서 식물을 키우지만, 분무는 직접 뿌리에 물을 분사하여 키우는 방식이다. 여려 재배 방식마다 장단점이 있는데, 이러한 부분은 다른 포스팅에서 다뤄본다.

아래 사진은 현재 운영중인 나의 1호 스마트팜이다. 첫 제작은 빠르게 만들어서 시작을 해본다(?) 라는 컨셉이어서 전선 및 여러가지가 많이 정리되지 않은 상태이다. 아무래도 팜에는 물이 사용되기 때문에 전기 부분은 매우 조심해야 할 부분이다. 그래서 현재 2개의 랙을 추가하면서 전기 배선 정리 및 안전을 위해 전원부를 상단에 배치하는 등의 약간 업그레이드를 하고 있다.

팜을 제작할 때, 최대한 작업의 손을 덜 타기 위해 규격품을 사용하려고 노력했고, 그 결과 랙(팜)의 사이즈는 일반 공사 현장(?)에서 사용되는 표준 스펙으로 제작 되었다. 팜의 크기는 가로 200cm X 세로 90cm X 높이 200cm 로 제작되었다. 대부분의 자재들은 동네 철물점, 다이소 (정말 큰 역할 했음), 온라인 쇼핑몰을 통해서 준비하였다.

베드는 스티로폼을 사용하였고, 방수를 위해 PVC 패널을 내부에 장착했다. 분무를 위해 PVC파이프에 노즐을 장착하였다. 현재 상추 뿌리가 많이 자란 상태이며, 건강한 상추는 아래 사진과 같이 새하얀 뿌리를 가지고 있다. 초반에 우여곡절이 많아 뿌리가 검게 탄 상추들도 보인다.

실내이기 때문에 빛을 보강하기 위해 인공광원으로는 적청색 LED 및 주광색 LED를 사용하였다. LED 발열이 있기 때문에 방열판 역할을 할 수 있는 지지대를 사용하였다. 현재 룩스는 15000lx를 확보했지만, 태양빛을 따라 가기엔 역부족이다. 하지만 룩스를 올리려면 더 많은 조명이 필요한데, 전기세 걱정도 있지만 발열로 인한 온도 부분도 문제가 되기 때문에 추가 냉각장치 등을 고려하면 여러 시스템이 필요하게 되어 비용이 급상승한다.

공기중 온습도, 수온, 펌프 컨트롤등의 각종 센서 및 컨트롤러는 아두이노  ESP32 보드를 사용하였다. 이 보드의 특징은 WiFi 및 Bluetooth 모듈이 장착되어 있어, 별도의 WiFi 모듈을 장착하지 않고도 인터넷에 연결할 수 있다. 아두이노에서 중앙서버와 통신하며 데이터 전송 및 컨트롤에 대한 정보를 수신한다. 각 시스템별로 별도의 아두이노가 장착되어 운영되고 있다.

에어로팜(분무수경) 방식이기 때문에, 분무를 분사하기 위해서는 어느정도 높은 압력이 필요하다. 현재 일반 가정집 환경에서 랩을 구성하였기 때문에 압력이 높으면서 최대한 소음이 적은 제품을 선별하였다. 이 또한 국내에는 적절한 것을 찾지 못하여, 캠핑카에 사용되는 펌프를 아마존에서 주문했다. 미국에서 배송되어 배송 기간이 2주이상 소요되었는데, 국내에도 잘 찾아보면 적당한 펌프가 있으리라 생각된다. 아무리 저소음이어도 일반적으로 생활하기에는 소음으로 인해 별도 공간을 분리할 수 밖에 없다. 상대적으로 조용한것이며 절대적인 소음으로는 직접 겪어보면 옆집에 민폐가 발생할 수도 있다. 사진처럼 방음 박스를 만들고 차음재, 흡읍재 등 사용했음에도 불구하고, 펌프 진동 및 소음이 일상 생활하기에는 많이 거슬린다. (그래서 결국 식물에 방을 양도하고 워크 스페이스를 다른 방으로 옴겼다.)

양액 탱크이며, 현재 관수 시설이 되어 있지 않아 양액 보충 및 농도 조절은 수동으로 하고 있다. 이 부분도 자동화를 하고 싶은 마음은 있지만 일반 가정집의 방에 구성하였기에 관수 시설을 설치하기에는 여러 어려움이 있다. (심지어 현재 이 글을 쓰는 시점에는 집 인테리어를 새로 리뉴얼한지 1년 조금 지난 시점이어서 벽지나 기타 방에 있던 무언가에 어떤 문제가 생기면 …뒷말은 생략한다.)

중앙 서버 및 데이터 저장을 위한 데이터베이스는 큰 스펙이 필요하지 않기에 사용하지 않는 랩탑을 사용하였으며, Python Fast API로 서버를 만들고, DB는 SQL Server 무료버전을 사용하였다. 모니터링을 위한 대시보드는 그라파나(Grafana) 오픈소스를 사용하여 제작하였으며 실시간 모니터링을 하고 있다. 웹브라이저로 접근이 가능하기 때문에 외부에서도 모니터링 할 수 있다.

아직 준비 되지 않은 부분은 이상현상이 발생하였을 때, 사용자에게 알람을 푸시해 주는 기능과, 냉각 및 보온에 대한 자동화 부분이 준비 되지 않은 터라 이 부분은 향후 개선할 예정이다.

이 글을 보고 집에서 스마트팜을 구성하려는 사람이 있을꺼라 생각하는데, 실제로 취미로 즐기기엔 예상보다 많은 비용과 시간이 필요하다. 팜을 만들기 위한 자재비도 자재비지만, 냉각을 위한 에어컨, 히터등도 구비해야하기에 사실상 비용 부분으로 인해 접근이 쉽지 않은 부분이 있다. 또한 모든 자재를 구입해서 DIY 하였기에 노동의 시간도 많이 필요하였다.

이번 포스트에서는 전체적인 팜 구성에 대하서 살펴보았으며, 다른 포스트에서 팜의 제작과정을 다뤄 보도록 한다.

2023-03-23 / Sungwook Kang / http://sungwookkang.com

스마트팜, Agricultural technology, Agritech, foodtech, 식물 공장, 에어로팜, 분무수경, 수경재배

[스마트팜] 나는 왜 농업(스마트팜)에 관심을 가지게 되었나?

한국은 불과 한 세대 전까지만 해도 농업이 주류였다. 그러나 산업화 과정을 겪으면서 많은 사람들이 도시로 몰렸고, 그 결과 농업에 대한 관심 및 인구가 급격하게 줄기 시작했다. 그리고 언제부턴가 농업은 사양 산업으로 인식되었다. 이러한 현상은 비단 우리나라 뿐만 아니라 전세계적으로 산업화 과정에서 발생하는 자연스러운 현상이었다.

산업화의 발달과 함께 의식주 및 위생, 공중보건, 의료 서비스 등이 발전하면서 과거에 비해 질병으로 인한 사망자 감소와 함께 평균 수명 증가로 인해 인구 또한 지속적으로 증가할 것이라고 예상하고 있다. 유엔의 발표에 따르면 2018년 기준 세계 인구는 75억명으로 2050년에는 100억 명에 달할 것으로 예상하고 있다.

출처 : https://www.hani.co.kr/arti/science/future/1067089.html

하지만 자연 환경 파괴 및 지속적인 기후변화로 인해 식량 생산량은 오히려 감소하고, 저소득층은 극빈층으로 전락할 것(2016 식량농업 상황 보고서, 국제연합식량농업기구(FAO))이라는 연구 결과가 나오기도 했다. 즉 향후 세계적으로 식량 안보의 위협을 경고하고 있다.

l   2016‑2025년 OECD‑FAO 농업 전망 : https://www.oecd-ilibrary.org/sites/3b0157bb-ko/index.html?itemId=/content/component/3b0157bb-ko

통계청 자료(통계청, 한국의 SDGs 이행보고서 2022)에 따르면, 세계 7대 곡물 수입국인 한국의 곡물 자급률은 2020년 기준 20.2%이다. 쌀을 제외한 나머지 곡물의 자급률은 두류가 7.5%, 옥수수 0.7%, 밀 0.5% 등으로 매우 심각한 수준이다.

미국의 경우 곡물자급률은 120.1%, 캐나다는 192%, 중국은 91.1%이다. 아래 그림은 2018년 세계 곡물 자급률에 대한 자료이다.

출처 : https://www.nongmin.com/323642

l   한국의 SDGs 이행보고서 (사회, 경제, 환경 전반에 걸친 한국의 지속가능발전 이행현황을 유엔 SDGs 지표에 근거하여 분석한 보고서) : https://kostat.go.kr/board.es?mid=a90107000000&bid=12317

즉, 주로 식량을 수입하는 한국의 입장에서는 주요 곡물 생산국의 상황(기후 변화, 전쟁 등)에 따라 경제적인 물가 영향은 물론이며, 식량이 무기화 되었을 때 가장 큰 타격을 입게 되는 나라 중 하나인 것이다.

지금까지의 글을 통해서 기후변화에 따른 식량 위에게 대해서 심각하게 다루었는데, 이러한 위기를 벗어나기 위해 내가 무엇인가 대단한 일을 하겠다는 것은 아니다. 다만 나라도 이렇게 관심을 가지고 있다 보면 누군가 또 이러한 문제게 관심을 가지고, 그렇게 점점 확장이 되다 보면 무언가 변화가 있지 않을까 해서이다.

그렇다면 농업에서도 왜 스마트팜에 관심을 가진것일까? 사실 농업의 중요성은 어릴 때부터 관심이 많은 분야였다. 하지만 도시에서 태어나서 도시에서 자란 나는 농사를 접할 기회가 없고 (친인척도 농사를 짓는분은 없엇음) 이미 산업화를 거쳐 정보화 시대를 살고 있는 세대이며, 가지고 있는 기술 또한 IT 이다 보니 내가 가지고 있는 기술을 농업에 활용할 수 있는 방법이 없을까 고민하다가 도심속에서도 생산이 가능한 스마트팜에 관심을 가지게 되었다. 또한 대부분 도시에서 자란 나의 세대들은 시공간 제약으로 인해 최대한 도시 환경에서 활용할 수 있는 것을 찾다보니 스마트팜에 이르렀다.

그래서 나는 나만의 작은 프로젝트를 진행해 보기로 했다. 생활공간의 일부를 할당하여 작은 스마트팜 연구실을 만들었다. 그리고 나는 테크의 관점에서 농업에 접근하기로 했다. 즉, 인공적인 환경에서 데이터로 식물을 키울 수 있는가에 대한 실험을 하기로 하였다. 이미 수 많은 기업들이 스마트팜을 운영하고 있고, 여러 사례 및 자료가 있지만 일반인들까지 범용적으로 적용할 수 있는 환경을 고민하고 표준화 하여 누구나 쉽게 접근을 할 수 있도록 하는 것이 목표이다. 집에서 스마트팜을 만드는 과정 및 식물을 키우는 운영 과정을 하나의 일기처럼 공유해볼 생각이다. 아래 사진은 나의 첫 스마트팜(분무수경 방식)에서 상추가 자라고 있는 모습이다.

2023-03-18 / Sungwook Kang / http://sungwookkang.com

스마트팜, Agricultural technology, Agritech, foodtech, 식물 공장, 에어로팜, 분무수경, 수경재배

[AWS] AWS Redshift 실행된 쿼리 및 Slow query 확인

l  Version : AWS Redshift, Redshift Serverless

AWS Redshift에서 특정 시간이상 실행된 쿼리 또는 사용자에 의한 취소 쿼리 목록 및 실행시간, 실행된 쿼리 등을 확인하는 방법에 대해서 알아본다.

아래 스크립트는 3초 이상 실행된 쿼리 목록을 확인하여, WHERE 부분을 수정하여 사용자에 필요한 시간으로 변경하여 사용할 수 있다. 조회 결과는 오래 수행된 쿼리의 내림 차순으로 표시되며, S3 spectrum을 사용할 경우 외부 테이블에 대한 사용 정보도 함께 나태낸다. 쿼리 결과에서 elapsed_time은 전체 쿼리가 수행에 걸린 시간을 나타내므로 해당 시간이 클수록 느린 쿼리라고 판단할 수 있다.

[참고 자료]

l  쿼리 계획 : https://docs.aws.amazon.com/ko_kr/redshift/latest/dg/c-the-query-plan.html

l  쿼리 요약 분석 : https://docs.aws.amazon.com/ko_kr/redshift/latest/dg/c-analyzing-the-query-summary.html

l  쿼리 계획 분석 : https://docs.aws.amazon.com/ko_kr/redshift/latest/dg/c-analyzing-the-query-plan.html

l  쿼리 히스토리 : https://docs.aws.amazon.com/ko_kr/redshift/latest/dg/SYS_QUERY_HISTORY.html

l  외부 쿼리 상세 보기 : https://docs.aws.amazon.com/ko_kr/redshift/latest/dg/SYS_EXTERNAL_QUERY_DETAIL.html

l  쿼리 세부 정보 : https://docs.aws.amazon.com/ko_kr/redshift/latest/dg/SYS_QUERY_DETAIL.html

l  서버리스 사용량 확인 : https://docs.aws.amazon.com/ko_kr/redshift/latest/dg/SYS_SERVERLESS_USAGE.html

2023-02-19 / Sungwook Kang / http://sungwookkang.com

AWS, Redshift, Serverless, SYS_QUERY_HISTORY, SlowQuery, 슬로우 쿼리 확인

[AWS] AWS Redshift Serverless 사용량을 확인하여 빌링비용 예상하기

l  Version : AWS Redshift Serverless

AWS Redshift Serverless는 사용한 RPU (Redshift Serverless는 리소스 단위로 RPU 라는 것을 사용한다.) 만큼의 비용이 발생하는 구조이다. 그렇다면 사용자가 쿼리를 실행하였을 때, 얼마만큼의 RCU를 사용하였는지 확인하여 예상 빌링 비용을 산출하는 방법에 대해서 알아본다.

AWS Redshift Serverless 환경에서 쿼리를 실행을 완료한 다음, SYS_SERVERLESS_USAGE 라는 시스템 테이블을 확인하면, 서버가 실행된 시간과 그 때 사용된 리소스 사용량을 확인할 수 있다.

아래 스크립트는 1일 사용량에 따른 비용을 계산하는 예제이다. SYS_SERVERLESS_USAGE 시스템 테이블을 쿼리하여 사용량을 추적할 수 있으며, 쿼리가 처리된 기간의 근사값을 계산할 수 있다. 현재 서비스 중인 리전의 RPU 가격을 확인하여 대입하면 된다. 아래 스크립트에서는 서울 리전의 RPU 가격을 대입한 결과 이다.

Redshift Serverless는 사용한 만큼 비용이 발생하는 구조이지만, 쿼리가 실패 하였을 경우에는 비용이 발생하지 않는다. 하지만 사용자 요청에 의해 취소되는 작업에 대해서는 취소될 때 까지 사용된 리소스에 대해서는 비용이 발생한다. 따라서, 실행중인 쿼리를 캔슬하거나 쿼리 타임아웃으로 인해 쿼리가 취소 되지 않도록 시간을 적절히 조절하여 의도하지 않은 불필요한 비용이 발생하지 않도록 한다.

Redshift에서 S3 에 저장된 데이터를 직접 수행할 수 있도록 하는 Amazon Redshift Spectrum을 사용할 경우, 스캔한 바이트 수에 대해 비용이 부과되며 10MB를 기준으로 반올림하여 처리 된다. DDL문에 대해서는 파티셔닝 관리와 실패한 쿼리에 대해서는 비용이 부과되지 않는다.

AWS S3에서는 Amazon Redshift Serverless의 외부 데이터 쿼리는 별도로 청구되지 않으며, Amazon Redshift 서버리스에 대한 청구 금액(RPU)에 포함되어 있다.

[참고자료]

l  https://docs.aws.amazon.com/ko_kr/redshift/latest/dg/SYS_SERVERLESS_USAGE.html

l  https://aws.amazon.com/ko/redshift/pricing/

2023-01-09 / Sungwook Kang / http://sungwookkang.com

AWS, Redshift, Serverless, SYS_SERVERLESS_USAGE