Data Science Lab

MySQL/MariaDB sql_mode 설정 변경으로 NULL 데이터 처리하기

·       Version : MySQL 5.7

MS SQL Server에서 BCP를 이용하여 데이터를 탭 구분형식의 텍스트 파일로 내려받고 MySQL에서는 Bulk load(LOAD DATA INFILE)를 사용하여 데이터를 복원할때 아래와 같은 에러가 지속적으로 발생하였다.

이 문제는 Decimal 컬럼에 NULL값을 입력할때 MySQL의 유효성 문제로 에러가 발생한 것이다. 해당 컬럼은 NULL 허용 컬럼임에도 불구하고 지속적으로 동일한 문제가 발생하여, 해결 방법을 찾아본 결과 아래와 같은 sql_mode 변경으로 해결할 수 있었다.

Server SQL Mode 는 MySQL이 지원해야 하는 SQL 구문과 수행해야하는 데이터의 유효성 검사의 종류를 정의한다. MySQL 서버는 이러한 모드를 클라이언트에 개별적으로 적용할 수 있다. 운영중에 모드를 변경하려는 경우, SET 명령을 사용할 수있으며, GLOBAL 또는 SESSION  변수를 사용할 수 있다. GLOBAL 변수의 경우 SUPER 권한이 필요하며, 설정 이후 모든 클라이언트의 작동에 영향을 준다. SESSION은 현재 클라이언트에만 영항이 있다. 현재 설정된 sql_mode 값을 확인하려면 아래 스크립트를 실행한다.

. MySQL 5.7 경우 기본SQL 모드는 아래와 같다.

이번 해결은 유효성 검사를 비활성화 하여 해결하였지만 Sql_mode 변경은 시스템 환경을 변경하는것으로 반드시 잘 알고 사용해야 하며 다른 서비스에 영향이 없는지 반드시 검토가 필요하다.  자세한 내용은 아래 링크를 참고 한다.

·       Server SQL Mode : https://dev.mysql.com/doc/refman/5.7/en/sql-mode.html

 [참고자료]

·       Server SQL Mode : https://dev.mysql.com/doc/refman/5.7/en/sql-mode.html

·       FAQ : Server SQL Mode : https://dev.mysql.com/doc/refman/5.7/en/faqs-sql-modes.html

2019-07-05 / 강성욱 / http://sungwookkang.com

MySQL, MySQL sql_mode, 유효성 검사, 벌크로드, NULL Exception, NULL 값처리, 데이터 마이그레이션, LOAD DATA INFILE

MySQL/MariaDB Timezone 설정 및 확인

·       Version : MySQL 5.7, Docker

MySQL/MariaDB를 운영할때, 타임존에 대해서 알아본다. 아래 스크립트는 현재 데이터베이스의 타임존을 확인한다. 타임존이 SYSTEM 으로 표시되면 별도의 타임존 설정이 되어 있지 않다는 뜻이며 시스템의 타임존을 사용하겠다는 뜻이다.

데이터베이스 설정에서 default-time-zone 변경 방법은 my.ini (my.cnf)에서 [mysqld] 영역에 타임존을 추가한다. 아래 스크립트는KST로 타임존을 설정하였으며 스크립트 적용 후MySQL 서비스 재시작이 필요하다.

다른 방법으로는 현재 서비스 상태에서 글로벌, 또는 세션 변수의 값을 명시적으로 설정할 수 있다. 이 방법은 서비스를 재시작 하지 않아도 된다.

어플리케이션에서 연결시에도 타임존을 지정할 수 있다. 이 경우 세션으로 작동한다. JDBC URL에 추가하는 방법은 아래 코드를 참고 한다.

Timezone의 값은 여러 가지 포맷으로 사용할 수 있으며 대소문자 구분이 없다.

·       SYSTEM은 MySQL이 시스템의 타임존과 동일한 설정을 사용

·       ‘+9:00’ 또는 ‘-6:00’과 같이 GTM/UTC 기준 Offset 사용

·       US/Eastern, Asia/Seoul 과 같은 named timezone 사용

named timezone 형태의 값을 사용하려면  “mysql” 데이터베이스에 “time_zone”, “time_zone_name”, “time_zone_transition”, “time_zone_transition_type”, “time_zone_leap_second” 테이블을 참조하는데 실제 이 테이블은 빈테이블이기 때문에 사용자가 데이터를 입력해주어야 한다. 타임존 데이터는 아래 링크에서 정보를 다운로드 받아 스크립트를 실행한다. 스크립트를 살펴보면 각 타임존 정보를 확인할 수 있다.

·       https://dev.mysql.com/downloads/timezones.html

[참고자료]

·       https://dev.mysql.com/doc/refman/5.5/en/time-zone-support.html

2019-06-12 / 강성욱 / http://sungwookkang.com

MySQL, MySQL Timezone, 타임존, DB time, time_zone, time_zone_name, time_zone_transition, time_zone_transition_type, time_zone_leap_second, named timezone

 Redis Memory LFU(Least Frequently Used) 캐시

·       Version : Redis 4.0

Redis 4.0 부터 제공되는 LFU 알고리즘 캐시는 자주 참조되는 데이터만 배치하고 그렇지 않은 데이터들은 메모리로부터 제거하여 자주 사용되는 데이터들이 메모리에 배치되도록하는  알고리즘이다. LRU 알고리즘은 최근에 액세스 했지만 실제로는 거의 요청하지 않는 항목에 대해서도 메모리에 보관하고 자주 요청되는 키에 대해서는 만료가 되기 때문에 의도하지 않은 성능이 나타날 수도 있다.

LFU는 Approximated LRU와 유사하다. 모리스 카운터라고 하는 확률적 카운터를 사용하여 개체의 액세스 빈도를 계산하고 감쇠 기간과 결합하여 시간이 지남에 따라 카운터가 감소한다. 알고리즘은 액세스 패턴의 변화를 확인하고 과거에 액세스가 있었지만 자주 액세스되지 않는 키는 삭제 후보로 선정한다. 이러한 방법은 LRU에서 발생하는것과 유사하게 샘플링된다. 그러나 LRU와 달리 LFU에는 특정 조정가능한 매개변수가 있다. 예를들어 더 이상 객체에 액세스하지 않게 되면 랭크를 얼마나 빨리 감소 시킬것인지 설정할 수 있다. Redis 4.0은 기본적으로 아래와 같이 구성된다.

·       100만건의 요청에 카운터를 포화시킨다.

·       카운터를 1분마다 감쇠한다.

카운터 범위 조정은 Redis.conf 파일에 아래와 같이 관련 파라메터를 수정한다.

·       lfu-log-factor 10 (기본값 10)

·       lfu-decay-time 1

lfu-decay-time의 변수값은 분(minute)로 사용되며 0으로 설정할 경우 항상 카운터를 스캔할 때마다 카운터를 감소시킨다.

lfu-log-factor의 범위는 0-255이며,  factor가 높을수록 최대 값에 도달하기 위해 더 많은 액세스가 필요하다. Hits 값은 사용자가 메모리로부터 데이터를 재참조한 값으로 높을 수록 좋다. 아래 표에서는 팩터가 10일때 1M 이상의 힛트가 발생하는 경우 가장 이상적인 것을 확인할 수 있다..

[참고자료]

·       https://redis.io/topics/lru-cache

·       Approximate counting algorithm : https://en.wikipedia.org/wiki/Approximate_counting_algorithm

2019-06-06 / Sungwook Kang / http://sungwookkang.com

Redis, Redis Architecture, 레디스 메모리, Redis LFU, LFU 알고리즘, Least Frequently Used, 레디스 메모리 공간 확보, 레디스 메모리 제거

 Redis Memory LRU(Least Recently Used) 캐시

·       Version : Redis 3.2.100 (Windows)

Redis에서 캐시로 사용되는 알고리즘으로 LRU(Least Recently Used)를 사용한다.  LRU 알고리즘은 최근에 사용된 데이터들은 재사용이 될 가능성이 높다고 판단하여 계속해서 메모리에 상주 시킬수 있도록 재배치 하는 작업이다.  LRU 알고리즘으로 Redis 서버 인스턴스를 운영하기 위해서는CONFIG SET 명령어 또는  redis.conf 파일에서 아래 파라메터를 수정한다.

·       maxmemory <bytes>

·       maxmemory-samples 5

maxmemory 파라메터는 Redis 서버에 할당할 수 있는 최대 메모리 크기이며, 이 값을 0로 설정할 경우 최대 메모리 한계가 없어진다. 32 bit 시스템에서는 암시적으로 메모리 제한이 3GB 를 사용한다.

maxmemory-samples 파라메터는 LRU 알고리즘에서 퇴거(eviction)를 검사할 샘플 수 이다.

Redis 메모리의 상주 데이터를 삭제하는 종류는 몇 가지가 있으며 memory-policy  구문을 사용하여 아래와 같은 정책을 적용할 수 있다.

·       noeviction : 메모리 제한에 도달한 상태에서 클라이언트가 더 많은 메모리를 사용하는  명령을 실행하려고 할 때 오류를 리턴한다. (대부분 쓰기 명령 및 DEL 명령시 발생한다.)

·       allkeys-lru : 가장 최근에 사용하지 않는 키(LRU)를 먼저 퇴거(eviction)하여 새로운 데이터를 위한 공간을 확보한다.

·       volatile-lru :  가장 최근에 사용되지 않은 키(LRU)를 먼저 퇴거(evict)하려고 시도하지만 만료 세트가 있는 키만 퇴거하여 새로운 데이터 공간을 확보한다.

·       allkeys-random : 새 세이터를 추가할 공간을 만들기 위해 임의로 키를 퇴거(evict)한다.

·       volatile-random :  새 데이터를 추가하기위한 공간을 만들기 위해 무작위로 키를 퇴거(evict)하지만 만료 세트가 있는 키만 제거한다.

·       volatile-ttl : 만료 세트가 있는 키를 제거하고 TTL(Short Time to Live)키를 제거하여 새로운 데이터를 추가 공간을 확보한다.

volatile-lru, volatile-random 및 volatile-ttl 정책은 필수 구성요소와 일치하는 키가 없으면 아무런 행동을 하지 않는다. 올바른 퇴거 정책을 수립하기 위해서는 Redis INFO 정보를 모니터링하여 정책에 반영할 수 있도록 한다.

·       요청이 많으며 과거 데이터를 자주 사용하지 않는다면 allkeys-lru  정책을 사용한다.

·       모든 키가 연속적으로 스캔되는 순환 액세스가 있거나 배포가 균일할 것으로 예상되는 경우 (모든 요소는 동일한 확률로 액세스 될 가능성이 높음) allkeys-random을 사용한다.

·       캐시 개체를 만들 때 다른 TTL 값을 사용하여 만료 기간이 좋은 항목에 대한 힌트를 Redis에 제공하려면 volatile-ttl을 사용한다.

volatile-lru 및 volatile-random 정책은 캐싱 및 영구 키 집합에 대한 단일 인스턴스를 사용하려는 경우 유용하다. 그러나 일반적으로 이러한 문제를 해결하기 위해 두 개의 Reids 인스턴스를 실행하는 것이 좋다. 또한 키에 만료를 설정하면 메모리가 낭비되므로 allkeys-lru와 같은 정책을 사용하면 메모리가 부족할 때 키가 만료되도록 설정할 필요가 없기 때문에 더 많은 메모리가 효율적으로 운영된다.

Redis LRU 알고리즘은 정확한 구현이 아니다. 이뜻은 Redis가 퇴출을 위한 최선의 후보, 즉 과거에 가장 많이 액세스 된 액세스를 선택할 수 없음을 의미한다. 대신 LRU 알고리즘의 근사치를 실행하거나 소수의 키를 샘플링 하고 샘플링된 키 중에서 가장 오래된 액세스 시간(가장 오래된 액세스 시간)을 제거하려고 시도한다. 그러나 Redis 3.0 이후 알고리즘은 개선 된 퇴거 후보자를 확보하기 위해 개선되었다. 이로 인해 알고리즘의 성능이 향상되어 실제 LRU 알고리즘의 동작을 보다 자세히 근사할 수 있게 되었다.

Redis가 진정한 LRU 구현을 사용하지 않는 이유는 더 많은 메모리가 필요하기 때문이다. 그러나 근사값은 Redis를 사용하는 응용프로그램과 거의 같다. 다음은 Redis에서 사용한 LRU 근사값과 실제 LRU를 비교하는 방법을 그래픽으로 비교한 것이다.

위 그림에서 연한 회색은 퇴거된 영역이며, 회색은 퇴거되지 않은 대상이다. 녹색은 추가된 객체이다. 시뮬레이션에서 지수법 접근 패턴을 사용하여 실제  LRU와 Redis 근사값 간의 차이가 미미하거나 존재하지 않는다는 것을 발견했다. 그러나 실제 LRU를 근사하게 비교하고 캐시 미스 비율에 차이가 있는지 확인하기 위해 몇 가지 추가 CPU 사용량을 희생시켜 샘플 크기를 10으로 늘릴 수 있다.

[참고자료]

https://redis.io/topics/lru-cache

2019-06-03 / Sungwook Kang / http://sungwookkang.com

Redis, Redis Architecture, 레디스 메모리, Redis LRU, LRU 알고리즘, Least Recently Used, 레디스 메모리 공간 확보, 레디스 메모리 제거

 Redis Memory 정보

·       Version : Redis 3.2.100 (Windows)

Redis에서 info명령은 서버의 각종 통계 및 상태를 보여준다. 다양한 매개 변수를 사용하여 특정 정보를 확인할 수 있으며 이번 포스트에서는 메모리 관련 정보를 확인해본다.

Redis에 접속하여 Redis info 명령을 실행하면 메모리 관련 사용 정보를 반환한다.

·       *_human 값은 동일 항목의 byte 값을 Kbyte로 변환하여 나타낸 값

이상적으로 used_memory_rss 값은 used_memory 보다 약간 높아야 한다. rss >>를 사용하면 mem_fragmemtation_ratio 를 검사하여 메모리 조각화(내부 또는 외부)가 있는지 확인할 수 있다.  >> rss를 사용하면 Redis 메모리의 일부가 운영체제에 스왑 아웃을 되었다는 것을 의미한다. 이 뜻은 지연이 있다는 것을 의미한다.

Redis는 메모리 페이지에 매핑되는 할당 방식을 제어할 수 없으므로 높은 used_memory_rss는 메모리 사용이 급증하여다는 것을 의미한다. Redis가 메모리를 해제하면 메모리는시스템에 메모리를 반환하거나 하지 않을 수 있다. 따라서 운영체제에서 보고한 used_ memory값과 메모리 소비간에 불일치가 있을 수 있다. used_memory_peak  값은 일반적으로 이 지점을 확인하는데 유용하다.

서버의 메모리에 대한 추가 정보는 memory stats 명령과 memory doctor를 참조하여 확인할 수 있다.

[참고자료]

https://redis.io/commands/INFO

2019-05-20 / Sungwook Kang / http://sungwookkang.com

Redis, Redis Architecture, 레디스 메모리, 레디스 메모리 사용량, 메모리 모니터링, Redis, info memory

 Redis Architecture

·       Version : Redis 3.2.100 (Windows)

아래 그림은 Redis Server Architecture 이며, 크게 3가지 영역인, 메모리, 파일, 프로세스 영역으로 구성되어 있다.

[메모리 영역]

·       Resident Area (Working Set) : 사용자가 Redis 서버에 접속해서 처리하는 모든 데이터가 가정 먼저 저장되는 영역이며 실제 작업이 수행되는 영역.

·       Data Structure : Redis를 운영하기 위한 다양한 정보를 저장하고 관리하기 위한 영역.

[파일 영역]

·       AOF 파일 : 메모리에 저장된 사용자 데이터를 파일에 기록하는 영역 (스냅샷 데이터)

·       DUMP 파일 : 소량의 데이터를 일시적으로 저장할때 사용하는 영역

[프로세스 영역]

·       Server Process : redis-server.exe 또는 redis-sentinel.exe  실행 코드에 의해 활성화되는 프로세스이며, Redis 인스턴스 관리 및 사용자 요청 작업을 처리한다. 4개의 멀티 스레드로 구성된다.

ü  Main Thread : Redis 서버에서 수행되는 대부분의 명령어와 이벤트 처리

ü  BIO-Close-FILE  : AOF(Append Only File)에 데이터를 Rewrite 할때 기존 파일은 Close 하고 새로운 AOF 파일에  Write할 때 사용.

ü  BIO-AOF-Resync : AOF에 쓰기 작업을 수행할 때 사용

ü  BIO-LAZY-Free : unlink, FLUSHALL, FLUSHDB 명령어를 실행할 때 빠른 성능을 보장하기 위해 백그라운드에서 사용

·       Client Process : redis-cli.exe 또는 사용자 애플리케이션에 의해 실행되는 명령어를 실행하기 위해 제공되는 프로세스.

[참고자료]

https://docs.redislabs.com/latest/rs/concepts/

2019-05-14 / Sungwook Kang / http://sungwookkang.com

Redis, Redis Architecture, 레디스 아키텍처, 레디스 스레드, 레디스 프로세스, 레디스 메모리 아키텍처

 Redis 데이터 타입 – Geo

·       Version : Redis 3.2.100 (Windows)

Redis 의 Geo 데이터 타입은 위치정보(위도, 경도) 데이터를 효율적으로 저장하고 사용할 수 있다.  geoadd, geopos, geodist, georadius, geohash 명령어를 사용한다.

[geoadd]

데이터를 저장한다.

[geopos]

데이터를 검색한다

[geodist]

두 맴버간의 거리를 반환

[georadius]

중심위치로 부터 최대 거리(반지름)으로 지정된 경계 내에 있는 목록을 반환

[참고자료]

https://redis.io/commands

2019-05-14 / Sungwook Kang / http://sungwookkang.com

Redis, Redis 입,력geoadd, geopos, geodist, georadius, geohash데이터 타입, 위치정보, 레디스 위치 정보,

 Redis 데이터 타입 – bit

·       Version : Redis 3.2.100 (Windows)

Redis 의 bit는 0과 1로 표시하며 setbit, getbit, bitcount 명령어를 사용한다.

[setbit]

데이터를 저장한다.

[getbit]

데이터를 검색한다.

[bitcount]

키 범위내의 value 카운트를 나타낸다.

[참고자료]

https://redis.io/commands

2019-05-09 / Sungwook Kang / http://sungwookkang.com

Redis, Redis 입력, setbit, getbit, bitcount, redis 데이터 타입, redis sorted set 데이터 타입, 레디스 데이터 타입, 레디스 bit,  레디스 비트값 저장

 Redis 데이터 타입 – Sorted Set

·       Version : Redis 3.2.100 (Windows)

Redis 의 Sorted Set 데이터 타입은 Set과 동일한 구조이며 차이점은 데이터가 정렬된 상태로 저장된다는 것이다. 명령어는 zadd, zrange, zcard, zcount, zrank, zrevrank를 사용한다.

[zadd]

데이터를 저장할때 zadd 명령을 사용한다.

[zrange]

키 범위에 데이터를 검색한다.

[zcard]

저장된 value 개수는 scard 명령을 사용한다.

[zcount]

키 범위내의 value 카운트를 나타낸다.

[zrem]

저장되어 있는 value를 삭제 한다.

[zrank]

Data가 저장된 value의 rank를 나타낸다.

[zrevrank]

Data가 저장된 value의 rank를 표시하되 리버스된 rank 값을 나타낸다.

[zscore]

데이터가 저장된 시점의 value 포인터를 나타낸다.

[참고자료]

https://redis.io/commands

2019-05-02 / Sungwook Kang / http://sungwookkang.com

Redis, Redis 입력, zadd, zrange, zcard, zcount, zrank, zrevrank, redis 데이터 타입, redis sorted set 데이터 타입, 레디스 데이터 타입, 레디스 sorted set, 정렬데이터 저장

SQL Server에서 테이블 이름을 변경하지 않고 테이터만 교체하기

·       Version : SQL Server

SQL Server에서 파티션 테이블을 사용하기 위해서는 SQL Server Enterprise Edition을 사용해야한다. Standard Edition에서도 파티션 테이블 처럼 사용하기 위해서는 새로운 테이블을 생성하고 sp_rename 함수를 사용하여 기존테이블과 새로운 테이블의 이름을 변경하는 방식으로 사용하였다.

위와 같은 방법을 사용하여 메타 데이터 레벨에서 테이블 이름을 변경하면 스키마가 일치하더라도 이름이 바뀐 테이블이 지정된 이름의 메타 데이터와 연결되지 않는다. 시스템은 캐시된 ObjectID를 사용하는데 스왑아웃을 수행하려면 캐시 데이터를 업데이트하는 추가 단계가 필요하다. 스위치 아웃으로 인해 ObjectID및 관련 메타정보가 그대로 유지되면 이러한 추가단계가 불필요하다.

ALTER TABLE SWITCH TO 명령은 기존 테이블을 유지하면 데이터 세트를 스와핑힌다. 이 명령을 사용하기 위해서는 스키마 정보가 호환 가능해야한다. 컬럼이름, 컬럼 순서, 조약 조건등 특성이 동일해야한다.

[참고자료]

https://bengribaudo.com/blog/2016/11/15/3521/swapping-data-sets

2019-05-02 / Sungwook Kang / http://sungwookkang.com

SQL Server, partition table, table swap, data set swap, alter table switch to, sp_rename, alter table, 테이블 변경, 테이블 이름 변경, 데이터 변경

 Redis 데이터 타입 - Set

·       Version : Redis 3.2.100 (Windows)

Redis 의 Set 데이터 타입은 Element 단위로 저장한다. Set 타입의 데이터를 핸들링할 때에는 sadd, smembers, scard, sdiff, sunion 명령어를 사용한다.

[sadd]

데이터를 저장할때 sadd 명령을 사용한다.

[smembers]

Set 으로 저장된 데이터 검색은 smembers 명령을 사용한다.

[scard]

저장된 value 개수는 scard 명령을 사용한다.

[sdiff]

Key의 엘레멘트를 비교하여 전자의 key에만 있는 value를 출력한다. 아래 예제는 order 와 order_new 를 비교해서 order에만 있는 value를 출력한다.

[sdiffstore]

Key의 엘레멘트를 비교하여 전자의key에만 있는 value를 다른 key의 엘레멘트로 저장한다. 아래 예제는  order와 order_new를 비교하여 order 에만 있는 value를 order_diff 로 저장한다.

[sunion]

Key의 엘레멘트의 value를 합쳐서 출력한다.

[sunionstore]

Key의 엘레멘트의 value를 합쳐서 다른 key로 저장한다.

[srem]

저장되어 있는 value를 삭제 한다.

[spop]

저장되어 있는value 에서 random으로 삭제한다.

[참고자료]

https://redis.io/commands

2019-04-29 / Sungwook Kang / http://sungwookkang.com

Redis, Redis 입력, sadd, smembers, scard, sdiff, sunion, redis 데이터 타입, redis set 데이터 타입, 레디스 데이터 타입, 레디스 set

 Redis 데이터 타입 - List

·       Version : Redis 3.2.100 (Windows)

Redis 의 List 데이터 타입은 배열(Array) 과 비슷한 데이터 구조이다. List 타입의 데이터를 핸들링할 때에는 lpush, lrange, rpush, rpop, llen, lindex 명령어를 사용한다.

[lpush]

List 타입은 하나의 key에 여러 개의 value를 저장할 수 있다.

[lrange]

List 형태의 데이터를 검색할때 lrange 명령어를 사용한다. 명령어 사용시 key, start, stop 값을 함께 사용한다. 아래 스크립트는 0 -10개의 리스트값을 검색한다.

[rpush]

List데이터 타입에서 기존에 저장되어 있는 데이터 마지막에 새로운 value 를 저장할때 rpush 명령어를 사용한다.

[lpushx]

타입에서 기존에 저장되어 있는 데이터 맨 앞에 새로운 value 를 저장

[linsert]

Value 와 value 사이에 값을 끼워넣는다. 아래 스크립트는 <item_id>3</item_id>앞에 <item_id>5</item_id> 값을 끼워 넣는다.

[lset]

특정 key 의 인덱스에 해당하는 value 값 변경

[rpop]

마지막에 저장된 values값을 제거

[llen]

저장된 values의 개수를 출력

[lindex]

검색하려는 key의 특정 인덱스 위치에 저장된 데이터 검색

[참고자료]

https://redis.io/commands

2019-04-26 / Sungwook Kang / http://sungwookkang.com

Redis, Redis 입력, hget, hmset, hmget, redis 데이터 타입, redis list 데이터 타입, 레디스 데이터 타입, 레디스 리스트

 Redis 데이터 타입 - Hash

·       Version : Redis 3.2.100 (Windows)

Redis 에서 데이터를 저장할때, 하나의 key 에 여러 개의 Value를 저장할때에는 Hash 데이터 타입을 사용할 수 있다. Hash 데이터 타입은 하나의 key 에 하나 이상의 value 값을 콜론(:)으로 구분하여 데이터를 저장할 수 있다. 기본적으로 필드의 갯수는 제한이 없으며, Value 값에 문자열을 사용할 때는 “string”를 사용한다.

[hmset / hget / hmget]

Hash 타입의 데이터를 입력할때 hmset 명령어를 사용한다. 데이터를 검색할 때에는 hget 명령어를 사용한다.

Key에 정의된 특정 필드의 value만 출력할 때에는 hmget 을 사용한다.

[hgetall]

특정 key 값의 모든 필드와 value를 검색할 때에는 hgetall 명령을 사용한다.

[hkeys / hvals]

Key에 대한 모든 field 명을 출력할 때에는 hkeys 명령어를 사용하고, key에 대한 모든 value만 출력할 때에는 hvals 를 사용한다.

[hexists]

Key 와 field값으로 필드의 존재 유무를 확인할 때는 hexists 명령어를 사용한다. 반환되는 값이 1이면 검색한 필드가 존재하며 0이면 존재하지 않는 필드이다.

[hdel]

Key에 대한 특정 필드를 삭제 하려면 hdel 명령을 사용한다. Item_name의 필드와value가 삭제된 것을 확인할 수 있다다.

[참고자료]

https://redis.io/commands

2019-04-25 / Sungwook Kang / http://sungwookkang.com

Redis, Redis 입력, hget, hmset, hmget, redis 데이터 타입, redis hash 데이터 타입, 레디스 데이터 타입, 레디스 해시

 Redis 데이터 입력, 수정, 삭제, 조회

·       Version : Redis 3.2.100 (Windows)

Redis는 키밸류(Key-Value) 시스템으로 데이터를 입력,수정,삭제,조회를 하기 위해서는 Redis에서 제공하는 명령어를 사용해야 한다. 아래 실습을 통해서 데이터를 핸들링하는 방법에 대해서 알아본다.

[set]

데이터를 저장할 때에는 set 명령을 사용한다.

[get]

데이터를 검색할 때에는 get 명령을 사용한다.

[rename]

저장된 key 값을 변경할 때에는 rename 명령을 사용한다.

[keys]

저장된 모든 키를 검색할때 key 명령을 사용한다.

[randomkey]

저장된 key 중에 하나의 랜덤한 key를 검색할 때 randomkey 명령을 사용한다.

[exists]

검색 하려는 key가 존재하는지 여부를 확인할때 exists 명령어를 사용한다. 반환되는 값이 1이면 존재하는 키값이며, 0이면 존재하지 않는 키값이다.

[strlen]

검색하려는 key의 value 길이를 확인할때 strlen 명령을 사용한다.

[flushall]

 현재 저장되어 있는 모든key를 삭제 할 때에는 flushall 명령을 사용한다.

[setex]

데이터를 입력할때  일정 시간이 지나 자동으로 삭제하는 명령은 setex 이다. 시간 단위는 초(second)이다. 데이터 입력후 ttl key를 사용하면 삭제 되기 까지의 시간을 확인할 수 있다.

[mget / mset]

여러개의 key와 value를 한번에 검색/저장할때에는 mget / mset 명령어를 사용한다. mset 명령어 사용시 데이터가 입력 순서대로 저장된다는 보장은 없다.

[append]

현재 value 값에value를 추가할때에는 append 명령어를 사용한다.  추가하려는 value에 첫 공백이 없을 경우 기존의 값 앞 부분에 추가가 되면 공백이 있을경우 기존 값의 뒷 부분에 추가 된다.

[incr / decr]

특정 key 값의 value 값에 대한 증가 또는 감소 값을 가져올때 incr / decr 명령을 사용한다.

[save]

현재 입력되어 있는  key, value 값을 파일러 저장할 때에는 save명령어를 사용한다. Save 명령으로 저장된 데이터는 Redis 폴더의 dump.rdb파일로 생성된다.

[참고자료]

https://redis.io/commands

2019-04-24 / Sungwook Kang / http://sungwookkang.com

Redis, Redis 입력, get, set, mget, mset, flushall, keys, append, redis 조회, redis 데이터 수정

 Redis - redis-cli를 사용한 Redis Server접속

·       Version : Redis 3.2.100 (Windows)

Redis가 설치 되어 있으면 설치되어 있는 폴더에서 redis-cli.exe를 사용하여 Redis 서버에 접속할 수 있다. 이때 Redis 인스턴스를 활성화 할 때 사용했던 포트 번호를 -p 옵션과 함께 사용한다.

Redis-Shell에서 실행할 수 있는 명령어 리스트를 조회하려면 help를 입력한다.

help 명령어와 함께 실행할 명령어를 입력하면 해당 명령어의 자세한 사용법이 표시 된다.

[참고자료]

https://redis.io/documentation

2019-04-23 / Sungwook Kang / http://sungwookkang.com

Redis, Redis install for windows,  redis-cli, redis 접속

Redis 설치 (Windows)

·       Version : Redis 3.2.100

Redis는 (글을 쓰는 현재)공식적으로 Windows 버전을 지원하지 않는다. 하지만 공식 사이트를 살펴 보면 Microsoft에서 Win-64 port를 개발하고 유지한다고 한다.

·       Redis : https://redis.io/topics/introduction

Redis 공식 사이트에서 안내되어있는 링크를 클릭하면 MicrosoftArchive 깃헙으로 연결된다. 아래 깃헙에서 필요한 버전을 다운받아서 설치 한다.

·       Redis for Windows :  https://github.com/MicrosoftArchive/redis/releases

Redis 설치가 완료되면 Task Manager – Services 탭에서 Redis 서비스가 실행중인것을 확인할 수 있다.

[참고자료]

·       https://redis.io/topics/introduction

·       https://github.com/MicrosoftArchive/redis/releases

2019-04-22 / Sungwook Kang / http://sungwookkang.com

Redis, Redis install for windows,  MicrosoftArchive, 레디스, 레디스 설치, NoSQL, Memory DB

SQL Server master 데이터베이스 정리

·       Version : SQL Server

SQL Server에서 master 데이터베이스의 역할은 시스템에 대한 모든 정보를 기록한다. 여기에는 로그인 계정, 끝점, 연결된 서버 및 시스템 구성설정과 같은 인스턴스 차원의 메타 데이터가 포함된다.

·       master database : https://docs.microsoft.com/en-us/sql/relational-databases/databases/master-database?view=sql-server-2017

우리는 가끔 의도하지 않게 master 데이터베이스에 개체를 생성하는 경우가 있다. 대부분 개체를 생성할 때 USE 문을 생략했을 수도 있고 수 많은 작업창을 띄어 놓고 사용하다가 실수할 수도 있다. 이번 아티클에서는 master 데이터베이스를 정리하는 방법에 대해서 알아본다. master 데이터베이스는 시스템의 설정을 저장하고 있으므로 해당 작업시 주의가 필요 하다.

[master에서 삭제하지 않을 목록]

아래 표에 정으되어 있는 오브젝트 유형은 시스템과 관련있기 때문에 삭제 목록에서 제외한다.

사용자는 자신만의 모듈을 생성하여 시스템 객체로 표시할 수도 있다. 이 경우 시스템 저장프로시저와 구별 할 수 있는 확실한 방법이 없기 때문에 주관적으로 식별해야 한다.

[master 에서 삭제할 목록]

오브젝트를 삭제하기 위해서는 약간의 순서가 필요하다. 예를 들어 테이블을 삭제하려면 외부키나 뷰를 제거해야하며, 테이블 함수를 사용하는 테이블을 삭제 될 때까지 파티션 함수를 제거할 수 없다. 또한 순환 참조가 있을 수 있으므로 많은 경우 스크립트를 여러번 실행해야 할 수도 있다.

아래 표시된 유형은 객체를 삭제하면 자동으로 삭제되기 때문에 크게 걱정할 필요가 없다.

나머지는 아래 순서대로 삭제해야한다.

[기본 접근]

순환 참조는 여러 개체가 서로를 참조하므로 개체를 삭제하는 올바른 순서를 결정하기가 복잡하다. 그래서 스크립트가 실패하더라도 다시 실행하여 스크립트가 성공할때 까지 반복해서 실행 할 수 있는 스크립트로 작성해야 한다. 예를 들어 두 개의  SCHEMABINDING 뷰를 사용하는 경우 두 개의 뷰를 모두 삭제해야 테이블이 삭제된다.  뷰 순서가 명확하다면 뷰 순서대로 하면 되지만 뷰가 여러개 이면서 서로 뷰를 참조하는 경우 순서를 예측하기 어렵기 때문에 뷰 삭제 명령을 반복해서 실행한다.

[삭제 스크립트 (순서대로 실행)]

Foreign keys