티스토리

탁구치는 개발자

검색하기

블로그 홈

탁구치는 개발자

lng1982.tistory.com/m

나의 지식과 생각을 정리하는 공간

구독자: 15

방명록 방문하기

주요 글 목록

https://google.com 통신 흐름 완전 분석 브라우저에서 https://google.com URL을 호출 했을 때 패킷이 어떻게 만들어지고 전송되는지를 알아보겠습니다.1. 도메인 이름을 IP 주소로 변환 (DNS 조회)브라우저는 google.com 도메인에 대한 IP 주소를 알아내기 위해 DNS 서버에 요청합니다. UDP 패킷을 만들고, DNS에 질의하면 DNS 서버가 응답을 해줍니다. DNS 서버가 응답해준 UDP 패킷에는 google.com 도메인에 대한 IP 정보가 담겨져 있습니다. 그리고 IP 정보를 로컬 PC의 DNS 캐시에 저장합니다. 테스트를 한번 해보겠습니다. 브라우저에서는 자체적으로 관리하는 DNS 캐시가 있기 때문에 윈도우에서 테스트 하는 방법으로 해보겠습니다. 윈도우 PowerShell 프로그램을 실행하고, ping google.. 공감수 1 댓글수 0 2024. 11. 19.
윈도우에서 Docker 테스트 해보자 대게 많은 개발자들은 윈도우 OS를 사용한다.물론 나 또한 윈도우 7 64bit를 사용하고 있다. 간혹 로컬에서 Docker 테스트를 해보고 싶을때가 있는데 이를 위해서 어떻게 해야하는지 정리해 본다. 기본적으로 Docker 소프트웨어는 윈도우 버전을 제공한다.설치할 때 내가 windows 10 64bit Pro, Enterprise를 사용하고 있다면 "Docker for Windows Installer.exe" 를 설치하고 다음의 링크 절차대로 따르면 된다.https://hub.docker.com/editions/community/docker-ce-desktop-windows 어렵지 않다. 가상화 기술인 Hyper-V 기능을 활성화하고 설치만 하면 된다. 활성화 방법은 Google 에서 "Windows.. 공감수 0 댓글수 0 2019. 3. 25.
[Elasticsearch] 클러스터 rolling restarts 클러스터의 무중단 서비스를 위해 노드의 순차적인 재시작이 필요한 경우가 있다.- OS 업그레이드- 플러그인 설치- 엘라스틱 업그레이드 결론부터 정리하면 샤드가 배치되어 있는 데이터 노드에서 아래 1번부터 5번까지의 과정을 반복하면 된다. 1. shard allocation 옵션을 disabled 처리12345$ curl -XPUT 'localhost:9200/_cluster/settings?pretty=true' -d '{ "transient" : { "cluster.routing.allocation.enable" : "none" }}'Colored by Color Scriptercs 2. 노드 shutdown1$ kill -9 {PID}cs 3. Elasticsearch 플러그인 설치 4. Elasti.. 공감수 0 댓글수 0 2018. 2. 2.
[Elasticsearch] 은전한잎 설치 elasticsearch version2.4.6lucene version5.5.4 root 계정으로 설치를 진행해야 한다.참고로 root 계정의 환경 변수에 java 실행 패스가 등록되어 있어야 한다. 1. 은전한잎(mecab-ko) 설치 (형태소 분석기 엔진)# 다운로드$ cd /opt$ sudo wget https://bitbucket.org/eunjeon/mecab-ko/downloads/mecab-0.996-ko-0.9.2.tar.gz$ sudo tar xvf mecab-0.996-ko-0.9.2.tar.gz # 빌드 및 설치$ cd /opt/mecab-0.996-ko-0.9.2$ sudo ./configure$ sudo make$ sudo make check$ sudo make install$ .. 공감수 0 댓글수 0 2018. 1. 24.
[Elasticsearch] 샤드 (Shard) 샤드는 Lucene 인덱스이다. 샤드는 primary 또는 replica가 될 수 있다.replica는 검색에 사용되어지며 original primary shard가 사라졌을 때 새로운 primary shard가 될 수 있다.ES index는 1개 또는 그 이상의 primary shards 그리고 0개 또는 그 이상의 replica shards를 만든다. replicas는 검색 성능과 fail over 제공primary shard의 개수는 index를 생성할 때 결정되며 바꿀 수 없음 클러스터에 node가 추가되면 새로운 노드로 샤드가 재할당된다.node에 primary shard 1, 2가 있다고 가정하고 해당 장비가 죽으면 replica node를 새로운 primary shard로 지정한다. [Ela.. 공감수 0 댓글수 0 2017. 12. 20.
[Elasticsearch] 최적화 데이터 검색Query대신 Filter 사용filter는 _score를 사용하지 않기 때문에 query에 비해 속도가 빠르다.필터는 오직 결과가 검색과 일치하는지만 관심을 가진다는 것이다. 결과적으로 다른 쿼리보다 빠르고 쉽게 캐시에 저장할 수 있다.필터 결과는 점수에 의해 정렬되지 않는다. (모든 결과에 대한 점수가 1.0이기 때문)_score : 문서가 지정한 조건과 얼마나 유사한지 평가 실시간 VS 준 실시간ID로 문서를 조회하는 것은 쿼리 검색보다 훨씬 빠르다. 실시간에 준하는 검색 속도를 보장한다.그에 반해 쿼리 검색은 준 실시간이다. 기본값으로 매초 발생하는 리프레시를 기다려야 하기 때문이다. [리프레시 설정 값]"index.refresh_interval": "5s" ulimit데이터가 많아지면.. 공감수 1 댓글수 0 2017. 12. 20.
[Elasticsearch] filter 조회가 query 조회보다 빠르다. 쿼리 조회 시 두 가지 방법이 있다.queryfilter filter 조회가 query 조회보다 빠르다.이유는 score 계산을 하지 않고, 검색 결과를 캐쉬하기 때문이다. score 란?elasticsearchelasticsearch aaaelasticsearch abbb위와 같은 데이터가 있을 때 elasticsearch 문자를 검색하면 첫 번째 document 의 score가 높게 나온다. 이유는 문자가 정확하게 매칭되기 때문이다. 즉, score의 값은 문자열의 유사성에 따라 다르게 출력된다. 출처 : Elasticsearch in Action 도서 다음은 filter 검색에 대한 요청 결과이다.결과의 json 데이터를 보면 _score 값이 1로 찍힌 것을 확인할 수 있다.이처럼 filter 검.. 공감수 0 댓글수 0 2017. 12. 11.
[Elasticsearch] Query 검색 결과 구조 { "took" : 3, // 검색 수행 시간 (milliseconds) "timed_out" : false, // 검색 쿼리 수행 중 timeout 발생 여부를 나타낸다. "_shards" : { // 요청에 대한 검색 결과를 위해 참여한 샤드 "total" : 2, "successful" : 2, // 요청에 대한 성공 샤드 수 "failed" : 0 // 요청에 대한 실패 샤드 수 }, "hits" : { "total" : 1, // 요청에 대한 결과 문서 수 "max_score" : 1.0, // 검색 쿼리에 얼마만큼 부합되는지를 나타내는 척도 (결과 문서 중 가장 높은 score를 표시) "hits" : [ { "_index" : "get-together", // 인덱스 "_type" : "gr.. 공감수 1 댓글수 0 2017. 12. 6.
[Elasticsearch] 한번 정해진 mapping 속성은 변경 불가 다음과 같이 mapping을 생성하였다.index : get-togethertype : new-events123456789101112131415161718curl -XPUT 'localhost:9200/get-together/_mapping/new-events?pretty' -d '{ "new-events": { "properties": { "name": { "type": "string", "index": "analyzed" }, "name2": { "type": "string", "index": "not_analyzed" }, "name3": { "type": "string", "index": "no" } } }}'Colored by Color Scriptercs 매핑이 생성되면 성공 메세지가 출력된다.. 공감수 0 댓글수 0 2017. 12. 5.
[Elasticsearch] index 매핑 (analyzed, not_analyzed, no) 다음은 type에 대한 mapping 샘플이다.123456789101112131415161718curl -XPUT 'localhost:9200/get-together/_mapping/new-events' -d '{ "new-events": { "properties": { "name": { "type": "string", "index": "analyzed" }, "name2": { "type": "string", "index": "not_analyzed" }, "name3": { "type": "string", "index": "no" } } }}'Colored by Color Scriptercs index 매핑에는 3가지의 옵션이 올 수 있다. analyzed검색 가능하도록 색인analyzer를 이용한 .. 공감수 1 댓글수 0 2017. 12. 1.
[Elasticsearch] 모니터링 툴 elasticsearch-head 플러그인 기능1234클러스터 상태생성된 index, type 정보Document 데이터데이터 조회 (Query DSL)cs 플러그인 설치1./plugin install mobz/elasticsearch-headcs 설치가 완료되면 elasticsearch 재기동 후 다음의 URL에 접속해 보자.http://127.0.0.1:9200/_plugin/head/ 다음과 같이 클러스터에 포함되어 있는 노드들이 보일 것이다.노드 이름 앞에 별이 있는 녀석이 마스터이다. 샤드가 어떤 노드에서 관리되고 있는지를 확인하고 싶다면 다음의 URL을 호출해 보자.http://localhost:9200/_cat/shards?v 공감수 0 댓글수 0 2017. 11. 30.
[Elasticsearch] 클러스터 구성 클러스터 구성은 Elasticsearch 2.4.6 기준으로 작성한다. https://www.elastic.co/downloads/past-releases 페이지에서 Elasticsearch 2.4.6 버전을 다운로드 받는다. (tar 파일)검색 필터를 이용해서 원하는 제품과 버전을 빠르게 찾을 수 있다. 다운로드 받은 tar파일을 압축해제 하면 설치 끝이다.Elasticsearch 서비스를 구동하려면 /bin/elasticsearch 를 실행하면 된다.백그라운드 실행할 때에는 /bin/elasticsearch & 와 같이 하도록 하자. 구성은 한 장비에 3개의 Elasticsearch node를 실행할 것이다.master node : nklee-data-node1data node : nklee-data.. 공감수 0 댓글수 2 2017. 11. 30.
[Elasticsearch] 용어 정리 Elasticsearch는 Lucene 기반의 오픈 소스 검색엔진실시간 검색, 분석 지원분산 환경 지원트랜잭션을 제공하지 않음업데이트가 빈번하게 발생한다면 다른 NoSQL을 사용RESTFul 기반 JSON 메시지 사용 (어느 시스템이나 연동하기 쉽게) Cluster여러 개의 노드를 하나의 그룹으로 묶어서 서비스 Master node노드 관리고사양 컴퓨터 아니어도 된다. Data node검색, 색인 처리 (색인은 인덱스를 만드는 과정)고사양 컴퓨터 권장 Client nodeREST 지원검색에 대한 로드 분산 처리 Shard인덱스의 조각데이터 분산 ReplicaShard의 복제본검색할 때 이용하기도 하며 Replica Shard라고도 불린다. IndexRDB의 데이타베이스와 유사하다. TypeRDB의 테이블.. 공감수 0 댓글수 0 2017. 11. 29.
Apache2 설치 (Ubuntu 16.04) 설치ubuntu 기본 소프트웨어 저장소에 사용할 수 있는 apache가 있다.1. root 로그인2. 패키지 관리 툴인 apt-get을 이용하여 apache2를 설치한다. (apache2 설치와 함께 의존하는 프로그램도 함께 설치된다.) > apt-get update > apt-get install apache23. 설치 후 Apache 상태 확인 > systemctl status apache24. Apache 접속 > hostname -I 명령어를 통해 IP를 알아낸 후 웹 브라우저를 이용하여 http://{IP} 로 접속해보자. Apache Configuration/etc/apache2/아파치 설정 디렉토리 /etc/apache2/apache2.conf아파치 기본 설정 파일 /etc/apache2/p.. 공감수 4 댓글수 0 2017. 9. 15.
[ElasticSearch] 윈도우 설치 및 기본 동작 이해 ElasticSearch는 오픈 소스이고 REST 기반의 실시간 검색 및 분석 엔진이다.Java로 작성되어졌으며 아파치 Lucene 기반으로 검색 기능 및 REST-Based API (JSON Over HTTP Protocol)를 지원한다.1234GET : 조회POST : 저장PUT : 수정DELETE : 삭제cs https://www.elastic.co/downloads/elasticsearch 페이지에서 윈도우 버전의 zip 파일을 다운로드 받는다.다운로드가 완료되면 압출 풀고 bin 폴더로 이동하여 elasticsearch.bat 파일을 실행한다.설치 과정은 굉장이 쉽다. 윈도우 버전 뿐만 아니라 다른 OS 버전도 설치가 간단하다. ElasticSearch가 실행되면 9200, 9300 포트가 오픈.. 공감수 6 댓글수 4 2017. 8. 31.
EFK Stack 구축 using Docker compose Elasticsearch + Fluentd + Kibana 조합을 EFK Stack이라 부른다.참고로 Elasticsearch + logstash + Kibana 조합은 ELK Stack 이다.Fluentd : 오픈소스 log collectorElasticsearch : Lucene 기반 분산 검색 엔진이며 JSON 형태로 문서를 저장한다. (schema free)Kibana : 데이터 시각화를 위한 오픈소스Colored by Color Scriptercs간편하게 설치하기 위해서 Docker를 이용하였다.해당 구축 방식은 실무에 적용하기에 다소 부족하니 테스트 용도로만 사용해야 한다.난 Spring Data Elasticsearch 를 테스트 하기 위해 구축했다. 1.먼저 Docker와 Docker co.. 공감수 0 댓글수 0 2017. 8. 24.
Google App Engine 환경에 Spring Boot 배포하기 까페24에서 서버 호스팅을 받다가 구글 클라우드 플랫폼으로 이전하기 위해 학습한 내용을 정리한다.Google App Engine에 Spring Boot 애플리케이션을 배포해보자. 배포를 위해 사용한 환경은 다음과 같다.123IDE : IntelliJApplication : Spring Boot (Java 8)Platform : Google App Engine Flexible environment and Container Enginecs 1. 구글 클라우드 플랫폼에서 프로젝트 생성https://console.cloud.google.com 접속한 후 새로운 프로젝트 생성구글 클라우드 플랫폼에서 신규 프로젝트를 생성한다. > 페이지 상단의 "프로젝트 선택" 클릭 > 팝업 레이어에서 신규 프로젝트 생성 버튼 클.. 공감수 0 댓글수 0 2017. 8. 9.
kubernetes 정리 kubernetes는 배포, 확장 및 운영을 자동화하는 컨테이너 관리툴이다. kubernetes가 왜 필요한지에 대해서 알아보자.kubernetes없이 Docker를 이용하여 애플리케이션을 서버에 배포하고 운영 하려면 shell script를 작성하거나 별도의 툴을 사용해야 한다.shell script를 이용한 배포를 예로 들면 docker image registry에서 애플리케이션이 포함되어 있는 custom docker image를 다운로드 받고 이를 각 서버에 배포하고 실행하는 수준이 될 것이다.이와 같은 배포는 최초 환경 구성 시 빡시게 하면 된다.단, 서비스 운영을 하면서 과도한 사용자 요청이 있을 경우 성능 저하가 발생하게 되는데 그때서야 부랴부랴 서버를 확장하고 애플리케이션을 각 서버에 적절.. 공감수 4 댓글수 2 2017. 1. 12.
Kubernetes 설치 Ubuntu 14.04 LTS, Kubernetes 1.5.1 버전을 기준으로 작성한다.Kubernetes 설치를 위한 호스트 정보는 다음과 같다. master 192.168.50.11 node(minion) 192.168.50.2 node(minion) 192.168.50.11 1.root로 로그인 2.모든 호스트에 docker 설치http://lng1982.tistory.com/268 3.kubernetes pods 내부의 컨테이너 관리를 위해 설치# apt-get install bridge-utils 4.git 설치 및 kubernetes clonemaster 노드에만 설치한다.# apt-get install git -y# git clone https://github.com/kubernetes/ku.. 공감수 0 댓글수 6 2017. 1. 12.
Docker 정리 [설치 - Ubuntu 14.04]Docker를 설치하기 위해서는 64bit 리눅스 운영체제 및 커널 버전이 3.10 이상이어야 한다.uname -r 명령어를 통해 커널 버전을 확인할 수 있음 Ubuntu 14.04 버전에는 기본적으로 1.5.0 버전의 Docker가 설치되어 있는 것을 확인할 수 있었고, 최신 버전으로 업그레이드 하기 위해서 다음과 같이 진행하였다.패키지 인덱스 정보 업데이트$ sudo apt-get update 패키지 설치$ sudo apt-get install apt-transport-https ca-certificates apt 매니저 키 등록$ sudo apt-key adv \ --keyserver hkp://ha.pool.sks-keyservers.net:80 \ --recv-.. 공감수 0 댓글수 2 2017. 1. 4.
리눅스 컨테이너 (LXC) Docker를 학습하기 전 리눅스 컨테이너에 대한 이해가 필요하여 내용을 정리한다. OS의 내부 - 물리적 자원을 관리하는 커널 공간 - 사용자 프로세스를 실행하는 사용자 공간 기존 가상화 기술 - OS위에 또 하나의 OS가 동작 - 호스트 OS와 게스트 OS를 완전 분리 할 수 있는 장점 LXC (리눅스 컨테이너) - 모든 프로세스는 호스트 OS에서 바로 시작 - 일반적인 프로세스의 동작과 다른 점은 그 과정의 일부를 그룹화하고 다른 그룹이나 그룹에 속하지 않는 프로세스에서 단절된 공간으로 동작 - 화물 컨테이너처럼 독립된 공간에 프로세스가 들어 있기 때문에 이 공간을 '컨테이너'라고 부른다. - 가상 머신 부팅 및 종료 개념이 없기 때문에 가상 환경의 시작과 종료가 빠름 기존의 가상화 기술들을 하드웨.. 공감수 1 댓글수 0 2017. 1. 4.
MQTT (mosquitto broker 오픈소스) 우분투에서 MQTT 테스트 하는 방법에 대해서 정리 Broker 서버로 사용하게될 오픈 소스는 mosquitto 이다. 다음과 같이 설치하고1. wget http://repo.mosquitto.org/debian/mosquitto-repo.gpg.key 2. sudo apt-key add mosquitto-repo.gpg.key 3. sudo wget http://repo.mosquitto.org/debian/mosquitto-wheezy.list 4. sudo apt-get install mosquitto [Mosquitto 서버 시작] vagrant@vagrant:~$ mosquitto -c /etc/mosquitto/mosquitto.conf [Subscriber 등록한다.] vagrant@vagr.. 공감수 0 댓글수 0 2016. 11. 2.
tomcat 구동 시 /dev/random 블로킹 이슈 [현상]새로 지급 받은 리눅스 신규 장비에 java, tomcat 환경 구성을 하고 tomcat 구동 시 대기 상태로 빠지는 현상이 있었다. 특이한 점은 몇 분 지나면 tomcat 구동이 완료되는 경우와 몇 십 분이 지나도 서버 구동이 완료되지 않는 경우가 있다라는 것이다. 지연 현상이 발생되면서 다음과 같은 로그가 남았고, 해당 로그를 통해서 그 원인 및 해결 방법을 찾아보왔다.[2016-08-23 18:10:36 INFO o.s.w.c.ContextLoader][313] - Root WebApplicationContext: initialization completed in 2785 ms8월 23, 2016 6:11:14 오후 org.apache.catalina.util.SessionIdGenerato.. 공감수 11 댓글수 6 2016. 8. 25.
Nginx 2016/07/01 09:14:00 [crit] 1938#0: *4 connect() to 127.0.0.1:8080 failed (13: Permission denied) while connecting to upstream, client: 10.0.2.2, server: localhost, request: "GET / HTTP/1.1", upstream: "http://127.0.0.1:8080/", host: "localhost:20000" 위의 오류는 Nginx에서 네트웍 자원을 엑세스 하지 못해 발생하는 문제인데 다음의 rule을 추가해 주면 Nginx에서 tomcat으로의 네트웍 접근이 가능하게 된다.# setsebool -P httpd_can_network_connect 1 -P 옵션을 주게 .. 공감수 0 댓글수 0 2016. 7. 15.
Apache worker 파일에 template 적용하기 오픈커뮤니티의 tomcat 세미나를 첨석하면서 알게된 사실인데 유용한 팁인 것 같아 정리해 본다. worker 파일에 톰켓 연결 설정을 하게 되면 지금껏 나는 다음과 같이 하였다.worker.list=myajp13,my2ajp13,my3ajp13 worker.myajp13.port=8009worker.myajp13.host=localhostworker.myajp13.type=ajp13worker.myajp13.lbfactor=1worker.myajp13.socket_timeout=300worker.myajp13.socket_keepalive=trueworker.myajp13.connect_timeout=30000worker.myajp13.connection_pool_size=128worker.myajp1.. 공감수 0 댓글수 0 2016. 1. 22.
tomcat7 소스 빌드 로컬 이클립스 환경에 tomcat 소스를 import하고, 이를 분석할 수 있는 환경을 만드는 방법에 대해서 설명한다. 1. 소스 다운로드http://tomcat.apache.org/download-70.cgihttp://apache.mirror.cdnetworks.com/tomcat/tomcat-7/v7.0.64/src/apache-tomcat-7.0.64-src.zip 2.apache-tomcat-7.0.64-src 디렉토리 tomcat으로 변경 (디렉토리명은 원하는 이름으로 변경하면 된다.) 3.이클립스 > Import > General > Project 생성다운로드 받은 tomcat 소스 폴더 지정해당 프로젝트 > Properties > Project Facets 선택 후 Java에 체크Java .. 공감수 0 댓글수 0 2015. 9. 7.
Tomcat Parallel deployment 테스트가 진행중인 서버에 hot deploy 할 수 있는 방법에 대해서 고민을 해오다가 알게된 tomcat parallel deployment에 대해서 정리한다. 병렬 배포를 알기 전까지는 apache를 이용해 로드밸런싱을 해볼까라는 생각을 가졌다. 문제는 한정된 자원에 각 서비스별 톰켓을 두 대씩 기동해야 한다는 것이고, 결정적으로 테스트 장비의 메모리가 충분치 않았다.고민을 해오다가 tomcat parallel deployment 기능에 대해서 알게 되었고, Tomcat7 부터 해당 기능을 이용할 수 있다고 하여 바로 적용하게 되었다. 자세한 설명은 https://tomcat.apache.org/tomcat-7.0-doc/config/context.html#Parallel_deployment 페이지에.. 공감수 2 댓글수 0 2015. 9. 2.
CentOS 5 버전에 Redis 설치 레디스 서버 설치 한번 해보자. 1. redis 소스 다운로드wget http://download.redis.io/releases/redis-2.8.17.tar.gz 2. 압축 풀기tar cvfz redis-2.8.17.tar.gz 3. 압축푼 디렉토리로 이동cd redis-2.8.17 4. 컴파일make 5. src 디렉토리로 이동cd src 6. 서버 기동 (background로 구동하기 위해서 & 추가)$ redis-server & 7. redis 서버 접속$redis-cli 8. hello world 테스트127.0.0.1:6379> set hello "hello world"OK127.0.0.1:6379> get hello"hello world" 공감수 0 댓글수 0 2014. 10. 10.
tomcat 기동 후 URI(/)로 자동 호출 tomcat 기동 완료 후 ROOT(/)로 자동 호출되는 현상이 있어 정리한다.ROOT(/)로 호출한다는 의미는 localhost:8080/ 와 같이 호출한다는 의미이다. web.xml 파일에 다음과 같이 error-page 설정을 추가해 줬다.errorDocumentservlet.TestServlet errorDocument/errorHandle 404/errorHandle 500/errorHandle index.jsp TestServlet 코드는 다음과 같다.@Override public void init() throws ServletException { System.out.println("called init!!"); } @Override protected void service(HttpServle.. 공감수 2 댓글수 0 2014. 6. 16.
리눅스 PATH또는 export 설정 리눅스에서 ifconfig 명령어를 치면 -bash: ifconfig: command not found 와 같은 메세지가 출력된다.이와 같은 오류 발생 시 ifconfig 파일이 존재하는 디렉토리의 패스를 지정해 줘야 하는데 2가지 방법이 있다. 로그인한 계정의 홈 디렉토리로 이동하여 .bash_profile을 vi 편집기로 다음과 같이 수정하면 된다. 1번째 방법PATH=$PATH:$HOME/bin --> PATH=$PATH:$HOME/bin:/sbin 패스 구분자 : 를 추가해 준 후 ifconfig 명령어가 존재하는 /sbin 디렉토리를 추가해 주면 된다. 2번째 방법export sbin=/sbinexport 명령어를 이용하여 패스를 추가해 줄 때에는 JAVA_HOME 또는 CATALINA_HOME.. 공감수 0 댓글수 0 2014. 6. 13.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.