🔥 Airflow를 왜 쓰나요? 👉 Airflow를 설명하기 전에 이걸 어디에다 쓰는건지 알아보겠습니다. Airflow의 기능을 5%만 사용하는 수준인데, 일단 리눅스 크론탭의 UI 버전으로 써먹을 수 있습니다. Airflow에 스케줄러 기능과 함께 리눅스 명령어 즉 쉘 스크립트죠. 그것을 실행하는 기능이 있기 때문입니다. HA 즉, 이중화 구성도 가능하고 기본적으로 webserver가 제공되므로, 외부 서버에서 Airflow의 TASK를 강제로 실행하는 것이 가능합니다. 아무튼, 초초초 업그레이드 된 크론탭.. 저의 회사에서는 이런 용도로 쓸 예정입니다. 두번째로는 Airflow의 본래 목적인 파이프라인 구축입니다. 데이터 엔지니어링이라는 직업을 가진 분들이 다루는 것으로 예를들어, 인공지능 모델 학습..

👨‍💻 Elastic Stack이란? 안녕하세요. 팀드모네입니다. 해결하는 방법을 공유드립니다. 🎯 Elastic Stack을 가지고 다른 사람들은 무엇을 하고 있나요? - 빅데이터 분석 - 이상 행위가 발생한 경우 관리자에게 ALERT - 검색 엔진으로 사용 - 로깅 시스템 구축에 사용 🎯 로깅 시스템 구축 사례 (쿠키런을 만든 Devsisters) - 게임에서 생성된 각종 로그를 하나의 통합 로깅 플랫폼으로 수집 - 수집된 데이터 분석 - 서버 운영 및 트러블슈팅, 고객 문의 대응 등 다양한 용도로 사용 🎯 보안 모니터링 활용 사례 (HSHC) - 보안 데이터 수집 및 분석 - 다크웹에서 금융정보나 여권정보 거래가 일어났는지 모니터링 🎯 상품검색 및 자동완성 (이베이코리아) - 검색 뿐 아니라 상품검..

👨‍💻 블로그 방문에 감사합니다! 안녕하세요. 팀드모네입니다. 윈도우에 Docker가 설치되어 있다는 가정하에 포스팅을 시작합니다. 혹시 윈도우에 Docker 설치하는 방법이 궁금하시다면 아래의 링크를 참고해주세요. https://goddaehee.tistory.com/251 [Docker (1)] window10 Docker 설치하기(윈도우 10 도커 설치) [Docker (1)] window10 Docker 설치하기(윈도우 10 도커 설치) 안녕하세요. 갓대희 입니다. 이번 포스팅은 [ Window10 도커 설치 ] 입니다. : ) 도커 설치하기 ▶ 1. 도커란? 도커 설치와 관련된 포스팅 이기에 goddaehee.tistory.com 🎯 Window docker에 ubuntu 설치 Window do..

👨‍💻 블로그 방문에 감사합니다! 안녕하세요. 팀드모네입니다. 해결하는 방법을 공유드립니다. 🎯 ELK Stack이란? Elastic의 E, Logstash의 L 그리고 Kibana의 K를 따서 ELK라고 함 🎯 Elastic Stack이란? Beats, Logstash, Elastic, Kibana 프로그램을 가지고 스택을 구성한 것을 말함 *아래의 사진을 참고하면 이해가 쉬울 것입니다. 🎯 ELK Stack과 Elastic Stack의 차이점? ELK Stack에 Beats를 추가하면 Elastic Stack이라고 부름 *그냥 만든 사람이 그렇게 하겠다고 하네요 :) reference : https://www.elastic.co/kr/what-is/elk-stack 🎯 Beats란? Logstash보..

👨‍💻 블로그 방문에 감사합니다! 안녕하세요. 팀드모네입니다. 오늘은 엘라스틱 서치란 무엇인가? 라는 주제를 정하고 얘기를 하려합니다. 기술적으로 깊이 다루기 전에, 용어를 정리하고 이것이 어떻게 동작하는지 알아보는 시간을 가지겠습니다. 🎯 엘라스틱서치란? Elasticsearch는 데이터를 검색하고 분석하는 엔진입니다. 엘라스틱서치는 정형 데이터, 비정형 데이터, 위치 정보, 메트릭 등 다양한 유형의 데이터를 사용자가 원하는 방식으로 검색할 수 있다는 특징을 가지고 있습니다. 🎯 Elasticsearch는 어디에 사용되나요? Elasticsearch은 수 많은 데이터를 색인하는 능력을 가지고 있습니다. 이 능력을 응용하면 검색과 로그분석, 애플리케이션 성능 모니터링에 엄청난 강점을 가지게 됩니다. 실제..

👨‍💻 블로그 방문에 감사드립니다! 안녕하세요. 팀드모네입니다. 오늘은 eclipse와 GitLab을 연동하는 방법을 공유드립니다. 작업 전에 특이사항을 안내드립니다. 아래 내용을 꼭 읽고 진행해주세요 ^ ^ - 이클립스 버전에 따라 UI가 조금 다를 수 있음 - 이클립스의 버전이 낮으면 에러가 발생하므로, 연동 작업 전 버전 UP이 필요함. 🎯 1. 이클립스 우측 상단에 GIT 아이콘 클릭 혹시 해당 아이콘이 없다면 window > Show View > Git Repository를 실행하면 됩니다. 🎯 2. Remotes > Create Remote... 클릭 🎯 3. Configure push 체크 후 Create 버튼 클릭 🎯 4. Configure Push 창에서 Change 버튼을 클릭 그러면 ..