Naver - 검색 정제/색인 데이터 모니터링 시스템

link: http://datavalid.seer.navercorp.com/

oss: https://oss.navercorp.com/SSR/datavalid

소개

검색 시스템에서 정제, 색인 단계의 처리 데이터를 수집하고 알림 기능을 제공하는 모니터링 플랫폼

상세 내용

• 작업의 start, success, fail에 대한 API 개발 및 알람 기능 개발
• 기대 시간을 통한 작업의 지연 탐지를 위한 기능 개발(시작과 끝의 기대 시간, 다음 작업의 완료 기대 시간, 다른 작업의 완료 기대 시간, cron 스타일의 고정 주기 기대 시간)
• 지연 쿼리 성능 개선
• 검색 엔진 운영 도구 Nexus tower 연동 개발
• 중앙 집중된 데이터의 가시화를 위한 프론트엔드 및 통계 뷰 개발
• unit test 개발 및 Github Actions를 활용하여 컨테이너에서 동작하는 CI 구축
• 장비 지표 모니터링, 로그 분석

성과

• 네이버 검색의 주요 9개 서비스(웹, 쇼핑, 뉴스, 카페, 블로그 등)의 정제 작업 연동
• 검색 서빙 단계에 장애가 생기지 않도록 정제, 색인 단계에서 사전 방지

기술 스택

Backend: Apache, PHP, MariaDB, ElasticSearch

FrontEnd: Html, Bootstrap, JQuery