PyPI: https://pypi.org/project/tremo/

소개

큐레이션 팀의 단순한 반복 업무 시간을 줄여주기 위한 트렌드 모니터링 오픈소스 tremo 기획/개발/배포 (1인)

상세 내용

• 데이터 파이프라인 개발

1. 급상승 검색어, 관련 카테고리와 뉴스 정보를 크롤링하여 데이터 수집
2. TextRank 알고리즘을 적용하여 뉴스 데이터로부터 키워드 추출
3. Bulk API를 사용하여 ElasticSearch에 적재

• threading 모듈을 사용하여 일정 간격 마다 실행하는 데몬 쓰레드 개발
• Kibana를 활용하여 비 전공자도 사용할 수 있도록 시각화된 데이터의 대시보드 제공
• Pytest를 사용하여 테스트 코드 작성 및 코드 커버리지 99% 달성
• Github Actions를 활용하여 Python 버전, 의존성, 테스트, 코드 컨벤션을 확인하는 CI 구축

기술 스택

Python, ElasticSearch, Kibana, Github, Github Actions, AWS (EC2, ElasticSearch Service)

성과

• PyPI에 오픈소스 배포 경험