뉴스·공시 수집 파이프라인

어떤 상황이었나

여러 소스에 흩어진 뉴스와 공시를 사람이 일일이 챙겨봐야 했고, 같은 내용이 중복으로 올라와 걸러내는 데 시간이 들었습니다.

만든 것

• 다중 소스 수집기
• 중복 제거
• 키워드 매칭
• 메신저 요약 전달

어떻게 돌아가나

수집→중복 제거→키워드 매칭→요약→전달

주기 실행으로 무인 운영되고, 결과는 메신저로 바로 들어옵니다.

하지 않는 것

• 수집 대상 사이트의 요청 간격을 지키며 점진적으로 모읍니다. 한 번에 대량으로 긁지 않습니다.