StockPulse 데이터 체계 + 수집기 개선 목표

목표는 데이터 시스템을 다시 만드는 것이 아니다. 지난 작업에서 이미 수집·검증한 자산을 우선 재사용하고, 실제 분석을 막는 부족한 부분만 한 단계씩 보완한다.

기준일: 2026-08-30 · 개인 연구용 데이터 체계

현재 운영 수집 구조: CREON에서 키움 REST로 전환

Windows/HTS/OCX에 의존하던 CREON은 신규 자동 수집 경로에서 제외한다. 과거에 CREON으로 이미 수집해 교차검증을 통과한 자료는 출처를 보존해 재사용하지만, 새 데이터는 Linux에서 직접 실행되는 키움 공식 REST API와 WebSocket으로 받는다.

운영 데이터	현재 수집 경로	주기·저장 위치	역할
관심종목·Top20 체결	키움 WebSocket `0B`	실시간 Redis + `fact_minute_prices` 1분봉	장중 가격·캔들·거래량
종목별 프로그램 매매	키움 WebSocket `0w`	실시간 Redis	매수/매도 충돌과 수급 변화 보조
KOSPI·KOSDAQ 지수	키움 WebSocket `0J`, REST `ka20001`	실시간 Redis + 5분 시장 스냅샷	시장 국면·현물 지수
상승·보합·하락 종목 수	키움 WebSocket `0U`, REST `ka20001`	실시간 Redis + 5분 시장 스냅샷	시장 폭과 위험 선호
업종별 투자자 순매수	키움 REST `ka10051`	5분 `fact_kiwoom_market_snapshot`	시장종합 수급
상승/하락·거래량·조회 순위	키움 REST `ka10027/ka10030/ka00198`	5분 시장 스냅샷	시장 인기·과열 관찰
SP·관심·보유종목 상세 투자자 수급	키움 REST `ka10060`, 장중 `ka10064`	매 거래일 장후 16:10, 누락 재시도 16:30·17:00 및 장중 5분	외국인·기관·연기금 등 13주체 상세 수급
종목마스터	키움 REST `ka10099`	시작 시 및 일 1회 `dim_companies`	종목명·시장·상장주식수 보완
전 종목 일별 수급	KRX 12주체	일별 정제층	연구용 기준원천
수정 일봉	KIS 수정주가	일별 가격 정제층	연구용 기준원천
지수·주식선물	KIS/KRX	장중·장후	키움 현물 REST의 범위 밖이므로 유지

실행 모듈은 별도 Python 3.13 컨테이너 stockpulse-kiwoom-realtime이며, 키움 공식 kwcli SDK의 검토된 커밋을 고정해 사용한다. 공식 SDK가 OAuth 토큰 캐시, WebSocket LOGIN, PING 응답과 인증 갱신을 담당한다. /system 페이지는 처음 열 때 상태를 즉시 조회하고, 이후 Redis 심박과 DB 수집시각을 1시간마다 다시 읽어 표시한다.

아래 작업 기록에 남아 있는 CREON 문구는 과거 데이터의 출처와 검증 이력이다. 현재 자동 수집기를 의미하지 않는다.

0. 현재 실행 목표

기존 수집기는 무조건 신뢰하거나 전면 폐기하지 않는다. 기존 코드와 데이터를 먼저 확인하고, 표본 대조를 통과한 구성요소는 유지하며, 분석용 표준화와 품질검사만 보완한다.

순서	개선 항목	현재 상태	완료 조건	예상 작업시간
1	표준 수정주가	수집 진행 중 — KIS 수정주가 의미·혼용 원인 교정, 전 종목 2012년 이후 장기 적재 실행 중	분석용 가격이 수정주가 기준으로 일관되고 기업행사 전후 표본 대조 통과	장기 적재 계속
2	표준 수급	2026 구간 완료·과거 보완 중 — KRX 12주체 161거래일 전부 적재, 신규 보완은 키움 REST로 전환	KRX를 주 데이터로 최근 누락 보충, 키움은 관심종목 상세·장중 보완으로 사용	장기 적재 계속
3	재무·컨센서스 표준화	표준층 완료·공시일 보강 중 — 재무 79,857건, 컨센서스 1,015,515건 재구축	실제/추정, 분기/연간, 관측일/공시일 구분 및 미래정보 방지	장기 DART 목록 보강 중
4	종목마스터·기업행사	기본 경로 완료 — FDR 마스터 2,687개 갱신, KIS 종목 raw 실적재 성공, DART 기업행사 목록 장기 적재 중	마스터 최신 projection과 기업행사 원문·출처 확보	구조화 세부값은 후속
5	일일 품질관리·수집 화면	완료 — DB 큐, 1분 consumer, 평일 18:50 자동 작업, `/system` 버튼·상태표 연결	수동/자동이 동일 실행기를 사용하고 상태·심박·오류 기록	운영 관찰

예상 총 작업시간은 통합 검증을 포함해 약 18~30시간이다. 각 단계가 완료될 때 이 표와 아래 작업 기록을 갱신한 후 다음 단계로 넘어간다.

수집원 우선순위

데이터	주 수집원	교차검증·보완	사용 원칙
국내 주가	KIS 수정주가	KRX·기존 인증 가격, 키움 장중 대조	키움 장애와 무관하게 주 수집이 계속되어야 한다.
개인·외국인·기관 수급	KRX (`pykrx`는 얇은 접근 도구)	기존 정제층과 타 원천 대조	KRX 검증 자료를 연구용 기준으로 사용한다.
연기금·투신·보험 등 상세 수급	키움 `ka10060` (SP·관심·보유종목)	KRX 상세수급 교차 확인	장후 16:10에 수집하고 16:30·17:00에는 누락 종목만 재시도한다. 요청일 데이터와 6개 매수·매도·순매수 흐름의 항등식이 모두 맞아야 연구층에 반영한다.
확정 재무·공시일	OpenDART	기존 감사 테이블	공시 접수일 이후에만 분석에 사용한다.
컨센서스	WiseReport 관측 스냅샷	기존 컨센서스 이력	관측 이전 시점으로 소급하지 않는다.
종목마스터·기업행사	KIS·KRX·DART	FinanceDataReader 등 오픈소스 표본 확인	공식·증권사 원천을 우선하고 오픈소스는 얇은 어댑터로 사용한다.

단계별 작업 기록

일시	단계	확인·변경 내용	판정
2026-09-02	2	실제로 빠져 있던 키움 장후 상세수급 작업을 중앙 스케줄러에 등록. `ka10060`으로 SP·관심·보유종목의 13주체를 16:10 수집하고 16:30·17:00 누락 재시도, 요청일 일치·수량/금액 항등 검증 후 원화 정제층 승격	운영 반영
2026-08-30	공통	기존 테이블·수집기·검증 자산과 최신일을 재점검. 전면 재수집·전면 재개발은 하지 않기로 확정	완료
2026-08-30	공통	Windows CREON 운영 경로를 Linux 키움 공식 REST/WS SDK로 전환. 0B 분봉, 0J/0U 시장종합, 0w 프로그램매매, ka10059 상세수급, ka10099 마스터를 채택하고 선물은 KIS/KRX 유지	전환 완료
2026-08-30	1	KIS `FID_ORG_ADJ_PRC=0`은 수정주가, `1`은 원주가임을 실제 기업행사 구간에서 대조. 기존 수집기들이 같은 `close_price`에 서로 다른 의미를 기록할 수 있음을 확인	개선 진행
2026-08-30	2	KRX 개인·외국인·기관 raw 수집 및 `research_clean_supply_daily` 승격 처리기 확인. CREON 11개 투자자 상세 수집기는 검증된 보완기로 유지	준비 완료
2026-08-30	2	KRX 정제층은 2023-08-01~2026-08-28, 1,288종목. SP 최신일 커버리지는 216/219. CREON 최근 raw에는 3주체만 있고 연기금 행은 없어 상세 수급 보완을 시작	진행 중
2026-08-30	2	CREON 상세값은 백만원 단위이므로 원 단위 KRX 정제층에 결합할 때 ×1,000,000 변환. KRX의 기본 3주체 값과 출처는 유지하고 금융투자·연기금·투신 열만 보완하는 승격 처리기 추가	진행 중
2026-08-30	2	기존 `kiwoom_verified` 상세 수급은 SP 218종목에 대해 2014-04-30~2026-07-24 연기금·금융투자·투신을 보유. KRX와 11,027개 공통 표본을 대조해 백만원 반올림 단위(모두 오차 100만원 이하)를 확인했으므로 과거 상세값에 재사용하고, 이후 구간은 CREON으로 이어 붙임	진행 중
2026-08-30	2	KRX 일괄 API가 개인·외국인·기관합계 외에도 금융투자·보험·투신·사모·은행·기타금융·연기금·기타법인·기타외국인을 전 종목 단위로 제공함을 실응답으로 확인. 2026년 161거래일을 최신일부터 역순 수집 시작: 전체 1,932 요청 중 기존 기본 3주체 483건은 건너뛰고 상세 1,449건만 실행, 대상 마스터 3,608종목	진행 중
2026-08-30	2	2026년 161거래일 × 12투자자 KRX 체크포인트 1,932개 전부 완료. 기존 정제 193,559행을 상세 열로 재승격하고 CREON/키움 보완 166,837행 결합. 정제층의 연기금 837,500행·금융투자 854,513행 확보	2026 구간 완료
2026-08-30	3	DART 확정치, WiseReport 컨센서스 이력·스냅샷 및 기준시점 연구 테이블 확인	준비 완료
2026-08-30	4	KIS 종목정보와 합병/분할·액면변경·감자·유상증자·무상증자·상장정보 API의 실제 응답 필드 확인	준비 완료
2026-08-30	5	기존 `/system`, 중앙 스케줄러, 품질 검사기가 있으므로 새 운영체계가 아니라 통합·교정 대상으로 확정	준비 완료
2026-08-30	3	실제 재무 79,857건을 연간 12월 결산/단독분기/Q4 파생으로 분리. Q4 공개일을 연간 공시 기준으로 교정. WiseReport 일별 관측 1,015,515건을 원/억원 단위와 실제·추정으로 분리	표준화 완료
2026-08-30	3	DART 정기보고서 목록의 기존 1페이지 제한을 제거하고 2012년부터 최신순 공시 접수일 보강 실행	장기 적재 중
2026-08-30	4	FinanceDataReader를 설치·고정하고 KOSPI/KOSDAQ 2,687개 마스터 증분 갱신. KIS 삼성전자 종목 raw 실적재와 JSON 원문 해시 저장 통과	기본 경로 완료
2026-08-30	4	KIS KSD 6종은 공식 오픈소스 예제의 URL·TR·파라미터로도 HTTP 500을 재현. 자동 경로에서는 제외하고 DART 주요사항(B) 목록을 주 기업행사 원천으로 장기 적재	외부 이슈 격리
2026-08-30	5	`data_collection_jobs` migration, allowlist API, 1분 큐 consumer, 평일 18:50 자동 전체 DAG, `/system` 6개 수동 버튼과 상태 조회 연결	완료
2026-08-30	5	수동 `actions` 작업을 실제 큐→consumer→DART 수집으로 실행해 성공 상태·심박·결과 기록 확인. 최초 결함 실행은 실패 이력으로 보존하고 교정 후 재실행 성공	검증 완료
2026-08-30	5	전 종목 KIS 장기 적재 중에는 평일 자동 전체 DAG 등록을 유예하고, 체크포인트가 전 종목에 도달하면 5분 watcher가 자동 등록하도록 충돌 방지 게이트 추가. 영역별 수동 버튼은 계속 사용 가능	검증 완료
2026-08-30	5	최종 품질 게이트에서 최신 거래일 가격·교차인증 1,212/2,692, 수급 1,214/2,692, 지수선물 최신일 2026-07-31, 기존 인증자료의 원천 미상 55,553건을 경고로 기록. 장기 가격 적재·교차검증 완료 전 전체 백테스트는 잠정치로 취급	이슈 기록

1단계 오픈소스 재사용 결정

후보	실제 동작 확인	결정
한국투자증권 `open-trading-api` 공식 GitHub 예제	일별 시세 API와 `FID_ORG_ADJ_PRC` 선택 방식을 기존 KIS 수집기에 그대로 적용 가능	채택. 새 조정 계산기를 만들지 않고 KIS가 제공하는 수정주가를 주 가격으로 저장
`pykrx 1.2.8`	설치 소스를 직접 확인한 결과 기간별 조회의 `adjusted=True`는 네이버 시세 모듈로 연결되고, `False`만 KRX 원주가 경로를 사용	교차검증 전용. 라이브러리 이름만 보고 KRX 공식 수정주가로 간주하지 않음
FinanceDataReader	KOSPI/KOSDAQ 상장 목록을 DataFrame으로 제공하고 기존 마스터 갱신에 바로 연결 가능	4단계 채택. `finance-datareader` 의존성을 고정하고 마스터 증분 갱신에 재사용
자체 기업행사 조정계수 엔진	모든 사건의 기준일·비율·거래량 조정을 직접 계산해야 함	만들지 않음. KIS 수정주가를 사용하고 기업행사는 4단계에서 감사·설명 자료로 보존

1단계의 구현은 기존 kis_daily_collector.py를 실전 KIS URL, 공용 토큰 캐시, FID_ORG_ADJ_PRC=0, 명시적 원천명 kis_adjusted로 교정하는 최소 변경이다. 새 일봉은 close_price와 adj_close_price에 같은 수정주가를 기록하고, 네이버/pykrx 수정주가는 독립 대조에만 사용한다. 삼성전자 2018년 액면분할 구간 표본에서 KIS 수정주가와 pykrx 조정 시계열의 종가가 일치하고, KRX 원주가 시계열과는 50:1 차이가 나는 것을 확인했다.

1. 최우선 개발 원칙

새 방식이나 새 코드를 만들기 전에 기존 테이블, 수집기, 검증 코드와 최근 실행 결과를 먼저 확인한다.
이미 통과한 검증을 같은 조건으로 반복하지 않는다.
오픈소스와 기존 모듈을 우선 사용하고, 없는 기능만 최소 범위로 보완한다.
원천 데이터, 정제 데이터, 연구용 데이터의 출처와 기준시점을 구분한다.
분석 재현성과 잘못된 미래정보 사용 방지가 확보되면 개인 연구용으로 사용한다.
대형 금융기관 수준의 과도한 무결성·감사 시스템은 만들지 않는다.

2. 목표 수준

수준	목적	현재 방침
L1 개인 연구용	분석을 반복 실행할 수 있고 오류를 발견·복구할 수 있는 수준	현재 목표
L2 운영 자동화	장애 알림, 자동 재수집, 상세 운영 지표 강화	실제 필요가 생길 때 확장
L3 감사·포렌식	바이트 단위 원장, 해시 체인, 파일시스템 장애 증명	현재 범위에서 제외

3. 이미 수행되어 재사용할 작업

아래 항목은 다시 설계하거나 처음부터 수집하지 않고 기존 결과를 사용한다.

영역	이미 확보한 내용	확인 상태
가격 원천	`fact_daily_prices` 약 731만 건, 3,913종목, 2015-01-02~2026-08-28	재사용
가격 교차검증	`fact_price_source_snapshot` 약 339만 건, `fact_price_cross_source_audit` 약 250만 건	재사용
인증 가격	`fact_price_daily_certified` 약 215만 건, 3,486종목	재사용
연구용 가격	`research_clean_price_daily` 2,133,769건, 1,995종목, 2015-01-02~2026-08-28	재사용·수정주가 의미 확정 필요
수급 원천	`fact_supply_raw` 약 6,628만 raw ID, 약 62GB, 6개 출처	재수집 금지, 기존 자료 우선
수급 정제	`research_clean_supply_daily` 857,948건, 1,288종목, 2023-08-01~2026-08-28	재사용·최근 누락분만 갱신
통합 수급	`fact_supply_demand` 약 260만 건, 3,903종목	재사용
재무 원천	`fact_financials` 약 8.9만 건, 2,661종목. DART·WiseReport·FnGuide·Naver 자료 포함	재사용
연구용 재무	`research_clean_financial_snapshot` 약 8.1만 건, 기준시점 필드 포함	재사용·일부 공시일 보강
컨센서스	이력 48,163건(2026-04-07~), 스냅샷 1,015,515건(2026-07-27~)	관측 시작일 이후만 사용
분석 안전성	가격/수급/재무의 기준시점 결합과 미래정보 방지 테스트	기존 테스트 재사용
저장 안전성	CA0, CA1, SQLite A1, PE036 C12-A 검증	통과 결과 재사용

3-1. 데이터 종류와 기존 별도 처리기

아래 표의 그대로 사용은 새 수집기나 새 정제 로직을 만들지 않고, 기존 테이블과 처리기를 유지·증분 실행한다는 뜻이다. 처리기가 이미 완성된 경우에는 버그 수정 외의 재작성이나 교체를 하지 않는다.

데이터 종류	기존 저장소	기존 수집·별도 처리기	사용 판정과 범위
일별 원가격·거래량	`fact_daily_prices`	`collector/apis/unified_daily_collector.py`, `pykrx_collector.py`, `kis_daily_collector.py`	그대로 사용. 운영 화면과 원천 비교용이다. 전체 재수집하지 않는다.
핵심 종목 실시간 체결	`fact_realtime_ticks`, `fact_minute_prices`	`kiwoom_realtime/main.py` (키움 공식 `kwcli`, 0B/0w)	그대로 사용. 핵심 종목의 부호 있는 체결량·체결강도·최우선호가·프로그램 누적값을 2초 배치로 증분 저장한다. 전 종목 틱 수집으로 확대하지 않는다.
네이버 가격 스냅샷	`fact_price_source_snapshot`	`collector/crawlers/naver_daily_crawler.py`, `naver_price_snapshot_backfill.py`	그대로 사용. 다른 가격 원천의 교차검증 기준으로 유지한다.
장기 가격 교차검증·인증	`fact_price_cross_source_audit`, `fact_price_daily_certified`	`collector/apis/long_price_reconcile.py`	그대로 사용. KIS/네이버 장기 가격을 대조하고 인증 가격으로 승격한다.
과거 CREON 가격 교차검증·인증	위 가격 감사·인증 테이블	`collector/apis/creon_naver_price_reconcile.py`	기존 인증 결과만 재사용. 신규 자동 실행은 중단하고 키움 장중/KIS·KRX 경로를 사용한다.
연구용 정제 가격	`research_clean_price_daily`	위 두 가격 대조 처리기가 인증 결과를 정제층으로 승격	그대로 사용. 수익률·이평·RS는 `close_cross_verified` 이상, 거래량 연구는 `ohlcv_cross_verified`만 사용한다. 최신분은 같은 처리기로 증분 갱신한다.
KRX 투자자별 원수급	`fact_supply_raw`	`collector/apis/krx_bulk_supply_collector.py` (`pykrx` 활용)	그대로 사용. 매수·매도·순매수 항등 검증을 통과한 원천이다. 기존 62GB를 재수집하지 않는다.
과거 CREON 상세 원수급	`fact_supply_raw`	`collector/apis/creon_supply_raw_collector.py`	기존 검증 자료만 재사용. 신규 일별 상세수급은 `collector/apis/kiwoom_daily_detailed_supply.py`의 키움 `ka10060`으로 전환한다.
네이버 비교용 원수급	`fact_supply_raw`	`collector/apis/naver_supply_raw_backfill.py`	그대로 사용. CREON/KRX 비교 보조 원천이며 단독 정답 원천으로 승격하지 않는다.
연구용 정제 수급	`research_clean_supply_daily`	`collector/apis/promote_krx_supply_clean.py`, `collector/apis/kiwoom_daily_detailed_supply.py`	KRX의 검증 자료는 그대로 재사용한다. 신규 SP·관심·보유종목은 키움 13주체와 6개 흐름의 항등 검증을 통과한 해당 거래일만 원화로 승격한다.
기존 통합 수급	`fact_supply_demand`	기존 일일 수집기와 웹 서비스 다수가 사용	유지·재사용. 현재 화면·운영 신호 호환용이다. 새 장기 백테스트는 가능하면 `research_clean_supply_daily`를 우선한다.
DART 최신 확정 재무	`fact_financials`, `financial_collection_audit`	`collector/crawlers/dart_latest_financial_collector.py`	그대로 사용. OpenDART 숫자와 감사 근거를 저장한다. 계정 매핑 실패분만 보완한다.
연구용 기준시점 재무	`research_clean_financial_snapshot`	`scripts/rebuild_clean_financial_pit.py`	그대로 사용. `available_date`를 이용해 미래정보를 막는다. 실제 접수일이 없는 과거분은 +45일/+90일 보수적 프록시임을 유지한다.
WiseReport 컨센서스 이력	`fact_consensus_history`, `fact_consensus_snapshot`	`collector/crawlers/consensus_collector.py`	그대로 사용. 매일 관측 스냅샷을 누적하며 실제 관측일 이후 분석에만 쓴다. 과거로 소급 생성하지 않는다.
데이터 품질 경보	`sys_alert_log`, 기존 품질 레지스트리	`collector/data_quality_audit.py`	그대로 사용. 가격·수급·인증 가격·선물 최신성과 커버리지를 읽기 전용으로 검사한다.
수집 진행 현황	기존 테이블과 수집 감사 로그	`collector/data_progress_report.py`, `analysis/report_data_foundation.py`	그대로 사용. 새로운 모니터를 만들기 전에 이 결과를 한 화면으로 묶는다.
SP 연구용 결합 패널	연구 결과 파일	`analysis/build_sp_alpha_panel.py`	그대로 사용. 재무 기준시점, 수급, 단기 RS, 시장 국면을 결합하는 기존 연구 처리기다. 데이터 공백 보완 후 재실행한다.
미래정보·기준시점 검증	테스트 결과	`tests/analysis/test_sp_alpha_pit.py`	그대로 사용. 동일 검증을 새 테스트 체계로 다시 만들지 않는다.

스키마 정의도 이미 있다. 가격 인증층은 migration/create_price_certification_layers.sql, 연구용 정제층은 migration/create_clean_research_layers.sql, 수급 원천 감사층은 migration/create_supply_raw_audit.sql, 컨센서스 스냅샷은 migration/create_consensus_snapshot.sql을 사용한다. 기존 데이터베이스에서는 다시 만들지 않고 신규 환경 복구 시에만 적용한다.

3-2. 고정 사용 경로

현재가·운영 화면은 기존 fact_daily_prices와 fact_supply_demand 호환 경로를 유지한다.
가격 백테스트는 research_clean_price_daily를 기본으로 하고, 거래량이 조건에 포함되면 ohlcv_cross_verified만 사용한다.
수급 백테스트는 research_clean_supply_daily를 기본으로 한다. 과거 CREON 및 신규 키움 상세 수급은 검증된 기간·단위·주체가 명확할 때 추가 피처로만 결합한다.
재무 백테스트는 research_clean_financial_snapshot.available_date < trade_date 조건을 유지한다.
컨센서스는 snapshot_date 이후에만 사용하며, 관측 이력이 없는 과거 시점에는 값 없음으로 처리한다.
부족한 최신 구간은 위 기존 처리기를 증분 실행해 채운다. 같은 역할의 새 처리기를 만들지 않는다.

4. 필요한 데이터 세트와 실제 부족한 점

데이터 세트	연구에 필요한 최소 내용	현재 부족한 점	보완 우선순위
종목 마스터	상장·상장폐지일, 시장, 보통주/우선주, 코드 변경, DART 법인코드	`dim_companies`의 상장일과 법인코드가 대부분 비어 있음	매우 높음
일별 가격/거래량	OHLCV, 거래대금, 출처, 조정 여부	연구용 정제층은 2026-08-28까지 있으나 원주가/수정주가 의미를 명시적으로 분리해야 함	매우 높음
기업행위	액면분할·병합, 무상증자 등 가격 연속성을 깨는 사건	정규화된 기업행위 표가 없음. 현재는 ±35% 이상 급변 차단만 사용	매우 높음
거래 캘린더	휴장, 거래정지, 재개	정지/재개 구분이 부족함	높음
투자자 수급	외국인·기관·연기금 순매수, 단위와 출처	최근 구간의 종목 커버리지와 단위 일관성 확인 필요	높음
재무·공시	공시 접수일, 결산기간, 연결/별도, 수정 여부	일부 과거 자료의 실제 공시일 대신 분기 +45일/연간 +90일 보수적 대체값 사용	높음
컨센서스	관측일별 전망치와 변경 이력	실제 관측 이전 과거로 소급할 수 없음	현 상태 유지
시장 국면	KOSPI/KOSDAQ, 변동성, 금리·환율 등	가격·신호와 동일 기준시점으로 묶는 정제층 확인 필요	중간
산업·종목군	시점별 산업분류, SP 유니버스 편입/제외 이력	현재 구성종목만 과거에 적용하는 생존편향 표시 필요	중간
품질 관리	최신일, 행 수, 결측, 중복, 이상치, 실패 원인	기존 검사 결과가 여러 곳에 흩어져 있음	높음

5. 개인 연구 시스템의 필수 관리 수준

각 데이터 세트에 다음 항목만 일관되게 남긴다.

출처와 수집 시각
데이터가 실제로 알려진 시점(available_date 또는 관측일)
원본/정제/연구용 구분
가격의 원주가/조정주가 구분과 조정 근거
종목·날짜 중복 검사, 핵심 결측 검사, 비정상 급변 검사
최근 성공일, 최근 실패 원인, 재실행 방법
백테스트에서 사용한 데이터 버전 또는 생성 시각

6. 최소 보완 순서

기존 수집기와 테이블의 최신 상태를 한 번에 보여주는 현황표를 만든다.
종목 마스터의 상장일·법인코드·보통주/우선주와 기업행위 자료를 우선 보완한다.
기존 인증 가격을 이용해 연구용 가격을 최신일까지 증분 갱신한다.
수급의 최근 커버리지와 단위를 검사하고 누락 구간만 다시 수집한다.
실제 DART 접수일을 얻을 수 있는 재무자료만 기준시점을 개선한다. 얻을 수 없는 과거분은 현재의 보수적 대체값임을 표시한다.
기존 품질 검사 결과를 한 화면에 통합한 뒤 신호 분석을 재개한다.

7. 지금 만들지 않을 것

전체 데이터베이스 재구축 또는 전면 재수집
이미 통과한 CA0·CA1·A1·C12-A 검증의 반복
SQLite 파일의 바이트 단위 포렌식 검증 확대
renameat2 등 파일시스템 장애 시나리오 추가 연구
전 데이터의 해시 체인·불변 원장화
모든 기업행위를 완벽히 처리하는 범용 엔진
기존 수집기가 있는데 같은 역할을 하는 새 수집기

8. 개발 전 결정 체크리스트

작업을 시작하기 전에 아래 질문에 모두 답한다.

같은 데이터나 기능이 이미 테이블·스크립트·오픈소스에 있는가?
기존 결과의 최신일과 품질 상태를 확인했는가?
새 작업이 실제 분석을 막는 문제를 해결하는가?
전체 재처리 대신 누락분만 증분 처리할 수 있는가?
작업 완료 조건과 중단 조건이 명확한가?
동일 검증을 반복하고 있지 않은가?

결론

StockPulse의 데이터 기반은 이미 상당 부분 만들어져 있다. 앞으로의 개선은 재구축이 아니라 기존 검증 결과를 자산으로 고정하고, 종목 마스터·기업행위·최신 정제 데이터·운영 현황의 네 가지 실제 공백을 메우는 작업으로 제한한다. 이 준비가 끝난 뒤 시장 국면·종목군·단중장기 신호 분석을 한 번에 재개한다.