1문제 정의 — 왜 STT를 우회하려 했는가

기존 음성 개인정보 탐지는 보통 전체 음성을 STT로 텍스트화한 뒤, 텍스트 NLP나 정규식으로 숫자열 형식을 판별하는 구조입니다.

하지만 모든 음성을 대형 STT로 전사하면 비용과 지연이 커지고, 개인정보가 포함될 수 있는 음성을 텍스트로 남긴다는 점 자체가 프라이버시 부담이 됩니다.

그래서 본 실험은 STT를 대체하는 것이 아니라, STT 이전 단계에서 동작하는 초경량 PII 후보 선별기를 목표로 했습니다.

핵심 질문은 다음과 같습니다.

“정밀 전사를 수행하기 전에, 이 클립에 PII 숫자열이 들어 있을 가능성만 먼저 빠르게 판단할 수 있을까?”

이 앞단 선별기의 핵심 지표는 정밀도보다 재현율과 연산 효율입니다. 정확한 형식 판별은 뒤로 미루고, 여기서는 위험 클립을 놓치지 않고 빠르게 걸러내는 데 집중합니다.

2가설 — 음향적으로 다른 연속 숫자열

본 실험의 가설은 단순합니다.

전화번호·주민번호·계좌번호·카드번호처럼 개인정보로 쓰이는 숫자열은 대체로 여러 자리 숫자가 연속해서 발화됩니다. 이때 일반 문장 발화와는 다른 반복적 리듬, 짧은 음절 단위의 나열, 비교적 일정한 발화 간격이 나타날 수 있습니다.

즉, 모델이 잡으려는 것은 개인정보의 의미가 아니라 연속 숫자열이 만들어내는 음향적 패턴입니다.

음성을 log-mel 스펙트로그램으로 변환하면 이러한 시간-주파수 구조가 이미지 형태로 표현됩니다. 따라서 텍스트 전사를 거치지 않더라도, CNN이 일반 발화와 긴 숫자열 발화 사이의 패턴 차이를 학습할 수 있다고 보았습니다.

3접근 — log-mel 스펙트로그램 + 경량 CNN

음성을 16kHz로 받아 log-mel 스펙트로그램(n_fft=1024, hop=512, n_mels=64)으로 변환하고, 4단의 Conv-BN-ReLU-MaxPool과 AdaptiveAvgPool을 거쳐 이진 분류합니다. 평가 시에는 슬라이딩 윈도우로 자른 뒤 각 윈도우 확률의 최댓값을 클립 점수로 삼아, 일부 구간에만 PII가 있어도 놓치지 않도록 설계했습니다.

4실험 여정

단발성 실험이 아닌 5단계의 실험

1왜 이 실험을 먼저 했는가

앞단 프리필터가 의미를 가지려면 두 가지가 동시에 성립해야 합니다.
(1) 음향만으로 PII 숫자열이 실제로 분리되어야 하고, (2) 뒤에 붙는 STT보다 압도적으로 가벼워야 합니다.
둘 중 하나라도 무너지면 프리필터라는 발상 자체가 성립하지 않으므로, 이 둘을 가장 통제된 조건에서 먼저 확인했습니다.

2실험 설계와 조건

핵심 통제는 모든 클래스가 동일 화자풀·동일 코덱·노이즈 패딩을 공유하도록 강제한 것입니다. 클래스 간 차이가 음색·코덱·무음 길이·읽는 방식이 아니라 오직 스펙트로그램만 바라보게 만들어, 모델이 부수 단서를 학습하지 못하게 막았습니다.

3결과 — 가장 작은 모델이 가장 정확했다

제안 모델이 최고 정확도(F1 0.955)를 내면서, 동시에 가장 작고 빠릅니다. 자연영상으로 사전학습한 대형 백본은 스펙트로그램이라는 도메인 불일치와 소규모 데이터 앞에서 이점이 사라졌고, convnext_tiny는 seed 분산이 ±0.132로 불안정했습니다.

4검증 — 손쉬운 단서에 기댄 것은 아닌가

높은 F1이 진짜 신호인지, 아니면 길이·숫자 존재 같은 단서를 외운 것인지 의심하기 위해 통제 장치마다 증거를 붙였습니다.

길이 하나만 쓰는 duration-only는 length-matched에서 ROC가 0.53(우연)으로 붕괴하는데, 같은 조건에서 CNN의 F1은 0.956으로 유지됩니다. 길이를 외운 것이 아니라는 증거입니다.

숫자의 존재도 마찬가지입니다. "숫자가 들어 있기만 하면 PII로 찍는 것 아니냐"는 의심을 막기 위해 비-PII 숫자열로만 구성한 hard-negative를 붙였는데, 이 셋에서 오탐률(hard-neg FPR)이 0.006~0.056에 그칩니다. 숫자의 존재 여부가 아니라 그 숫자열의 형식에 반응한다는 뜻입니다.

읽는 방식도 단서가 될 수 있어, 전 클래스의 숫자를 동일하게 자릿수 발음("공일공…")으로 통일했습니다. 같은 낭독 방식인데도 PII가 구분되므로, 모델이 읽는 방식의 차이를 외운 것이 아닙니다.

음색·코덱·무음 길이 같은 부수 조건은 모든 클래스가 동일 화자풀·16kHz·노이즈 패딩을 공유하도록 강제해 차단했습니다. 학습에 한 번도 안 나온 화자로만 평가하는 LOSO에서도 ROC 0.99를 유지하므로, 이런 부수 조건에 기댄 결과가 아닙니다.

끝으로, 소규모 데이터라 특정 초기값에 과적합됐을 가능성도 점검했습니다. seed를 3회(42·43·44) 바꿔도 simple_cnn의 성능 편차가 ±0.01에 불과하므로, 우연한 과적합이 아니라 안정적인 결과입니다.

5운용점별 거동

프리필터는 임계값(threshold)을 어디에 두느냐에 따라 재현율–정밀도가 달라집니다. 운용점마다 값을 모두 노출합니다.

1왜 화자를 늘렸는가

실험 1의 LOSO ROC는 0.99로 높았지만 화자가 3명뿐이라, 한 화자가 통째로 빠지면 fold 평균이 크게 흔들립니다(분산 ±0.28). 일반화를 정직하게 말하려면 화자 표본을 늘려 이 분산을 줄여야 했습니다. 데이터셋도 v2로 바꿔 PII 유형을 전화·주민·계좌·카드 4종으로 확장했습니다.

2선결 과제 — "같은 화자"를 어떻게 보장하나

LOSO가 성립하려면 한 화자의 정체성이 발화 간 일관되어야 합니다. 그런데 TTS의 VoiceDesign만으로 14명을 만들면, 같은 화자 안의 변동이 화자 사이의 변동보다 커서(within > between) 애초에 "화자"라는 단위가 성립하지 않았습니다.

해법은 화자별로 reference 1개만 VoiceDesign으로 설계하고, 전 발화를 Base 모델로 clone하는 것이었습니다. 화자 내 변동이 1/3.5로 줄어 ratio가 0.61→2.29로 뒤집혔습니다.

3in-distribution 결과 — 강점과 약점 발견

재현율은 0.989로 매우 높지만(331개 중 단 2개 누락), 동시에 음성 142개 중 77개를 오탐하는 hard-neg FPR 0.542라는 약점이 함께 드러납니다. 이 정밀도 약점 때문에 단독 결정기로 쓰기는 어렵고, 정밀 판별은 후단 STT+NLP가 맡습니다(실험 4).