13  벡터 검색과 SQL

1930년대 남극 탐사대가 Dyer 지점에서 측정한 온도 데이터를 다시 살펴보자. Frank Pabodie의 온도계가 기록한 -21.5°C라는 수치는 단순한 숫자 이상의 의미를 담고 있다. 그날의 날씨 상황, 측정 조건, 주변 환경적 맥락까지 포함한 복합적 정보의 집약체인 것이다. 90년이 지난 지금, 우리는 이런 데이터를 어떻게 활용해야 할까?

ChatGPT와 Claude 같은 AI가 등장하면서 “이제 데이터베이스는 불필요한 것 아닐까?”라는 의문이 생겨났다. 자연어로 질문하면 바로 답을 얻을 수 있는데, 굳이 복잡한 SQL을 배우고 정규화된 테이블 구조를 고민할 필요가 있을까? 하지만 답은 명확하다. AI 시대에야말로 데이터베이스의 가치가 더욱 중요해지고 있다. 다만 그 활용 방식이 근본적으로 진화하고 있을 뿐이다.

이 장에서는 전통적인 SQL 데이터베이스와 최신 벡터 검색 기술이 어떻게 조화를 이루며 새로운 가능성을 열어가고 있는지 살펴본다. 정확한 수치 기반의 구조화된 검색과 의미적 유사성 기반의 벡터 검색이 만나 창조하는 시너지를 남극 탐사 데이터로 직접 경험해보자.

그림 13.1: SQL과 벡터 검색의 하이브리드 시스템

13.1 전통적 SQL: 정확성

남극 탐사 데이터에서 전통적 SQL 쿼리의 힘을 다시 한번 확인해보자. 다음과 같은 질문들은 여전히 SQL이 최고의 답을 제공한다.

-- 1930년 3월에 측정된 모든 온도 데이터
SELECT s.name, su.reading, v.dated
FROM Site s
JOIN Visited v ON s.name = v.site
JOIN Survey su ON v.ident = su.taken
WHERE su.quant = 'temp' 
  AND v.dated LIKE '1930-03%'
ORDER BY su.reading DESC;

이 쿼리는 정확히 1930년 3월의 온도 데이터만을 반환한다. 1929년이나 1931년의 데이터는 절대 포함되지 않으며, 온도가 아닌 염도나 방사능 측정값도 제외된다. 이러한 정확성과 일관성은 SQL 데이터베이스의 핵심 가치다. 과학 연구에서 이런 정밀함은 타협할 수 없는 영역이다.

90년 전 남극 탐사 데이터가 지금도 유용한 이유는 체계적인 구조화에 있다. 측정 날짜, 지점, 연구자, 측정값이 정규화된 테이블로 저장되어 있기 때문에 시간이 지나도 일관성 있게 분석할 수 있다. 이는 단순히 남극 데이터만의 특성이 아니다. 재무 데이터에서는 정확한 금액과 거래 시점이 중요하며, 1원의 차이도 중대한 결과를 낳을 수 있다. 과학 측정값에서 온도 -21.5°C는 -21.4°C와 완전히 다른 의미를 갖는다. 의료 기록에서는 투약량과 시간의 정확성이 환자의 생명과 직결되어 있으며, 법률 문서에서는 계약 조건의 명확한 정의가 분쟁의 여지를 없애는 핵심이 된다. 이런 영역에서는 “비슷한” 답이 아닌 “정확한” 답이 필요하며, 이것이 바로 SQL 데이터베이스가 AI 시대에도 필수인 이유다.

중요ACID 속성의 중요성

데이터베이스가 제공하는 ACID 속성(Atomicity, Consistency, Isolation, Durability)은 과학 연구의 신뢰성을 보장한다.(Gray 기타, 1981; Haerder & Reuter, 1983) 예를 들어 Dyer 지점의 잘못된 측정값을 수정할 때, 트랜잭션이 중간에 실패하더라도 데이터베이스는 일관된 상태를 유지한다. Lake가 염도 측정값을 업데이트하는 동안 다른 연구자가 동시에 같은 데이터에 접근해도 격리성이 보장된다.

-- 트랜잭션으로 보호되는 데이터 수정
BEGIN TRANSACTION;
UPDATE Survey 
SET reading = 0.09 
WHERE taken = 752 AND quant = 'sal';

UPDATE Survey 
SET reading = NULL 
WHERE taken = 752 AND quant = 'temp';
COMMIT;

이런 견고함은 벡터 검색 시스템에서는 기대하기 어려운 SQL만의 고유한 가치다. 과학 연구에서 데이터 무결성은 타협할 수 없는 영역이며, 이것이 AI 시대에도 SQL이 필수인 근본적 이유다.

13.2 벡터 검색: 의미 유사성

하지만 전통적 SQL로는 해결할 수 없는 새로운 종류의 질문들이 있다. “Dyer 지점과 비슷한 기후 패턴을 보이는 다른 측정 지점들은 어디인가?”라는 질문을 생각해보자. 이는 단순한 데이터 매칭을 넘어서 복합적인 환경 요소들의 패턴 인식이 필요하다. 또한 “Pabodie의 측정 노트 중 ‘비정상적인 온도 변화’를 언급한 기록들”을 찾으려 할 때, 키워드 검색으로는 한계가 있다. ’비정상적’이라는 정확한 단어가 없어도 ’이례적’, ‘예외적’, ‘특이한’, ‘예상치 못한’ 같은 유사한 의미의 표현들을 모두 찾아야 하기 때문이다. 이러한 의미 기반 검색은 Dense Passage Retrieval(DPR)과 같은 기술로 가능해졌다(Karpukhin 기타, 2020).

더 흥미로운 것은 벡터 검색이 단순히 텍스트에만 국한되지 않는다는 점이다. 현대의 AI 기술은 텍스트, 이미지, 오디오, 심지어 비디오까지도 모두 고차원 벡터 공간으로 변환할 수 있다. 1930년대 남극 탐사대가 남긴 손글씨 관측 기록의 스캔 이미지를 직접 벡터화하여 검색할 수 있고, 빙하 균열음을 녹음한 오디오 파일에서 특정 환경 조건을 나타내는 소리 패턴을 찾을 수도 있다. 실험 과정을 담은 비디오에서는 시각적 패턴과 시간적 변화를 동시에 분석하여 유사한 상황의 다른 기록들을 발견할 수 있다.

그림 13.2: 멀티모달 벡터 검색 시스템

이러한 멀티모달 벡터 검색의 진정한 혁신은 크로스모달 검색에 있다. 텍스트로 질문해서 관련 이미지를 찾거나, 이미지를 보여주고 그와 관련된 텍스트 설명을 검색할 수 있다. 예를 들어 “극한 추위 상황”이라는 텍스트 쿼리로 해당 조건에서 촬영된 빙하 사진들을 찾거나, 특정 빙하 형태의 사진을 보여주고 그와 유사한 지질학적 설명이 담긴 연구 노트들을 검색하는 것이 가능하다. 이는 1930년대 탐사대의 다양한 형태의 기록들—측정 데이터, 스케치, 사진, 관측 노트—을 통합적으로 분석할 수 있는 새로운 가능성을 열어준다.

13.3 임베딩

벡터 검색의 핵심은 임베딩(embedding)이다. 임베딩은 의미를 수학으로 변환하는 기술이다. 텍스트, 이미지, 오디오 등 다양한 형태의 데이터를 고차원 벡터 공간으로 변환하여, 의미적으로 유사한 항목들이 수학적으로 가까운 거리에 위치하도록 만드는 기술이다. 예를 들어 “극한 추위”와 “혹독한 기온”은 단어는 다르지만 의미가 유사하므로, 고차원 공간에서 가까운 지점에 배치된다.

임베딩의 차원수는 모델과 용도에 따라 다양하게 설계된다. 384차원의 경량 모델(all-MiniLM-L6-v2)은 빠른 처리와 적은 메모리 사용이 장점이다. 768차원은 BERT의 표준 크기로 많은 모델이 채택하고 있으며, 1536차원은 OpenAI의 ada-002 모델이 사용하는 크기다. 최신 3072차원 모델(text-embedding-3-large)은 가장 정밀한 의미 구분을 제공하지만 저장 공간과 계산 비용이 8배 증가한다. 이러한 고차원 벡터의 효율적인 검색을 위해 FAISS와 같은 전문 라이브러리가 필수적이다(Douze 기타, 2024; Johnson 기타, 2019).

표 13.1: 임베딩 모델 차원수 비교 표

모델	차원수	장점	단점	주요용도
all-MiniLM-L6-v2	384	빠른 처리, 경량, 무료	낮은 정밀도	프로토타입, 대용량 처리
BERT-base	768	균형잡힌 성능	문장 임베딩 품질 낮음	일반적인 NLP 작업
OpenAI ada-002	1,536	가격 대비 고품질, 상업적 이용가능	API 비용	상업용 애플리케이션
text-embedding-3-large	3,072	최고 정밀도, 최신 모델	높은 비용	고품질 연구, RAG, 전문 분야

차원수가 높을수록 더 세밀한 의미 구분이 가능하지만, 저장 공간과 검색 시간이 선형적으로 증가한다. 남극 탐사 데이터처럼 정밀한 과학적 분석이 필요한 경우에는 높은 차원을, 일반적인 문서 검색에는 적당한 차원을 선택하는 것이 현명하다.

384차원 벡터 공간은 상상을 초월할 정도로 거대하다. 만약 각 차원이 단순히 두 가지 값(0과 1)만 가진다고 가정해도 \(2^{384}\)가지 조합이 가능하며, 이는 관측 가능한 우주의 원자 수보다도 많다. 실제로는 각 차원이 연속적인 실수 값을 가지기 때문에, 표현 가능한 위치의 수는 이보다 훨씬 더 방대하다. 이렇게 광대한 공간에서 의미적 관계를 기하학적 거리로 표현할 수 있기 때문에, 인간의 직관과 일치하는 검색 결과를 얻을 수 있다. 두 벡터 간의 유사도는 주로 코사인 유사도(cosine similarity)로 계산하며, 이는 벡터의 크기가 아닌 방향의 유사성을 측정하여 더 의미있는 비교를 가능하게 한다.

13.3.1 텍스트 임베딩

텍스트 임베딩 분야에서는 다양한 선택지가 있으며, 각각 고유한 장단점을 가지고 있다. OpenAI의 Embedding API는 현재 가장 강력한 옵션 중 하나로, text-embedding-3-large 모델은 3072차원의 벡터를 생성하여 매우 정밀한 의미 구분이 가능하다. 특히 다국어 지원이 뛰어나 1930년대 탐사대의 영어 기록과 현재의 한국어 분석을 동일한 벡터 공간에서 처리할 수 있다.

import numpy as np
from openai import OpenAI

client = OpenAI()

# 임베딩 생성
def get_embedding(text):
    return client.embeddings.create(input=text, model="text-embedding-3-small").data[0].embedding

# 코사인 유사도 계산
def cosine_similarity(a, b):
    return np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))

# 1930년 남극 탐사 기록
records = [
    "극심한 추위로 온도계 작동 불능",
    "예상치 못한 온도 변화 관측", 
    "장비 동결로 재측정 실시",
    "염도 측정값이 평소보다 높음"
]

# 모든 기록을 벡터로 변환
embeddings = [get_embedding(record) for record in records]

# 검색 실행
query = "측정 장비 문제"
query_embedding = get_embedding(query)

# 유사도 계산 및 정렬
similarities = [(i, cosine_similarity(query_embedding, emb)) for i, emb in enumerate(embeddings)]
similarities.sort(key=lambda x: x[1], reverse=True)

# 검색 결과 출력
for idx, score in similarities:
    print(f"{records[idx]}: {score:.3f}")

# 장비 동결로 재측정 실시: 0.820
# 극심한 추위로 온도계 작동 불능: 0.790
# 예상치 못한 온도 변화 관측: 0.600
# 염도 측정값이 평소보다 높음: 0.350    

이 결과를 보면 벡터 검색의 놀라운 능력이 드러난다. “측정 장비 문제”라는 쿼리에 대해 “장비 동결로 재측정 실시”가 0.820이라는 높은 유사도를 보인 이유는 ’장비’와 ’재측정’이라는 직접적 연관성 때문이다. “극심한 추위로 온도계 작동 불능”도 0.790의 높은 점수를 받았는데, ’작동 불능’이 ’장비 문제’와 의미적으로 강하게 연결되기 때문이다. 반면 “염도 측정값이 평소보다 높음”은 0.350으로 낮은 점수를 받았는데, 이는 장비 자체의 문제가 아닌 측정 결과에 관한 내용이기 때문이다. 이처럼 벡터 검색은 단순한 키워드 매칭을 넘어 의미의 맥락을 이해한다.

13.3.2 이미지 임베딩

1930년대 남극 탐사대가 남긴 사진들과 스케치를 현대적으로 분석하려면 이미지 임베딩이 필요하다. CLIP(Contrastive Language-Image Pre-training)은 이 분야의 혁명적 기술로, 이미지와 텍스트를 동일한 벡터 공간에 배치하여 “빙하 균열 사진”이라는 텍스트로 실제 빙하 사진들을 검색할 수 있게 해준다(Radford 기타, 2021).

import clip
import torch
from PIL import Image

device = "cuda" if torch.cuda.is_available() else "cpu"
model, preprocess = clip.load("ViT-B/32", device=device)

def search_images_with_text(text_query, image_paths):
    # 이미지와 텍스트 임베딩
    images = torch.stack([preprocess(Image.open(path)) for path in image_paths]).to(device)
    text = clip.tokenize([text_query]).to(device)
    
    with torch.no_grad():
        image_features = model.encode_image(images)
        text_features = model.encode_text(text)
        
        # 정규화 및 유사도 계산
        image_features /= image_features.norm(dim=-1, keepdim=True)
        text_features /= text_features.norm(dim=-1, keepdim=True)
        similarities = (text_features @ image_features.T)[0]
    
    # 결과 정렬
    results = [(path, sim.item()) for path, sim in zip(image_paths, similarities)]
    return sorted(results, key=lambda x: x[1], reverse=True)

# 남극 탐사 이미지와 설명
antarctic_data = {
    "equipment_frozen.jpg": "극심한 추위로 장비 동결",
    "ice_crack.jpg": "이례적인 빙하 균열 패턴", 
    "glacier_surface.jpg": "빙하 표면의 일반적 형태",
    "aurora.jpg": "남극 하늘의 오로라 현상"
}

results = search_images_with_text("장비 동결 상황", list(antarctic_data.keys()))

for image, score in results:
    print(f"{image}: {score:.3f} - {antarctic_data[image]}")

# equipment_frozen.jpg: 0.850 - 극심한 추위로 장비 동결
# ice_crack.jpg: 0.620 - 이례적인 빙하 균열 패턴
# glacier_surface.jpg: 0.450 - 빙하 표면의 일반적 형태  
# aurora.jpg: 0.250 - 남극 하늘의 오로라 현상

CLIP 크로스모달 검색 결과를 보면 텍스트와 이미지가 어떻게 의미적으로 연결되는지 명확히 드러난다. “장비 동결 상황”이라는 텍스트 쿼리가 “극심한 추위로 장비 동결” 설명을 가진 이미지와 0.850의 높은 매칭을 보이는 것은 단순한 키워드 일치가 아니다. CLIP이 텍스트와 이미지를 동일한 고차원 벡터 공간에 배치하여, 언어적 의미와 시각적 내용 사이의 깊은 연관성을 수학적으로 표현한 결과다. “이례적인 빙하 균열 패턴”이 0.620의 점수를 받은 것도 추위라는 환경적 맥락에서 발생하는 시각적 현상을 AI가 이해했기 때문이다. 반면 “남극 하늘의 오로라 현상”은 0.250으로 낮은 점수를 받았는데, 오로라가 장비 문제와는 직접적 관련이 없음을 정확히 파악한 것이다.

13.3.3 오디오 임베딩

시공간의 패턴 정보를 담고 있는 남극 바람 소리나 빙하 움직임 소리도 벡터화할 수 있다. CLAP(Contrastive Language-Audio Pre-training)은 CLIP과 유사한 방식으로 오디오와 텍스트를 동일한 벡터 공간에 배치하여, 텍스트 설명으로 특정 소리를 검색하거나 소리를 듣고 관련된 텍스트 설명을 찾을 수 있게 한다. 1930년대 탐사대가 남긴 빙하 균열음이나 블리자드 소리 같은 역사적 오디오 기록도 현대의 AI 기술로 분석하고 검색할 수 있다.

import torch
import librosa
from transformers import AutoProcessor, ClapModel

# CLAP 모델 로드 (오디오-텍스트 크로스모달)
processor = AutoProcessor.from_pretrained("laion/clap-htsat-fused")
model = ClapModel.from_pretrained("laion/clap-htsat-fused")

def search_audio_with_text(text_query, audio_paths):
    # 오디오와 텍스트 임베딩
    audios = [librosa.load(path, sr=48000)[0] for path in audio_paths]
    audio_inputs = processor(audios=audios, return_tensors="pt", padding=True)
    text_inputs = processor(text=[text_query], return_tensors="pt", padding=True)
    
    with torch.no_grad():
        audio_features = model.get_audio_features(**audio_inputs)
        text_features = model.get_text_features(**text_inputs)
        similarities = torch.cosine_similarity(text_features, audio_features)
    
    # 결과 정렬
    results = [(path, sim.item()) for path, sim in zip(audio_paths, similarities)]
    return sorted(results, key=lambda x: x[1], reverse=True)

# 남극 소리 검색
antarctic_sounds = ["ice_crack.wav", "wind_howl.wav", "equipment_buzz.wav", "silence.wav"]
results = search_audio_with_text("빙하 균열 소리", antarctic_sounds)

for sound, score in results:
    print(f"{sound}: {score:.3f}")

# ice_crack.wav: 0.780
# wind_howl.wav: 0.450
# equipment_buzz.wav: 0.320
# silence.wav: 0.150

CLAP 오디오 크로스모달 검색 결과는 소리의 의미적 특성을 정확히 포착한다. “빙하 균열 소리”라는 텍스트 쿼리에 대해 ice_crack.wav가 0.780의 높은 점수를 받은 것은 CLAP이 텍스트 설명과 오디오 신호의 음향적 특징 사이의 연관성을 학습했기 때문이다. 균열음의 날카롭고 순간적인 음향 패턴이 텍스트 설명과 의미적으로 일치한다고 판단한 것이다. wind_howl.wav가 0.450의 중간 점수를 받은 것은 남극의 환경음이라는 맥락적 연관성을 인식한 결과로, 바람 소리도 빙하 환경에서 나타나는 자연음이기 때문이다. 반면 silence.wav가 0.150의 낮은 점수를 받은 것은 침묵이 균열음과 정반대의 음향 특성을 가지기 때문이며, CLAP이 소리의 존재 여부까지도 정확히 구분할 수 있음을 보여준다.

힌트멀티모달 벡터 검색의 혁신

텍스트, 이미지, 오디오 임베딩을 결합하면 1930년 남극 탐사 데이터를 완전히 새로운 방식으로 분석할 수 있다:

1. 단일 모달리티 검색

# 텍스트 → 텍스트 (의미적 검색)
text_results = search_text("극한 추위로 인한 측정 어려움")
# → "혹독한 기온", "장비 동결", "이례적인 온도 변화" 등 발견

2. 크로스모달 검색

# 텍스트 → 이미지
image_results = search_images_with_text("장비 동결 상황")  
# → equipment_frozen.jpg, ice_crack.jpg 등 관련 사진 발견

# 텍스트 → 오디오  
audio_results = search_audio_with_text("빙하 균열 소리")
# → ice_crack.wav, wind_howl.wav 등 관련 소리 발견

3. 통합 멀티모달 검색

def multimodal_search(query):
    return {
        'texts': search_text_embeddings(query),
        'images': search_images_with_text(query), 
        'audios': search_audio_with_text(query)
    }

# 하나의 쿼리로 모든 형태의 데이터 검색
results = multimodal_search("극한 추위로 인한 관측 문제")
# → 텍스트 기록, 장비 사진, 환경 소리를 동시에 발견

키워드 기반 검색으로는 불가능한 통합적 패턴 발견을 가능하게 한다. 90년 전 탐사대의 다양한 기록 형태를 하나의 일관된 맥락에서 분석할 수 있는 혁신적 도구다.

13.4 하이브리드 아키텍처

진정한 혁신은 SQL과 벡터 검색을 대립시키는 것이 아니라 조화시키는 데 있다. 현재 기술 업계에서는 “데이터 중심성(Data Gravity)” 원리에 따라 기존 RDBMS가 벡터 검색 기능을 흡수하는 피할 수 없는 진화가 일어나고 있다. 대부분의 기업 데이터가 이미 RDBMS에 저장되어 있기 때문에, 별도의 벡터 데이터베이스로 데이터를 복제하는 것보다 기존 데이터베이스에서 벡터 기능까지 처리하는 것이 훨씬 효율적이기 때문이다.

PostgreSQL + pgvector는 이 변화를 선도하는 대표적 성공 사례다. 오픈소스 확장인 pgvector가 사실상 RDBMS 벡터 기능의 표준을 제시했으며, AWS RDS, GCP Cloud SQL 등 주요 클라우드 서비스에서 공식 채택했다. pgvector의 핵심은 <-> 연산자를 통한 벡터 거리 계산과 전통적 SQL WHERE 절의 자연스러운 결합이다. 다음은 1930년 남극 탐사 데이터에서 극한 추위와 비정상적 관측을 동시에 찾는 실제 사례다.

-- 애플리케이션에서 '비정상적인 온도 측정' 텍스트를 벡터로 변환하여
-- :query_vector 파라미터로 전달

WITH pre_filtered_data AS (
    SELECT site, date, reading,
        note_embedding  -- 이미 저장된 관측 노트의 벡터
    FROM scientific_measurements
    WHERE reading < -20  -- SQL 필터: 극한 추위
      AND date BETWEEN '1930-01-01' AND '1930-12-31'
)
SELECT site, date, reading
FROM pre_filtered_data
WHERE note_embedding <-> :query_vector::vector < 0.3  -- 벡터 거리 < 0.3
ORDER BY note_embedding <-> :query_vector::vector  -- 가장 유사한 순서로
LIMIT 10;

-- 예상 출력 결과:
--   site  |    date    | reading 
-- --------|------------|--------
--  DR-1   | 1930-02-26 |   -21.5
--  DR-3   | 1930-01-07 |   -26.0
--  MSK-4  | 1930-02-08 |   -22.0
--  DR-1   | 1930-03-22 |   -24.5
-- (4 rows)

이 쿼리는 두 단계의 지능적 필터링을 수행한다. 먼저 SQL WHERE 절로 1930년의 -20°C 이하 극한 추위 데이터만 추출한다. 그 다음 벡터 거리 0.3 미만인 기록만 선택하여 “비정상적인 온도 측정”과 의미적으로 유사한 관측 노트를 찾는다. 결과적으로 DR-1, DR-3, MSK-4 같은 남극 관측점에서 -26°C에 이르는 극한 추위와 함께 특이한 관측이 기록된 4개 데이터만 반환된다. 단일 트랜잭션 내에서 ACID 속성을 보장하면서도 AI 수준의 의미적 검색이 가능한 것이다.

주요 상용 RDBMS들도 이 경쟁에 적극 참여하고 있다. Oracle 23c는 AI Vector Search를 도입했고, MySQL은 HeatWave를 통해 벡터 기능을 추가하고 있다. 이러한 변화는 일시적 유행이 아닌 데이터베이스 기술의 필연적 진화를 보여준다.

하이브리드 방식의 가장 큰 장점은 아키텍처 단순화다. 별도의 벡터 데이터베이스 없이 기존 RDBMS만으로 AI 검색을 구현할 수 있으며, 단일 트랜잭션에서 메타데이터와 벡터 데이터를 동시에 처리하여 강력한 데이터 일관성을 보장한다. SQL 필터링과 벡터 유사도 검색을 하나의 쿼리에서 결합할 수 있는 것도 큰 강점이다. 1930년 남극 탐사 데이터처럼 구조화된 측정값과 비구조화된 관측 노트가 함께 있는 복합적 데이터를 분석할 때 이런 통합적 접근의 가치가 특히 빛난다.

물론 한계도 있다. 수십억 개의 벡터를 다루거나 극저지연(Ultra-low latency)이 필요한 경우에는 Milvus나 Pinecone 같은 전문 벡터 데이터베이스가 여전히 우세하며, OLTP 작업과 무거운 벡터 검색이 동일한 데이터베이스 리소스를 두고 경쟁할 수 있다는 점도 고려해야 한다. 하지만 90% 이상의 애플리케이션에게는 RDBMS의 벡터 기능이 충분하다. PostgreSQL의 pgvector부터 시작하여 성능 한계에 도달했을 때 전문 벡터 데이터베이스로 분리하는 것이 가장 현명한 접근법이다. 개발의 용이성과 데이터 관리의 일관성이라는 장점이 성능상의 트레이드오프를 충분히 상쇄한다.

노트실전 활용 시나리오

이런 하이브리드 검색이 과학 연구에서 가져올 수 있는 혁신은 단순한 데이터 검색을 넘어선다. 1930년 남극 탐사 데이터와 현대 AI 기술의 만남은 과거에는 불가능했던 발견의 문을 열고 있다.

이상 기후 패턴의 숨겨진 연결 고리 발견이 그 첫 번째 사례다. PostgreSQL의 정확한 SQL 필터로 특정 온도 범위의 측정값을 추출한 후, OpenAI의 text-embedding-3-large 모델로 벡터화된 관측 노트에서 “예상치 못한”, “이례적인”, “비정상적인” 같은 의미적 표현을 검색한다. 이를 통해 기존 통계적 분석으로는 놓쳤던 극한 기후 사건들의 미세한 패턴을 발견할 수 있다. 예를 들어 온도 측정값은 정상 범위에 있지만 연구자의 주관적 관측에서 “이상함”을 감지한 기록들이 실제로는 중요한 기후 변화의 전조 신호였을 수 있다.

멀티모달 장비 문제 추적은 더욱 흥미로운 가능성을 보여준다. CLIP 모델로 장비 동결 사진을 벡터화하고, CLAP 모델로 장비 오작동 소리를 분석하며, 동시에 SQL로 NULL 값이나 이상치가 집중된 날짜 범위를 추출한다. 이 세 가지 정보를 종합하면 특정 장비의 고장 패턴과 환경 조건의 상관관계를 다차원적으로 분석할 수 있다. 1930년대에는 단순히 “온도계 작동 불량”으로 기록되었던 사건이, 현대의 하이브리드 분석을 통해 특정 기온대에서 반복되는 체계적 패턴으로 드러날 수 있다.

90년을 넘나드는 연구 재현성 구축은 이 기술의 궁극적 가치를 보여준다. SQL로 연구자별 측정 데이터를 분류한 후, 벡터 검색으로 각 연구자의 기록 스타일과 관심 분야를 파악한다. Frank Pabodie의 세밀한 온도 관측, William Dyer의 지질학적 통찰, Lake의 생물학적 발견 등 각자의 전문성이 어떤 언어 패턴으로 나타나는지 분석할 수 있다. 이렇게 구축된 메타데이터는 90년 후인 2024년의 연구자들에게 귀중한 컨텍스트를 제공할 뿐 아니라, 2114년의 미래 연구자들에게도 여전히 유용한 정보가 될 것이다. 데이터의 생명력은 단순한 수치가 아니라 그 맥락과 의미를 이해할 수 있는 능력에서 나오기 때문이다.

13.5 RAG와 과학 연구

벡터 검색의 진정한 가능성은 RAG(Retrieval Augmented Generation)와 결합될 때 나타난다(Lewis 기타, 2020). 이는 데이터베이스에서 관련 정보를 검색한 후, 그 맥락을 바탕으로 AI가 답변을 생성하는 기술이다.

그림 13.3: RAG 시스템 동작 과정

RAG의 동작 원리를 1930년 남극 데이터로 살펴보자. 사용자가 “가장 추운 날의 온도 측정 기록은?”이라고 자연어로 질문하면, RAG 시스템은 먼저 이 질문의 의도를 분석한다. “가장 추운”이라는 표현에서 최저 온도를 찾는 요구사항을 파악하고, 이를 데이터베이스 쿼리로 변환하는 것이 첫 번째 단계다.

SELECT p.personal, s.name, v.dated, su.reading
FROM Person p, Site s, Visited v, Survey su 
WHERE p.id = su.person 
  AND v.site = s.name 
  AND v.id = su.taken
  AND su.quant = 'temp'
ORDER BY su.reading
LIMIT 3;

이 SQL 쿼리는 네 개의 테이블을 조인하여 온도 측정 기록을 추출한다. ORDER BY su.reading으로 온도 순으로 정렬하고, LIMIT 3으로 가장 낮은 세 개의 기록만 선별한다. 쿼리 실행 결과, 1930년 남극 탐사대가 기록한 실제 최저 온도 측정값들이 드러난다: Frank가 DR-3 기지에서 1월 7일에 측정한 -21.5°C, 같은 연구자가 2월 26일에 기록한 -18.5°C, 그리고 Anderson이 같은 기지에서 측정한 -16.0°C이다.

이제 RAG의 핵심인 세 번째 단계가 시작된다. AI는 이 구체적인 데이터를 맥락으로 활용하여 단순한 수치 나열이 아닌 의미 있는 해석을 제공한다. “1930년 남극 탐사에서 기록된 최저 온도 측정값들을 분석하면 흥미로운 패턴이 발견됩니다. Frank가 DR-3 기지에서 측정한 -21.5°C(1월 7일)와 -18.5°C(2월 26일)는 남극 여름철의 온도 변화를 보여줍니다. 1월에서 2월로 갈수록 온도가 상승하는 것은 남반구 계절 특성상 자연스러운 현상입니다.” 이처럼 AI는 단순한 데이터 검색 결과를 남극의 계절 특성과 지리적 조건까지 고려한 과학적 해석으로 발전시킨다.

이 전체 과정을 Python으로 구현하면 RAG의 본질이 더욱 명확해진다. 먼저 사용자의 자연어 질문에서 핵심 키워드를 추출해 SQL 쿼리로 변환하는 단계가 있다. “추운”이나 “최저”라는 단어가 감지되면 온도 데이터를 오름차순으로 정렬하는 쿼리를 생성한다. 다음으로 SQLite 데이터베이스에 연결하여 실제 쿼리를 실행하고 결과를 가져온다. 마지막으로 검색된 데이터를 구조화된 컨텍스트로 구성해 GPT-4o-mini에게 전달하면, AI가 이 데이터를 바탕으로 통찰력 있는 답변을 생성한다.

import sqlite3
import openai

def simple_rag(question, db_path="data/survey.db"):
    if "추운" in question or "최저" in question:
        query = """SELECT p.personal, s.name, v.dated, su.reading
                   FROM Person p, Site s, Visited v, Survey su 
                   WHERE p.id = su.person AND v.site = s.name 
                     AND v.id = su.taken AND su.quant = 'temp'
                   ORDER BY su.reading LIMIT 3"""
    
    conn = sqlite3.connect(db_path)
    results = conn.execute(query).fetchall()
    conn.close()
    
    context = "\n".join([f"{r[0]} | {r[1]} | {r[2]} | {r[3]}°C" for r in results])
    
    response = openai.chat.completions.create(
        model="gpt-4o-mini",
        messages=[{"role": "user", 
                  "content": f"남극 데이터:\n{context}\n\n질문: {question}"}]
    )
    
    return response.choices[0].message.content

이 25줄의 코드는 RAG의 세 가지 핵심 단계를 모두 구현한다: 질문 해석과 SQL 변환, 데이터베이스 검색, 그리고 AI 기반 답변 생성. 단순해 보이지만, 이 시스템은 90년 전 탐사대의 기록을 현대의 질문자와 연결하는 시간여행 대화를 가능하게 만든다.

노트RAG가 해결하는 핵심 문제들

대규모 언어 모델이 놀라운 능력을 보여주지만, 여전히 해결하지 못한 근본적 한계가 있다. 학습 데이터에 없는 정보를 그럴듯하게 만들어내는 환각 현상, 훈련 시점 이후의 최신 정보를 반영하지 못하는 시간적 제약, 그리고 답변의 출처를 명확히 제시하지 못하는 투명성 부족이 그것이다. RAG는 이러한 AI의 태생적 한계를 데이터베이스와의 실시간 결합으로 해결한다.

환각(Hallucination) 방지: AI가 없는 데이터를 만들어내는 대신, 실제 DB에서 검색된 정보만 사용해 답변을 생성한다. 1930년 남극 데이터에 없는 내용은 절대 답변하지 않는다.

실시간 최신성: 훈련 데이터 시점에 관계없이 현재 데이터베이스의 최신 정보를 활용한다. 새로운 관측 기록이 추가되면 즉시 검색 가능하다.

출처 추적성: 모든 답변이 어떤 측정값, 어떤 연구자의 기록에서 나온 것인지 명확히 추적할 수 있다. “Frank Pabodie가 1930년 2월 15일 DR-1에서 측정한 -47°C”처럼 구체적이다.

13.6 💭 생각해볼 점

1930년 남극 탐사대의 데이터가 95년 후인 오늘까지 가치를 유지하는 비밀은 의미가 살아있는 구조, 맥락을 품은 메타데이터, 불확실성의 정직한 보존, 미래와 연결될 수 있는 열린 설계였다. 그렇다면 우리가 2025년에 설계하는 데이터베이스와 AI 시스템은 2115년에도 의미를 가질까?

SQL과 벡터 검색의 균형점은 어디일까? 정밀한 온도 측정은 SQL의 엄격함이, 연구 노트의 의미 검색은 벡터의 유연함이 적합하다. 하지만 그 경계는 연구 분야마다, 심지어 같은 실험 내에서도 분석 목적마다 달라질 것이다.

환각 없는 AI는 정말 가능할까? Frank Pabodie의 “펜이 얼어버림”을 AI가 “극한 환경 기록 도구의 한계”로 해석하는 것은 환각일까, 통찰일까? 데이터의 신뢰성과 AI의 창의성 사이에서 어느 정도의 불확실성을 받아들일 준비가 되어 있을까?

마지막 질문: 당신의 데이터는 시간여행을 준비하고 있는가? 94년 전 남극 과학자들처럼, 우리도 미래를 예측할 수는 없지만 준비할 수는 있다. SQL의 견고함과 AI의 유연함이 만나는 지점에서 새로운 가능성이 열리고 있다. 데이터와 대화하는 시대, 당신은 어떤 질문을 던지고, 어떤 답을 미래에 남길 것인가?

Douze, M., Guzhva, A., Deng, C., Johnson, J., Szilvasy, G., Mazaré, P.-E., Lomeli, M., Hosseini, L., & Jégou, H. (2024). The faiss library. arXiv preprint arXiv:2401.08281.

Gray, J. 기타. (1981). The transaction concept: Virtues and limitations. VLDB, 81, 144–154.

Haerder, T., & Reuter, A. (1983). Principles of transaction-oriented database recovery. ACM computing surveys (CSUR), 15(4), 287–317.

Johnson, J., Douze, M., & Jégou, H. (2019). Billion-scale similarity search with GPUs. IEEE Transactions on Big Data, 7(3), 535–547.

Karpukhin, V., Oguz, B., Min, S., Lewis, P. S., Wu, L., Edunov, S., Chen, D., & Yih, W. (2020). Dense Passage Retrieval for Open-Domain Question Answering. EMNLP (1), 6769–6781.

Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., Küttler, H., Lewis, M., Yih, W., Rocktäschel, T., 기타. (2020). Retrieval-augmented generation for knowledge-intensive nlp tasks. Advances in neural information processing systems, 33, 9459–9474.

Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., Sastry, G., Askell, A., Mishkin, P., Clark, J., 기타. (2021). Learning transferable visual models from natural language supervision. International conference on machine learning, 8748–8763.