Meta information processing for text data pre-processing

텍스트 데이터의 전처리 과정인 패턴 일치되는 데이터 삭제, 문자열 대체, 불필요 문자열 제거, 문자열 연결 등을 수행하기 위한 메타 정보를 등록하고 조회한다.

get_meta(id = c("filter", "replace", "remove", "concat", "split"))

set_meta(
  id = c("filter", "replace", "remove", "concat", "split"),
  filename,
  sep = ",",
  fileEncoding = "utf-8",
  append = FALSE
)

Arguments

id

character. 메타 정보의 아이디.

filename

character. 등록할 메타 정보가 포함된 파일의 이름

sep

character. 메타 정보를 기술한 파일의 컬럼 구분자

fileEncoding

character. 파일의 인코딩

append

logical. 메타 정보의 추가 여부. TRUE이면, 기 등록 메타에 추가한다.

Value

data.frame 등록된 메타정보를 담은 data.frame

Examples

# \donttest{
meta_path <- system.file("meta", package = "bitNLP")
fname <- glue::glue("{meta_path}/preparation_filter.csv")

## 데이터 필터링 메타 신규 등록
set_meta("filter", fname, fileEncoding = "utf8")

## 기 등록된 데이터 필터링 메타 조회
get_meta("filter")
#>    rule_nm
#> 1 신문기사
#> 2 제품홍보
#> 3 설문조사
#> 4     출처
#> 5   이벤트
#> 6     방송
#>                                                                                     pattern
#> 1                                   (팍스넷|파이낸셜|연합|(PT)|오마이|경제)[[:space:]]*뉴스
#> 2 ((입법|정치|교육)[[:space:]]*플랫폼)|맘마미아[[:space:]]*가계부[[:print:]]*인증샷|Playtex
#> 3                                                              좌담회|구글설문|채용대행업체
#> 4                                                    출처[[:space:]]*:|문의처보건복지콜센터
#> 5                                     (증정|기념)이벤트|허니스크린|이벤트를[[:space:]]*진행
#> 6                                 제작진|기억저장소|추모카페|블랙홀|푸드스튜디오|연금정보넷
#>   accept  use
#> 1  FALSE TRUE
#> 2  FALSE TRUE
#> 3  FALSE TRUE
#> 4  FALSE TRUE
#> 5  FALSE TRUE
#> 6  FALSE TRUE

## 데이터 필터링 메타 추가 등록
#fname <- "preparation_filter2.csv"
#set_meta("filter", fname, fileEncoding = "utf8", append = TRUE)
# }