개인 프로젝트/📚 자연어 처리(4)
-
📕 RNN 기반 자연어 처리 모델
RNN 기반 자연어 처리 모델입니다. 텔레그램 톡방에서 데이터를 추출한 뒤, 필터 과정을 거쳐 학습을 진행합니다. 다른 플랫폼은 충분한 언어 데이터가 없어서 시도하지 않았습니다. 깃허브 GitHub - 909ma/RNN-based-Natural-Language-Processing-Model: RNN 기반 자연어 처리 모델입니다. 텔레그램에서 추 RNN 기반 자연어 처리 모델입니다. 텔레그램에서 추출한 데이터를 바탕으로 자연어를 만듭니다. - GitHub - 909ma/RNN-based-Natural-Language-Processing-Model: RNN 기반 자연어 처리 모델입니다. 텔레그램에서 추 github.com 소스코드는 네 가지가 있습니다. 단계별로 나누었을 때 세 단계로 구별할 수 있습니다. ..
2023.09.17 -
3. 학습 모델을 불러와 말 출력하기
from tensorflow.keras.models import load_model from tensorflow.keras.preprocessing.sequence import pad_sequences import numpy as np import pandas as pd from tensorflow.keras.preprocessing.text import Tokenizer df = pd.read_csv('output_홍길동.csv') Text = [] # 헤드라인의 값들을 리스트로 저장 Text.extend(list(df.Text.values)) print('총 샘플의 개수 : {}'.format(len(Text))) Text = [word for word in Text if word != "ㅋ"] pr..
2023.09.16 -
2. LSTM을 이용하여 학습 후 모델 저장하기
import tensorflow as tf from tensorflow.keras.layers import Embedding, Dense, LSTM from tensorflow.keras.models import Sequential import pandas as pd import numpy as np from string import punctuation from tensorflow.keras.preprocessing.text import Tokenizer from tensorflow.keras.preprocessing.sequence import pad_sequences from tensorflow.keras.utils import to_categorical # GPU 사용 가능 여부 확인 physic..
2023.09.16 -
1. 텔레그램 채팅방으로부터 말뭉치 데이터 얻기
# JSON 파일을 읽어오는 함수 # 텔레그램에서 추출한 대화 데이터 파일을 user, text 형태의 csv파일로 추출 import json import csv def read_json_file(file_path): with open(file_path, 'r', encoding='utf-8') as json_file: data = json.load(json_file) return data def extract_actor_text_to_csv(json_data, output_csv_file): with open(output_csv_file, 'w', newline='', encoding='utf-8') as csv_file: writer = csv.writer(csv_file) writer.writero..
2023.09.16