[Python] LLM 을 이용하여 데이터 수집 및 요약 추출

import os
from dotenv import load_dotenv

load_dotenv()

OPENAI_API_KEY=os.environ["OPENAI_API_KEY"]

# OpenAI GPT-3.5
from langchain_openai import ChatOpenAI

# model
llm = ChatOpenAI(temperature=0, model="gpt-3.5-turbo-0125", api_key=OPENAI_API_KEY)

# chain 실행
response = llm.invoke("지구 자전 주기는?")

## Prompt Template 사용   
from langchain_core.prompts import ChatPromptTemplate
## 모델에서 응답한 response에서 답변 부분만 추출   
from langchain_core.output_parsers import StrOutputParser

prompt = ChatPromptTemplate.from_template("Answer the question. <Question>: {input}")
output_parser = StrOutputParser()

# chain 연결(LCEL 문법)
# promt 실행 후 llm 순차적으로 실행 
# 마지막으로 output_parser가 실행되어 출력중에 답변 내용만 추출  
chain = prompt | llm | output_parser

response = chain.invoke({"input": "지구 자전 주기는?"})

response

# 뉴스 링크 데이터 가져오기
import pandas as pd
df_news = pd.read_csv('news.csv')
df_news.head()

import bs4
import time
from langchain_community.document_loaders import WebBaseLoader

# url에 해당하는 class=article_view 영역의 컨텐츠 수집
def get_news_content(url):
    loader = WebBaseLoader(
        web_paths=[url],  # 수집할 url 
        bs_kwargs=dict(
            parse_only=bs4.SoupStrainer(
                class_=["article_view"]  # class=article_view의 영역 수집 
            )
        ),
    )
    docs = loader.load()
    time.sleep(1) # 서버 부하를 위해 delay
    return docs[0].page_content.strip() 

# content 컬럼 추가
df_news['content'] = df_news['link'].apply(get_news_content)
df_news.head()

from langchain.prompts import PromptTemplate
from langchain_openai import ChatOpenAI
from langchain_core.output_parsers import StrOutputParser

# prompt
prompt_template = """다음 뉴스 본문에서 기자 이름, 이메일 주소를 추출합니다.

<뉴스 본문>
{text}
</뉴스 본문>

기자 이름:
이메일 주소:
"""

prompt = PromptTemplate.from_template(prompt_template)

# LLM
llm = ChatOpenAI(temperature=0, model="gpt-3.5-turbo-0125", api_key=OPENAI_API_KEY)

# output parser
output_parser = StrOutputParser()

# chain
llm_chain = prompt | llm | output_parser

response = llm_chain.invoke({"text": text})

response

# prompt
prompt_template = """다음 뉴스 본문을 3가지 요점으로 요약합니다. 각 요점은 1줄로 작성합니다.   

<뉴스 본문>
{text}
</뉴스 본문>

요점 1:
요점 2:
요점 3:
"""

# prompt
prompt_template = """다음 뉴스 본문에서 3가지 키워드를 추출합니다. 각 키워드는 쉼표(,)로 구분합니다.

<뉴스 본문>
{text}
</뉴스 본문>

키워드: 
"""

from langchain.chains import create_extraction_chain
from langchain_openai import ChatOpenAI

# 스키마 정의
schema = {
    "properties": {
        "뉴스_제목": {"type": "string"},
        "뉴스_카테고리": {"type": "string"},
        "뉴스_요약": {"type": "string"},
        "뉴스_키워드": {"type": "string"},
        "기자_이름": {"type": "string"},
        "기자_이메일": {"type": "string"},
    },
    "required": ["뉴스_제목", "뉴스_카테고리", "뉴스_요약", "뉴스_키워드", "기자_이름", "기자_이메일"],
}

# LLM 생성
llm = ChatOpenAI(temperature=0, model_name="gpt-3.5-turbo-0125", api_key=OPENAI_API_KEY)

# Chain 생성
chain = create_extraction_chain(schema=schema, llm=llm)

# Chain 실행
response = chain.invoke(text)

# 결과 확인
response

# prompt 추가
from langchain_core.prompts import ChatPromptTemplate

prompt_template = """Extract and save the relevant entities mentioned \
in the following passage together with their properties.

Only extract the properties mentioned in the 'information_extraction' function.

If a property is not present and is not required in the function parameters, do not include it in the output.

For keywords, extract at most 3 keywords.
For categories, use the following categories: '정치', '경제', '사회', '문화', '세계', '과학', '기술', '스포츠', '엔터', '건강'.

Passage:
{input}
""" 

prompt = ChatPromptTemplate.from_template(prompt_template)

# default prompt가 아닌 custom prompt 로 추가 
chain = create_extraction_chain(schema=schema, llm=llm, prompt=prompt)

# Chain 실행
response = chain.invoke(text)

# 결과 확인
response