[TokenMeter] Local ChatGPT (25.08)

이 글은 Tistory에서 이전된 포스팅입니다. 원본은 여기에서 확인할 수 있습니다.

TokenMeter

https://github.com/cornpip/TokenMeter

Feature

- crawling & summary

GPT API에 A링크를 분석해 달라고 하면, 링크 텍스트에서 유추한 정보만을 바탕으로 엉뚱한 답변을 내놓는다.

그래서 링크가 포함된 질문의 경우, 링크를 크롤링하고 요약한 뒤, 이 요약을 질문에 덧붙여 API에 전달하는 기능을 추가했다.

요약 모델은 facebook/bart-large-cnn 을 사용한다.

설정에서 On/Off 가능하다.

On/off in settings

crawling & summary 중에는 Searching web…

GPT API 응답을 기다릴 때는 Please wait…

요약 내용을 같이 전송

- ChatGPT 비교

ChatGPT는 응답이 더 풍부하다.

링크 내용을 크롤링할 뿐 아니라 위키백과, Reddit, Stack Overflow 등 질문 맥락에 맞는 웹사이트를 추가로 검색해 정보를 보완한다.