Ollama
Ollama(올라마)는 로컬 환경에서 대형 언어 모델(Large Language Models, LLM)을 쉽게 다운로드하고 실행할 수 있도록 만들어진 오픈 소스 도구입니다.
기존 AI 언어 모델을 사용하기 위해서는 ChatGPT와 같이 구독 및 복잡한 설정이나 클라우드 서비스를 이용해야 하지만, Ollama는 이 과정을 단순화하여 쉽게 AI 모델을 로컬(인터넷 없는 환경)에서 활용할 수 있으며, 로컬 환경에서 실행되므로 민감한 데이터나 개인정보 등을 안전하게 처리할 수 있습니다.
지원 언어 모델
Ollama에서는 다양한 언어 모델을 지원하며, 이 글에서는 Meta에서 공개한 오픈 소스 언어 모델인 Llama 3.1 8b를 설치합니다.
그 외 지원하는 언어 모델은 Ollama Library에서 확인할 수 있습니다.
Why Llama 3.1 8b?
Llama 3.1 8b 이상의 언어 모델을 사용하려 했으나 하드웨어 문제로 인해 Llama 3.1 8b를 선택하게 되었습니다.
(Llama 3.1 405B 언어 모델은 1TB RAM, 수백GB GPU가 필요합니다. 사실상 개인이 사용하기 어렵습니다.)
설치
Ollama Download
Ollama 설치 페이지에서 Download 버튼을 눌러 각 OS 환경에 맞는 파일을 다운로드 합니다.
(이 글에서는 macOS 기준으로 설명합니다.)
압축 해제 후 Ollama를 실행하여 설치합니다.
설치 후 터미널에서 ollama 명령 입력 시 정상적으로 동작합니다.
Llama 3.1 8b Download
ollama run llama3.1 명령어를 사용하여 Llama 3.1 8b 모델 다운로드 및 빌드를 진행합니다.
Llama 3.1 8b 사용
Use in Terminal
아래와 같이 Terminal에서 사용할 수 있으며, 속도도 매우 빠릅니다.
Use in Browser
크롬 확장프로그램인 ollama-ui 설치 시 Browser에서 사용 가능합니다.
참고자료
https://github.com/ollama/ollama
https://ollama.com/library/llama3.1