Ollama는 사용자의 로컬 머신에서 Llama 2, Code Llama와 같은 대규모 언어 모델(LLM)을 구축하고 실행할 수 있는 경량이면서 확장 가능한 프레임워크입니다. 이 플랫폼을 통해 개발자들은 복잡한 설정이나 외부 의존성 없이 언어 모델을 쉽게 사용하고, 개인 프로젝트나 연구에 적용할 수 있습니다. 또한 사용의 용이성을 최우선으로 하면서도, 사용자가 자신의 요구에 맞게 시스템을 맞춤 설정하고 확장할 수 있는 유연성을 제공합니다.
이 글에서는 macOS, Linux 및 Windows에서 설치하고 사용하는 방법을 안내합니다.
Ollama 설치
Ollama는 다양한 운영 체제를 지원합니다. 여기서는 운영체제별 설치 방법을 안내합니다.
macOS 사용자
- 공식 웹사이트에서 파일을 다운로드합니다.
- 다운로드 받은
Ollama.app파일을 응용 프로그램 폴더로 이동합니다.
Linux 사용자
- 터미널에서 다음 명령어를 입력하여 설치합니다:
curl https://ollama.ai/install.sh | sh
Windows 사용자
- 현재 WSL2(Windows Subsystem For Linux)를 통해 사용할 수 있습니다.
- 곧 출시될 Windows 전용 버전에 대한 최신 정보는 공식 웹사이트를 참조하세요.
- 맥 사용자 :
Ollama.app파일을응용 프로그램폴더로 이동
실행방법
- 처음 실행하면 설치 과정이 자동으로 진행됩니다.
- 메뉴바에서 Ollama의 알파카 아이콘을 확인할 수 있습니다.
사용법
Ollama를 사용하면 다양한 LLM 모델을 손쉽게 실행할 수 있습니다. 처음 사용하는 모델을 다운로드하는 시간 외에는 인터넷 연결도 필요치 않습니다.
Llama2 모델 사용하기
- 터미널에 다음 명령어를 입력하여 Llama2 모델을 실행합니다. 모델은 자동으로 다운로드됩니다.
ollama run llama2
- 자동으로 llama2 모델을 다운로드 하고 사용자의 입력을 받을 준비가 완료되었습니다.
hi라고 입력하면 다음과 같은 답변을 받을 수 있습니다.
hi
안녕하세요!당신을 만나서 반가워요.내가 당신을 도울 수있는 것이 있습니까, 아니면 채팅하고 싶습니까?
- 대화를 끝내려면
/bye명령어로 종료할 수 있습니다.
Mistral 모델 사용하기
- Llama2 모델에 이어, Mistral 모델도 인기가 높습니다. 다음 명령어로 Mistral 모델을 실행해 보세요.
ollama run mistral
- 한국어를 할 수 있냐고 물어봅니다.
can you speak korean?
저는 인공지능으로 한국어를 포함한 어떤 언어도 사람처럼 말하거나 이해할 수 있는 능력이 없습니다. 하지만 번역 모델을 사용하여 한국어로 텍스트를 생성할 수는 있습니다. 영어로 된 텍스트를 제공해 주시면 한국어로 번역해 드릴 수 있습니다. 특별히 원하는 것이 있으면 알려주세요!
다양한 모델 설치 및 사용 가능
Ollama는 다양한 LLM 모델을 지원합니다. 설치 가능한 모델 목록과 각 모델의 사양에 대한 자세한 정보는 ollama.ai/library에서 확인할 수 있습니다. 사용 전, 자신의 시스템 사양에 적합한 모델을 선택하는 것이 좋습니다.
정리
Ollama를 통해 로컬에서 LLM을 실행하는 방법을 알아보았습니다. 이는 인터넷 연결이나 별도의 API 사용료 없이 언어 모델을 활용할 수 있는 효율적인 방법을 제공합니다. 앞으로는 파이썬과 함께 Langchain을 사용하여 Ollama를 활용하는 방법에 대해서도 알아볼 예정입니다.
이 글이 Ollama, LLM, Mistral, 언어 모델, 그리고 Llama2에 관심 있는 분들에게 유용한 정보가 제공되었길 바랍니다.
로컬 LLM을 사용하는 다음 단계에 관심이 있는 분들을 위해, Ollama #2: 내 손으로 만드는 ChatGPT 로컬LLM – 커스텀 모델 설치부터 실용 앱까지라는 글을 읽어 보시기를 추천드립니다. 개인화된 경험을 향상시키고 커스텀 모델 설치와 실용 앱 개발을 탐구하는 심도 있는 가이드를 제공합니다.
참고로 OpenAI의 Assistants API 활용법에 대한 글도 있으니 확인해 보시면 좋을 것 같습니다.
본 글은 GPTers에 게시되고 있습니다.
Ollama #1: 비용 걱정 없이 내 컴퓨터에서 제약 없는 LLM 실행하기 | 지피터스 GPTers