로컬 LLM 실행 도구 5개 비교

모델을 돌리는 일 자체에 집중해, 다른 프로그램이 불러 쓰는 바탕 역할을 맡습니다. 만들던 앱이나 자동화에 로컬 모델을 붙일 계획이면 연결 방법을 다룬 자료가 많아 헤맬 일이 적습니다. 인터넷 없이 돌아가고 자료가 컴퓨터를 벗어나지 않습니다. 화면 없이 명령으로 쓰는 것이 기본이라 처음에는 문턱이 있고, 문서를 읽혀 묻는 기능은 따로 붙여야 합니다.

다섯 중 시작이 가장 쉽습니다. 검색 화면에서 크기와 용도를 보고 모델을 골라 받으면 바로 대화가 열려, 어느 모델이 한국어를 그나마 잘하는지 바꿔 가며 비교하기 좋습니다. 문서를 올려 요약해 보는 기능도 있습니다. 화면이 영어이고 설정 항목이 많아 처음에는 헷갈리며, 업무 사용 조건은 따로 확인해야 합니다.

소스가 공개돼 있어 프로그램이 무엇을 하는지 직접 확인할 수 있습니다. 회사 규정상 공개 소스 도구만 쓸 수 있는 자리에서 값을 합니다. 로컬 모델과 외부 서비스를 한 화면에서 번갈아 쓰는 구성도 편리합니다. LM 스튜디오에 비해 모델을 찾아 받는 과정이 덜 친절하고, 한국어 자료가 적어 막혔을 때 참고할 곳이 마땅치 않습니다.

문서를 다루는 쪽에 강합니다. 폴더를 지정하면 그 안의 파일을 색인해 두고 묻는 대로 찾아 답하므로, 계약서나 인사 자료처럼 밖으로 내보내면 안 되는 문서를 요약할 때 맞습니다. 문서가 많을수록 색인과 답변이 느려지고, 작은 모델은 한국어 문서를 정확히 읽지 못해 요약을 원문과 대조해야 합니다.

설치 없이 브라우저에서 도는 유일한 선택입니다. 프로그램 설치가 막힌 회사나 학교 컴퓨터에서, 또는 로컬 AI가 어떤 것인지 먼저 확인할 때 쓸모가 있습니다. 브라우저에서 돌릴 수 있는 작은 모델이라 한국어가 어색하고 사실을 자주 틀리며, 처음 한 번 모델을 내려받는 데 시간과 데이터가 듭니다. 제대로 쓰려면 설치형으로 넘어가야 합니다.