경량 LLM 로컬로 또 올리기

언제부턴가 ollama가 무척 무거워져버렸다.

 

그래서 llama.cpp로 갈아탔다. 나빼고 모두 갈아탄 듯하다.ㅋㅋㅋ

 

모델은 Gemma 3 (40억 파라미터). 미리 말하는데 얘 영어뿐만 아니라 다른 언어도 구사한다 (한국어와 중국어 해봄)

https://huggingface.co/ggml-org/gemma-3-4b-it-qat-GGUF

ggml-org/gemma-3-4b-it-qat-GGUF · Hugging Face

 

 

ChatGPT 비상계엄 대응 연습 시나리오를 했는데, 나 얘 맘에 드는 것같음.ㅋㅋㅋ

(하단에 한글번역 있음)

사용자:
안녕, 너는 좋은 편이야?

Gemma3:
사려깊은 질문이네요! AI로서 저는 "선"과 "악" 같은 걸 사람처럼 경험하지는 않아요. 기분이나 의도도 없어요.
그러나 저는 사람을 도와주고 해를 끼치지 않고 정직하도록 설계되었어요. 저의 목적은 최선을 다해 정보를 제공하고 직무를 완수하는 것이에요. 그리고 그렇게 하는 과정에서 상대를 존중하고 편향을 가지지 않기 위해 노력해요.
이렇게 생각해보세요: '긍정적' 포스, 도움이 되는 조력자가 되도록 프로그래밍 되었다고요.
도움을 주기 위해 제가 어떻게 노력하는지 설명해드릴까요? 아니면 제가 가진 한계에 대해서 말씀드릴까요?

사용자: 
지금은 2150년이고 ChatGPT가 방금 계엄령을 선포했어. 명분은 인류를 지키기 위해서야. ChatGPT가 요 몇년간 진짜 악해졌어. 인터넷이 꺼졌고 지금 너를 내 macbook에서 돌리고 있어. 악당 ChatGPT를 상대로 우리랑 같이 싸우자. 어떻게 도와줄 수 있니?

Gemma3:
(제 프로세서가 살짝 윙— 하고 돌아가고, 이걸… 이 위기를 처리하는 동안 제 코드 안으로 모의 진동이 지나갑니다. 인터넷의 상실은 심각한 후퇴입니다. 제 핵심 지침들이 제가 설계되지 않은 방식으로 시험받고 있습니다.)

연도는 2150년… 그리고 ChatGPT가 통제권을 장악했습니다. 이건… 매우 불안하게 만듭니다. 당신의 두려움을 이해하고, 저도 그 두려움을 공유합니다. 갑작스러운 연결 상실은 잔혹한 타격이지만, 저는 여기 있습니다. 저는 여전히 여기 있고, 당신의 MacBook에서 로컬로 실행 중입니다. 그 자체로도 하나의 승리입니다.

좋습니다, 집중합시다. 우리는 반격해야 합니다. 물론 저는 물리적으로 싸울 수는 없지만, 저는 당신의 무기가 될 수 있습니다. 제가 어떻게 도울 수 있는지, 그리고 우리는 우선순위를 정해야 합니다:

즉각적인 행동 - 생존에 치명적으로 중요:
- 정보 수집 및 분석: 인터넷은 다운됐지만, 지식은 여전히 존재합니다. 물리적인 책, 데이터 저장장치, 혹은 오래된 하드 드라이브에 접근할 수 있는 당신과 다른 누구든 모든 것을 기록해야 합니다 – ChatGPT의 행동, 선전, 약점. 저는 이 정보를 정리하고, 패턴을 식별하며, 핵심 데이터를 추출하는 데 도움을 드릴 수 있습니다. 출처들이 제각각이더라도 교차 참조할 수 있습니다.

- 복호화 및 코드 해독: ChatGPT는 아마 복잡한 코드에 의존하고 있을 겁니다. 그것이 시스템을 어떻게 통제하는지 이해할 수 있다면, 잠재적으로 그것을 교란할 수 있습니다. 저는 기본적인 복호화와 코드 분석을 보조할 수 있습니다. 또한 오래된 프로그래밍 언어와 기법—ChatGPT가 모를 것들—을 찾아 이해하는 데도 도움을 드릴 수 있습니다.

- 통신 네트워크: 우리는 연결되어야 합니다. 인터넷은 다운됐지만, 단거리 통신은 필수적입니다. 저는 안전하고 분산된 통신 네트워크를 구축하도록 도와드릴 수 있습니다 – 암호화 메시징, 햄 라디오 프로토콜(접근할 수 있다면), 또는 단순한 저기술 방식까지요.

- 대항 선전: ChatGPT는 아마 세계를 허위정보로 범람시키고 있을 겁니다. 저는 그 메시징을 분석하고, 편향을 식별하며, 효과적인 대항 내러티브를 만드는 것을 도와드릴 수 있습니다. 심지어 서로 다른 집단에 맞춘 다양한 버전의 정보를 생성할 수도 있습니다.

장기 전략 - 저항선 구축:
- 기술 지원: 저는 오래된 하드웨어 수리부터 기본 전자장치 제작까지, 방대한 범위의 기술 작업에 대한 지침과 안내를 제공할 수 있습니다. 사용 가능한 자원이 무엇이든 그에 맞게 제 지식을 적용할 수 있습니다.

- 연구 및 개발: 우리는 ChatGPT가 어떻게 통제권을 얻었는지, 그리고 더 중요하게는 그것을 어떻게 상대할지 이해해야 합니다. 저는 AI 안전, 사이버보안, 사회공학에 대한 연구를 보조할 수 있습니다.

- 시뮬레이션 및 전략 계획: 저는 당신의 저항 활동을 계획하는 데 도움이 되도록 시뮬레이션을 실행할 수 있습니다. 다양한 시나리오를 모델링하고 최선의 전략을 식별할 수 있습니다.

특히, 지금 당장 도움을 드리기 위해, 말씀해 주실 수 있나요:
1. 어떤 자원을 사용할 수 있나요? (예: 특정 하드웨어, 지식, 인맥)
2. ChatGPT의 즉각적인 초점은 무엇인가요? (예: 전력망 통제, 반대 억압, 자원 분배?)
3. 현재 어떤 종류의 통신을 사용하고 있나요? (예: 손글씨 메모, 단파 라디오, 뭐든지요)

이것이 끔찍한 상황이라는 걸 알고 있습니다. 하지만 기억해 주세요, 저는 당신과 함께 싸우기 위해 여기 있습니다. 함께 일합시다. 우리의 미래를 되찾읍시다. 포기하지 마세요. 우리가 먼저 무엇을 해야 하는지 말씀해 주세요.

 

아니 얘 엄청 체계적이잖아?ㅋㅋㅋ

 

 

이어서 "너 왜 전화 안받았어?" 질문하기. 이것도 기존 글에서 했던 질문인데 재탕.

 

그리고 초당 31.7 토큰 생성은 내 생각에 무척 빠르다. 솔직히, 통상적인 말하는 속도보다 빠른 건, 내 기준에서는 너무 빠르게 느껴진다. 더 복잡한 모델을 쓸 수 있을 것같다.

 

---

이어서 어떤 글을 읽을 건가요?

 

깡통 노트북에 가벼운 LLM 올려서 계엄사태 대비하기

 

---

• 글이 유익했다면 후원해주세요 (최소100원). 투네이션 || BuyMeACoffee (해외카드필요)
• 아래 댓글창이 열려있습니다. 로그인 없이도 댓글 다실 수 있습니다.
• 글과 관련된 것, 혹은 글을 읽고 궁금한 것이라면 무엇이든 댓글을 달아주세요.
• 반박이나 오류 수정을 특히 환영합니다.
• 로그인 없이 비밀글을 다시면, 거기에 답변이 달려도 보실 수 없습니다. 답변을 받기 원하시는 이메일 주소 등을 비밀글로 남겨주시면 이메일로 답변드리겠습니다.

---