Yerel Bir ChatGPT Deneyimi Oluşturma: Anything LLM ve Ollama

Bu kurulumda kullanılan tüm araçlar açık kaynaklıdır ve ücretsizdir! (5 Kasım 2024 itibarıyla)

Büyük dil modelleri (LLM’ler) iş ve kişisel projeler için vazgeçilmez hale geldikçe, birçok kullanıcı bulut tabanlı çözümler yerine yerel alternatifler arıyor. Açık kaynak araçlardaki ilerlemeler sayesinde, yerel bir GPT benzeri deneyim kurmak artık her zamankinden daha kolay. Bu da internet bağlantısından ve abonelik ücretlerinden bağımsızlık sunuyor. Bugün, Anything LLM ve Ollama adlı iki aracı keşfedeceğiz. Bu araçlar, gizliliğinizi ve kontrolünüzü artırmak için özel bir LLM kurulumunu mümkün kılıyor.

Adım 1: Ollama’yı Kurma

Başlamak için, Ollama’yı kurun ve bir model indirin. Ollama’nın indirme sayfasına giderek sisteminize uygun yükleyiciyi seçin. Ollama kurulduktan ve ollama komutu kullanılabilir hale geldikten sonra, aşağıdaki komutu çalıştırın:

ollama run llama3.2

 

llama3.2 modelini öneririm, çünkü sohbet ve kodlama gibi görevler için güçlü, açık kaynaklı bir modeldir.

Adım 2: Anything LLM’yi Ayarlama

Ollama sisteminizde çalışırken, Anything LLM’nin web sitesine gidin ve yükleyiciyi indirin. Anything LLM, çeşitli modellerle bağlantı kurabilen oldukça esnek bir araçtır, ancak bu kurulumda Ollama’yı model sağlayıcımız olarak kullanacağız.

Kurulum tamamlandıktan sonra, Anything LLM’de ayarlar bölümünü açın. Yapılandırma menüsünde Ollama’yı LLM kaynağı olarak seçin ve llama3.2 modelini varsayılan model olarak ayarlayın. Bu sayede, açık kaynaklı bu güçlü modelin yeteneklerinden tam olarak yararlanabilirsiniz. Ayarlarınız aşağıdaki görseldeki gibi olmalıdır:

Artık seçtiğiniz modelle çevrimdışı bir ChatGPT deneyimi yaşamaya hazırsınız. İster sohbet etmek, ister kod yazmak için kullanın, bu kurulum esnek ve güçlüdür—ihtiyacınıza göre özelleştirilebilir.

Eğer Ollama’yı Kubernetes üzerinde ölçeklenebilir bir şekilde dağıtmanın yollarını merak ediyorsanız, önceki yazımı inceleyebilirsiniz: Kubernetes Kümenizde Kendi LLM API’nizi Çalıştırın.

---