LLMSeries: Membangun solusi Chat-GPT versi on-prem dengan LLAMA

Hi Rekan Devs,

Sehat? semoga sehat terus ya walaupun hujan mulu sekarang. Nah beberapa cloud provider belum naro data centernya di Indo, jadi banyak perusahaan ga pake cloud-provider luar takut kena PP 82/2012 yang mesti naro datanya disini. Jadi kapan pada bisa pake OpenAI, Azure Open AI, Claude, Bard, dst ? akhirnya pada bengong nunggu sampe tersedia disini ya ? nah, kalau ga sabaran kaya temen-temen disini, kita bisa coba bikin solusi on-prem dulu walaupun saya tau PC/Laptop temen-temen juga ga bagus-bagus amat GPU-nya haha..

Nah kalau pernah denger ada model keluaran Meta yaitu LLama, coba baca-baca di LLaMA – Wikipedia. Karena model ini open source temen-temen bisa download darimana aja, termasuk dari hugging face meta-llama (Meta Llama 2) (huggingface.co)

Nah berita baiknya sudah ada yang bikin library .Net untuk akses LLama ini dari nuget, yaitu LlamaSharp. Nah keren-nya lagi sudah ada integrasi ke Semantic Kernel dan Kernel Memory, artinya apa ? artinya kita bisa ubah solusi yang sudah pernah dibuat dengan SK yang pake model OpenAI jadi pake LLama dan jalan di on-prem. Gimana asik ga ? Ga juga karena pastinya lemot, selemot PC temen-temen.

Nah disini penulis mau coba explore apa saja yang bisa kita lakukan dengan model LLama ini, antara lain:

Simpel Chat, chat dengan virtual assistant dengan persona tertentu
RAG Chat, chat dengan dokumen teks
Semantic Function: memanfaatkan kemampuan chat completion untuk misal kalkulasi itungan matematik, search ke bing, ngerangkum, generate code, translate, dsb
AutoGen: beberapa virtual agent/bot bisa saling ngobrol beresin task tertentu, yang ini masih proses oprek

Ok, gimana startnya ? ga usah pusing tinggal clone repo dari Gravicode/LLama-Explore: This is an exploration project how to use LLama for different kind of tasks (github.com) cobain dah tu satu-satu sampelnya, kalau ga muncul” hasilnya itu tandanya kamu mesti ganti laptop dan PC bututnya.