LLM Series: Demo Net Conf 2024 Jakarta

Halo Rekans Dev, apa kabar? semoga lebih sehat dan produktif di tahun 2025 ini ya.

Di Desember 2024 lalu kita ngadain acara komunitas NETConf 2024 di Jakarta, acara ini diselenggarakan atas kolaborasi antara MUGI dan Gravicode, dan tentunya di support oleh Microsoft Indonesia. Terima kasih buat semua teman-teman yang sudah hadir dan panitia yang mendukung acara ini. Acara ini rutin diselenggarakan setiap tahun oleh Microsoft, dan secara lokal diadakan di beberapa kota oleh komunitas .NET lokal masing-masing.

Pada acara ini saya mendapat kesempatan untuk berbagi mengenai hal-hal baru di dunia .NET dan AI, khususnya untuk generative AI. Buat rekan-rekan yang tidak sempat mengikuti baik secara offline atau online, saya berinisiatif untuk berbagi materi dan demo-nya disini.

Materi intinya adalah:

Library OpenAI dotnet SDK terbaru dari microsoft, ini library open AI official yang dibuat oleh Microsoft, sudah support realtime API, dimana kita bisa ngobrol secara interaktif dengan Model Open AI Gpt 4o Realtime. Demo juga disertakan. Sehingga rekan-rekan bisa mencobanya sendiri dengan Key-nya masing-masing yaa
Windows AI, nah buat windows user khususnya pengguna copilot pc, Microsoft membenamkan support AI langsung pada WinSDK-nya. Model SLM Phi-silica yang bisa berjalan di lokal dan memanfaatkan NPU yang ada pada prosesor-prosesor yang sudah support NPU seperti Snapdragon X Plus, Snapdragon X Elite. Model SLM ini dapat digunakan untuk use case sederhana seperti RAG, Vector Embedding, Summarization. Untuk PC kamu yang belum co-pilot PC, kamu tetap dapat memanfaatkan WinML, DirectML, Onnx Runtime untuk menjalankan model-model machine learning/deep learning dengan GPU/NPU/CPU yang ada.
Microsoft.Extensions.AI, nah dengan munculnya macam-macam model LLM baik yang running di cloud service seperti Open AI, Azure Open AI, Github Models, atau LLM yang running lokal seperti Ollama, dsb. Library ini menyediakan interface yang generic untuk mengakses semua jenis LLM tsb, yang perlu kita lakukan adalah mengatur connection sesuai dengan LLM yang digunakan saja. Tapi untuk fitur seperti chat, chat history, chat streaming, function call, caching, embedding, DI, telemetry cara penggunaannya sama sehingga memudahkan rekan-rekan jika ingin swtich dari 1 LLM ke LLM lain, atau bahkan menggunakan beberapa LLM yang berbeda secara bersamaan.
AI Evaluation, nah ini juga barang baru yaitu library untuk melakukan evaluasi terhadap result yang dihasilkan oleh solusi LLM dari teman-teman. Library ini menyediakan beberapa parameter test seperti coherence (mudah dipahami karena pemaparan ide dan logikanya akurat), fluency (grammarnya bagus, seperti manusia yang bikin, jelas dan efektif), groundness (mengukur relevansi jawaban terhadap konteks yang diberikan), answer scoring (penilaian ketepatan jawaban). Dapat diintegrasikan dengan Unit test seperti X Unit, N Unit, Microsoft Test dan tersedia CLI tool untuk menghasilkan report hasil evaluasi dalam bentuk HTML.

Silakan unduh demo dan presentasi PDF-nya dari link berikut: GitHub – Gravicode/NetConf2024JktDemo: Demo for NET CONF 2024 Jakarta