LLM Series: Analyzing Video using LLMs

Salam Rekan Dev,

Weekend begini biasanya mager, tapi coba kita sempetin nulis dikit. Kali ini tentang bagaimana memanfaatkan LLM untuk analisa video.

Jadi kita manfaatkan LLM multi-modal untuk bisa memproses frame dari video. Supaya ga boros ya jangan semua frame, kita ambil beberapa frame yang mewakili scene yang sedang terjadi.

Oke cara kerjanya kurang lebih seperti ini:

1. Buka video
2. Extract frame gambar dari video
3. Sesuaikan ukuran dan tipe gambar yang bisa dihandle LLM Model
4. Sesuaikan prompt dan system prompt agar menghasilkan analisa yang baik

Oke tenang aja semua sudah dibuatkan jadi library dan demo app, temen-temen kalau mau coba silakan:

1. Download reponya dari https://github.com/Gravicode/LLMVideoAnalyzer
2. Buka dengan visual studio
3. Sesuaikan konfigurasi LLM yang mau dipakai, buka file app.config, sesuaikan.
4. Run project, pilih video yang mau di analisa.. sebagai bonus tak tambah fitur untuk extract video dari webcam dan cctv/web video url ke frame.

Saat ini support untuk: open ai, ollama, azure open ai dan github model.

Selamat berkarya, moga manfaat.

Salam Developer ;D