Anlık Anlatım — Gerçek Zamanlı Görsel Anlama AI
Webcam görüntülerini %100 yerel çalışan multimodal LLaVA derin öğrenme modeliyle düşük gecikmeyle analiz edip anlık doğal dil betimlemeleri üreten gizlilik odaklı görüntü anlama sistemi.
Proje Genel Bakış
Kamera görüntülerinin harici bulut sunucularına gönderilmesinin yarattığı gizlilik riskini, API maliyetlerini ve istek sınırı (rate-limit) engellerini ortadan kaldırmak için geliştirilmiş tamamen yerel bir multimodal yapay zeka sistemidir. Tarayıcı üzerinden alınan canlı webcam karelerini WebSocket hattı üzerinden FastAPI sunucusuna aktarır ve yerel GPU üzerinde koşan 4-bit kuantize LLaVA-7B vizyon-dil modeliyle sahneyi gerçek zamanlı doğal dil cümlelerine dönüştürür.
Mimari & Çalışma Mantığı
Kare Yakalama & Ön-İşleme (React İstemci): Tarayıcıdaki canlı kamera akışından optimize edilmiş aralıklarla görüntü kareleri yakalanır ve Base64 formatında kodlanır.
Sürekli WebSocket Akışı: HTTP el sıkışma yükünü ortadan kaldırmak için istemci ile FastAPI arasında açık tutulan çift yönlü WebSocket kanalı üzerinden kareler anlık iletilir.
FastAPI Kare İşleyici & Ollama Köprüsü: Sunucu gelen kareyi doğrulayıp yerel ağda çalışan Ollama servisine (localhost:11434) sahne betimleme prompt'u ile yönlendirir.
Yerel GPU Çıkarımı (LLaVA 7B q4_0): 4GB+ VRAM üzerinde bile verimli çalışabilen kuantize multimodal model görüntüyü çözümler ve üretilen açıklamayı anında arayüze geri basar.
Temel Özellikler
Kullanılan Teknolojiler
Projenin tüm kaynak kodlarını, Docker kurulumunu, sistem mimarisi şemalarını ve API dokümantasyonunu GitHub deposunda inceleyebilirsiniz.
GitHub'da Aç