fix(rag): filter chat vs embedding models for Ollama and improve Lucene index cleanup
This commit is contained in:
@@ -103,6 +103,9 @@ object RagService {
|
||||
.build()
|
||||
}
|
||||
|
||||
@Volatile
|
||||
private var _directory: MMapDirectory? = null
|
||||
|
||||
@Volatile
|
||||
private var _embeddingStore: LuceneEmbeddingStore? = null
|
||||
|
||||
@@ -115,6 +118,7 @@ object RagService {
|
||||
java.nio.file.Files.createDirectories(path)
|
||||
checkEmbeddingModelConsistency()
|
||||
val directory = MMapDirectory(path)
|
||||
_directory = directory
|
||||
val store = LuceneEmbeddingStore.builder()
|
||||
.directory(directory)
|
||||
.build()
|
||||
@@ -397,15 +401,27 @@ object RagService {
|
||||
@Volatile
|
||||
private var cachedOllamaModel: String? = null
|
||||
|
||||
fun isEmbeddingModelName(name: String): Boolean {
|
||||
val lower = name.lowercase()
|
||||
return lower.contains("bge") || lower.contains("embed") || lower.contains("nomic") ||
|
||||
lower.contains("minilm") || lower.contains("gte") || lower.contains("e5")
|
||||
}
|
||||
|
||||
fun invalidateActiveModel() {
|
||||
cachedOllamaModel = null
|
||||
}
|
||||
|
||||
/**
|
||||
* 실행 환경에 맞는 모델 식별자를 반환합니다.
|
||||
* Ollama 구동 시 /api/tags에서 가용 모델을 자동 감지하고, 내장 llama-server 구동 시 로컬 모델명을 사용합니다.
|
||||
* Ollama 구동 시 /api/tags에서 임베딩 전용 모델(bge, embed 등)을 배제하고 대화/생성 LLM을 자동 감지합니다.
|
||||
*/
|
||||
fun resolveActiveModelName(): String {
|
||||
if (!LlamaServerManager.isOllamaActive) {
|
||||
return "local-model"
|
||||
}
|
||||
cachedOllamaModel?.let { return it }
|
||||
cachedOllamaModel?.let {
|
||||
if (!isEmbeddingModelName(it)) return it
|
||||
}
|
||||
|
||||
return try {
|
||||
val url = java.net.URL("http://127.0.0.1:11434/api/tags")
|
||||
@@ -415,10 +431,28 @@ object RagService {
|
||||
val responseText = conn.inputStream.bufferedReader().readText()
|
||||
conn.disconnect()
|
||||
val json = Json.parseToJsonElement(responseText).jsonObject
|
||||
val firstModel = json["models"]?.jsonArray?.firstOrNull()?.jsonObject?.get("name")?.jsonPrimitive?.content
|
||||
val selected = firstModel ?: "qwen2.5:latest"
|
||||
val models = json["models"]?.jsonArray ?: kotlinx.serialization.json.JsonArray(emptyList())
|
||||
|
||||
// 1순위: capabilities에 completion/tools/thinking이 있고 임베딩 모델이 아닌 대화형 LLM 모델
|
||||
val chatByCapability = models.firstOrNull { modelObj ->
|
||||
val obj = modelObj.jsonObject
|
||||
val name = obj["name"]?.jsonPrimitive?.content ?: ""
|
||||
val caps = obj["capabilities"]?.jsonArray?.map { it.jsonPrimitive.content.lowercase() } ?: emptyList()
|
||||
(caps.contains("completion") || caps.contains("tools") || caps.contains("thinking")) && !isEmbeddingModelName(name)
|
||||
}?.jsonObject?.get("name")?.jsonPrimitive?.content
|
||||
|
||||
// 2순위: 모델명에 임베딩 키워드가 없는 대화형 LLM 모델
|
||||
val chatByName = models.firstOrNull { modelObj ->
|
||||
val name = modelObj.jsonObject["name"]?.jsonPrimitive?.content ?: ""
|
||||
!isEmbeddingModelName(name)
|
||||
}?.jsonObject?.get("name")?.jsonPrimitive?.content
|
||||
|
||||
// 3순위: fallback
|
||||
val fallbackModel = models.firstOrNull()?.jsonObject?.get("name")?.jsonPrimitive?.content
|
||||
|
||||
val selected = chatByCapability ?: chatByName ?: fallbackModel ?: "qwen2.5:latest"
|
||||
cachedOllamaModel = selected
|
||||
println("🤖 [RagService] Ollama 활성 모델 자동 감지 완료: $selected")
|
||||
println("🤖 [RagService] Ollama 활성 주식 분석 LLM 모델 자동 감지 완료: $selected")
|
||||
selected
|
||||
} catch (e: Exception) {
|
||||
"qwen2.5:latest"
|
||||
@@ -479,12 +513,20 @@ object RagService {
|
||||
}
|
||||
|
||||
/**
|
||||
* 루씬 벡터 DB 완전 초기화 (메모리 캐시 및 디스크 인덱스 삭제 후 재생성)
|
||||
* 루씬 벡터 DB 완전 초기화 (MMapDirectory 해제 및 디스크 인덱스 삭제 후 재생성)
|
||||
*/
|
||||
fun resetLuceneStore(): Boolean {
|
||||
return try {
|
||||
synchronized(this) {
|
||||
try {
|
||||
_directory?.close()
|
||||
} catch (e: Exception) {
|
||||
println("⚠️ [RagService] 디렉토리 close 경고: ${e.message}")
|
||||
}
|
||||
_directory = null
|
||||
_embeddingStore = null
|
||||
System.gc()
|
||||
|
||||
service.UrlCacheManager.clear()
|
||||
val idxPath = Paths.get("db/lucene_idx")
|
||||
if (java.nio.file.Files.exists(idxPath)) {
|
||||
@@ -496,13 +538,14 @@ object RagService {
|
||||
java.nio.file.Files.deleteIfExists(path)
|
||||
}
|
||||
} catch (e: Exception) {
|
||||
// 잠긴 파일 예외 처리
|
||||
println("⚠️ [RagService] 파일 삭제 실패(${path.fileName}): ${e.message}")
|
||||
}
|
||||
}
|
||||
}
|
||||
java.nio.file.Files.createDirectories(idxPath)
|
||||
recordCurrentEmbeddingTag()
|
||||
val directory = MMapDirectory(idxPath)
|
||||
_directory = directory
|
||||
val newStore = LuceneEmbeddingStore.builder().directory(directory).build()
|
||||
_embeddingStore = newStore
|
||||
println("🧹 [RagService] 루씬 벡터 DB 완전 초기화 성공")
|
||||
|
||||
@@ -91,10 +91,13 @@ object LlamaServerManager {
|
||||
|
||||
if (bgeModel != null) return bgeModel
|
||||
|
||||
// 2순위: 기타 임베딩 모델 (embed, nomic, minilm)
|
||||
// 2순위: 기타 임베딩 모델 (embed, nomic, minilm, gte, e5) 또는 capabilities에 embedding이 포함된 모델
|
||||
val embedModel = models.firstOrNull { model ->
|
||||
val name = model.jsonObject["name"]?.jsonPrimitive?.content?.lowercase() ?: ""
|
||||
name.contains("embed") || name.contains("nomic") || name.contains("minilm")
|
||||
val obj = model.jsonObject
|
||||
val name = obj["name"]?.jsonPrimitive?.content?.lowercase() ?: ""
|
||||
val caps = obj["capabilities"]?.jsonArray?.map { it.jsonPrimitive.content.lowercase() } ?: emptyList()
|
||||
name.contains("embed") || name.contains("nomic") || name.contains("minilm") ||
|
||||
name.contains("gte") || name.contains("e5") || caps.contains("embedding")
|
||||
}?.jsonObject?.get("name")?.jsonPrimitive?.content
|
||||
|
||||
embedModel
|
||||
|
||||
Reference in New Issue
Block a user