fix(rag): filter chat vs embedding models for Ollama and improve Lucene index cleanup
This commit is contained in:
@@ -103,6 +103,9 @@ object RagService {
|
|||||||
.build()
|
.build()
|
||||||
}
|
}
|
||||||
|
|
||||||
|
@Volatile
|
||||||
|
private var _directory: MMapDirectory? = null
|
||||||
|
|
||||||
@Volatile
|
@Volatile
|
||||||
private var _embeddingStore: LuceneEmbeddingStore? = null
|
private var _embeddingStore: LuceneEmbeddingStore? = null
|
||||||
|
|
||||||
@@ -115,6 +118,7 @@ object RagService {
|
|||||||
java.nio.file.Files.createDirectories(path)
|
java.nio.file.Files.createDirectories(path)
|
||||||
checkEmbeddingModelConsistency()
|
checkEmbeddingModelConsistency()
|
||||||
val directory = MMapDirectory(path)
|
val directory = MMapDirectory(path)
|
||||||
|
_directory = directory
|
||||||
val store = LuceneEmbeddingStore.builder()
|
val store = LuceneEmbeddingStore.builder()
|
||||||
.directory(directory)
|
.directory(directory)
|
||||||
.build()
|
.build()
|
||||||
@@ -397,15 +401,27 @@ object RagService {
|
|||||||
@Volatile
|
@Volatile
|
||||||
private var cachedOllamaModel: String? = null
|
private var cachedOllamaModel: String? = null
|
||||||
|
|
||||||
|
fun isEmbeddingModelName(name: String): Boolean {
|
||||||
|
val lower = name.lowercase()
|
||||||
|
return lower.contains("bge") || lower.contains("embed") || lower.contains("nomic") ||
|
||||||
|
lower.contains("minilm") || lower.contains("gte") || lower.contains("e5")
|
||||||
|
}
|
||||||
|
|
||||||
|
fun invalidateActiveModel() {
|
||||||
|
cachedOllamaModel = null
|
||||||
|
}
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* 실행 환경에 맞는 모델 식별자를 반환합니다.
|
* 실행 환경에 맞는 모델 식별자를 반환합니다.
|
||||||
* Ollama 구동 시 /api/tags에서 가용 모델을 자동 감지하고, 내장 llama-server 구동 시 로컬 모델명을 사용합니다.
|
* Ollama 구동 시 /api/tags에서 임베딩 전용 모델(bge, embed 등)을 배제하고 대화/생성 LLM을 자동 감지합니다.
|
||||||
*/
|
*/
|
||||||
fun resolveActiveModelName(): String {
|
fun resolveActiveModelName(): String {
|
||||||
if (!LlamaServerManager.isOllamaActive) {
|
if (!LlamaServerManager.isOllamaActive) {
|
||||||
return "local-model"
|
return "local-model"
|
||||||
}
|
}
|
||||||
cachedOllamaModel?.let { return it }
|
cachedOllamaModel?.let {
|
||||||
|
if (!isEmbeddingModelName(it)) return it
|
||||||
|
}
|
||||||
|
|
||||||
return try {
|
return try {
|
||||||
val url = java.net.URL("http://127.0.0.1:11434/api/tags")
|
val url = java.net.URL("http://127.0.0.1:11434/api/tags")
|
||||||
@@ -415,10 +431,28 @@ object RagService {
|
|||||||
val responseText = conn.inputStream.bufferedReader().readText()
|
val responseText = conn.inputStream.bufferedReader().readText()
|
||||||
conn.disconnect()
|
conn.disconnect()
|
||||||
val json = Json.parseToJsonElement(responseText).jsonObject
|
val json = Json.parseToJsonElement(responseText).jsonObject
|
||||||
val firstModel = json["models"]?.jsonArray?.firstOrNull()?.jsonObject?.get("name")?.jsonPrimitive?.content
|
val models = json["models"]?.jsonArray ?: kotlinx.serialization.json.JsonArray(emptyList())
|
||||||
val selected = firstModel ?: "qwen2.5:latest"
|
|
||||||
|
// 1순위: capabilities에 completion/tools/thinking이 있고 임베딩 모델이 아닌 대화형 LLM 모델
|
||||||
|
val chatByCapability = models.firstOrNull { modelObj ->
|
||||||
|
val obj = modelObj.jsonObject
|
||||||
|
val name = obj["name"]?.jsonPrimitive?.content ?: ""
|
||||||
|
val caps = obj["capabilities"]?.jsonArray?.map { it.jsonPrimitive.content.lowercase() } ?: emptyList()
|
||||||
|
(caps.contains("completion") || caps.contains("tools") || caps.contains("thinking")) && !isEmbeddingModelName(name)
|
||||||
|
}?.jsonObject?.get("name")?.jsonPrimitive?.content
|
||||||
|
|
||||||
|
// 2순위: 모델명에 임베딩 키워드가 없는 대화형 LLM 모델
|
||||||
|
val chatByName = models.firstOrNull { modelObj ->
|
||||||
|
val name = modelObj.jsonObject["name"]?.jsonPrimitive?.content ?: ""
|
||||||
|
!isEmbeddingModelName(name)
|
||||||
|
}?.jsonObject?.get("name")?.jsonPrimitive?.content
|
||||||
|
|
||||||
|
// 3순위: fallback
|
||||||
|
val fallbackModel = models.firstOrNull()?.jsonObject?.get("name")?.jsonPrimitive?.content
|
||||||
|
|
||||||
|
val selected = chatByCapability ?: chatByName ?: fallbackModel ?: "qwen2.5:latest"
|
||||||
cachedOllamaModel = selected
|
cachedOllamaModel = selected
|
||||||
println("🤖 [RagService] Ollama 활성 모델 자동 감지 완료: $selected")
|
println("🤖 [RagService] Ollama 활성 주식 분석 LLM 모델 자동 감지 완료: $selected")
|
||||||
selected
|
selected
|
||||||
} catch (e: Exception) {
|
} catch (e: Exception) {
|
||||||
"qwen2.5:latest"
|
"qwen2.5:latest"
|
||||||
@@ -479,12 +513,20 @@ object RagService {
|
|||||||
}
|
}
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* 루씬 벡터 DB 완전 초기화 (메모리 캐시 및 디스크 인덱스 삭제 후 재생성)
|
* 루씬 벡터 DB 완전 초기화 (MMapDirectory 해제 및 디스크 인덱스 삭제 후 재생성)
|
||||||
*/
|
*/
|
||||||
fun resetLuceneStore(): Boolean {
|
fun resetLuceneStore(): Boolean {
|
||||||
return try {
|
return try {
|
||||||
synchronized(this) {
|
synchronized(this) {
|
||||||
|
try {
|
||||||
|
_directory?.close()
|
||||||
|
} catch (e: Exception) {
|
||||||
|
println("⚠️ [RagService] 디렉토리 close 경고: ${e.message}")
|
||||||
|
}
|
||||||
|
_directory = null
|
||||||
_embeddingStore = null
|
_embeddingStore = null
|
||||||
|
System.gc()
|
||||||
|
|
||||||
service.UrlCacheManager.clear()
|
service.UrlCacheManager.clear()
|
||||||
val idxPath = Paths.get("db/lucene_idx")
|
val idxPath = Paths.get("db/lucene_idx")
|
||||||
if (java.nio.file.Files.exists(idxPath)) {
|
if (java.nio.file.Files.exists(idxPath)) {
|
||||||
@@ -496,13 +538,14 @@ object RagService {
|
|||||||
java.nio.file.Files.deleteIfExists(path)
|
java.nio.file.Files.deleteIfExists(path)
|
||||||
}
|
}
|
||||||
} catch (e: Exception) {
|
} catch (e: Exception) {
|
||||||
// 잠긴 파일 예외 처리
|
println("⚠️ [RagService] 파일 삭제 실패(${path.fileName}): ${e.message}")
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
java.nio.file.Files.createDirectories(idxPath)
|
java.nio.file.Files.createDirectories(idxPath)
|
||||||
recordCurrentEmbeddingTag()
|
recordCurrentEmbeddingTag()
|
||||||
val directory = MMapDirectory(idxPath)
|
val directory = MMapDirectory(idxPath)
|
||||||
|
_directory = directory
|
||||||
val newStore = LuceneEmbeddingStore.builder().directory(directory).build()
|
val newStore = LuceneEmbeddingStore.builder().directory(directory).build()
|
||||||
_embeddingStore = newStore
|
_embeddingStore = newStore
|
||||||
println("🧹 [RagService] 루씬 벡터 DB 완전 초기화 성공")
|
println("🧹 [RagService] 루씬 벡터 DB 완전 초기화 성공")
|
||||||
|
|||||||
@@ -91,10 +91,13 @@ object LlamaServerManager {
|
|||||||
|
|
||||||
if (bgeModel != null) return bgeModel
|
if (bgeModel != null) return bgeModel
|
||||||
|
|
||||||
// 2순위: 기타 임베딩 모델 (embed, nomic, minilm)
|
// 2순위: 기타 임베딩 모델 (embed, nomic, minilm, gte, e5) 또는 capabilities에 embedding이 포함된 모델
|
||||||
val embedModel = models.firstOrNull { model ->
|
val embedModel = models.firstOrNull { model ->
|
||||||
val name = model.jsonObject["name"]?.jsonPrimitive?.content?.lowercase() ?: ""
|
val obj = model.jsonObject
|
||||||
name.contains("embed") || name.contains("nomic") || name.contains("minilm")
|
val name = obj["name"]?.jsonPrimitive?.content?.lowercase() ?: ""
|
||||||
|
val caps = obj["capabilities"]?.jsonArray?.map { it.jsonPrimitive.content.lowercase() } ?: emptyList()
|
||||||
|
name.contains("embed") || name.contains("nomic") || name.contains("minilm") ||
|
||||||
|
name.contains("gte") || name.contains("e5") || caps.contains("embedding")
|
||||||
}?.jsonObject?.get("name")?.jsonPrimitive?.content
|
}?.jsonObject?.get("name")?.jsonPrimitive?.content
|
||||||
|
|
||||||
embedModel
|
embedModel
|
||||||
|
|||||||
Reference in New Issue
Block a user