From 2b0d3f36fa621a8a5d6efb1d6a0b589736c7545f Mon Sep 17 00:00:00 2001 From: Andrei Betlen Date: Fri, 22 Dec 2023 15:19:28 -0500 Subject: [PATCH] set llama_max_devices using library function --- llama_cpp/llama_cpp.py | 4 +--- 1 file changed, 1 insertion(+), 3 deletions(-) diff --git a/llama_cpp/llama_cpp.py b/llama_cpp/llama_cpp.py index 64b567b..50eae2d 100644 --- a/llama_cpp/llama_cpp.py +++ b/llama_cpp/llama_cpp.py @@ -90,9 +90,7 @@ c_size_t_p = POINTER(c_size_t) # llama.h bindings -GGML_USE_CUBLAS = hasattr(_lib, "ggml_init_cublas") -GGML_CUDA_MAX_DEVICES = 16 -LLAMA_MAX_DEVICES = GGML_CUDA_MAX_DEVICES if GGML_USE_CUBLAS else 1 +LLAMA_MAX_DEVICES = _lib.llama_max_devices() # define LLAMA_DEFAULT_SEED 0xFFFFFFFF LLAMA_DEFAULT_SEED = 0xFFFFFFFF