diff --git a/llama_cpp/llama.py b/llama_cpp/llama.py index 7943084..2d405b7 100644 --- a/llama_cpp/llama.py +++ b/llama_cpp/llama.py @@ -351,7 +351,7 @@ class Llama: alpha_presence=presence_penalty, ) if not penalize_nl: - candidates.data[Llama.token_nl()].logit = nl_logit + candidates.data[Llama.token_nl()].logit = llama_cpp.c_float(nl_logit) if temp.value == 0.0: return llama_cpp.llama_sample_token_greedy( ctx=self.ctx,