From 4a85442c35442c5a0bac5013270b65cb42cabc53 Mon Sep 17 00:00:00 2001 From: Andrei Betlen Date: Fri, 22 Dec 2023 00:12:37 -0500 Subject: [PATCH] Update llama.cpp --- llama_cpp/llama_cpp.py | 8 +++++++- vendor/llama.cpp | 2 +- 2 files changed, 8 insertions(+), 2 deletions(-) diff --git a/llama_cpp/llama_cpp.py b/llama_cpp/llama_cpp.py index 700567f..56243b1 100644 --- a/llama_cpp/llama_cpp.py +++ b/llama_cpp/llama_cpp.py @@ -733,8 +733,14 @@ def llama_n_ctx(ctx: llama_context_p) -> int: _lib.llama_n_ctx.argtypes = [llama_context_p] -_lib.llama_n_ctx.restype = c_int +_lib.llama_n_ctx.restype = c_uint32 +# LLAMA_API uint32_t llama_n_batch (const struct llama_context * ctx); +def llama_n_batch(ctx: llama_context_p) -> int: + return _lib.llama_n_batch(ctx) + +_lib.llama_n_batch.argtypes = [llama_context_p] +_lib.llama_n_batch.restype = c_uint32 # LLAMA_API enum llama_vocab_type llama_vocab_type(const struct llama_model * model); def llama_vocab_type(model: llama_model_p) -> int: diff --git a/vendor/llama.cpp b/vendor/llama.cpp index 8fe03ff..afefa31 160000 --- a/vendor/llama.cpp +++ b/vendor/llama.cpp @@ -1 +1 @@ -Subproject commit 8fe03ffddaaa0ab5d48feaafe398151c9f22d4f6 +Subproject commit afefa319f1f59b002dfa0d1ef407a2c74bd9770b