baalajimaestro/llama.cpp
1
0
Fork 0
Code Issues Pull requests Projects Releases Packages Wiki Activity

Update llama.cpp

Browse source
This commit is contained in:
Andrei Betlen 2023-09-18 16:11:27 -04:00
parent 8d75016549
commit 38e34c97f0
3 changed files with 11 additions and 4 deletions
Show stats Download patch file Download diff file Expand all files Collapse all files

2
llama_cpp/llama.py
View file

@ -430,6 +430,7 @@ class Llama:
n_tokens = llama_cpp.llama_tokenize_with_model( n_tokens = llama_cpp.llama_tokenize_with_model(
self.model, self.model,
text, text,
len(text),
tokens, tokens,
n_ctx, n_ctx,
add_bos, add_bos,
@ -440,6 +441,7 @@ class Llama:
n_tokens = llama_cpp.llama_tokenize_with_model( n_tokens = llama_cpp.llama_tokenize_with_model(
self.model, self.model,
text, text,
len(text),
tokens, tokens,
n_tokens, n_tokens,
add_bos, add_bos,

11
llama_cpp/llama_cpp.py
View file

@ -950,42 +950,47 @@ _lib.llama_token_nl.restype = llama_token
# LLAMA_API int llama_tokenize( # LLAMA_API int llama_tokenize(
# struct llama_context * ctx, # struct llama_context * ctx,
# const char * text, # const char * text,
# int text_len,
# llama_token * tokens, # llama_token * tokens,
# int n_max_tokens, # int n_max_tokens,
# bool add_bos); # bool add_bos);
def llama_tokenize( def llama_tokenize(
ctx: llama_context_p, ctx: llama_context_p,
text: bytes, text: bytes,
text_len: Union[c_int, int],
tokens, # type: Array[llama_token] tokens, # type: Array[llama_token]
n_max_tokens: Union[c_int, int], n_max_tokens: Union[c_int, int],
add_bos: Union[c_bool, int], add_bos: Union[c_bool, int],
) -> int: ) -> int:
return _lib.llama_tokenize(ctx, text, tokens, n_max_tokens, add_bos) return _lib.llama_tokenize(ctx, text, text_len, tokens, n_max_tokens, add_bos)
_lib.llama_tokenize.argtypes = [llama_context_p, c_char_p, llama_token_p, c_int, c_bool] _lib.llama_tokenize.argtypes = [llama_context_p, c_char_p, c_int, llama_token_p, c_int, c_bool]
_lib.llama_tokenize.restype = c_int _lib.llama_tokenize.restype = c_int
# LLAMA_API int llama_tokenize_with_model( # LLAMA_API int llama_tokenize_with_model(
# const struct llama_model * model, # const struct llama_model * model,
# const char * text, # const char * text,
# int text_len,
# llama_token * tokens, # llama_token * tokens,
# int n_max_tokens, # int n_max_tokens,
# bool add_bos); # bool add_bos);
def llama_tokenize_with_model( def llama_tokenize_with_model(
model: llama_model_p, model: llama_model_p,
text: bytes, text: bytes,
text_len: Union[c_int, int],
tokens, # type: Array[llama_token] tokens, # type: Array[llama_token]
n_max_tokens: Union[c_int, int], n_max_tokens: Union[c_int, int],
add_bos: Union[c_bool, bool], add_bos: Union[c_bool, bool],
) -> int: ) -> int:
return _lib.llama_tokenize_with_model(model, text, tokens, n_max_tokens, add_bos) return _lib.llama_tokenize_with_model(model, text, text_len, tokens, n_max_tokens, add_bos)
_lib.llama_tokenize_with_model.argtypes = [ _lib.llama_tokenize_with_model.argtypes = [
llama_model_p, llama_model_p,
c_char_p, c_char_p,
c_int,
llama_token_p, llama_token_p,
c_int, c_int,
c_bool, c_bool,

2
vendor/llama.cpp vendored

@ -1 +1 @@
Subproject commit 80291a1d02a07f7f66666fb576c5b1e75aa48b46 Subproject commit 8781013ef654270cbead3e0011e33a6d690fb168