f37456133a
Update n_batch default to 512 to match upstream llama.cpp |
||
---|---|---|
.. | ||
server | ||
__init__.py | ||
llama.py | ||
llama_cpp.py | ||
llama_types.py |
f37456133a
Update n_batch default to 512 to match upstream llama.cpp |
||
---|---|---|
.. | ||
server | ||
__init__.py | ||
llama.py | ||
llama_cpp.py | ||
llama_types.py |