aa12d8a81f
update n_batch default to 512 to match upstream llama.cpp |
||
---|---|---|
.. | ||
server | ||
__init__.py | ||
llama.py | ||
llama_cpp.py | ||
llama_types.py |
aa12d8a81f
update n_batch default to 512 to match upstream llama.cpp |
||
---|---|---|
.. | ||
server | ||
__init__.py | ||
llama.py | ||
llama_cpp.py | ||
llama_types.py |