CLI 参考

模型推理

`geniex pull`

下载模型并存储到本地。

geniex pull <model-name>[:<precision>]

标志	说明
`--model-hub`	模型来源：`aihub` \| `hf` \| `localfs`。省略时自动检测。
`--local-path`	本地目录或 AI Hub `.zip` 文件的路径。隐含 `--model-hub localfs`。
`--model-type`	模型类型：`llm` \| `vlm`。省略时自动检测。

从本地路径拉取：

geniex pull local/my-model --local-path /path/to/model-dir

pull 会将文件复制到 GenieX 缓存。拉取成功后可安全删除源文件，避免保留两份副本。

精度（量化）（仅 llama.cpp） 对于 GGUF 模型，CLI 会提示选择精度：

Choose a precision version to download
> Q4_0       [1.2 GiB] (default)
  Q8_0       [2.0 GiB]
  F16        [3.8 GiB]

Q4_0 在 Hexagon NPU 上支持最佳。详见支持的精度（量化）。

Qualcomm AI Hub 模型已预量化——无需选择。

`geniex infer` — LLM

启动与语言模型的交互式对话。

geniex infer ai-hub-models/Qwen3-4B

思考模式——控制模型是否在回复前展示推理过程：

geniex infer ai-hub-models/Qwen3-4B --think         # show reasoning steps
geniex infer ai-hub-models/Qwen3-4B --think=false   # respond directly

计算单元选择（通过 --compute）——选择运行模型的计算单元（默认：npu）：

# llama.cpp models support all compute units
geniex infer unsloth/Qwen3.5-0.8B-GGUF --compute npu
geniex infer unsloth/Qwen3.5-0.8B-GGUF --compute gpu
geniex infer unsloth/Qwen3.5-0.8B-GGUF --compute cpu

# Qualcomm AI Hub Models only support NPU
geniex infer ai-hub-models/Qwen3-4B --compute npu

# 显式设备列表——分散到多个 HTP 核心（仅限 llama.cpp + 多 DSP 设备）
GGML_HEXAGON_NDEV=4 geniex infer google/gemma-4-26B-A4B-it-qat-q4_0-gguf:Q4_0 --compute HTP0,HTP1,HTP2,HTP3

将 GGML_HEXAGON_NDEV 设置为与 --compute 中设备 ID 数量一致。qairt 模型会将设备列表强制转为 NPU 并输出警告。性能数据参见 MTP 教程。

Qualcomm AI Hub 模型仅在 NPU 上运行。使用 --compute cpu 或 --compute gpu 会返回错误。

`geniex infer` — VLM

运行视觉语言模型推理，支持纯文本或图像输入：

geniex infer ai-hub-models/Qwen2.5-VL-7B-Instruct-GGUF

如果只需文本输入，直接启动并对话即可。若要使用图像输入，请提供绝对路径或将图片文件直接拖入终端：

Describe this picture </full/path/to/image.png>

`geniex model`

查看与重新配置已缓存的模型。

`geniex model set-type`

覆盖缓存模型清单中记录的模型类型。省略类型参数时会进入交互式选择。

geniex model set-type <model-name> [llm|vlm]

类型决定 geniex infer 走哪条路径：vlm 会连同权重一起加载 mmproj 投影器并接受图像 / 音频输入，llm 只加载语言权重。把多模态 GGUF 强制设为 llm，就是在权重 + 投影器装不进内存的板子上只跑其文本路径的方法。

geniex model set-type google/gemma-4-E2B-it-qat-q4_0-gguf llm

geniex pull --model-type llm <model> 在下载时就写入同一字段，因此新拉取的模型无需再执行 set-type。

`geniex model list`

列出带 qairt（NPU）构建的 Qualcomm AI Hub 模型。默认只列出与检测到的芯片兼容的模型，加 --all 可列出全部。

geniex model list
geniex model list --all

`geniex serve`

启动兼容 OpenAI 协议的本地服务器。API 详见本地服务器。

geniex serve

要把思考模型的思维链从 message.content 移到 message.reasoning_content，在单次请求中设置 reasoning_format 字段即可——详见分离推理内容。

日志

--log 是全局标志，控制 CLI 的日志输出。它与 GENIEX_LOG 环境变量等效，且当二者同时设置时优先于 GENIEX_LOG。

geniex --log debug list

取值	输出内容
`none`	无输出（CLI 默认）
`error`	仅错误
`warn`	警告 + 错误
`info`	信息 + 警告 + 错误
`debug`	调试 + 信息 + 警告 + 错误
`trace`	全部输出

配置标志

以下标志可传给 geniex infer，用于控制模型加载与生成行为。

采样器标志

控制模型在生成时如何选择 token。

标志	类型	默认值	说明
`--temperature`	float	—	采样温度。值越高随机性越大。
`--top-p`	float	—	Top-p（核采样）阈值。
`--top-k`	int	—	Top-k 采样。仅考虑概率最高的 k 个 token。
`--min-p`	float	—	Min-p 采样阈值。
`--repetition-penalty`	float	`1`	重复惩罚。值 > 1 减少重复。
`--presence-penalty`	float	—	对已出现过的 token 进行惩罚。
`--frequency-penalty`	float	—	按频率比例惩罚 token。
`--seed`	int	—	随机种子，用于可复现输出。
`--grammar-path`	string	—	GBNF 语法文件路径，用于约束生成。
`--grammar-string`	string	—	内联 GBNF 格式语法字符串。
`--enable-json`	—	—	强制仅输出 JSON。

模型标志

控制模型加载、上下文与生成限制。

标志	类型	默认值	说明
`-n`, `--ngl`	int	`-1`	卸载到 GPU/NPU 的层数，`-1` = 全部（仅 llama_cpp）。
`--nctx`	int	`4096`	上下文窗口大小（最大输入 + 输出 token 数）。
`--max-tokens`	int	`2048`	每次响应生成的最大 token 数。
`--stop`	string[]	—	停止序列（可多次指定）。
`--stop-file`	string	—	包含停止序列的文件（每行一个）。
`--think` / `--think=false`	bool	`true`	启用或禁用推理模型的思考模式。
`-s`, `--system-prompt`	string	—	设置模型行为的系统提示。
`--sliding-window`	—	`false`	（仅 `qairt`）当上下文长度超限时，驱逐锚定前缀之外最旧的上下文，而不是报错，从而让对话继续。
`--power-mode`	string	`burst`	HTP 电源/时钟管理模式，`qairt` 与 `llama_cpp` 共用：`low_power_saver`、`power_saver`、`high_power_saver`、`low_balanced`、`balanced`、`high_performance`、`sustained_high_performance`、`burst`。

增大上下文长度

上下文窗口（--nctx）是模型一次能容纳的内容上限。当对话增长超过该上限时会报 context length exceeded 错误。如何增大取决于运行时：

llama.cpp (GGUF)： --nctx <N> 可在运行时抬升窗口，上限为模型训练时的最大值。窗口越大，占用的 KV 缓存内存越多。
geniex infer unsloth/Qwen3-8B-GGUF --nctx 8192
Qualcomm AI Engine Direct (NPU)： 上下文长度固化在编译好的模型包中，运行时无法抬升——--nctx 不生效。可改用：
- 加 --sliding-window 以在超限后继续对话：驱逐锚定前缀之外最旧的上下文，而不是报错。
- 如需真正更大的窗口，请从 Qualcomm AI Hub 获取按更长上下文编译的模型包。参见 Qualcomm AI Engine Direct 运行环境限制。

实用命令

命令	说明	示例
`geniex list`	显示所有已下载模型的名称与大小。	`geniex list`
`geniex remove <model>`	按名称删除指定的本地模型。	`geniex remove unsloth/Qwen3-0.6B-GGUF`
`geniex clean`	删除所有本地缓存的模型。	`geniex clean`
`geniex infer -h`	显示 `geniex infer` 的帮助信息。	`geniex infer -h`
`geniex serve -h`	显示 `geniex serve` 的帮助信息。	`geniex serve -h`

Was this page helpful?

Yes

开始使用

运行

教程

资源

模型推理

`geniex pull`

`geniex infer` — LLM

`geniex infer` — VLM

`geniex model`

`geniex model set-type`

`geniex model list`

`geniex serve`

日志

配置标志

采样器标志

模型标志

增大上下文长度

实用命令

​模型推理

​geniex pull

​geniex infer — LLM

​geniex infer — VLM

​geniex model

​geniex model set-type

​geniex model list

​geniex serve

​日志

​配置标志

​采样器标志

​模型标志

​增大上下文长度

​实用命令

模型推理

`geniex pull`

`geniex infer` — LLM

`geniex infer` — VLM

`geniex model`

`geniex model set-type`

`geniex model list`

`geniex serve`

日志

配置标志

采样器标志

模型标志

增大上下文长度

实用命令