项目专栏
code-vcli
把截图转成模型可读的结构
模型能写代码,但看不见屏幕。code-vcli 把截图拆成文字、坐标和布局,交给没有视觉能力的模型;推理在本机,图片不上传。
- 01 code-vcli:截图识别的执行路径与输出契约 Node CLI 启动独立 Python 运行时,把截图转成 text、items 和 layout;OCR、VLM、Mix 三条路径、Web 模式的元素归并规则和数据契约。
- 02 本地 VLM 的六个预设:量化、显存与加载路径 A1–C2 是规模与量化的组合;NF4 在加载时量化,CUDA/MPS/CPU 的 dtype 和 device_map 不同,Mix 的显存峰值不等于两者相加。
- 03 Mix 模式的 OCR 上下文预算与选择算法 16K 预算如何分配:行格式、九宫格轮询、评分补齐、两级去重,以及统计字段和 artifact 的边界。