背景

尝试使用vllm模型，脚本代码如下：

from vllm import LLM, SamplingParams

prompts = [
    "Hello, my name is",
    "The president of the United States is",
    "The capital of France is",
    "The future of AI is",
]
sampling_params = SamplingParams(temperature=0.8, top_p=0.95)

llm = LLM(model="facebook/opt-125m")

outputs = llm.generate(prompts, sampling_params)

for output in outputs:
    prompt = output.prompt
    generated_text = output.outputs[0].text
    print(f"Prompt: {prompt!r}, Generated text: {generated_text!r}")

运行过程中出现： 在这里插入图片描述

问题分析

问题就出现在通过python去下载文件，然后SSL的安全校验出现了问题。临时解决办法是，可以规避该校验。

解决方案

  1. 首先找到sessions.py文件，可以在完整的报错信息里找到： 在这里插入图片描述

  2. 修改文件 vim /home/zjun/miniconda3/envs/myenv/lib/python3.12/site-packages/requests/sessions.py 大概在500行左右的位置，找到 request 函数，将传参 verify 的默认值由 None 改为 False， 在这里插入图片描述 再次运行，问题解决。