大模型入门:Token、上下文窗口、温度、幻觉与 Python 环境配置

🎯 本节目标

学完这一节,你能:

用生活化类比说清 Token、上下文窗口、温度、幻觉 四个核心概念
在自己电脑上装好 Python + 虚拟环境 + .env 配置
申请到至少一个国产大模型 API Key(免费/低价)

🍎 生活化类比

大模型 = 一个读过全世界所有书、但有点健忘的超级实习生。

Token:他读书不是按“字”读,是按“词块”读。中文一个词大概 1-2 个 token,英文一个词 1 个 token
上下文窗口:他的“短期记忆容量”。GPT-4 是 128K token(约 10 万字中文),Kimi 是 1M(约 70 万字)。超了他就忘前面
温度:他的“想象力旋钮”。温度 0 = 一板一眼照搬;温度 1 = 天马行空(甚至瞎编)
幻觉:他不懂装懂的毛病。问不知道的事,他不会说“我不知道”,而是编一个看起来很像真的答案

FDE 的工作,一大半就是管好这个实习生:给他清晰的指令(Prompt)、给他查资料的工具(RAG)、检查他的作业(评估)。

📖 概念讲解

Token:大模型的“计价单位”

大模型不是按“字”处理,是按 token 处理。token 是模型把文本切成的最小单元。

英文:hello = 1 token,hamburger = 2-3 token
中文:你好 ≈ 2 token,人工智能 ≈ 4-6 token
代码:一个缩进、一个括号都算 token

为什么重要:① API 按 token 收费 ② 上下文窗口按 token 算 ③ Prompt 太长会被截断

国产模型里,DeepSeek 最便宜(约 ¥1/百万 token),通义/GLM 中档,豆包按量计价。

上下文窗口:模型的“短期记忆”

模型每次只能“看见”有限长度的文本,这个限制叫上下文窗口。

模型	上下文	约等于
GPT-4 Turbo	128K	10 万字中文
Claude 3.5	200K	15 万字中文
Kimi	1M	70 万字中文
DeepSeek	128K	10 万字中文

FDE 实战含义:做 RAG 时,如果你塞进去的文档 + 历史对话超了窗口,模型会“忘”前面的内容——这就是为什么要做分块(chucking)。

温度(Temperature):创造力旋钮

温度控制输出的随机性,范围 0-2:

温度	效果	适用
0	每次回答几乎一样	分类、抽取、结构化输出(FDE 主力场景)
0.3-0.7	稳定但有变化	客服对话、写作辅助
0.8-1.2	有创意	头脑风暴、营销文案
>1.2	容易跑偏	慎用

FDE 默认经验:做企业应用,温度开 0-0.3,要确定性不要创意。

幻觉(Hallucination):必须管的毛病

模型会自信地编造不存在的事实。比如:

问:“请介绍《2024 年中国 FDE 行业白皮书》的核心结论” 模型:编造一份看起来很真实的白皮书摘要(其实这书不存在)

FDE 怎么治幻觉:

RAG:只让模型基于你给的资料回答(模块 4)
结构化输出:强制模型按 Schema 输出,减少自由发挥
评估:用 RAGAS 测 faithfulness 指标(模块 5)
Prompt 约束:加“如果不知道就说不知道,不要编造”

🛠️ 动手实操:配置开发环境

Step 1:装 Python(3.10+)

# macOS(用 Homebrew)
brew install python@3.12

# 验证
python3 --version
# 应该输出 Python 3.12.x

Step 2:建项目目录 + 虚拟环境

mkdir ~/fde-learn && cd ~/fde-learn

# 创建虚拟环境(隔离依赖,不污染系统)
python3 -m venv .venv

# 激活(macOS/Linux)
source .venv/bin/activate

# 激活后命令行前面会出现 (.venv)
# Windows 用:.venv\Scripts\activate

✅ 激活成功标志:命令行提示符变成 (.venv) user@mac $

Step 3:装必备包

# 确保已激活虚拟环境
pip install --upgrade pip
pip install openai python-dotenv requests

这些包的作用:openai(兼容大部分国产模型 API) · python-dotenv(读 .env) · requests(调 HTTP)

Step 4:配置 .env(安全存放 API Key)

# 在 ~/fde-learn 目录
touch .env

用编辑器打开 .env,填入(下一节我们会申请 Key):

# 智谱 GLM(推荐,国内免费额度大)
GLM_API_KEY=你的key填这里

# 或 DeepSeek(便宜)
DEEPSEEK_API_KEY=你的key填这里

# 或 通义千问
QWEN_API_KEY=你的key填这里

重要:.env 文件绝对不要提交到 git。建一个 .gitignore:

echo ".env" > .gitignore
echo ".venv/" >> .gitignore

Step 5:申请国产大模型 API Key(选一个)

平台	申请地址	免费额度	特点
智谱 GLM	https://open.bigmodel.cn	新用户送额度	国内头部,Coding Plan 友好
DeepSeek	https://platform.deepseek.com	充 ¥10 够用很久	极致便宜,开源权重
通义千问	https://bailian.console.aliyun.com	新用户免费	阿里系,生态全

以智谱为例:

注册登录 https://open.bigmodel.cn
右上角 → “API Keys” → 创建新 Key
复制 Key,粘贴到 .env 的 GLM_API_KEY= 后面

⚠️ 常见错误

报错	原因	解决
`python: command not found`	macOS 上要用 `python3`	用 `python3` 或 `alias python=python3`
`pip: command not found`	同上	用 `pip3`
`ModuleNotFoundError: No module named 'openai'`	没激活虚拟环境	`source .venv/bin/activate`
`.env` 里的 Key 被泄露	提交到 git 了	立即去平台吊销重发,加 `.gitignore`
`401 Authentication Error`	Key 填错/过期	检查 `.env`,确认无多余空格

✅ 自测题

1. 上下文窗口超了会怎样?

模型会“忘”前面的内容(通常是早期的对话或文档)。这就是 RAG 要做分块的原因——不能把整本书一次塞进去。

2. 做企业分类任务,温度应该开多少?

0(或 0-0.3)。企业应用要确定性,不要创意。同样的输入应该得到同样的输出。

3. 为什么 .env 不能提交到 git?

API Key 一旦泄露,别人能盗用你的额度,甚至冒充你调用。.env 必须加进 .gitignore,Key 泄露要立即吊销重发。

📚 总结 & 下一节

3 句话回顾:

大模型像“健忘的超级实习生”:Token 是计价单位,上下文窗口是记忆容量,温度管创造力,幻觉要靠 RAG + 评估治
开发环境三件套:Python 3.10+ + 虚拟环境 + .env(放 Key,不进 git)
国产 API 优先选:智谱 GLM / DeepSeek / 通义,都有免费额度

下一节:我们写第一行代码调通大模型 API——这是整个教程的第一个“啊哈时刻”。

🏋️ 配套自练

OpenAI Tokenizer — 可视化看一句话被切成多少 token,直观理解“大模型怎么读字”(免费、可能要翻墙)
智谱开放平台 — 注册账号,申请 API Key,为下一节调 API 做准备(免费额度)
DeepSeek 开放平台 — 备选平台,充值 ¥10 够用很久

🔗 延伸阅读

← 上一节:FDE 能力地图 | 下一节:第一次调通 API →