第2357篇：如何评估公司的AI技术实力——面试时问哪些问题能看穿真相
第2357篇：如何评估公司的AI技术实力——面试时问哪些问题能看穿真相
适读人群：正在考虑加入AI相关公司的工程师 | 阅读时长：约13分钟 | 核心价值：识别真AI公司和PPT AI公司的实用方法
我面试过一家公司，整个过程非常顺利——面试官技术好，题目有深度，JD上的AI技术栈写得也很完整。我对这家公司印象不错。
入职两周后，我发现了一些事情：那个"AI推荐系统"其实是规则引擎，偶尔调用一次开放API；"自研大模型"是基于一个开源模型的简单微调，主要工作是工程师在改prompt；他们在JD里写的向量数据库，整个团队只有一个人用过，还是在个人项目里用的。
这不是我孤立的经历。AI是现在最热的技术方向，大量公司在宣传上的AI含量远超实际。对于想加入真正做AI的团队的工程师来说，怎么在面试阶段就识别出来，是一个非常实用的技能。
为什么要主动评估
你可能会想：入职之前能看出来吗？我又不是公司内部人。
比你想象的能看出来更多。关键是问正确的问题。
大多数工程师在面试时处于被动位置——等对方问，然后回答。但面试是双向的，你有权利了解你要加入的公司的真实情况。问得好，你能看穿很多东西；不问，你只能靠JD上的文字做判断，而那些文字很多是市场部写的。
分辨真假AI实力的四个维度
维度一：他们有没有真实的AI系统在生产环境运行
这是最根本的问题。一个真正在做AI的团队，一定有正在运行的AI系统，而不是还在"探索阶段"或者"规划中"。
问法：
"你们现在在生产环境里运行了哪些AI功能？
用户量级是多少？每天的调用量大概是多少？"一个在生产环境有真实AI系统的团队，面试官会很自然地讲出具体的系统、用户规模、每日调用量。如果对方的回答很模糊，比如"我们正在做这块"、"目前在测试阶段"，那说明AI可能还停留在PPT层面。
维度二：他们有没有踩过真实的工程坑
只有真正做过AI工程的团队，才会有对"坑"的具体记忆。
问法：
"你们在AI系统的工程实践上，踩过哪些印象深刻的坑？
比如模型效果、延迟、成本、稳定性方面？"真正做过的人，会立刻有话说，而且说的是具体的。比如："我们用GPT-4做摘要，有一段时间token消耗突然暴涨，后来发现是某类文档的分块没做好，导致上下文重复。"这种回答是有血有肉的。
如果对方的回答是泛泛的"AI系统挑战很多，我们正在逐步解决"，基本说明没有什么真实经历。
维度三：他们的AI工程师做什么，是工程还是只是调用API
这个维度评估的是你入职后具体会做什么，以及技术含量高不高。
问法：
"AI工程师在你们团队的日常工作是什么？
比如上周，你们工程师花时间最多的是什么事情？"高质量的AI工程工作应该包含：评估模型效果、设计数据管道、优化系统性能、处理生产问题、改善工程架构。
低质量的AI工程工作是：调整prompt、调用第三方API、写简单的集成代码——这些工作不是不好，但如果这就是全部，那这个"AI工程师"岗位的技术成长空间非常有限。
维度四：他们有没有工程文化和工程规范
真正成熟的AI团队会有完善的工程规范，包括代码规范、测试覆盖要求、上线审批流程、监控告警体系。
问法：
"你们的AI功能上线前要做哪些评估？
有没有评估集？A/B测试怎么做的？上线后怎么监控效果？"有工程文化的团队，回答会包含：标准评估流程、定义好的评估指标、自动化测试、线上监控系统。
没有工程文化的团队，回答可能是："我们会测试一下，觉得没问题就上线。"或者"这块还不太完善，在建设中。"
更细的识别信号：技术细节问题
除了上面的大方向问题，有几个技术细节问题也非常有辨识度。
关于评估体系
"你们怎么评估RAG系统的效果？
用什么指标？评估集怎么构建的？"一个认真做RAG的团队，会说出具体的评估指标（准确率、召回率、RAGAS评分等），以及他们如何构建和维护评估集。
一个没有认真做评估的团队，可能会说"我们主要靠内部测试"，或者支支吾吾说不清楚具体指标。
关于成本管理
"你们怎么控制LLM的调用成本？
有没有遇到过成本超预期的情况？"AI工程有一个现实的维度是成本。真正在生产环境运营AI系统的团队，一定对成本非常敏感，有具体的成本优化措施（缓存、模型选择、分流策略）。
如果对方对成本话题没有什么具体的东西可说，要么系统规模很小，要么还没到真正生产运营的阶段。
关于工具选型
"你们用的向量数据库是什么？
当时为什么选这个，有没有评估过其他的？"选型问题能暴露团队的技术深度。能说出选型背后的权衡（为什么选Milvus而不是Weaviate，考虑了哪些因素），说明团队对工具有真实的理解。"就用了大家都用的那个"，则说明选型可能是随意的。
一个完整的评估清单
把上面的内容整理成一个可以在面试时带着用的清单：
面试时的AI技术实力评估清单
核心问题（必问）
□ 生产环境有哪些AI功能在运行？用户规模和调用量是多少？
□ 踩过哪些印象深刻的AI工程坑？
□ AI工程师的日常工作是什么？上周花时间最多的是什么？
□ AI功能上线前的评估流程是什么？
技术深度问题（选问2-3个）
□ 你们的RAG评估体系怎么做的？用什么指标？
□ LLM调用的成本怎么管理？
□ 向量数据库选型的考虑是什么？
□ 有没有做fine-tuning？做过什么类型的？
工程文化问题（选问1-2个）
□ 代码Review的流程是怎样的？
□ 有没有AI功能的监控和告警系统？
□ 最近半年有没有因为AI系统出过比较大的线上故障？怎么处理的？识别"AI洗白"的常见话术
有一些公司在宣传AI能力时会用特定的话术，这些话术往往是红旗：
"我们正在积极布局AI" — 说明现在没有实际的AI系统 "AI是我们的战略方向" — 战略是战略，不代表有工程落地 "我们在和顶级AI公司合作" — 可能只是采购了API调用 "我们有自研AI能力" — 需要追问：自研的是什么，有多少人在做 "我们的AI团队在快速扩张" — 可能现在只有两个人
这些话术不是必然的谎话，但每一个都值得追问具体细节。
关于要不要加入"正在建设AI能力"的公司
有一种情况需要区分：公司真的还在早期，AI能力正在从零建立，但有真实的投入和认真的态度。
这和"PPT AI"是不同的。
前者的特征是：
- 有具体的AI项目在推进（哪怕还没上线）
- 有清晰的技术路线规划（不只是方向）
- 在招聘真正有AI工程经验的人（而不是把任何懂机器学习的人都叫AI工程师）
- 愿意坦诚承认现在的能力在哪个阶段
如果你能接受风险，愿意在早期阶段参与建设，这类公司也有它的价值——你能参与从零到一，积累的经验比加入一个成熟系统维护更多。
关键是你要在面试阶段就把情况看清楚，做一个有意识的选择，而不是被"AI战略"的描述误导，进去之后才发现不是你想象的那样。
知道自己在选什么，比能不能过面试更重要。