AI产品经理入门与劝退指南：该不该入行，怎么入行

人工智能产品经理可不是仅仅只是那个懂得怎么撰写提示词的产品经理。这里面的主要区别是, 你必须要去搞清楚大模型到底有哪些能力上的局限性, 还要去设计出当模型发生错误时候的兜底计划,并且在效果、成本和速度这三个方面去进行那种工程化的选择和妥协。

要是你没有办法接受存在了很长时间的只得了八十分的那种方案, 那就还是建议你要好好想想, 不要这么轻易地进入这个行业。

必须掌握的四项核心能力

模型边界感知指的是要明确了解到大语言模型是会产生幻觉的, 其上下文窗口存在上限, 并且没法保证百分之百准确。在设计产品的时候不能假设模型会永远都正确, 必须为可能出现失败的情况设计好兜底措施。

需要拥有数据和评测的思维, 具体的做法是可以去搭建一组包含二十到一百条真实任务的测试集, 然后明确定义好准确率是多少、幻觉率是多少、格式是否合规、响应时间有多快这些指标, 最后要用客观的数据来对模型的效果进行判断, 而不是凭借直觉。

成本与工程意识就是要把token的计费方式看清楚, 得明白输入的内容和输出的结果是要分开算钱的, 还要搞清楚上下文窗口有多大, 以及推理的时候会有多慢, 这样才能在想要达成的效果和控制每次调用的花费之间做出选择。

场景判断力这个东西是什么呢。其实就是需要把事情分成两类。第一类是适合交给人工智能去做的任务。这类任务有几个特点。一个是发生的频率非常高。另一个是工作内容非常重复。还有就是一般的规则都比较清楚明白的。

最后一点就是出现错误的话, 也是可以接受的。第二类就是必须由人类工作人员亲自来完成的任务。比如说医疗健康方面的诊断工作。再比如涉及法律结论的事情。还有一类是风险很高的财务决策。

建议的入门路径

1. 先选定一个具体的应用场景, 比方说是人工智能客服或者是文档摘要整理之类的任务, 然后使用当前已有的成熟的大规模语言表达模型接口, 来完成从开始到结尾的全过程运行。

2. 你需要建立起专门用于测试的集合数据, 并且还要认真记录相关的正确率信息、还有响应的时长情况以及每一次调用所产生的成本数值。

3. 先学习一下RAG也就是检索增强生成这个技术里面的那个基本的工作流程, 先把文档进行切分, 然后把切分后的内容变成向量也就是进行向量化处理, 接着根据这些向量去做检索, 再用得到的信息去生成内容, 最后还需要让人工进行审核。

4. 要完成一个可以做出演示效果的小项目, 比如说是一个针对内部的知识库问答工具, 这时候的重点, 是要把提示词的结构做好, 还要把审核的那个环节给打磨到位。

5. 在简历当中需要清楚地写明, 具体的目标场景都有哪些, 自己所用到的模型是什么名字, 采用了怎样的方法进行数据测试, 核心的关键性指标有哪些内容, 以及在项目实施过程中自己所做出的各种各样的取舍和权衡。

以下情况建议劝退

他们可能会错误地认为, AI产品经理这个岗位的核心工作, 仅仅停留在编写提示词这一环节, 并且完全不关注底层的模型机制, 同时也对相关的评测方法不予理睬。

一直在坚持要求模型必须做到百分之一百的不出现错误, 所以无法接受那种带有概率性质的最终结果。

对于数据清洗这个任务, 还有标注那个环节, 以及构建测试集这回事, 是完全地排斥的。

期望在入职的同时, 便能够独立承担起对完整的AI产品线的负责工作, 然而当事人却没有与之相关的数据协作经验, 也没有工程沟通方面的经验。

很多人把公开榜单上的那个排名, 当成了挑选模型的唯一依据, 根本就不会去跑自己手里的任务做测试。

高频问题

Q：没有技术背景能做AI产品经理吗？

可以, 但是必须要补齐对于模型基础认知以及评测方法这两方面的内容, 这里的基础认知包括token是什么、上下文窗口是怎么一回事情, 还有RAG和微调到底有什么区别在哪, 不强制要求会写代码, 但是要求具备读懂那些技术文档的能力, 并且还要能够和工程师进行有效的沟通。

Q：AI产品经理和传统产品经理的核心区别？

A说: 传统产品交付的是确定性功能, 而AI产品交付的是概率性结果。核心工作已经从定义功能, 变成了定义效果边界和设计兜底措施, 以及建立评测闭环。

Q：现在入行算晚吗？

行业这个状态, 已经从光搞概念的那个阶段, 进入到实际去落地的阶段了, 所以现在那种纯靠嘴里讲故事来忽悠人的机会就越来越少了。

不过, 那些能把小范围的场景给跑通逻辑、把成本这笔账算清楚、而且把评测做好的这种人才, 需求还是蛮稳定的。所以说建议你拿能够展示出来的项目成品成果来证明你自己的本事强不强, 别光是指着简历上的那个岗位称呼说事儿。

一句话总结

这事情没有唯一的标准答案, 但是能够愿意去和不确定性进行打交道, 以及能够使用数据来做决策, 这是一个基本的门槛所在。先把一个最小化的闭环跑通, 这件事会比去阅读十篇方法论文章更加有效。如果涉及到具体的模型参数、价格数值还有榜单排名情况, 应当以厂商的官方文档和实际测试的结果为准。

常见问题

《AI产品经理入门与劝退指南：该不该入行，怎么入行》主要讲什么？

人工智能产品经理可不是仅仅只是那个懂得怎么撰写提示词的产品经理。这里面的主要区别是, 你必须要去搞清楚大模型到底有哪些能力上的局限性, 还要去设计出当模型发生错误时候的兜底计划,并且在效果、成本和速度这三个方面去进行那种工程化的选择和妥协。 要是你没有办法接受存在了很长时间的只得了八十分的那种方案, 那就还是建议你要好

AI 人工智能相关内容，适合谁看？

适合关注AI 人工智能的读者，尤其是需要落地执行的运营和建站从业者。