净灵武侠活动情报站

我是 Dora。过去三周，我一直在将æ�¢è„¸ API 集æˆ�到一个客户项目中——一æ�¡è§†é¢‘个性化æµ�水线，让æ¯�ä½�è§‚çœ‹è€…åœ¨ç´ æ��ç”»é�¢ä¸Šçœ‹åˆ°é¢„先审批的虚拟形象å� åŠ æ•ˆæžœã€‚å�¬èµ·æ�¥å¾ˆç®€å�•ï¼Œå®žé™…å�´ä¸�然。问题的一å�Šä¸Žæ¨¡åž‹è´¨é‡�æ— å…³ï¼Œè€Œæ˜¯é‚£äº›æ²¡äººè®°å½•ã€�直到踩å�‘æ‰�会å�‘现的问题：冷å�¯åŠ¨ã€�长视频中的身份漂移ã€�一个多人脸场景莫å��其妙地æ�¢é”™äº†è„¸â€”â€”åŽŸå› æˆ‘è‡³ä»Šä»�未完全æ�žæ¸…楚。

è¿™ç¯‡æ–‡ç« å†™ç»™å�³å°†æŠŠæ�¢è„¸åŠŸèƒ½é›†æˆ�到产å“�中的人。ä¸�是â€�哇，AI 能å�šåˆ°è¿™ä¸ªâ€�çš„æ–‡ç« ï¼Œè€Œæ˜¯ä¸€å��在è�Œå·¥ç¨‹å¸ˆå¯¹è¿™äº›æ¨¡åž‹å®žé™…行为ã€�å½±å“�输出质é‡�çš„å› ç´ ä»¥å�ŠçœŸå®žç“¶é¢ˆæ‰€åœ¨çš„实用解读。

AI �脸的实际原�

去掉è�¥é”€åŒ…装。æ�¢è„¸æ˜¯ä¸€æ�¡ä¸‰é˜¶æ®µæµ�水线：检测ã€�ç¼–ç �ã€�èž�å�ˆã€‚æ¯�个模型——GANã€�扩散模型，或未æ�¥å‡ºçŽ°çš„任何架构——都è¿�è¡ŒæŸ�ç§�版本的这个æµ�程。

人脸检测与关键点对�

第一步找到人脸并�定�考点——眼��鼻尖�嘴角�下颌轮廓。大多数生产�水线�赖 InsightFace 的开�工具包或其 buffalo_l 模型包�完�这一步。关键点精度决定了�脸结果在解剖学上是�正确，或者� 2009 年的 Photoshop 滤镜。

如果检测å��å·®å‡ ä¸ªåƒ�ç´ ï¼Œæ¯�一步å�Žç»­å¤„ç�†éƒ½ä¼šç»§æ‰¿è¿™ä¸ªè¯¯å·®ã€‚我在一批 3/4 侧脸图åƒ�上å�ƒäº†è¿™ä¸ªäº�。

特å¾�æ��å�–与身份编ç �

æº�人脸被转æ�¢ä¸ºä¸€ä¸ªç´§å‡‘的身份å�‘é‡�â€”â€”â€œæ˜¯ä»€ä¹ˆè®©è¿™å¼ è„¸æˆ�为这个人â€�的数字指纹。这是人们最容易低估的部分。å�‘é‡�ä¸�是åƒ�ç´ ï¼Œè€Œæ˜¯æŠ½è±¡çš„æœ¬è´¨ï¼šéª¨éª¼ç»“æž„ã€�眼è·�ã€�æ ‡å¿—æ€§ç‰¹å¾�。

ç›®æ ‡äººè„¸åˆ™ç»�过并行æµ�水线æ��å�–属性——表情ã€�头部姿æ€�ã€�光照方å�‘ã€‚æ•´ä¸ªç›®æ ‡å°±æ˜¯åœ¨å°†æº�身份æ�¢å…¥çš„å�Œæ—¶ï¼Œä¿�æŒ�ç›®æ ‡å±žæ€§ä¸�å�˜ã€‚

��与�处��水线

解ç �器é‡�å»ºå‡ºä¸€å¼ ä»¥ç›®æ ‡å±žæ€§å‘ˆçŽ°æº�身份的人脸。éš�å�Žæ˜¯èž�å�ˆâ€”—颜色匹é…�ã€�边缘羽化，有时还会用 CodeFormer 之类的工具进行一次人脸修å¤�以消除伪影。这最å�Žä¸€æ­¥æ¯”人们承认的更é‡�è¦�。技术上正确但èž�å�ˆæ•ˆæžœå·®çš„æ�¢è„¸ç»“果看起æ�¥ä¾�然是å�‡çš„。

常�模型架构

三个主è¦�家æ—�主导市场，æ¯�ä¸ªåœ¨ç”Ÿäº§çŽ¯å¢ƒä¸­éƒ½æœ‰ä½ ä¼šåˆ‡èº«æ„Ÿå�—到的å�–èˆ�。

基于 GAN 的模型：SimSwap�FaceSwapper

SimSwap å�‘表于 ACM Multimedia 2020，引入了 ID 注入模å�———ä¸�å†�为æ¯�个身份训练一个模型（旧å¼� DeepFakes 的方法），而是将身份特å¾�注入到通用的编ç �器-解ç �器中。一个模型，任æ„�人脸对。

GAN 速度快，推ç�†æœ¬è´¨ä¸Šæ˜¯ä¸€æ¬¡å‰�å�‘ä¼ æ’­ã€‚å®ƒä»¬ä¹Ÿæ˜¯å¤§å¤šæ•°â€�æ��怖谷â€�æŠ±æ€¨çš„æ ¹æº�——纹ç�†ä¸�一致ã€�å�¶å�‘的模å¼�崩溃ã€�当æº�è„¸å’Œç›®æ ‡è„¸å½¢å·®å¼‚è¾ƒå¤§æ—¶å‡ºçŽ°çš„èº«ä»½æº¢å‡ºã€‚

基于扩散模型的�脸

DiffSwap å�‘表于 CVPR 2023，将æ�¢è„¸é‡�新定义为使用 3D 感知é�®ç½©æ‰©æ•£çš„æ�¡ä»¶ä¿®å¤�问题。DiffFace éš�å�Žè·Ÿè¿›ï¼Œå¼•å…¥äº†åŸºäºŽ ID æ�¡ä»¶çš„ DDPM å’Œç›®æ ‡ä¿�ç•™èž�å�ˆã€‚

扩散模型�供了更高的�真度和�控性，但代价也�之而�——多步去噪�味�推�耗时以秒计，而�毫秒。对于实时场景，这是一票�决的�件；对于高质�批处�工作，它是更好的选择。

InsightFace 与 inswapper

InsightFace çš„ inswapper_128 模型是事实上的开æº�基线。它在内部以 128×128 分辨率工作，支æŒ�å�•æ¬¡æ�¢è„¸â€”—å�•å¼ æº�图åƒ�ï¼Œæ— éœ€é’ˆå¯¹æ¯�个身份训练。

有一点需è¦�说明：InsightFace 的代ç �库注明原始演示代ç �ä¸�å†�维护，团队将商业用户引导至其授æ�ƒçš„ Picsi.Ai æœ�务。开æº�æ�ƒé‡�ä»…é™�é�žå•†ä¸šç”¨é€”。这让很多团队在产å“�上线时措手ä¸�å�Šã€‚ å�‘布å‰�请仔细阅读许å�¯è¯�。

å½±å“�输出质é‡�çš„å› ç´

模型选择没人们想象的那么��，输入更��。

�人脸的清晰度与角度

æ­£é�¢ã€�光线充足ã€�é•¿è¾¹ ≥512px——这是基准线。å��角的æº�人脸会产生å��è§’çš„ä¼ªå½±â€”â€”æ¨¡åž‹æ— æ³•æŽ¨æ–­å®ƒä»Žæœªè§�è¿‡çš„å‡ ä½•ä¿¡æ�¯ã€‚我在 50 å¼ ä¸�å�Œè§’度的æº�图åƒ�上å�šäº†æµ‹è¯•ï¼Œå��航角超过约 30° 时质é‡�明显下é™�。这与我对编ç �器训练分布的预期å�»å�ˆï¼Œå¹¶ä¸�æ„�外，但值得用自己的数æ�®ç¡®è®¤ã€‚

ç›®æ ‡ç”»é�¢çš„光照与è¿�动

ç›®æ ‡äººè„¸çš„å…‰ç…§æ–¹å�‘必须与æº�人脸的é�¢éƒ¨å‡ 何形状在视觉上å�ˆç�†åŒ¹é…�ã€‚ç›®æ ‡ä¸ºå¼ºçƒˆä¾§å…‰ã€�æº�为平é�¢å…‰ç…§ = å�¯è§�接ç¼�ã€‚å¯¹äºŽè§†é¢‘ï¼Œç›®æ ‡å¸§çš„è¿�动模糊会导致模型丢失关键点é”�定——出现帧跳。

模型分辨率�制

许多开�模型的内部分辨率上�为 128×128 或 256×256，之�通过独立的修�模型进行放大。�脸质���于内部分辨率，而�输出分辨率。 从 128px �脸得到的 4K 输出，本质上�是一次 128px 的�脸。

动手构建�的真实�制

这是我最希望在开始之�就有人写过的部分。

规模化时的身份漂移

对一段 500 帧的视频执行相å�Œçš„æ�¢è„¸ã€‚到第 300 帧时，身份会å�‘生漂移——眼ç�›é¢œè‰²ã€�下颌形状ã€�肤色出现细微å�˜åŒ–。é€�帧æ�¢è„¸ä¸�共享状æ€�。一些æµ�æ°´çº¿æ·»åŠ äº†æ—¶åº�平滑；大多数没有。

多人脸处�的��性

大多数 API å�‡å®šæ¯�帧å�ªæœ‰ä¸€å¼ 人脸。é€�入一个两人场景，就会进入人脸匹é…�问题——哪个检测到的人脸对应哪个æº�身份？错误分é…�很常è§�。在é�žæ­£å¼�测试中，我è§�过多人脸帧中约 8% 的帧æ�¢é”™äº†è„¸ã€‚ä½ çš„ç»“æžœä¼šæœ‰æ‰€ä¸�å�Œã€‚

API 延迟与���的�衡

æ— æœ�务器推ç�†çš„冷å�¯åŠ¨å�¯èƒ½éœ€è¦� 20–60 秒。GAN 模型对å�•å¼ 图åƒ�çš„æ�¢è„¸çƒ­å�¯åŠ¨å»¶è¿Ÿé€šå¸¸åœ¨ 1–4 秒范围内，扩散模型更长。在批é‡�规模下，å�žå��é‡�完全å�–决于æœ�务商的并å�‘é™�制，而é�žæ¨¡åž‹æœ¬èº«ã€‚ 签约å‰�务必确认这一点。

�规使用与法规�从

2026 年，跳过这部分已��是选项。

知情���求与平�政策

自 2024 å¹´ 8 月生效的《欧盟 AI 法案》在第 50 æ�¡è¦�æ±‚å¯¹æ·±åº¦ä¼ªé€ å†…å®¹è¿›è¡ŒæŠ«éœ²â€”â€”æ��绘真实人物的å�ˆæˆ�å†…å®¹å¿…é¡»æ ‡æ³¨ã€‚ä¸­å›½çš„ã€Šæ·±åº¦å�ˆæˆ�管ç�†è§„定》更进一步，è¦�求对æ�¢è„¸å·¥å…·çš„用户进行水å�°æ ‡æ³¨å’Œèº«ä»½æ ¸éªŒã€‚美国正在以零散方å¼�推进——拟议中的 NO FAKES 法案将为未ç»�授æ�ƒçš„ AI 人åƒ�å¤�制建立è�”邦层é�¢çš„法律责任。

å¦‚æžœä½ åœ¨ä¸Šè¿°ä»»ä½•å¸‚åœºå�‘布产å“�，知情å�Œæ„�é‡‡é›†å’Œå†…å®¹æ ‡æ³¨æ˜¯åŸºç¡€è®¾æ–½ï¼Œè€Œé�žåŠŸèƒ½é€‰é¡¹ã€‚

这些模型�能且�应被用于什么

在未ç»�明确å�Œæ„�的情况下替æ�¢çœŸå®žäººç‰©çš„é�¢å­”â€”â€”æ— è®ºä½ çš„æ¨¡åž‹åœ¨æŠ€æœ¯ä¸Šèƒ½å¤Ÿç”Ÿæˆ�什么——都超出了任何å�¯ä»¥è¾©æŠ¤çš„生产使用场景。这包括å��人ã€�政治人物ã€�å‰�伴侣，任何人。技术能力确实存在，但未ç»�授æ�ƒçš„æ�¢è„¸äº§å“�使用场景在å�ˆè§„éƒ¨ç½²ä¸­æ ¹æœ¬ä¸�存在。ä¸�è¦�构建它，ä¸�è¦�通过宽æ�¾çš„验è¯�机制æ�¥ä½¿å…¶æˆ�为å�¯èƒ½ã€‚

常�问题

AI �脸在生产环境中的精度是�足够？

对于�控输入（正��光线充足�512px 以上的�图�）和已获��的对象，�以。对于��控输入，预计�接�输出率在 70–85% 之间，具体�决于模型。对于任何��客户的内容，请规划人工质检�程。

�脸与�部�演有什么区别？

æ�¢è„¸è½¬ç§»çš„是身份（æ�¢è°�的脸），å�Œæ—¶ä¿�æŒ�ç›®æ ‡çš„è¡¨æƒ…å’Œå§¿æ€�。é�¢éƒ¨é‡�演转移的是表情和动作（驱动现有身份）。ä¸�å�Œçš„模型，ä¸�å�Œçš„使用场景。

�脸模型�以实时�行�？

基于 GAN 的模型（如 inswapper）在å�•äººè„¸å¸§çš„消费级 GPU 上å�¯ä»¥æŽ¥è¿‘实时è¿�行。基于扩散模型的方案目å‰�æ— æ³•å�šåˆ°ã€‚在专业商业系统之外，实时多人脸视频æ�¢è„¸ä»�然很难实现。

API 速率�制应预期是多少？

高度ä¾�èµ–æœ�务商。大多数公共 API 在åˆ�级套é¤�中æ��ä¾› 1–10 次请求/秒。生产套é¤�的并å�‘é‡�需è¦�å�•ç‹¬å��商。在å�šæž¶æž„决策之å‰�，请确认 QPS 和并å�‘任务数é™�åˆ¶ä¸¤ä¸ªæŒ‡æ ‡ã€‚

是�有通过 API �访问的开��脸模型？

有——Replicate 托管了社区维护的 inswapper 实现和多个 SimSwap å�˜ä½“。底层æ�ƒé‡�的许å�¯è¯�需è¦�ä½ è‡ªè¡Œæ ¸å®žã€‚å¼€æº�æ�ƒé‡� ≠商业使用æ�ƒã€‚

我的数æ�®åˆ°æ­¤ä¸ºæ­¢ã€‚下周我将继续测试多人脸处ç�†ï¼Œå±Šæ—¶å�¯èƒ½ä¼šå�•ç‹¬å†™ä¸€ç¯‡ã€‚与此å�Œæ—¶ï¼šæ ¹æ�®ä½ 的延迟预算选择模型，对输入的验è¯�力度è¦�超过对模型选择的验è¯�，并且在没有接入知情å�Œæ„�采集的情况下ä¸�è¦�å�‘布。技术部分å��而是最简å�•çš„。

å¾€æœŸæ–‡ç« ï¼š

Claude Mythos 网络安全能力

GLM-5v Turbo 与 GPT-4o Vision UI 编程对比

HappyHorse 与 Kling 3.0 Skyreels V4 构建指�

Seedance 2.0 与 Kling 与 Sora 2026 对比

MaxClaw 与 OpenClaw：使用场景与定价