从一张照片到「天空之镜」:纯前端倒影合成的设计与实现

【这个是harness做的用了2块钱的token。前面一个是workbuddy做的,用的全是免费token】

一、需求:不是滤镜,是重新构图

「天空之镜」的视觉核心不是把画面调蓝,而是三件事同时成立:

  1. 平静水面形成的高保真倒影;
  2. 天地边界被雾气和渐变消解;
  3. 严格的上下对称构图。

这意味着工具不能简单叠一层“水波滤镜”。它必须先理解画面:主体在哪里、地平线大概在哪里、哪一段画面适合被镜像。然后基于这条线重新组织画布——上半部保留实景,下半部生成倒影,输出比例由地平线位置决定。

产品上还有一个硬约束:照片不能上传。用户传的可能是家人、证件或未公开的拍摄素材,任何“上传到服务器处理”的方案都会增加隐私成本。于是整个工具被压缩成一个纯前端页面:HTML + CSS + 原生 JavaScript + Canvas 2D,没有构建步骤,也没有后端。

二、自动地平线:用显著性启发式,而不是硬猜

真正困难的是第一步:地平线在哪。

如果直接取画面 50% 或 58% 的位置,遇到低机位、俯拍、建筑、人物特写就会立刻穿帮。理想方案是语义分割,但纯前端、无模型、无网络的约束下,我选择了一个轻量的视觉显著性启发式。

1. 在 240px 缩略图上工作

原图先缩到宽 240px:

js

const aw = 240;
const ah = Math.max(80, Math.round((aw * source.height) / source.width));

这样做有两个好处:分析成本与原图无关;缩略图本身会抹掉高频噪点,让“大结构”比“细节”更突出。

2. 三个基础特征

对每个像素计算:

  • Sobel 梯度:边缘越强,越可能是主体或天地交界;
  • 饱和度:鲜艳区域通常比天空/水面更“像主体”;
  • 蓝偏:b - (r + g) / 2,用来区分天空和水面。

显著性由三者混合,再叠加中心先验:

js

sal[i] = (edge * 0.68 + sat[i] * 0.24 + 0.08) * cxw * cyw;

cxw 让画面中心略加权,cyw 让上下边缘略降权。随后做两次盒式模糊,把显著性能量扩散成连续的“主体团块”,避免单像素噪点干扰。

3. 按行打分,而不是按线检测

真正决定地平线的是逐行统计。对每一行 y 计算:

  • rowEdge:水平方向的平均梯度;
  • rowSal:该行的平均显著性;
  • rowLum / rowBlue:亮度与蓝偏。

然后在画面高度 30%–80% 的候选区间里逐行打分:

js

const score =
  1.5  * edgeN +        // 水平边缘要强
  0.85 * coverage +     // 地平线以上要覆盖大部分主体
  0.42 * sky +          // 上方更像天空(更亮、更蓝)
  0.30 * thirds +       // 轻微偏向三分构图
  0.12 * centerPref -   // 轻微偏向画面中部
  1.15 * cut;           // 不要从高显著主体中间切过去

coverage 是“地平线以上显著能量占全图的比例”,cut 是地平线附近 5 行的显著性峰值。这个惩罚项很关键:没有它,算法会倾向于把线放在主体最亮、最锐利的地方——也就是主体脸上。

最后把结果限制在 0.32–0.78,并做一次局部抛物线式细化。限制范围不是偷懒,而是为了保证输出不会变成极端宽幅或极端竖幅。

4. 主体框:给用户一个可解释的反馈

自动分析不能只给一个数字。页面会画出主体框,告诉用户“我认为主体在这里”。主体框取高显著像素的 6%–94% 分位,过滤掉零散噪点:

js

const threshold = (sum / sal.length) * 1.55;
// 收集 v >= threshold 的像素,取 x/y 的 6%–94% 分位

这个框不是深度学习意义上的检测框,但它足以让用户判断自动构图是否合理。如果框和地平线冲突,用户可以立刻拖动地平线。

三、倒影合成:一条 14 步的 Canvas 管线

整个合成入口是 renderScene(canvas, W, guides)。核心几何只有两行:

js

const topH = Math.round((W * src.height * horizon) / src.width);
const H = topH * 2;

topH 是地平线以上部分的输出高度,H 是最终画布高度。地平线因此永远在画面正中央,上下严格对称。

成片示例

1. 垂直镜像

先把上半部画到一张离屏 canvas,再用变换做垂直翻转:

js

bx.translate(0, topH);
bx.scale(1, -1);
bx.drawImage(src, 0, 0, src.width, srcTopH, 0, 0, W, topH);

flip 参数为真时,同时做水平翻转,得到“左右也镜像”的版本,适合某些对称建筑。

2. 补边与预模糊

波纹会让像素左右位移,如果倒影底图没有边,位移后会露出透明缝。解决方式是左右各补一段边缘列,再做一次轻模糊:

js

const pad = Math.ceil(6 * scale + p.ripple * W * 0.016 + 3);

补边宽度随波纹强度增加;预模糊同时柔化了镜像本身的“数码感”。

3. 逐行正弦位移

水波不是整体平移,而是每一行有不同的水平偏移:

js

const dx = amp * depth * taper *
  (Math.sin(y * f1 + phase) * 0.72 +
   Math.sin(y * f2 - phase * 0.7) * 0.38);
  • taper 在地平线附近把振幅压到 0,保证接缝处不错位;
  • depth 越往下越大,模拟近处水面的扰动;
  • 两个不同频率的正弦叠加,避免出现明显的周期性条纹。

4. 随深度增加的模糊

远处的水面应该更柔。这里没有做真正的景深,而是把整张倒影再模糊一次,用 destination-in 和一个从上到下的渐变蒙版控制混合比例:

js

sg.addColorStop(0,    'rgba(0,0,0,0)');
sg.addColorStop(0.42, 'rgba(0,0,0,0.1)');
sg.addColorStop(0.78, 'rgba(0,0,0,0.55)');
sg.addColorStop(1,    'rgba(0,0,0,0.8)');

越靠下,模糊版本占比越高。这个“假景深”比逐像素卷积便宜得多,视觉上足够。

5. 水面底色:从地平线取样

如果直接画倒影,水会显得太“干”。需要一层水色打底。颜色不是写死的,而是从原图地平线附近取平均色,再和主题色混合:

js

const avg = averageColor(src, 0, srcTopH - src.height * 0.045, src.width, src.height * 0.045);
const waterNear = mix(avg, [186, 214, 220], 0.06);
const waterMid  = mix(avg, mix(tint, [12, 42, 52], 0.55), 0.62);
const waterDeep = mix(tint, [3, 12, 20], 0.82);

这样海面、湖面、黄昏、阴天都能得到不同的水色,而不是所有照片都变成同一种蓝。

6. 接缝消融

这是“天空之镜”最关键的一步。倒影不能从地平线开始就是 100% 不透明,否则会出现一条明显的镜像折线。做法是给倒影加一个渐变蒙版:

js

mg.addColorStop(0,   'rgba(0,0,0,0.58)');
mg.addColorStop(0.5, 'rgba(0,0,0,0.86)');
mg.addColorStop(1,   'rgba(0,0,0,1)');

在地平线处只保留 58% 的倒影,让水色透出来;向下很快过渡到不透明。再叠加一条薄雾带:

js

haze.addColorStop(0.42, rgba([222, 240, 244], 0.36 * p.mist));
haze.addColorStop(0.66, rgba([210, 233, 240], 0.20 * p.mist));

薄雾带跨越地平线上下,既模糊了边界,也模拟了水面附近的水汽。

7. 水色、微光、暗角、颗粒

剩下的步骤是“让画面可信”:

  • soft-light 水色渐变:让倒影整体偏青/偏蓝,越深越浓;
  • 深水渐变:底部压暗,避免倒影和上半部一样亮;
  • screen 微光:随机横向短线,模拟水面反光;
  • 径向暗角:把视线收回到画面中心;
  • 颗粒:用可复现的伪随机噪声,避免每次导出纹理不同。

所有这些都在同一张 canvas 上完成,没有 WebGL,也没有第三方库。

四、交互:让自动结果“可纠正”

自动构图再聪明也会有失误,所以 UI 的重点是让用户能快速纠正:

  • 拖拽、点击上传、Ctrl / ⌘ + V 粘贴,三种入口;
  • 地平线滑杆实时重排画布,输出比例跟着变;
  • 「分析线」开关显示地平线、三分线和主体框;
  • 「按住对比原图」临时显示原片,松开恢复;
  • 四套预设覆盖静谧、盐湖、黄昏、雨后;
  • 导出宽度 1600 / 2400 / 3200,JPEG/PNG 可选。

预览渲染用 requestAnimationFrame 合并高频滑杆事件,避免一次拖动触发几十次完整合成:

js

function scheduleRender() {
  if (rafId) cancelAnimationFrame(rafId);
  rafId = requestAnimationFrame(() => {
    rafId = 0;
    renderPreview();
  });
}

预览宽度同时受 1500px 和 1080px 高度限制;导出时才按用户选择的宽度重新渲染,因此预览不会因为 3200px 导出而卡顿。

五、测试与踩坑

这个项目没有后端,测试重点集中在三件事:布局、接缝、导出。

1. 一条“假接缝”

最初预览里总有一条醒目的虚线。查了很久合成参数,最后发现是 renderPreview 把 guides 写死成了 true:

js

// 错:renderScene(canvas, previewWidth(), true)
renderScene(canvas, previewWidth(), state.guides);

辅助线本来只该在用户点开「分析线」时出现,却一直画在预览上,看起来就像倒影接缝。修复后对真实接缝做逐行采样,三行平均亮度约为 74.8 → 75.7 → 76.7,过渡是连续的。

2. 上下镜像的验证

除了肉眼看,还做了一次数值验证:把输出上半区和下半区翻转后逐像素比较,镜像相关系数达到 0.985。这说明翻转、裁切和缩放没有错位;剩下的 0.015 来自水波、模糊、水色和雾气的有意扰动。

3. 移动端与状态同步

  • 390×844 下 body 宽度精确为 390,没有横向滚动;
  • 切换预设或重置后,flip 开关的 aria-checked 会和实际参数脱节,补了一个 syncFlip();
  • 导出文件名最初用 toISOString(),在东八区会得到前一天;改成按本地年月日拼接。

导出环节用 2400px 宽度实测,输出 2400×2220 的 JPEG 约 489KB,没有控制台错误。

六、局限与下一步

这套方案的核心是启发式,不是语义理解,因此有明确的边界:

  • 主体贴边、画面元素极碎、低对比度时,地平线可能落在错误的位置;
  • 人物特写会被地平线“切”到,需要手动调整;
  • 照片本身已有水面时,工具会重新生成倒影,而不是保留原水面;
  • 极端全景会得到很宽的输出,预览高度会被限制。

下一步如果继续做,我会按优先级尝试:

  1. 轻量语义分割:把 MediaPipe / ONNX 模型放到 Web Worker,区分天空、人物、建筑和水面;
  2. 真正的线检测:用 Hough 变换或 LSD 找长水平线,与显著性分数融合;
  3. 水面掩码:识别原图已有水面,只补倒影,不重复生成;
  4. WebGL 波纹:把逐行 drawImage 换成片段着色器,支持实时 4K 预览;
  5. 批量与预设分享:把参数编码进 URL,方便摄影师批量套用。

结语

「天空之镜」看起来是一个滤镜,实际做的是一次受约束的重新构图:先找到天地之间那条线,再用镜像、波纹、雾气和颜色,让这条线在视觉上消失。

纯前端 Canvas 的限制很明显,但它也逼着我把每一步都做得足够轻:240px 的显著性分析、逐行正弦位移、渐变蒙版、假景深。最终得到的不是一张“完美”的照片,而是一个用户可以参与调整的工具——自动分析给出起点,滑杆和对比按钮把最终决定权还给拍摄者。

这大概就是这类工具最合适的位置:不替用户做决定,但把决定的成本降到最低。