ComputerVision

鱼眼模型介绍 这里直接截取鱼眼镜头的成像原理到畸变矫正的原文作为此文的引子： 鱼眼镜头一般是由十几个不同的透镜组合而成的。在成像的过程中，入射光线经过不同程度的折射，投影到尺寸有限的成像平面上，使得鱼眼镜头与普通镜头相比起来拥有了更大的视野范围。 在研究鱼眼相机成像时，可以将上面的镜头组简化为一个球面： 图中，$O_1-X_cY_cZ_c$是相机坐标系，$O_2-xy$是成像平面。世界中有一点$P$，入射角为$\theta$。如果按照针孔相机模型，入射光线$PO_1$经过镜头后不改变路线，$p’$为$P$的成像点。但对于鱼眼相机，入射光线经过镜头后会发生折射，因此$p$才是$P$的成像点，极坐标表示为$(r, \varphi)$ 。 可以用投影函数来对光线的折射建模。根据投影函数的不同，鱼眼相机的传统模型大致能被分为五种：透视投影（即针孔相机模型）、等积投影、等距投影、体视投影、正交投影。 投影模型 投影函数 特征 i. 透视投影 (perspective projection) $r = ftan\theta$ 针孔相机模型 ii. 体视投影 (stereographic projection) $r = 2ftan\frac \theta 2$​ 任何直线相交的角度，在变换后保持不变 iii. 等距投影 (equidistance projection) $r = f\theta$ 物体成像面上距离画面中心的距离与入射角成正比 iv. 等积投影 (equisolid angle projection) $r = 2fsin\frac \theta 2$​ 在变换前后，物体所占的立体角大小不变 v. 正交投影 (orthogonal projection) $r = fsin\theta$ 投影畸变最大，而且最大视场角不能大于180° OpenCV所用模型 先看OpenCV文档的原文： Let $P$ be a point in 3D of coordinates X in the world reference frame (stored in the matrix X) The coordinate vector of $P$ in the camera reference frame is: ...

查阅AirSim的文档可知，AirSim支持通过simSetDistortionParams设置K1, K2, K3, P1, P2这5个畸变系数。UE镜头畸变模拟：OpenCV Lens Distortion一文提及过，Unreal的OpenCV Lens Distortion插件是通过生成的Post Process Material对UV坐标施加偏移来模拟镜头畸变。那么，AirSim又是如何处理的呢？ 基本流程探究 打开任意集成了AirSim插件的Unreal工程，用Visual Studio翻阅工程源码，重点是AirSim插件的cpp代码。 在整个项目中搜索simSetDistortionParams，找到RPC客户端和服务端的实现。客户端： // <path-to-project>\Plugins\AirSim\Source\AirLib\src\api\RpcLibClientBase.cpp void RpcLibClientBase::simSetDistortionParam(const std::string& camera_name, const std::string& param_name, float value, const std::string& vehicle_name, bool external) { pimpl_->client.call("simSetDistortionParam", camera_name, param_name, value, vehicle_name, external); } 服务端： // <path-to-project>\Plugins\AirSim\Source\AirLib\src\api\RpcLibServerBase.cpp // 省略其余binding... pimpl_->server.bind("simSetDistortionParam", [&](const std::string& camera_name, const std::string& param_name, float value, const std::string& vehicle_name, bool external) -> void { getWorldSimApi()->setDistortionParam(param_name, value, CameraDetails(camera_name, vehicle_name, external)); }); // ... 顺藤摸瓜，找到WorldSimApi::setDistortionParam： void WorldSimApi::setDistortionParam(const std::string& param_name, float value, const CameraDetails& camera_details) { APIPCamera* camera = simmode_->getCamera(camera_details); UAirBlueprintLib::RunCommandOnGameThread([camera, &param_name, &value]() { camera->setDistortionParam(param_name, value); }, true); } 再看APIPCamera::setDistortionParam： void APIPCamera::setDistortionParam(const std::string& param_name, float value) { distortion_param_instance_->SetScalarParameterValue(FName(param_name.c_str()), value); } 查看APIPCamera类的声明，重点关注带“distortion”字样的成员： // <path-to-project>\Plugins\AirSim\Source\PIPCamera.h UCLASS() class AIRSIM_API APIPCamera : public ACineCameraActor //CinemAirSim { // 省略了其余代码... private: UPROPERTY() TArray<USceneCaptureComponent2D*> captures_; // ... UPROPERTY() UCineCameraComponent* camera_; // ... UPROPERTY() TArray<UMaterialInstanceDynamic*> distortion_materials_; UPROPERTY() UMaterial* distortion_material_static_; // ... }; 可以猜测AirSim也是通过设置Post Process Material来模拟的畸变。查找distortion_materials_和distortion_material_static_的引用，找到： ...

出于仿真的需要，希望在Unreal中能模拟鱼眼镜头的畸变效果，看到UE官方提供了Lens Distortion和OpenCV Lens Distortion两款插件用于模拟镜头畸变，但可惜相关资料不多。UE的博文UE中的相机标定、畸变模拟与矫正 - Unreal Engine做了些介绍，但步骤却又不是很详尽，初学者如我使用时不免多绕了些路，遂写下此文。 插件介绍 这里结合UE中的相机标定、畸变模拟与矫正 - Unreal Engine的介绍，总结如下： Lens Distortion和OpenCV Lens Distortion用的camera model是一样的，背后的原理也类似。都是根据相机畸变参数生成displacement map，以此模拟镜头畸变 Lens Distortion没有标定功能，且只包含了畸变系数的前几项 Lens Distortion通过shader生成displacement map，而OpenCV Lens Distortion通过OpenCV的API用CPU计算生成，前者效率更快。不过由于displacement map通常只生成一次，这里的效率差异不太重要 补充：什么是displacement map？ A displacement map is a type of texture that is used in 3D computer graphics to create the illusion of depth and detail on a surface without actually changing the geometry of the mesh. A displacement map is typically a grayscale image where the brightness values of each pixel correspond to the amount of displacement that should be applied to the surface at that point. ...