https://api.vvhan.com/api/avatar/boy

技术博客分享

hive-中可能产生小文件的场景

在 MapReduce 任务中,如果 Reduce 任务数设置过多,且每个 Reduce 任务处理的数据量较小,会导致生成大量小文件。操作中,如果分组字段的基数(Cardinality)较高,且每个分组的数据量较小,会导致每个分组生成一个小文件。使用动态分区插入数据时,如果分区数量较多且每个分区的数据量较小,会导致每个分区生成一个小文件。使用分桶表时,如果分桶数设置过多且每个分桶的数据量较小,会导致生成小文件。分区字段有大量不同的值,且每个分区的数据量较小,会生成大量小文件。

Flink-学习路线

最近想学习一下Flink,公司的实时需求还是不少的,因此结合ai整理了一份学习路线,记录一下。当然,公司也有Scala版本Flink框架,也学习了一下。这里只说Java版本。

计算机视觉一文读懂NeRF为3D场景重建带来新突破

在计算机视觉和图形学领域,3D 场景重建 一直是一个核心且具有挑战性的研究方向。传统方法,如多视角几何、点云重建和显式 3D 建模,虽然在特定场景中取得了一定成果,但也存在明显的局限性,例如存储效率低、渲染效果不够理想、难以处理动态场景等。而 神经辐射场(Neural Radiance Fields,简称 NeRF) 的提出,为这一领域带来了全新的解决方案和技术突破。

react实现一个列表的拖拽排序react实现拖拽

比较流行的有react-beautiful-dnd和dnd-kit,可能还有react-sortable-hoc,不过这个好像已经不再维护了。我的项目里使用了antd,antd表格有一个示例还是挺像的,本来我想用Table实现,它自带拖拽。这个作者最后推荐了dnd-kit所以我最后选择了这个库,但其实我这个需求用react-beautiful-dnd‌ 也能实现。您还需要确保安装了对等依赖项。这里有两个版本,我不想用immutability-helper库,觉得多一个依赖没啥意义,所以我去掉了。

康谋应用-基于多传感器融合的海洋数据采集系统

在海洋监测与无人艇控制领域,数据采集面临数据噪声误差、融合协同等挑战。本文康谋深度剖析基于多传感器融合的海洋数据采集系统交付案例,详细解析其方案架构、系统搭建等内容,展现如何提升数据采集质量,从而推动无人艇自主航行及算法训练!

小白向UbuntuVMware-新建虚拟机后打开-SSH-服务在主机上安装vscode并连接配置-git-的-ssh

本文详细指导了在 VMware 的 Ubuntu 虚拟机中开启 SSH 服务,并通过 VSCode Remote-SSH 插件实现远程开发环境搭建。步骤包括安装 OpenSSH 服务器、配置防火墙规则;主机端安装 VSCode 及插件并连接虚拟机;最后完成 Git 的 SSH 认证配置,包含生成密钥对、添加平台公钥及用户信息设置。文中还提供了常见问题的解决方案(如网络配置错误、认证失败等),帮助读者快速实现安全高效的跨平台开发与代码管理。

Angular由一个bug说起之十四SCSS-import-警告与解决案

SCSS @import 警告与解决⽅案⚠ 警告信息?为什么会有这个警告?Sass 官⽅已经废弃 @import ,推荐使⽤ @use 和 @forward 进⾏模块化管理。其主要原因包括:1.: @import 允许多个⽂件共享变量和混合宏,可能导致命名冲突。2.: @import 可能导致相同的⽂件被导⼊多次,影响编译性能。3.: @import 导⼊的所有内容都是全局的,⽽ @use 采⽤更严格的作⽤域管理,避免变量污染。?如何复现这个警告?