ETL 技术
技术简介ETL(Extract, Transform, Load)是一种数据处理技术,常用于将数据从源系统中提取、转换和加载到目标系统中。下面是关于 ETL 技术的一些重要概念和步骤:
提取(Extract):从各种数据源(如数据库、文件、API 等)中提取数据。这包括确定数据源、连接到数据源并抽取所需数据的过程。
转换(Transform):对提取的数据进行清洗、整合、转换和规范化。转换步骤可能包括数据清洗、数据过滤、数据校验、数据聚合、数据计算、数据格式转换等。
加载(Load):将转换后的数据加载到目标系统(如数据仓库、数据库、数据湖等)中。加载过程可能包括创建目标表结构、定义数据映射、执行数据加载、执行数据验证等。
技术实现ETL 技术的主要目标是确保数据的质量、一致性和可用性。它在数据仓库、商业智能和大数据分析等领域中发挥着重要作用。ETL 流程可以使用各种工具和编程语言来实现,下面是一些常用的 ETL 工具:
Apache Airflow:一个开源的数据管道编排工具,可以用于构建、规划和监控 ETL 任务。
Apache Spark:一个快速的大数据处理框架,提供 ETL ...
Intellij IDEA 不完全食用指北
IntelliJ IDEA 是一款功能强大的集成开发环境 (IDE),常用于用于开发 Java、Kotlin、Groovy 等编程语言的应用程序
技巧快捷键熟悉并使用 IntelliJ IDEA 的快捷键可以显著提高开发效率,可以在 “Settings -> Keymap” 中查看和修改快捷键设置,常用快捷键如下:
Ctrl + Alt + S:打开设置
Ctrl + Alt + L:可以格式化代码
Ctrl + Space:可以进行代码自动补全
Ctrl + Shift + T:可以快速生成测试类代码自动补全IntelliJ IDEA 的代码自动补全功能非常强大。当你输入代码时,按下 Ctrl + Space 可以触发自动补全,并显示可用的选项;可以使用上下箭头来选择,按下 Enter 键进行补全快速导航IntelliJ IDEA 提供了多种快速导航功能,帮助你在代码中快速移动和定位。例如,使用 Ctrl + N 可以快速查找类,Ctrl + Shift + N 可以快速查找文件,Ctrl + Alt + Shift + N 可以快速查找符号(方法、变量等)等等重构工具Int ...
通过组策略启用被 Microsoft Edge 禁用的扩展
问题描述早上打开 Edge 发现 Proxy SwitchyOmega 扩展被禁用了,点击详细信息打开商店页面 404;应该是从 Microsoft Edge 扩展商店下架了,原因不得而知要使用 Proxy SwitchyOmega 扩展,个人已知解决方法有如下两种:
重新安装:使用开发者模式本地安装
继续使用:配置策略启用被禁用的扩展策略模板组策略默认是没有 Edge 相关条目的,好在 Edge 官网商业版提供策略模板可供下载导入并有相应的官方文档1
下载下来文件名为:MicrosoftEdgePolicyTemplates.cab,打开提取解压,得到策略模板文件
依次打开 MicrosoftEdgePolicyTemplates > admx,将 msedge.admx 文件复制到策略定义文件夹(默认:C:\Windows\PolicyDefinitions)
再从 admx 目录下相应的语言文件夹中(zh-CN),将 msedge.adml 文件复制到策略定义文件夹内同名的语言文件夹中(C:\Windows\PolicyDefinitions\zh-CN)然后 Windo ...
Windows 11 开启 UWF 实现影子系统
问题描述如今身在乙方,电脑会安装各种甲方软件,烦不胜烦,就打算继续使用之前(Windows 7)使用过的影子系统做重启还原,然而官网已经打不开了。通过搜索并试用了重启还原,结果用是能用,但是出现一个令人发指的情况:推出虚拟系统以后,E 盘(都不是系统盘)变成每次重启就还原了,而且找不到关闭窗口,最后无奈只能重装系统。想着免费的果然不是好东西,就把目光转向了付费软件,如:Deep Freeze;从官网描述看貌似不支持 Windows 11,好在提供 30 天试用可避免出现上述情况,先进行完整备份系统再试用,然后等待的时间里,又搜到了 Windows 系统自带的功能:UWF (Unified Write Filter)
简要说明UWF,统一写入筛选器 (Unified Write Filter) 是 Windows Embedded 的一个功能,它允许用户将系统配置为只读模式,所有更改都将被临时保存在内存或者单独划分的硬盘分区中,保护数据安全并提高系统和软件运行速度,相关数据在计算机重启后被丢弃,不会对系统造成任何不利影响。
系统要求确保计算机满足 UWF 的要求:
安装了 Windo ...
Switch 模拟器不完全食用指北
一直以来都想买一部 Switch 玩玩,只是始终没有找到长期一起玩的人以及居无定所,在朋友家体验了几次也就放弃了。近期 王国之泪 大火,想着装个模拟器体验下:Ryujinx & YUZU,下文以 Ryujinx 为例。
文件准备
说明
keys
prod & title
firmware
固件
ROM
游戏镜像
PS.模拟器下载安装部分省略,可以使用 Ns Emu Tools,该环节需要科学上网
密钥 & 固件访问PROD.KEYS网站根据模拟器下载产品同意版本的密钥以及固件;把 prod.keys 和 title.keys 指定的目录:
Ryujinx:C:\Users\用户名\AppData\Roaming\Ryujinx\system
YUZU:\user\keys安装固件Ryujinx 可以依次点击“工具” -> “安装固件” -> “从 XCI 或 ZIP 安装固件”或者跟 YUZU 一样直接使用 Ns Emu Tools 安装添加游戏更新 & DLC其他设置依次点击“模拟” -> “设置” ...
使用 sersync 实时同步数据
实时将生产服务器同步到灾备服务器
服务器 A(生产服务器)
服务器 B(灾备服务器)
https://wsgzao.github.io/post/sersync/
inotify 优化 /proc/sys/fs/inotify 的三个文件
max_user_watches:设置 inotifywait 或 inotifywatch 命令可以监控文件数量(单进程)
max_user_instances:设置每个用户可以运行的 inotifywait 或 inotifywatch 命令的进程数
max_queued_events:设置 inotify 实例事件(event)队列可容纳的事件数量
123ll /proc/sys/fs/inotifyecho "5000000" >/proc/sys/fs/inotify/max_user_watchesecho "5000000" >/proc/sys/fs/inotify/max_queued_events
服务器 A安装 rsync下载地址 & 配置
1234567w ...
合肥高新区公租房:皖水公寓
详情请阅读合肥高新区公共租赁住房管理办法,申请已经改为线上
确认资格确认申请资格,看自己是否可以申请公租房,三种人可以申请:
新近毕业就业无房职工
稳定就业的外来务工人员
中等偏下收入住房困难家庭
对应的准入条件可在合肥市住房保障和房产管理局查询,以下按第 2 种情况进行说明。
排队等房确定可以申请后,去皖水公寓服务中心(安医大一附院高新院区斜对面)填表排队:个人信息 & 公司信息(公司类似于担保方,需要盖公章)。
有房源之后会电话通知,提前加客服微信获取要准备的材料
准备材料需要全部打印(可以双面)并签字盖章,然后扫描(拍照也行)处理成 PDF 文件:电子件上传到网上,纸质文件等网上审核完成现场提交
1.合肥高新区公共租赁住房申请书
2.申请人身份证复印件
3.户口本首页及本人页复印件
4.单位营业执照复印件
5.劳动合同(第一页、合同期限页、最后一页)复印件
6.租赁合同(P2/13/23 和骑缝章、P8 页填写行政信息,P13 页乙方委托代理人签名与 P8 页一致)
7.近一个月内社保流水明细
8.近一个月内无房证明
最后两份材料需要去政务大厅打印(不需要盖公司公 ...
Obidian:标注块示例
标注块功能最常用的就是在笔记中将 关键内容 或 重点内容 进行标注,使用方法如下:1> [!类别]
类别
类别
说明
note
注释类
todo
任务类
tip
提示类
success
完成类
question
问题类
warning
提醒类
fail
错误类
danger
警告类
bug
Bug 类
example
示例类
qnote
引用类
示例
[!note] 注释类
[!todo] 任务类
[!tip] 提示类
[!success] 完成类
[!question] 问题类
[!warning] 提醒类
[!fail] 错误类
[!danger] 警告类
[!bug] Bug 类
[!example] 示例类
[!qnote] 引用类