DNS 解析慢怎么排查和修复?从 curl、dig 到 Kubernetes 的实战指南
- 分类
- DNS
- 发布
- 篇幅
- 约 6,900 字
- 阅读
- 约 20 分钟
摘要DNS 解析慢怎么排查?先别急着清缓存或改 8.8.8.8。本文用 curl 拆分耗时锁定瓶颈,覆盖 Windows/macOS/Linux、浏览器与 VPN、递归与 UDP 截断、IPv6、DNSSEC 及 Kubernetes ndots 与 CoreDNS 的完整排错和修复方案。
目录
- 第一步:用 curl 确认慢的到底是不是 DNS
- 看懂 curl 的累计计时
- 用 --resolve 做固定 IP 对照
- dig 很快但应用很慢?排查本机解析路径差异
- 先测系统 getaddrinfo(),再对照 dig
- Windows:网卡上的 DNS 不是全部真相
- macOS:别只看第一个 nameserver
- Linux:分清 systemd-resolved、glibc 和 dig
- 浏览器与 VPN:确认域名到底交给了谁
- 多域名普遍变慢:对比递归 DNS(别盲目切 8.8.8.8)
- 分析结果时别掉进这四个坑
- 偶发停顿几秒:排查丢包、UDP 截断与 TCP 回退
- EDNS 大响应与 IP 分片丢包
- 分清 IPv6 DNS 传输慢还是 IPv6 网站连不上
- 只有单个域名异常:查权威服务器、委派与 DNSSEC
- 用 +cdflag 快速判断是不是 DNSSEC 坏了
- 记录明明改好了,为什么还是旧值或报错?
- Kubernetes Pod 解析慢:ndots、CoreDNS 与 NodeLocal DNSCache
- 在出问题的 Pod 里现场取证
- 谨慎灰度 ndots:2
- 看 CoreDNS 指标与节点层瓶颈
- 应用层卡顿:线程池、连接池与缓存陷阱
- 什么时候该清 DNS 缓存,怎么确认修好了
- 常见问题
- 把 DNS 改成 1.1.1.1 或 8.8.8.8 能彻底解决 DNS 慢吗?
- 为什么 dig 很快,浏览器打开网页还是很卡?
- Kubernetes 里把 ndots 改成 2 有什么副作用?
- 为什么改完域名解析记录,过很久还是旧 IP 或报错?
- 参考资料
浏览器第一次打开网站卡住好几秒,刷新一下又秒开;线上服务调外部 API 隔三差五超时;同一个域名在自己电脑上飞快,放到 Kubernetes Pod 里却慢半拍。
遇到这些现象,很多人第一反应是「清一下 DNS 缓存」或者「把 DNS 改成 8.8.8.8」。运气好能蒙对,但大多数时候只是掩盖了现象,甚至把问题搞大——在公司内网或 VPN 环境下,贸然切到公共 DNS 会直接让内网域名解析失败,还会把内部域名白白暴露给外部解析器。
更麻烦的是,网页卡顿、接口超时未必真的是 DNS 的锅。TCP 建连丢包、IPv6 黑洞、TLS 握手慢,表现出来都很像「DNS 卡住了」。真正高效的排错只有一件事:先拿证据,确认卡在哪一层、请求发给了谁、收到了什么返回,再动手改。
先看一张速查表,按你的现象直接跳到对应章节:
| 现象 | 优先排查方向 | 对应章节 |
|---|---|---|
| 不确定是不是 DNS 慢 | 用 curl 拆分解析、建连、TLS 与首字节耗时 | 第一步:用 curl 确认 |
dig 很快,浏览器或某个应用很慢 | 对比系统解析路径、浏览器 DoH 与 VPN 分流规则 | 排查本机解析路径 |
| 很多无关域名一起变慢 | 对比当前递归 DNS 与候选解析器、检查路由器转发 | 对比递归 DNS |
| 平时正常,偶发停顿 2–5 秒 | 排查 UDP 丢包、响应截断(TC=1)与 TCP 53 回退 | 丢包与 TCP 回退 |
| 双栈网络下打开网站很慢 | 分离 IPv6 DNS 传输故障与 IPv6 网站建连故障 | 分离 IPv6 问题 |
| 换了几个 DNS,还是只有这一个域名异常 | 排查父区委派、权威服务器一致性与 DNSSEC | 权威与 DNSSEC |
| 宿主机正常,只有 Kubernetes Pod 慢 | 检查 ndots 搜索后缀、CoreDNS 上游与 NodeLocal | Kubernetes Pod 排查 |
| 网络查询很快,应用调用解析依然慢 | 排查线程池排队、连接池复用与缓存策略 | 应用层排查 |
以下命令里的
example.com和192.0.2.53都是占位符,实操时换成你实际出问题的域名和解析器 IP。内网域名请只发给公司授权的解析器,不要拿公共 DNS 去测。
第一步:用 curl 确认慢的到底是不是 DNS
动手查 DNS 之前,先用 curl 把一次完整 HTTPS 请求的各个阶段拆开看。找一个响应体不大、可以重复请求的 URL,直接在出问题的机器和网络环境里跑一轮采样(Windows PowerShell 里请明确执行 curl.exe,避免命中 Invoke-WebRequest 别名):
# 直连、HTTP/1.1、不跟随重定向,连续采样 20 次
url='https://example.com/'
fmt='ip=%{remote_ip} http=%{http_version} new_conn=%{num_connects} code=%{http_code} lookup=%{time_namelookup} connect=%{time_connect} tls=%{time_appconnect} ready=%{time_pretransfer} first_byte=%{time_starttransfer} total=%{time_total}'
curl --version
for ((i=1; i<=20; i++)); do
printf 'run=%s ' "$i"
if curl -q --noproxy '*' --http1.1 -sS -o /dev/null \
--connect-timeout 5 --max-time 15 -w "$fmt" "$url"; then
rc=0
else
rc=$?
fi
printf ' curl_rc=%s\n' "$rc"
sleep 1
done
几个参数的作用:
-q必须放在第一个参数位置,用来忽略本机的.curlrc,避免隐藏配置干扰结果。--noproxy '*'强制直连,排除环境变量里的代理。如果业务本身必须走代理,就另外跑一组不带--noproxy的样本对比,别把两种路径混在一起算。- 每轮起一个新进程,确保不会复用上一轮的 TCP 连接和进程内缓存(注意这不会清掉操作系统或上游递归的缓存)。
看懂 curl 的累计计时
很多人第一次看 curl -w 会把几个时间加起来算,这是错的。curl 官方手册里这几个变量都是从请求开始算起的累计秒数,需要做减法:
| 阶段 | 计算方式 | 看什么 |
|---|---|---|
| 名称解析 | time_namelookup | 占比高,说明确实卡在 DNS 或本机解析 |
| TCP 建连 | time_connect - time_namelookup | 占比高,查丢包、路由或 IPv6 建连,别再折腾 DNS |
| TLS 握手 | time_appconnect - time_connect | 占比高,查证书链、丢包或服务端握手 |
| 请求发送与服务端等待 | time_starttransfer - time_pretransfer | 占比高,通常是请求发送、网络 RTT 或后端处理慢(time_starttransfer 本身对应完整 TTFB) |
读数据时注意三个细节:
- 先看退出码(
curl_rc)再看耗时:6是目标域名解析失败,5是代理域名解析失败,28是超时(超时可能卡在解析、建连或握手任意一步)。失败请求里未完成的阶段通常会打印成0.000,别把0当成「解析极快」。 - HTTP/3 和重定向会打乱时间线:HTTP/3 跑在 QUIC 上,不适用「先 TCP 后 TLS」的拆分;想单独测 HTTP/3 需要用
--http3-only。加了-L跟随重定向会把多跳主机的耗时叠在一起,先不加-L看第一跳。 - 代理会改变解析地点:普通
socks5在本地解析域名,socks5h交给代理解析,此时time_connect测到的也可能是到代理的连接时间。
用 --resolve 做固定 IP 对照
如果怀疑是 DNS 慢,可以用 curl --resolve 直接指定 IP 做 A/B 对照。它的好处是不改 /etc/hosts,URL 里依然保留域名,HTTP Host 头、TLS SNI 和证书域名校验全都正常走,不需要加 -k。
host='example.com'
url="https://$host/"
base=(-q --noproxy '*' --http1.1 --ipv4 -sS -o /dev/null
--connect-timeout 5 --max-time 15)
fmt='ip=%{remote_ip} lookup=%{time_namelookup} connect=%{time_connect} tls=%{time_appconnect} first_byte=%{time_starttransfer} total=%{time_total}'
if ! ip=$(curl "${base[@]}" -w '%{remote_ip}' "$url"); then
printf '基准请求失败,无法获取固定 IP\n' >&2
exit 1
fi
: "${ip:?未取得远端 IP}"
for ((i=1; i<=10; i++)); do
modes=(normal pinned)
if ((i % 2 == 0)); then modes=(pinned normal); fi
for mode in "${modes[@]}"; do
extra=()
if [[ "$mode" == pinned ]]; then extra=(--resolve "$host:443:$ip"); fi
printf 'run=%s mode=%s ' "$i" "$mode"
if curl "${base[@]}" "${extra[@]}" -w "$fmt" "$url"; then
rc=0
else
rc=$?
fi
printf ' curl_rc=%s\n' "$rc"
done
sleep 1
done
如果 pinned 组非常稳定,normal 组反复在 lookup 阶段卡顿,那基本就坐实是解析路径的问题了。对比时记得核对两组的 remote_ip——如果正常组每次分到不同的 CDN 节点,端到端耗时差异里会混入节点本身的响应速度。另外,--resolve 只用来排查,千万别拿固定 CDN IP 当长期方案,CDN 节点随时可能下线或调度。
dig 很快但应用很慢?排查本机解析路径差异
这是排错中最容易让人困惑的场景:终端里敲一下 dig example.com,10 毫秒就回来了,但浏览器或者业务程序依然卡顿。
原因在于,dig 走的只是纯 DNS 报文路径,而应用程序走的是完整解析链路。应用通常会依次经过:进程内缓存 → hosts 文件 → 操作系统解析服务(如 Linux 的 NSS / systemd-resolved、Windows DNS Client、macOS mDNSResponder)→ 最后才发给递归解析器。
- 在 Linux 上,
dig默认读/etc/resolv.conf,即使指向127.0.0.53,也没有走完 glibc 的 NSS(/etc/nsswitch.conf)逻辑;直接@8.8.8.8更是绕过了本地服务。 - 在 Windows 上,微软官方文档明确指出
nslookup不走系统 DNS 缓存。所以经常出现nslookup已经拿到新 IP,业务程序却还卡在旧的负缓存里。 - 浏览器(如 Chrome/Chromium)还有自己的 HostCache、内置 DNS 客户端甚至独立的 DoH 设置。
先测系统 getaddrinfo(),再对照 dig
用 Python 调一下操作系统的 getaddrinfo(),最接近普通应用的真实解析路径:
python3 - example.com <<'PY'
import socket
import sys
import time
host = sys.argv[1]
for i in range(1, 11):
started = time.perf_counter()
try:
rows = socket.getaddrinfo(host, 443, type=socket.SOCK_STREAM)
elapsed = time.perf_counter() - started
addresses = sorted({row[4][0] for row in rows})
print(i, "OK", f"{elapsed:.6f}s", ",".join(addresses))
except socket.gaierror as error:
elapsed = time.perf_counter() - started
print(i, "ERROR", f"{elapsed:.6f}s", repr(error))
time.sleep(1)
PY
对比一下就能快速分叉:
getaddrinfo()慢、dig快:重点查系统本地解析服务、搜索后缀(search domain)和按域路由。getaddrinfo()快、只有浏览器慢:重点查浏览器的安全 DNS(DoH)和企业策略。
Windows:网卡上的 DNS 不是全部真相
在 PowerShell 里先把实际生效的解析配置看全:
ipconfig /all
Get-DnsClientServerAddress
Get-DnsClientNrptPolicy -Effective
nslookup example.com.
ipconfig /displaydns
连着 VPN 时,除了网卡上的 DNS 地址和后缀,一定要看 Get-DnsClientNrptPolicy -Effective。NRPT(名称解析策略表)会按域名后缀把请求分流到指定服务器,网卡里排第一的 DNS 未必就是最终处理该域名的服务器。
macOS:别只看第一个 nameserver
scutil --dns
macOS 除了默认 resolver,还支持按域名匹配的 scoped / supplemental 配置。VPN 接入的内网域名通常走 supplemental 规则,公网域名正常不代表内网分流配对了。
Linux:分清 systemd-resolved、glibc 和 dig
如果系统跑着 systemd-resolved,一次性核对这几项:
systemctl is-active systemd-resolved
resolvectl status
resolvectl statistics
ls -l /etc/resolv.conf
readlink -f /etc/resolv.conf
grep '^hosts:' /etc/nsswitch.conf
resolvectl query example.com
getent ahosts example.com
dig example.com. A
/etc/resolv.conf 里看到 127.0.0.53 时,它只是本地 stub 入口,真正的上游和每张网卡的分流规则都在 resolvectl status 里。把 resolvectl query(resolved 路径)、getent ahosts(glibc NSS 路径)和 dig(纯 DNS 报文路径)的耗时与返回放一起比,往往一眼就能看出卡在哪个环节。
千万别为了图省事手动覆盖 /etc/resolv.conf 或 chattr +i 锁死它。它通常由 NetworkManager、systemd-networkd 或 VPN 客户端动态接管,强行改文件会破坏每接口分流策略,应该回到对应的网络管理器里改配置。
浏览器与 VPN:确认域名到底交给了谁
Chromium 的 DNS 架构支持在系统 getaddrinfo() 和内置异步 DNS 客户端之间切换,并维护独立的 HostCache。如果你开启了浏览器的「安全 DNS(DoH)」并手动指定了外部服务商,浏览器的查询就会绕开系统 DNS 和公司内网解析器。关于 DoH 的加密边界和隐私取舍,可以参考 DNS 查询为什么要加密。
VPN 排错时要分清两个概念:split tunneling 是按目标 IP 决定流量走不走隧道,split DNS 是按域名决定 DNS 查询发给谁。在 systemd-resolved 里,带波浪号的 ~corp.example 是路由域(只分流、不补全短名),不带波浪号的才是 search domain(能把 wiki 补成 wiki.corp.example),~. 则是兜底路由。
实测时,把完整内网域名(FQDN)和短名分开测:完整域名正常、短名很慢,八成是搜索后缀拖了后腿;系统命令正常、只有浏览器打不开,优先查浏览器的 DoH 提供商和企业策略。
多域名普遍变慢:对比递归 DNS(别盲目切 8.8.8.8)
如果一堆毫无关系的网站都在解析阶段变慢,问题大概率出在本地路由器转发、运营商递归 DNS,或者出口网络上。如果多个解析器只对同一个域名失败或超时,那通常是那个域名自己的权威或委派坏了,换本地 DNS 没用。
不用改系统配置,直接用 dig 轮询对比当前 DNS 和公共解析器(比如 1.1.1.1、8.8.8.8)。也可以顺手用本站的 在线 DNS 查询工具 核对公共解析器的返回结果。
# Linux / Bash 4+,需要 BIND dig 和 GNU shuf;先将 CURRENT 换成你当前实际使用的 DNS IP
CURRENT='192.0.2.53'
NAME='example.com.'
logdir=$(mktemp -d)
TIMEFORMAT='process_wall_s=%3R'
printf 'round\tserver\ttype\tdig_rc\tfile\n' > "$logdir/attempts.tsv"
dig -v > "$logdir/dig-version.txt"
for ((round=1; round<=10; round++)); do
mapfile -t order < <(printf '%s\n' "$CURRENT" 1.1.1.1 8.8.8.8 | shuf)
types=(A AAAA)
if ((round % 2 == 0)); then types=(AAAA A); fi
for server in "${order[@]}"; do
for type in "${types[@]}"; do
file="$logdir/${round}-${server}-${type}.txt"
if { time dig -r "@$server" -q "$NAME" -t "$type" \
+nosearch +timeout=2 +tries=1; } > "$file" 2>&1; then
rc=0
else
rc=$?
fi
printf '%s\t%s\t%s\t%s\t%s\n' \
"$round" "$server" "$type" "$rc" "$file" >> "$logdir/attempts.tsv"
done
done
sleep 1
done
printf '日志目录:%s\n' "$logdir"
分析结果时别掉进这四个坑
Query time不等于真实等待时间:BINDdig在 TCP 模式下是等 TCP 建连完成后才开始计时的,所以dig +tcp的Query time里不含建连耗时;重试之前的超时等待也不一定体现在最后一条统计里。上面脚本同时记了process_wall_s(进程墙钟时间),两者对照着看才靠谱。- 先按状态码分类,别把失败样本剔掉算平均数:
| 状态 / 现象 | 含义与判断 |
|---|---|
无响应 / dig_rc != 0 | 网络超时或工具报错,保留退出码和 stderr,不代表域名不存在 |
SERVFAIL | 解析失败(上游超时、委派错误或 DNSSEC 校验失败),重点排查 |
NXDOMAIN | 域名不存在。dig 退出码依然是 0,别把它当成成功拿到 IP |
NOERROR 但 Answer 为空 | 常见于只配了 IPv4 的域名查 AAAA,属于正常 NODATA |
- 第一轮不等于「公共 DNS 冷缓存」:清掉本机缓存不会清空公共递归的共享缓存,别人刚查过的域名它早就缓存好了。拿随机子域名去测冷缓存也不准确,因为随机子域名走的是
NXDOMAIN或泛解析路径。 - DNS 快不代表网站打开快:公共 DNS 通过 Anycast 路由,并不保证一定连到地理上最近的节点。更重要的是,很多 CDN 会根据递归 DNS 的出口 IP 调度节点——Google Public DNS 支持 EDNS Client Subnet(ECS),会把你的部分网段透传给权威;Cloudflare 默认不传 ECS。如果换了 DNS 导致分配到绕路的 CDN 节点,DNS 省下 10 毫秒,网页加载反而多花 200 毫秒。详细对比可以看这篇 Cloudflare DNS vs Google Public DNS 选型指南。
另外,网卡里填一主一备两个 DNS,系统并不会每次并发竞速,通常是主 DNS 超时后才切备用。不要把公司内网 DNS 和 8.8.8.8 混写成主备——一旦主 DNS 抖动,查询落到 8.8.8.8 会直接拿回 NXDOMAIN。
偶发停顿几秒:排查丢包、UDP 截断与 TCP 回退
如果平时解析只要十几毫秒,但隔一会儿就突然卡住 2 到 5 秒,这往往不是解析器本身慢,而是丢包重试或者 UDP 截断后回退 TCP 失败。
很多人以为 DNS 只用 UDP 53 端口,TCP 53 只是用来做区域传送的。其实 RFC 7766 早就明确要求通用 DNS 同时支持 UDP 和 TCP。当响应太大、UDP 装不下时,服务器会返回一个带 TC=1(Truncated)标志的包,客户端收到后再改用 TCP 53 重查。如果防火墙只放行了 UDP 53 而拦了 TCP 53,小查询一切正常,大响应就会反复超时。
注意:UDP 根本没回包(丢包)时,没有
TC=1标志,客户端会先走自身的超时重试策略,而不是立刻切 TCP。
用下面三条 dig 命令交叉验证(把 R 换成你的实际解析器 IP):
R='192.0.2.53'
Q='example.com.'
# 1. 纯 UDP 测试:+ignore 禁止收到 TC 后自动切 TCP
dig -r "@$R" "$Q" A +notcp +ignore +bufsize=1232 +timeout=2 +tries=1
# 2. 纯 TCP 测试
dig -r "@$R" "$Q" A +tcp +timeout=2 +tries=1
# 3. 允许正常截断回退
dig -r "@$R" "$Q" A +notcp +noignore +bufsize=1232 +timeout=2 +tries=1
这里有个细节:只写 +notcp 并不会禁止截断后回退 TCP,必须配上 +ignore。
- UDP 没回包、TCP 正常:排查 UDP 路径丢包、NAT 超时或大包被丢弃。
- UDP 返回
tc标志、TCP 建连失败:十有八九是防火墙拦了 TCP 53。 - TCP 建连成功但没有 DNS 响应:问题在服务端处理或上游,不只是端口不通。
EDNS 大响应与 IP 分片丢包
开启 DNSSEC 的域名,响应里带上签名和 DNSKEY 后很容易超过传统大小。如果客户端通过 EDNS 声明了过大的 UDP 缓冲(比如 4096),中间链路一旦发生 IP 分片,而防火墙或路由器丢弃了分片包,就会出现「普通域名飞快、某些大响应域名频繁超时」。
1232 是行业常用的保守诊断值(IPv6 最小 MTU 1280 减去 40 字节 IPv6 头和 8 字节 UDP 头),RFC 9715 则建议最大负载 1400 字节并允许更小值。怀疑大包分片时,找目标区域里启用了 DNSSEC 的 DNSKEY 记录对比测试:
Z='example.com.'
dig -r "@$R" "$Z" DNSKEY +dnssec +notcp +ignore +bufsize=4096 +timeout=2 +tries=1
dig -r "@$R" "$Z" DNSKEY +dnssec +notcp +ignore +bufsize=1232 +timeout=2 +tries=1
dig -r "@$R" "$Z" DNSKEY +dnssec +tcp +timeout=2 +tries=1
如果 4096 超时、1232 收到 tc、+tcp 秒回,基本就是大 UDP 包在链路上被丢了。进一步定位可以在 Linux 上抓包看时间线(别只过滤 udp port 53,否则会漏掉没有 UDP 头的后续分片包和 ICMP 提示):
sudo tcpdump -ni any -s 0 -vv -c 200 \
'host 192.0.2.53 or icmp or icmp6'
确认是防火墙阻断 TCP 53、路径 MTU 问题还是分片过滤后,修复对应网络策略并用同一域名回归验证 UDP 与 TCP。
分清 IPv6 DNS 传输慢还是 IPv6 网站连不上
双栈网络下,人们常常把「IPv6 DNS 慢」和「网站 IPv6 连不上」混为一谈,甚至一刀切把系统 IPv6 关了。其实这是两码事:
- 查询的记录类型:
A查 IPv4 地址,AAAA查 IPv6 地址(记录类型细节可看 DNS 记录类型详解)。 - DNS 传输的地址族:你完全可以通过 IPv4 向解析器查
AAAA,也可以通过 IPv6 查A。
先用 dig -4 和 dig -6 固定传输族,排查解析器本身的 IPv6 链路:
R4='192.0.2.53'
R6='2001:db8::53'
Q='example.com.'
dig -r -4 "@$R4" "$Q" A +timeout=2 +tries=1
dig -r -6 "@$R6" "$Q" A +timeout=2 +tries=1
# 经 IPv4 传输,请求 IPv6 服务地址
dig -r -4 "@$R4" "$Q" AAAA +timeout=2 +tries=1
再用 curl -4 和 curl -6 对比业务连接阶段:
URL='https://example.com/'
FMT='ip=%{remote_ip} lookup=%{time_namelookup} connect=%{time_connect} tls=%{time_appconnect} total=%{time_total}\n'
curl -q --noproxy '*' -4 --http1.1 --max-time 15 -sS -o /dev/null -w "$FMT" "$URL"
curl -q --noproxy '*' -6 --http1.1 --max-time 15 -sS -o /dev/null -w "$FMT" "$URL"
- 如果
dig -6超时、dig -4正常:修到解析器的 IPv6 路由或防火墙。 - 如果
A和AAAA都很快,但curl -6卡在connect或tls:DNS 没问题,去查目标站点的 IPv6 连通性或路径 MTU。
现代浏览器和客户端大多实现了 Happy Eyeballs(RFC 8305),会异步并发解析并交错尝试 IPv6/IPv4 建连,能兜住一部分 IPv6 建连失败,但兜不住「建连成功、发大数据包时遇到 MTU 黑洞」的场景。靠 -4/-6 定位根因,不要把全局禁用 IPv6 当常规解法。
只有单个域名异常:查权威服务器、委派与 DNSSEC
如果换成 1.1.1.1、8.8.8.8 和运营商 DNS,全都在同一个域名上超时或报 SERVFAIL,说明问题在域名自身(父区委派、权威服务器或 DNSSEC),改客户端配置毫无意义。
排查时别加 +short,保留完整输出。现代解析器经常会在返回里附带 EDE(Extended DNS Error),直接告诉你「权威不可达」「DNSSEC 签名过期」或者「返回了过期缓存」。
# 查看公开委派链路(注意:+trace 是本机直连各级权威做迭代查询,不是在看递归日志)
Q='www.example.com.'
dig -r +trace "$Q" A +timeout=2 +tries=1
# 找到所有权威 IP 后,逐台直查确认一致性
ZONE='example.com.'
AUTH_IP='192.0.2.54'
dig -r "@$AUTH_IP" "$ZONE" SOA +norecurse +timeout=2 +tries=1
dig -r "@$AUTH_IP" "$Q" A +norecurse +timeout=2 +tries=1
dig -r "@$AUTH_IP" "$Q" A +norecurse +tcp +timeout=2 +tries=1
逐台权威重点核对三件事:
- 响应里有没有
aa(权威应答)标志,各台权威的SOA serial是否一致。 - UDP 53 和 TCP 53 是否都通,有没有针对公共递归出口 IP 的限速或 ACL 误拦截。
- 如果刚迁过 DNS 服务商,确认注册商父区的 NS 记录和 Glue 记录是否已经同步更新,只改子区 NS 是不够的。
用 +cdflag 快速判断是不是 DNSSEC 坏了
DNS 迁移后,如果注册商那里还留着旧的 DS 记录,或者签名过期,验证解析器就会返回 SERVFAIL。拿同一台支持 DNSSEC 校验的解析器对比这两条命令:
R='192.0.2.53'
Q='www.example.com.'
dig -r "@$R" "$Q" A +dnssec +timeout=2 +tries=1
dig -r "@$R" "$Q" A +dnssec +cdflag +timeout=2 +tries=1
+cdflag(Checking Disabled)只对这一次查询跳过签名校验。如果普通查询报 SERVFAIL,加上 +cdflag 却立刻拿到了记录,几乎可以锁定是 DNSSEC 信任链断了。接着去核对父区 DS 与子区 DNSKEY 是否匹配,或者用 DNSViz 可视化检查整条验证链。修复验证链,而不是为了「提速」长期关闭 DNSSEC。
记录明明改好了,为什么还是旧值或报错?
三个常见机制会导致「改完不生效」:
- TTL 还没过期:故障发生后再把 TTL 改小,无法强迫上游已经缓存的记录提前过期。计划迁移前要提前把 TTL 降下来,等旧 TTL 过期后再切换。
- 负缓存(Negative Caching):查询了一个还不存在的域名拿到
NXDOMAIN(或缺少某类型记录拿到NODATA),根据 RFC 2308,递归解析器会按min(SOA TTL, SOA.MINIMUM)缓存这个否定结果。你在权威加上记录后,清本机缓存也没法清掉上游的负缓存,只能等它到期。 - Serve-Stale(过期兜底):按 RFC 8767,权威失联时部分解析器会返回过期的旧记录并赋予一个正数 TTL,所以看到 TTL > 0 也不代表数据一定新鲜。
另外顺手检查一下 CNAME 链:层层跳转跨多个权威区会增加未命中时的开销,清理掉多余跳转和失效目标,但别把 CDN 厂商要求的 CNAME 强行改成某个当前 IP。
Kubernetes Pod 解析慢:ndots、CoreDNS 与 NodeLocal DNSCache
宿主机解析飞快,一进 Kubernetes Pod 就慢,八成和 ndots 搜索放大、节点 conntrack 竞争或 CoreDNS 上游有关。
默认 dnsPolicy: ClusterFirst 下,Linux Pod 的 /etc/resolv.conf 通常长这样:
nameserver 10.32.0.10
search payments.svc.cluster.local svc.cluster.local cluster.local
options ndots:5
按 glibc 的规则,域名里包含的 . 数量少于 ndots(默认 5) 时,会先拼接 search 列表里的每一个后缀去查,全都失败后再查域名本身。所以当 Pod 访问 api.example.com(只有 2 个点)时,可能会依次尝试:
api.example.com.payments.svc.cluster.local.
api.example.com.svc.cluster.local.
api.example.com.cluster.local.
api.example.com.
再加上 glibc 常并行发 A 和 AAAA,一次外部域名请求很容易放大成多次内部查询,带来额外的延迟和 CoreDNS 压力。
在出问题的 Pod 里现场取证
NS='payments'
POD='your-pod-name'
CONTAINER='your-container-name'
kubectl -n "$NS" get pod "$POD" -o wide
kubectl -n "$NS" exec "$POD" -c "$CONTAINER" -- cat /etc/resolv.conf
kubectl -n kube-system get pods -l k8s-app=kube-dns -o wide
kubectl -n kube-system get endpointslice -l kubernetes.io/service-name=kube-dns -o wide
kubectl -n kube-system get configmap coredns -o yaml
kubectl -n kube-system logs -l k8s-app=kube-dns --since=10m --tail=200
如果容器里有 dig,可以对比绝对域名(末尾加点)和带 +search 的解析过程:
DNS_IP='10.32.0.10' # 换成上面 Pod 里看到的 nameserver
TARGET='www.kubernetes.io'
# 绝对域名直查
kubectl -n "$NS" exec "$POD" -c "$CONTAINER" -- \
dig -r "@$DNS_IP" "$TARGET." A +timeout=2 +tries=1
# 模拟 ndots:5 与 ndots:2 的搜索过程
kubectl -n "$NS" exec "$POD" -c "$CONTAINER" -- \
dig -r "@$DNS_IP" "$TARGET" A +search +showsearch +ndots=5 +timeout=2 +tries=1
kubectl -n "$NS" exec "$POD" -c "$CONTAINER" -- \
dig -r "@$DNS_IP" "$TARGET" A +search +showsearch +ndots=2 +timeout=2 +tries=1
提示:不要为了省去 search 后缀而批量给业务里的 HTTPS URL 主机名加末尾点(如
https://api.example.com./),这容易触发 TLS SNI、HTTP Host 路由、Cookie 作用域和服务端重定向的兼容性问题。
谨慎灰度 ndots:2
如果确认业务大量访问外部多级域名(至少带 2 个点,如 api.example.com),可以在单个工作负载上灰度尝试 ndots:2:
spec:
template:
spec:
dnsPolicy: ClusterFirst
dnsConfig:
options:
- name: ndots
value: "2"
注意三个常见误区:
example.com只有 1 个点,改成ndots:2后它依然会先走搜索后缀。- 别顺手把
dnsPolicy改成Default——在 Kubernetes 里Default的意思是继承宿主机节点的 DNS 配置,会直接丢失集群内部 Service 解析。 - 使用
hostNetwork: true的 Linux Pod 如果想保留集群 DNS,需要显式设置ClusterFirstWithHostNet(Windows Pod 不支持该模式)。
看 CoreDNS 指标与节点层瓶颈
CoreDNS 服务端处理很快,不代表 Pod 没在等——请求在到达 CoreDNS 之前可能已经经历过丢包或 conntrack 竞争。如果你部署了 Prometheus,重点看这三组指标(把 job="coredns" 换成你的实际标签):
# CoreDNS 内部处理 p95
histogram_quantile(
0.95,
sum by (le, type) (
rate(coredns_dns_request_duration_seconds_bucket{job="coredns"}[5m])
)
)
# forward 到上游的处理 p95(旧指标 coredns_forward_request_duration_seconds 已弃用)
histogram_quantile(
0.95,
sum by (le, to) (
rate(coredns_proxy_request_duration_seconds_bucket{
job="coredns", proxy_name="forward"
}[5m])
)
)
# 按返回码统计响应速率
sum by (rcode) (
rate(coredns_dns_responses_total{job="coredns"}[5m])
)
几个排查重点:
coredns_forward_max_concurrent_rejects_total上涨:说明 CoreDNS 的上游并发数打满了,正在直接返回REFUSED。cache 30不是固定缓存 30 秒:它只是 TTL 上限。排查旧缓存问题时,同时检查最小 TTL 和serve_stale配置。- NodeLocal DNSCache:能大幅减少跨节点访问和 conntrack 冲突,并支持到 CoreDNS 的 TCP 链路。但它本身也是节点上的故障点——如果只有某一台宿主机上的 Pod 慢,先检查该节点的 NodeLocal Pod 有没有
OOMKilled或重启,比盲目扩容中央 CoreDNS 有效得多。 - 转发循环与老旧镜像:把宿主机
systemd-resolved的 stub 文件(127.0.0.53)误当成 CoreDNS 上游容易引发转发死循环;此外 Kubernetes 官方排错文档 特别提醒,Alpine 3.17 及更早版本的基础镜像在 DNS TCP 回退上存在缺陷,遇到大响应容易超时。
应用层卡顿:线程池、连接池与缓存陷阱
如果抓包和 dig 都很快,业务代码里的 DNS 解析耗时依然很高,就要往应用运行时里查:
- Node.js 的
dns.lookup()线程池排队:dns.lookup()走系统解析,跑在 libuv 线程池里。如果同一进程里有大量文件 I/O 或加密任务占满了线程池,DNS 解析就会跟着排队。dns.resolve4()/dns.resolve6()直接发 DNS 报文且支持{ ttl: true },但会绕开/etc/hosts和系统分流配置,替换前要先评估私网和集群域名行为。 - 应用层缓存要设上限和 TTL:如果要自己加 DNS 缓存,必须有容量上限、尊重记录 TTL、给失败结果设置更短的负缓存时间,并对并发的同一域名请求做去重合并(singleflight)。千万不要设成永久缓存,也不要把 CDN IP 写死进
/etc/hosts,否则下次服务商切 IP 直接酿成线上故障。 - 连接池复用与 DNS 切换:HTTP Keep-Alive 和连接池能省去重复解析,但也意味着 DNS 记录更新后,老连接依然连着旧 IP。依赖 DNS 做故障切换的服务,要给连接池配置合理的最大存活时间(max lifetime)。
- DoH / DoT 的冷启动:基于 TLS/HTTPS 的加密 DNS 首次建连有握手开销,复用后才会摊薄。不要拿新进程的单次冷查询耗时,直接等同于浏览器长连接复用下的日常延迟。
什么时候该清 DNS 缓存,怎么确认修好了
清缓存只能用来纠正「本地拿着旧答案/负缓存、上游已经恢复」的状态问题,修不好网络延迟、丢包、VPN 分流错误或权威故障。
比如在 Windows 上,你已经看到 nslookup 返回了新 IP,但 ipconfig /displaydns 里依然缓存着旧的「记录不存在」,这时清一次缓存才真正有用:
# Windows
ipconfig /flushdns
使用 systemd-resolved 的 Linux 主机:
# 只清本地 stub 缓存,不影响浏览器和上游递归
sudo resolvectl flush-caches
注意 resolvectl reset-server-features 是重置服务器能力探测(如 EDNS/TCP 降级状态),和清记录缓存是两件事,不要把它们和重启服务打包成定时清理脚本——定时清缓存反而会制造大量冷查询,让响应更慢。
怎么算真正修好了?
回到最初出问题的业务和网络环境重跑采样,而不是只看终端里一条 dig 变快:
curl连续采样中,原先的lookup长尾和超时是否彻底消失。- 对比
remote_ip和端到端总耗时,确认没有因为换解析器导致 CDN 绕路。 - 如果涉及 VPN 或 Kubernetes,回归测试内网完整域名、短名和集群 Service,确保没有引入副作用。
常见问题
把 DNS 改成 1.1.1.1 或 8.8.8.8 能彻底解决 DNS 慢吗?
不一定。如果慢是因为运营商递归节点差或路由器转发卡顿,切到公共 DNS 确实可能立竿见影;但如果根因是本机 VPN 分流、UDP 丢包、IPv6 路由黑洞或目标域名自身的权威故障,换公共 DNS 毫无帮助,甚至可能让 CDN 调度变差或导致公司内网域名无法访问。
为什么 dig 很快,浏览器打开网页还是很卡?
两条路径不一样。dig 直接发 DNS 报文,不走浏览器的 HostCache、内置 DNS 客户端或安全 DNS(DoH),也没有经历 TCP 建连、TLS 握手和页面渲染。先用 curl -w 确认耗时确实在 time_namelookup,再对照系统的 getaddrinfo() 与浏览器 DoH 设置就能定位差异。
Kubernetes 里把 ndots 改成 2 有什么副作用?
改成 ndots:2 后,带 2 个及以上点号的外部域名(如 api.example.com)会先尝试按绝对域名解析,减少无谓的搜索后缀查询。但如果你的应用依赖「带 2 个点号的相对名 + 集群搜索后缀」去拼出内部服务名(例如用 my-svc.my-ns.svc 期望自动拼成 my-svc.my-ns.svc.cluster.local),就会先走一次外网查询拿到 NXDOMAIN 再回退。建议按单个 Deployment 灰度,回归所有内部与外部域名后再推广。
为什么改完域名解析记录,过很久还是旧 IP 或报错?
主要有三个原因:旧记录的 TTL 还没到期;之前查过不存在的域名触发了上游负缓存(由权威的 SOA TTL 与 SOA.MINIMUM 较小值决定);或者权威短暂失联触发了递归的 serve-stale 兜底机制。本地清缓存只能清本机,无法强制上游递归刷新。
参考资料
- curl 官方手册:计时变量、代理、HTTP/3 与
--resolve - ISC BIND 9
dig手册:查询选项、传输与 DNSSEC 标志 - Chromium Host Resolution 文档:系统解析器、内置 DNS 与 HostCache
- systemd-resolved 服务手册:stub 解析、NSS 与按接口路由
- Microsoft 文档:Windows DNS 客户端排错与 VPN 名称解析(NRPT)
- RFC 7766:DNS over TCP 实现要求与截断回退
- RFC 9715:DNS over UDP 避免 IP 分片指南
- RFC 8305:Happy Eyeballs Version 2
- RFC 2308:DNS 负缓存机制
- RFC 8767:Serve-Stale 过期记录兜底
- Kubernetes 官方文档:Pod DNS 策略与排错指南
- Kubernetes NodeLocal DNSCache 文档
- CoreDNS 官方插件文档:metrics / forward / cache
- Node.js DNS API 文档:
lookup与resolve