网络编程之网络丢包故障如何定位？如何解决？( 二 ) _网络丢包

文章插图

网卡流控丢包
1. 查看流控统计：
ethtool -S eth1 | grep control

文章插图

rx_flow_control_xon是在网卡的RX Buffer满或其他网卡内部的资源受限时，给交换机端口发送的开启流控的pause帧计数。对应的，tx_flow_control_xoff是在资源可用之后发送的关闭流控的pause帧计数。
2 .查看网络流控配置：ethtool -a eth1

文章插图

解决方案：关闭网卡流控

ethtool -A ethx autoneg off //自协商关闭ethtool -A ethx tx off //发送模块关闭ethtool -A ethx rx off //接收模块关闭

报文mac地址丢包一般计算机网卡都工作在非混杂模式下，此时网卡只接受来自网络端口的目的地址指向自己的数据，如果报文的目的mac地址不是对端的接口的mac地址，一般都会丢包，一般这种情况很有可能是源端设置静态arp表项或者动态学习的arp表项没有及时更新，但目的端mac地址已发生变化（换了网卡），没有更新通知到源端（比如更新报文被丢失，中间交换机异常等情况）；
查看：
1.目的端抓包，tcpdump可以开启混杂模式，可以抓到对应的报文，然后查看mac地址；
2.源端查看arp表或者抓包（上一跳设备），看发送的mac地址是否和下一跳目的端的mac地址一致；
解决方案：
1.刷新arp表然后发包触发arp重新学习（可能影响其他报文，增加延时，需要小心操作）；
2.可以在源端手动设置正确的静态的arp表项；
其他网卡异常丢包
这类异常比少见，但如果都不是上面哪些情况，但网卡统计里面任然有丢包计数，可以试着排查一下：
网卡firmware版本:
排查一下网卡phy芯片firmware是不是有bug，安装的版本是不是符合预期，查看 ethtool -i eth1:

文章插图

和厂家提case询问是不是已知问题，有没有新版本等；
网线接触不良：
如果网卡统计里面存在crc error 计数增长，很可能是网线接触不良，可以通知网管排查一下：
ethtool -S eth0

文章插图

解决方案：一般试着重新插拔一下网线，或者换一根网线，排查插口是否符合端口规格等;
报文长度丢包
网卡有接收正确报文长度范围，一般正常以太网报文长度范围：64-1518，发送端正常情况会填充或者分片来适配，偶尔会发生一些异常情况导致发送报文不正常丢包；
查看：
ethtool -S eth1|grep length_errors

文章插图

解决方案：
1 调整接口MTU配置，是否开启支持以太网巨帧；
2 发送端开启PATH MTU进行合理分片；
简单总结一下网卡丢包：

文章插图

网卡驱动丢包查看：ifconfig eth1/eth0 等接口

文章插图

1.RX errors: 表示总的收包的错误数量，还包括too-long-frames错误，Ring Buffer 溢出错误，crc 校验错误，帧同步错误，fifo overruns 以及 missed pkg 等等。
2.RX dropped: 表示数据包已经进入了 Ring Buffer，但是由于内存不够等系统原因，导致在拷贝到内存的过程中被丢弃。
3.RX overruns: 表示了 fifo 的 overruns，这是由于 Ring Buffer(aka Driver Queue) 传输的 IO 大于 kernel 能够处理的 IO 导致的，而 Ring Buffer 则是指在发起 IRQ 请求之前的那块 buffer 。很明显，overruns 的增大意味着数据包没到 Ring Buffer 就被网卡物理层给丢弃了，而 CPU 无法即使的处理中断是造成 Ring Buffer 满的原因之一，上面那台有问题的机器就是因为 interruprs 分布的不均匀(都压在 core0)，没有做 affinity 而造成的丢包。
4. RX frame: 表示 misaligned 的 frames 。
5. 对于 TX 的来说，出现上述 counter 增大的原因主要包括 aborted transmission, errors due to carrirer, fifo error, heartbeat erros 以及 windown error，而 collisions 则表示由于 CSMA/CD 造成的传输中断。

驱动溢出丢包
netdev_max_backlog是内核从NIC收到包后，交由协议栈（如IP、TCP）处理之前的缓冲队列。每个CPU核都有一个backlog队列，与Ring Buffer同理，当接收包的速率大于内核协议栈处理的速率时，CPU的backlog队列不断增长，当达到设定的netdev_max_backlog值时，数据包将被丢弃。