nice服务器是什么

Nice 本身是一款照片分享社区类型的应用，在分享照片和生活态度的同时可以在照片上贴上如品牌、地点、兴趣等tag。

Nice从2013.10月份上线App Store到目前每天2亿PV，服务端架构经过了4次比较大的调整（2014年年底数据）。本次分享将介绍四次架构调整的背景、实践和结果，并讨论如何在人员不足的情况下平衡业务与架构，什么样的架构和开发模式更适合创业团队“天下武功，唯快不破”的做事方式。

服务器无法ssh登录，ping一下，不通，到机房重启

less /var/log/messages

查看到死机前的几行

Jun 16 13:01:01 kvmserver systemd: Started Session 26 of user root.

Jun 16 13:10:01 kvmserver systemd: Started Session 27 of user root.

Jun 16 13:20:01 kvmserver systemd: Started Session 28 of user root.

Jun 16 13:30:01 kvmserver systemd: Started Session 29 of user root.

Jun 16 13:40:01 kvmserver systemd: Started Session 30 of user root.

Jun 16 13:50:01 kvmserver systemd: Started Session 31 of user root.

Jun 16 14:00:01 kvmserver systemd: Started Session 32 of user root.

Jun 16 14:01:01 kvmserver systemd: Started Session 33 of user root.

Jun 16 14:10:01 kvmserver systemd: Started Session 34 of user root.

Jun 16 14:20:02 kvmserver systemd: Started Session 35 of user root.

Jun 16 14:30:02 kvmserver systemd: Started Session 36 of user root.

Jun 16 14:40:01 kvmserver systemd: Started Session 37 of user root.

Jun 16 14:45:20 kvmserver kernel: perf: interrupt took too long (2563 >2500), lowering kernel.perf_event_max_sample_rate to 78000

Jun 16 14:50:01 kvmserver systemd: Started Session 38 of user root.

Jun 16 15:00:01 kvmserver systemd: Started Session 39 of user root.

Jun 16 15:01:01 kvmserver systemd: Started Session 40 of user root.

Jun 16 15:10:01 kvmserver systemd: Started Session 41 of user root.

Jun 16 15:20:01 kvmserver systemd: Started Session 42 of user root.

Jun 16 15:30:01 kvmserver systemd: Started Session 43 of user root.

Jun 16 15:40:01 kvmserver systemd: Started Session 44 of user root.

Jun 16 15:50:01 kvmserver systemd: Started Session 45 of user root.

Jun 16 16:00:01 kvmserver systemd: Started Session 46 of user root.

Jun 16 16:01:01 kvmserver systemd: Started Session 47 of user root.

Linux 内核使用"性能"性能监视器收集样品，而不影响延迟。

这些包括中断时间。如果中断时间过长，则与此打印类似的消息：

kernel: [ 6491.061361] perf: interrupt took too long (6650 >6452), lowering kernel.perf_event_max_sample_rate to 30000

这意味着

这基本上意味着机器长时间处于中断。这可能是由多种原因造成的，包括：

磁盘 IO 中断时间长 ，将由故障、缓慢或超载磁盘引起。或者，这也可能由磁盘或突袭控制器的问题引起。

网络 IO 中断时间过长 通常是由于网络驱动程序问题不理想造成的。或者，这也可以由网络问题引起，尽管协议切换理论上应该会阻止它。

磁盘 IO 可轻松通过磁盘 IO 统计数据（sysstat-sar 和/或 iostat）进行检查并确认。如果磁盘 IO 不是缓慢中断的原因，则网络 IO 将是。为此，需要在网络和/或内核方面检查问题。

故障排除的第一点应包括检查/var/logs/（messages|syslog）中的内核消息以及dmesg。如果这些显示来自 vmxnet 驱动程序的痕迹，中断时间过长将由网络驱动程序故障引起。请联系网卡提供商，或尝试升级到最新的可用稳定内核。

如果内核驱动程序没有问题，网络将是最容易出错的，很可能是第一跳。然后需要在网络方面检查这一点。

grep -iE "error|warn|kernel" /var/log/messages  

dmesg -T | grep -iE "error|warn|kernel"

[Thu Jun 17 15:39:06 2021] systemd[1]: Started Apply Kernel Variables.

[Thu Jun 17 15:39:15 2021] ACPI Warning: SystemIO range 0x0000000000000428-0x000000000000042f conflicts with OpRegion 0x0000000000000400-0x000000000000043f (\PMB0) (20130517/utaddress-254)

[Thu Jun 17 15:39:31 2021] L1TF CPU bug present and SMT on, data leak possible. See CVE-2018-3646 and https://www.kernel.org/doc/html/latest/admin-guide/l1tf.html for details.

dmesg报错时间对不上

无法是磁盘io问题还是网卡问题

[root@kvmserver log]# sar -n DEV

Linux 3.10.0-957.el7.x86_64 (kvmserver) 06/17/2021 _x86_64_ (4 CPU)

03:08:47 PM      LINUX RESTART

03:10:01 PM    IFACE  rxpck/s  txpck/s    rxkB/s    txkB/s  rxcmp/s  txcmp/s  rxmcst/s

03:20:01 PM      br0      4.07      0.00      0.50      0.00      0.00      0.00      0.00

03:20:01 PM      eno1      4.08      0.00      0.57      0.00      0.00      0.00      1.14

03:20:01 PM        lo      0.00      0.00      0.00      0.00      0.00      0.00      0.00

03:20:01 PM virbr0-nic      0.00      0.00      0.00      0.00      0.00      0.00      0.00

03:30:01 PM      br0      5.37      0.01      0.60      0.00      0.00      0.00      0.00

03:30:01 PM      eno1      5.37      0.01      0.70      0.00      0.00      0.00      1.30

03:30:01 PM        lo      0.00      0.00      0.00      0.00      0.00      0.00      0.00

03:30:01 PM virbr0-nic      0.00      0.00      0.00      0.00      0.00      0.00      0.00

Average:          br0      4.72      0.01      0.55      0.00      0.00      0.00      0.00

Average:        eno1      4.73      0.01      0.63      0.00      0.00      0.00      1.22

Average:          lo      0.00      0.00      0.00      0.00      0.00      0.00      0.00

Average:    virbr0-nic      0.00      0.00      0.00      0.00      0.00      0.00      0.00

03:39:21 PM      LINUX RESTART

03:40:01 PM    IFACE  rxpck/s  txpck/s    rxkB/s    txkB/s  rxcmp/s  txcmp/s  rxmcst/s

03:50:01 PM      br0    16.50    12.22    29.83      2.50      0.00      0.00      0.00

03:50:01 PM      eno1    27.89    12.35    30.90      2.56      0.00      0.00      1.13

03:50:01 PM        lo      0.00      0.00      0.00      0.00      0.00      0.00      0.00

03:50:01 PM virbr0-nic      0.00      0.00      0.00      0.00      0.00      0.00      0.00

04:00:01 PM      br0      4.43      0.09      0.58      0.01      0.00      0.00      0.00

04:00:01 PM      eno1      4.44      0.09      0.66      0.01      0.00      0.00      1.61

04:00:01 PM        lo      0.00      0.00      0.00      0.00      0.00      0.00      0.00

04:00:01 PM virbr0-nic      0.00      0.00      0.00      0.00      0.00      0.00      0.00

04:10:01 PM      br0      5.40      0.47      0.64      0.06      0.00      0.00      0.00

04:10:01 PM      eno1    10.61      9.65      1.42      1.06      0.00      0.00      1.67

04:10:01 PM    vnet1      4.93      5.85      0.50      0.86      0.00      0.00      0.00

04:10:01 PM        lo      0.08      0.08      0.01      0.01      0.00      0.00      0.00

04:20:01 PM      br0      3.56      1.60      0.57      0.95      0.00      0.00      0.00

04:20:01 PM      eno1      8.95    11.25      1.29      1.96      0.00      0.00      1.16

04:20:01 PM    vnet1      5.08      5.24      0.48      0.85      0.00      0.00      0.00

04:20:01 PM        lo      0.00      0.00      0.00      0.00      0.00      0.00      0.00

04:30:01 PM      br0      4.74      2.44      0.66      1.05      0.00      0.00      0.00

04:30:01 PM      eno1    10.19    12.17      1.41      2.08      0.00      0.00      1.34

04:30:01 PM    vnet1      5.14      5.61      0.49      0.89      0.00      0.00      0.00

04:30:01 PM        lo      0.00      0.00      0.00      0.00      0.00      0.00      0.00

04:40:01 PM      br0      3.89      0.18      0.54      0.04      0.00      0.00      0.00

04:40:01 PM      eno1      9.24      9.81      1.28      1.06      0.00      0.00      1.37

04:40:01 PM    vnet1      4.75      6.51      0.46      0.88      0.00      0.00      0.00

04:40:01 PM        lo      0.00      0.00      0.00      0.00      0.00      0.00      0.00

04:50:01 PM      br0      2.60      0.16      0.47      0.01      0.00      0.00      0.00

04:50:01 PM      eno1      7.84      9.36      1.16      0.98      0.00      0.00      1.26

04:50:01 PM    vnet1      4.90      5.29      0.47      0.82      0.00      0.00      0.00

04:50:01 PM        lo      0.00      0.00      0.00      0.00      0.00      0.00      0.00

Average:          br0      5.87      2.45      4.76      0.66      0.00      0.00      0.00

Average:        eno1    11.31      9.24      5.44      1.39      0.00      0.00      1.36

Average:        vnet1      3.54      4.07      0.34      0.61      0.00      0.00      0.00

Average:          lo      0.01      0.01      0.00      0.00      0.00      0.00      0.00

[root@kvmserver log]# iostat

Linux 3.10.0-957.el7.x86_64 (kvmserver) 06/17/2021 _x86_64_ (4 CPU)

avg-cpu:  %user  %nice %system %iowait  %steal  %idle

          2.76    0.00    1.94    0.53    0.00  94.76

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn

sda              7.31      204.33        39.78    1003853    195463

dm-0              7.32      202.03        39.78    992568    195431

dm-1              0.02        0.50        0.00      2460          0

暂时没看出问题究竟在哪，再观察两天

---