이더넷 (Ethernet)

1973년 Xerox PARC에서 탄생한 이더넷은 반세기가 넘는 진화를 거쳐 10 Mbps 동축 케이블 버스에서 800 Gbps 광 링크까지 확장되었습니다. 이 문서는 이더넷의 역사, 물리 계층(PHY), 프레임 구조, 리눅스 커널 구현, 오프로드 기술, 에너지 효율, 산업용 이더넷까지 다양한 시각에서 종합적으로 다룹니다.

개요

이더넷(Ethernet)은 IEEE 802.3 표준으로 규정된 유선 LAN 기술로, 전 세계 네트워크 인프라의 핵심입니다. 원래 공유 매체(Shared Medium) 기반 CSMA/CD 프로토콜이었지만, 스위칭 기술과 전이중(Full-Duplex) 통신의 도입으로 현대 이더넷은 충돌 없는 점대점(Point-to-Point) 링크가 되었습니다.

역사와 진화

이더넷의 발전 과정은 컴퓨터 네트워킹 역사 그 자체입니다.

CSMA/CD와 충돌 도메인

초기 이더넷의 핵심 프로토콜인 CSMA/CD(Carrier Sense Multiple Access / Collision Detection)는 공유 매체에서의 다중 접근 문제를 해결합니다.

알고리즘 단계

1. Carrier Sense — 전송 전 매체가 유휴 상태인지 확인
2. Transmit — 유휴 시 프레임 전송 시작
3. Collision Detection — 전송 중 충돌 감지 시 jam 신호(32비트) 발송
4. Backoff — Binary Exponential Backoff 알고리즘으로 재전송 지연
   • n번째 충돌 시: 0 ~ 2^min(n,10)-1 슬롯 중 랜덤 선택
   • 슬롯 시간: 10 Mbps에서 51.2 μs (512 bit times)
   • 16번 충돌 시 전송 포기

충돌 도메인 vs 브로드캐스트 도메인

프레임 구조

이더넷 프레임은 여러 변형이 존재합니다. 가장 널리 사용되는 Ethernet II(DIX)와 IEEE 802.3 프레임을 비교합니다.

주요 EtherType 값

Jumbo Frames

표준 이더넷 MTU(1500바이트)를 넘는 Jumbo Frame(최대 9000바이트)은 데이터센터 환경에서 처리량을 높이고 CPU 오버헤드를 줄입니다.

# MTU 변경
ip link set eth0 mtu 9000

# 확인
ip -d link show eth0 | grep mtu

# 경로 MTU 확인
tracepath -n 192.168.1.1

물리 계층 (PHY)

이더넷 PHY는 MAC이 만든 디지털 데이터를 실제 전기·광 신호로 변환하고, 링크 속도·듀플렉스·pause를 협상하며, 선로 상태를 감시하는 계층입니다. 이 문서에서는 PHY를 요약만 다루고, MDIO/Clause 22·45, phylib/phylink, Device Tree, 보드 지연 보상, 실전 장애 대응은 이더넷 PHY (Physical Layer) 전용 문서로 분리했습니다.

Auto-Negotiation

Auto-Negotiation은 양쪽 PHY가 지원 속도, 듀플렉스, pause 같은 능력을 교환해 최종 링크 모드를 결정하는 절차입니다. 구리 PHY는 주로 Clause 28 FLP, SerDes 기반 연결은 Clause 37/73 in-band status를 사용합니다.

• 링크 업과 링크 품질은 별개입니다. 링크가 올라와도 pause나 duplex가 잘못 합의되면 처리량과 오류율이 나빠질 수 있습니다.
• 한쪽만 autoneg off로 강제하면 상대편이 평행 감지로 링크를 올리면서 duplex를 다르게 해석할 수 있습니다.
• 멀티기가비트 포트가 1G로만 붙으면 케이블 품질과 advertisement mask를 먼저 확인하세요.

# 현재 링크 협상 결과
ethtool eth0

# 자동 협상 끄고 강제 설정
ethtool -s eth0 speed 1000 duplex full autoneg off

# 상세 PHY 문서 참고: Clause 28/37/73, advertisement, EEE, 트러블슈팅

phylink 프레임워크

phylink는 MAC, PHY, PCS, SFP 모듈, fixed-link를 하나의 정책 계층으로 묶어 주는 프레임워크입니다. 외부 PHY 하나만 단순 연결하는 경우보다, SFP 핫플러그, SerDes 모드 전환, in-band status가 필요한 현대 NIC/SoC에서 특히 중요합니다.

• phylib는 PHY 장치를 공통 인터페이스로 다루는 계층입니다.
• phylink는 그 위에서 MAC 콜백과 링크 정책을 통합합니다.
• 상세 API와 상태 머신은 이더넷 PHY (Physical Layer)와 Network Device 드라이버 문서를 함께 보면 흐름이 연결됩니다.

/* include/linux/phylink.h */
struct phylink_mac_ops {
    void (*mac_config)(...);
    void (*mac_link_down)(...);
    void (*mac_link_up)(...);
};

커널 자료구조

리눅스 커널에서 이더넷 프레임을 처리하는 핵심 자료구조입니다.

struct ethhdr

/* include/uapi/linux/if_ether.h */
struct ethhdr {
    unsigned char  h_dest[ETH_ALEN];    /* 목적지 MAC (6 bytes) */
    unsigned char  h_source[ETH_ALEN];  /* 출발지 MAC (6 bytes) */
    __be16         h_proto;             /* EtherType 또는 Length */
} __attribute__((packed));

/* 주요 상수 */
#define ETH_ALEN     6      /* MAC 주소 길이 */
#define ETH_HLEN     14     /* 이더넷 헤더 길이 */
#define ETH_ZLEN     60     /* 최소 프레임 (FCS 제외) */
#define ETH_DATA_LEN 1500   /* 최대 페이로드 */
#define ETH_FRAME_LEN 1514  /* 최대 프레임 (FCS 제외) */
#define ETH_FCS_LEN  4      /* FCS 길이 */

eth_type_trans() 프로토콜 판별

/* net/ethernet/eth.c */
__be16 eth_type_trans(struct sk_buff *skb, struct net_device *dev)
{
    struct ethhdr *eth;

    skb->dev = dev;
    skb_reset_mac_header(skb);       /* MAC 헤더 위치 기록 */
    eth = (struct ethhdr *)skb->data;
    skb_pull_inline(skb, ETH_HLEN);  /* data 포인터를 페이로드로 이동 */

    /* 수신 패킷 유형 분류 */
    if (unlikely(is_multicast_ether_addr(eth->h_dest))) {
        if (ether_addr_equal_64bits(eth->h_dest, dev->broadcast))
            skb->pkt_type = PACKET_BROADCAST;
        else
            skb->pkt_type = PACKET_MULTICAST;
    } else if (unlikely(!ether_addr_equal_64bits(eth->h_dest, dev->dev_addr)))
        skb->pkt_type = PACKET_OTHERHOST;

    /* EtherType vs Length 판별 */
    if (likely(ntohs(eth->h_proto) >= ETH_P_802_3_MIN))
        return eth->h_proto;  /* Ethernet II: EtherType 그대로 */

    /* 802.3 프레임: LLC/SNAP 확인 후 프로토콜 결정 */
    ...
}

ethtool_ops 구조체

NIC 드라이버가 구현하는 ethtool_ops는 ethtool 유틸리티의 백엔드입니다.

/* include/linux/ethtool.h (주요 콜백) */
struct ethtool_ops {
    void (*get_drvinfo)(...);           /* 드라이버 정보 */
    int  (*get_link_ksettings)(...);     /* 링크 속도/듀플렉스 조회 */
    int  (*set_link_ksettings)(...);     /* 링크 설정 변경 */
    void (*get_ethtool_stats)(...);      /* NIC 통계 */
    void (*get_strings)(...);             /* 통계 이름 문자열 */
    int  (*get_sset_count)(...);          /* 통계 세트 크기 */
    u32  (*get_link)(...);                /* 링크 상태 */
    int  (*get_coalesce)(...);            /* 인터럽트 병합 설정 */
    int  (*set_coalesce)(...);            /* 인터럽트 병합 변경 */
    void (*get_ringparam)(...);           /* 링 버퍼 크기 */
    int  (*set_ringparam)(...);           /* 링 버퍼 변경 */
    int  (*get_rxnfc)(...);               /* RSS/ntuple 규칙 */
    int  (*get_ts_info)(...);             /* 타임스탬프 능력 */
    int  (*get_eee)(...);                 /* EEE 설정 조회 */
    int  (*set_eee)(...);                 /* EEE 설정 변경 */
};

패킷 송수신 경로

이더넷 프레임이 커널에서 처리되는 핵심 경로입니다.

하드웨어 오프로드

현대 NIC은 CPU 부담을 줄이기 위해 다양한 하드웨어 오프로드를 지원합니다.

오프로드 유형

오프로드 확인/설정

# 현재 오프로드 상태 확인
ethtool -k eth0

# TSO 비활성화 (디버깅용)
ethtool -K eth0 tso off

# GRO 비활성화
ethtool -K eth0 gro off

# RSS 해시 키/indirection table 확인
ethtool -x eth0

# RSS 해시 필드 설정 (TCP 4-tuple)
ethtool -N eth0 rx-flow-hash tcp4 sdfn

# 링 버퍼 크기 조정
ethtool -G eth0 rx 4096 tx 4096

# 인터럽트 병합 (Coalescing) 설정
ethtool -C eth0 rx-usecs 50 rx-frames 64

Pause 프레임과 흐름 제어

IEEE 802.3x Pause Frame은 수신 버퍼 오버플로우 방지를 위한 L2 흐름 제어 메커니즘입니다.

흐름 제어 유형

# Pause 프레임 설정
ethtool -A eth0 rx on tx on

# PFC 설정 (DCB)
mlnx_qos -i eth0 --pfc 0,0,0,1,0,0,0,0  # TC3만 PFC 활성화

# ICE 흐름 제어 확인 및 양단 동기화
ethtool -a eth0              # RX/TX Pause 상태 확인
ethtool -A eth0 rx on tx on  # 양측 모두 활성화 필수

ECN과 DCB

ECN(Explicit Congestion Notification, RFC 3168)은 패킷 드롭 없이 혼잡을 알리는 메커니즘입니다. DCB(Data Center Bridging)는 데이터센터 이더넷에서 무손실 전송을 위한 IEEE 표준 집합입니다.

ECN 마킹 과정

송신 측이 IP 헤더의 ECN 필드를 ECT(0) 또는 ECT(1)로 설정하면, 혼잡한 스위치/라우터가 이를 CE(Congestion Experienced)로 변경합니다. 수신 측은 TCP ACK에 ECE 플래그를 설정하여 송신 측에 혼잡을 알리고, 송신 측은 CWR 플래그로 윈도우 축소를 확인합니다.

DCB 컴포넌트

# ECN 활성화 (리눅스 커널)
sysctl -w net.ipv4.tcp_ecn=1      # ECN 활성화 (요청 및 수락)
sysctl -w net.ipv4.tcp_ecn=2      # ECN 서버 모드 (수락만)

# DCB 상태 확인
mlnx_qos -i eth0

# ETS (Enhanced Transmission Selection) 대역폭 분배
mlnx_qos -i eth0 --tc_bw 10,10,10,40,10,10,5,5

# DCBX 모드 확인/설정
lldptool -ti eth0 -V IEEE-DCBX
lldptool -Ti eth0 -V ETS-CFG willing=yes

# RoCE (RDMA over Converged Ethernet)용 PFC + ECN 설정
# TC3에 PFC 활성화, ECN으로 혼잡 관리
mlnx_qos -i eth0 --pfc 0,0,0,1,0,0,0,0
sysctl -w net.ipv4.tcp_ecn=1

ICE DCB 운영 — DCBX 모드와 FW-LLDP

Intel E810(ice)은 DCBX 협상을 펌웨어(FW-LLDP) 또는 소프트웨어(SW-LLDP)에서 처리할 수 있습니다. 기본값은 FW-LLDP이며, lldpad와의 통합이 필요한 환경에서는 SW-LLDP로 전환합니다.

# FW-LLDP ↔ SW-LLDP 전환 (private flag)
ethtool --set-priv-flags eth0 fw-lldp-agent off  # SW-LLDP 활성화
ethtool --set-priv-flags eth0 fw-lldp-agent on   # FW-LLDP 복원

# 현재 LLDP 모드 확인
ethtool --show-priv-flags eth0 | grep fw-lldp

# ICE DCB 상태 확인
lldptool -ti eth0 -V IEEE-DCBX

# TC0에 최소 대역폭 할당 (ICE 필수 조건: TC0은 항상 존재해야 함)
lldptool -Ti eth0 -V ETS-CFG tcbw=50,50,0,0,0,0,0,0 tsa=ets,ets,strict,strict,strict,strict,strict,strict up2tc=0:0,1:0,2:1,3:1,4:0,5:0,6:0,7:0

VLAN과 QinQ

IEEE 802.1Q VLAN 태깅은 하나의 물리적 이더넷 링크에서 논리적 네트워크를 분리합니다.

VLAN 태그 구조 (4바이트)

리눅스 VLAN 설정

# VLAN 인터페이스 생성
ip link add link eth0 name eth0.100 type vlan id 100
ip link set eth0.100 up
ip addr add 10.0.100.1/24 dev eth0.100

# QinQ (802.1ad) — 서비스 프로바이더 VLAN
ip link add link eth0 name eth0.200 type vlan proto 802.1ad id 200
ip link add link eth0.200 name eth0.200.10 type vlan id 10

# VLAN 오프로드 확인
ethtool -k eth0 | grep vlan

EEE (Energy Efficient Ethernet)

IEEE 802.3az Energy Efficient Ethernet은 트래픽이 없을 때 PHY를 저전력 유휴(LPI) 상태로 전환하여 에너지를 절약합니다.

# EEE 상태 확인
ethtool --show-eee eth0

# EEE 비활성화 (지연 민감 환경)
ethtool --set-eee eth0 eee off

# EEE 활성화 (1GbE만)
ethtool --set-eee eth0 eee on advertise 0x8

TSN (Time-Sensitive Networking)

IEEE 802.1 TSN 태스크 그룹은 이더넷 위에 확정적 지연(Deterministic Latency)과 시간 동기화를 구현하는 표준 집합입니다. 산업 자동화, 자동차, 방송 분야에서 전용 필드버스를 대체합니다.

핵심 TSN 표준

리눅스 TSN 지원

# TAS (Time-Aware Shaper) 설정 - taprio qdisc
tc qdisc replace dev eth0 parent root handle 100 taprio \
    num_tc 3 \
    map 2 2 1 0 2 2 2 2 2 2 2 2 2 2 2 2 \
    queues 1@0 1@1 2@2 \
    base-time 0 \
    sched-entry S 01 300000 \
    sched-entry S 02 300000 \
    sched-entry S 04 400000 \
    flags 0x2

# CBS (Credit-Based Shaper) - cbs qdisc
tc qdisc add dev eth0 parent 100:1 cbs \
    idleslope 98688 sendslope -901312 \
    hicredit 153 locredit -1389

# ETF (Earliest TxTime First) - 정밀 전송 시간 제어
tc qdisc add dev eth0 parent 100:2 etf \
    clockid CLOCK_TAI delta 200000 offload

산업용 이더넷

표준 이더넷 프레임을 기반으로 실시간 산업 통신을 구현하는 프로토콜들입니다.

MACsec (IEEE 802.1AE) 계층 2 암호화

MACsec(Media Access Control Security, IEEE 802.1AE)는 이더넷 프레임을 링크 단위로 암호화하는 L2 보안 프로토콜입니다. IPsec(L3)이나 TLS(L4+)와 달리 이더넷 헤더 직후에서 암호화가 이루어져, ARP, DHCP, LLDP 등 모든 L2 프로토콜 트래픽을 보호합니다.

MACsec 프레임 구조

MACsec는 원본 이더넷 프레임에 SecTAG(Security Tag, 8~16바이트)와 ICV(Integrity Check Value, 8~16바이트)를 추가합니다. EtherType 0x88E5로 식별됩니다.

MKA (MACsec Key Agreement)

IEEE 802.1X-2010에 정의된 MKA(MACsec Key Agreement) 프로토콜은 링크 양단에서 암호화 키를 자동으로 교환하고 갱신합니다.

MACsec 동작 모드

리눅스 MACsec 설정

# MACsec 인터페이스 생성 (PSK 모드)
ip link add link eth0 macsec0 type macsec sci 1 encrypt on

# 수신 SA 추가 (피어로부터 수신하는 키)
ip macsec add macsec0 rx sci 0x0002 sa 0 pn 1 on \
    key 00 dffafc8d7b9a43d5b9a3dfbbf6a30c16

# 송신 SA 추가 (자신이 송신하는 키)
ip macsec add macsec0 tx sa 0 pn 1 on \
    key 01 ead3664f508eb06c40ac7104cdae4ce2

# MACsec 인터페이스 활성화
ip link set macsec0 up
ip addr add 192.168.100.1/24 dev macsec0

# MACsec 상태 확인
ip macsec show

# wpa_supplicant MKA 자동 키 교환 (802.1X 연동)
# /etc/wpa_supplicant/wpa_supplicant-macsec.conf
# network={
#     key_mgmt=IEEE8021X
#     eapol_flags=0
#     macsec_policy=1
#     mka_cak=dffafc8d7b9a43d5b9a3dfbbf6a30c16
#     mka_ckn=31323334353637383930313233343536
#     mka_priority=255
# }

# HW 오프로드 확인 (지원 NIC: Intel E810, Mellanox ConnectX-6 Dx+)
ethtool -k eth0 | grep macsec
ip link add link eth0 macsec0 type macsec offload mac

SR-IOV와 이더넷 가상화

SR-IOV(Single Root I/O Virtualization, PCI-SIG 규격)는 하나의 물리 NIC(PF, Physical Function)에서 다수의 가상 NIC(VF, Virtual Function)를 생성하여, 가상머신(VM)이나 컨테이너에 직접 할당할 수 있게 합니다. 하이퍼바이저의 가상 스위치를 우회하므로 네이티브에 가까운 성능을 달성합니다.

SR-IOV VF 생성 및 관리

# VF 생성 (최대 수는 NIC마다 다름)
echo 4 > /sys/class/net/eth0/device/sriov_numvfs

# VF 확인
ip link show eth0
# ... vf 0 MAC aa:bb:cc:dd:ee:00, spoof checking on, link-state auto
# ... vf 1 MAC aa:bb:cc:dd:ee:01, spoof checking on, link-state auto

# VF MAC 주소 설정 (PF에서)
ip link set eth0 vf 0 mac aa:bb:cc:dd:ee:00

# VF VLAN 태그 설정
ip link set eth0 vf 0 vlan 100

# VF 대역폭 제한 (Mbps)
ip link set eth0 vf 0 max_tx_rate 1000 min_tx_rate 100

# VF Spoof 체크 비활성화 (DPDK 등 직접 MAC 설정 시)
ip link set eth0 vf 0 spoofchk off

# VF Trust 모드 (Promiscuous 허용)
ip link set eth0 vf 0 trust on

# VF를 QEMU/KVM에 직접 할당 (VFIO passthrough)
# 1. IOMMU 활성화 (커널 파라미터: intel_iommu=on iommu=pt)
# 2. VF를 vfio-pci에 바인딩
echo "0000:03:02.0" > /sys/bus/pci/drivers/ice/unbind
echo "vfio-pci" > /sys/bus/pci/devices/0000:03:02.0/driver_override
echo "0000:03:02.0" > /sys/bus/pci/drivers/vfio-pci/bind

# eSwitch 모드 전환 (Mellanox switchdev)
devlink dev eswitch set pci/0000:03:00.0 mode switchdev
devlink dev eswitch show pci/0000:03:00.0

DSA (Distributed Switch Architecture)

DSA는 리눅스 커널의 이더넷 스위치 칩 추상화 프레임워크입니다. SoC에 내장되거나 MDIO/SPI로 연결된 이더넷 스위치(Marvell, Microchip, Realtek 등)를 표준 net_device로 노출하여, VLAN, 브릿지, STP 등 기존 리눅스 네트워크 도구로 스위치를 제어할 수 있게 합니다.

DSA 설정 및 관리

# DSA 포트 확인
ip link show type dsa

# DSA 스위치 포트를 브릿지에 추가
ip link add br0 type bridge vlan_filtering 1
ip link set lan0 master br0
ip link set lan1 master br0
ip link set lan2 master br0

# 포트별 VLAN 설정 (HW 오프로드)
bridge vlan add dev lan0 vid 10 pvid untagged
bridge vlan add dev lan1 vid 20 pvid untagged
bridge vlan add dev lan2 vid 10
bridge vlan add dev lan2 vid 20  # trunk 포트

# FDB (포워딩 데이터베이스) 확인
bridge fdb show br br0

# DSA 태깅 프로토콜 확인
cat /sys/class/net/eth0/dsa/tagging

# Device Tree에서의 DSA 정의 예시
# &mdio {
#     switch@0 {
#         compatible = "marvell,mv88e6085";
#         reg = <0>;
#         ports {
#             port@0 { label = "lan0"; };
#             port@5 { label = "cpu"; ethernet = <&gmac0>; };
#         };
#     };
# };

AF_XDP와 고성능 패킷 처리

AF_XDP(eXpress Data Path 소켓)는 리눅스 커널 4.18+에서 도입된 고성능 패킷 처리 인터페이스입니다. XDP 프로그램이 NIC에서 수신한 패킷을 커널 네트워크 스택을 완전히 우회하여 유저스페이스 애플리케이션에 제로카피로 전달합니다.

AF_XDP 동작 모드

# AF_XDP 제로카피 지원 드라이버 확인
# Intel: ice, i40e, ixgbe, igc
# Mellanox: mlx5
# Amazon: ena
# Netronome: nfp

# XDP 프로그램 로드 (xdpsock 예시)
ip link set dev eth0 xdp obj xdp_prog.o sec xdp

# AF_XDP 소켓 기본 사용법 (C 코드 개요)
/* 1. UMEM 생성 */
/* struct xsk_umem *umem;
   xsk_umem__create(&umem, buffer, size, &fill, &comp, &cfg); */
/* 2. AF_XDP 소켓 생성 */
/* struct xsk_socket *xsk;
   xsk_socket__create(&xsk, "eth0", queue, umem, &rx, &tx, &cfg); */
/* 3. poll() 또는 busy-poll로 패킷 수신 */
/* 4. RX Ring에서 descriptor 읽기 → UMEM 주소로 패킷 접근 */

# libbpf AF_XDP 헬퍼 (xsk.h)
# xsk_ring_prod__reserve(), xsk_ring_cons__peek()
# xsk_ring_prod__submit(), xsk_ring_cons__release()

# XDP 통계 확인
bpftool prog show
bpftool net show

# ethtool XDP 통계
ethtool -S eth0 | grep xdp

성능 튜닝

이더넷 네트워크 성능을 최적화하는 주요 커널/드라이버 파라미터입니다.

링 버퍼 최적화

# 링 버퍼 현재 크기 확인
ethtool -g eth0

# 링 버퍼 최대로 설정 (패킷 드롭 방지)
ethtool -G eth0 rx 4096 tx 4096

# 인터럽트 병합 (지연 vs 처리량 트레이드오프)
ethtool -C eth0 adaptive-rx on adaptive-tx on

# 멀티큐 확인
ethtool -l eth0

# 큐 수 변경
ethtool -L eth0 combined 8

IRQ 어피니티

# NIC IRQ 확인
grep eth0 /proc/interrupts

# IRQ 어피니티 자동 설정 스크립트
set_irq_affinity eth0

# 수동 설정: IRQ 42번을 CPU 0에 바인딩
echo 1 > /proc/irq/42/smp_affinity

# XPS (Transmit Packet Steering) 설정
echo 1 > /sys/class/net/eth0/queues/tx-0/xps_cpus

sysctl 네트워크 튜닝

# 수신 버퍼
sysctl -w net.core.rmem_max=16777216
sysctl -w net.core.rmem_default=1048576

# 송신 버퍼
sysctl -w net.core.wmem_max=16777216
sysctl -w net.core.wmem_default=1048576

# 네트워크 백로그
sysctl -w net.core.netdev_max_backlog=30000
sysctl -w net.core.netdev_budget=600

# TCP 자동 튜닝
sysctl -w net.ipv4.tcp_rmem="4096 1048576 16777216"
sysctl -w net.ipv4.tcp_wmem="4096 1048576 16777216"

FEC (Forward Error Correction)

FEC(전진 오류 정정)는 고속 이더넷(25G 이상)에서 비트 오류율(BER)을 허용 수준(10^-12 이하)으로 낮추기 위해 송신 측에서 중복 데이터를 추가하고, 수신 측에서 오류를 복원하는 기술입니다. PAM4 변조를 사용하는 25G+ 이더넷에서는 FEC가 필수적입니다.

FEC 유형 비교

FEC 설정 및 모니터링

# 현재 FEC 설정 확인
ethtool --show-fec eth0

# FEC 모드 변경
ethtool --set-fec eth0 encoding rs       # RS-FEC 강제
ethtool --set-fec eth0 encoding baser    # BaseR-FEC 강제
ethtool --set-fec eth0 encoding auto     # 자동 협상
ethtool --set-fec eth0 encoding off       # FEC 비활성화

# FEC 통계 확인 (정정/미정정 블록 수)
ethtool -S eth0 | grep -i fec
# fec_corrected_blocks: 12345  ← 정정 성공 (정상)
# fec_uncorrectable_blocks: 0  ← 미정정 (이 값이 증가하면 문제)

# FEC 미정정 블록이 증가하면:
# 1. SFP 모듈의 RX Power 확인 (ethtool -m ethX)
# 2. 광 패치 코드 교체
# 3. FEC 모드를 RS-FEC으로 변경 (더 강한 정정)
# 4. 링크 양단 FEC 모드 일치 확인

이더넷 케이블과 커넥터 가이드

물리 계층의 성능은 케이블과 커넥터에 크게 의존합니다. 올바른 케이블 선택은 안정적인 이더넷 링크의 기본입니다.

UTP 케이블 카테고리 비교

케이블 테스트 및 진단

# 케이블 테스트 (TDR: Time Domain Reflectometry)
ethtool --cable-test eth0

# 결과 확인 (NIC 지원 필요: ice, igc, aqc111 등)
# pair A code open, length 15m
# pair B code ok
# pair C code ok
# pair D code short, length 8m

# 케이블 진단 코드 해석:
# ok      — 정상 연결
# open    — 단선 (선이 끊어짐)
# short   — 합선 (선끼리 접촉)
# impedance-mismatch — 임피던스 불일치 (커넥터 불량)

# 광 커넥터 (SFP) 연결 상태 확인
ethtool -m eth0
# RX Power가 -30 dBm 이하이면 광 손실 과다
# 정상 범위: -1 ~ -12 dBm (모듈마다 다름)

DAC와 AOC

FCS와 CRC-32

이더넷 프레임의 마지막 4바이트 FCS(Frame Check Sequence)는 CRC-32 다항식으로 계산됩니다.

• 다항식: x^32 + x^26 + x^23 + x^22 + x^16 + x^12 + x^11 + x^10 + x^8 + x^7 + x^5 + x^4 + x^2 + x + 1
• 검사 범위: Destination MAC ~ Payload (Preamble, SFD 제외)
• HW 오프로드: 현대 NIC은 FCS를 하드웨어에서 계산/검증, skb->ip_summed로 커널에 알림

/* 커널 CRC-32 API */
#include <linux/crc32.h>

u32 crc = crc32_le(~0, data, len);  /* Little-endian CRC-32 */
u32 fcs = ~crc;                       /* 최종 보수(complement) */

PTP와 하드웨어 타임스탬프

IEEE 1588 PTP(Precision Time Protocol)는 이더넷 네트워크에서 나노초 수준 시간 동기화를 달성합니다.

# PTP 하드웨어 타임스탬프 능력 확인
ethtool -T eth0

# linuxptp로 PTP 동기화
ptp4l -i eth0 -m -H  # Hardware timestamping
phc2sys -s eth0 -c CLOCK_REALTIME -O 0 -m

# PHC (PTP Hardware Clock) 확인
cat /sys/class/ptp/ptp0/clock_name

WoL (Wake-on-LAN)

Wake-on-LAN은 이더넷을 통해 원격으로 시스템을 깨우는 기능입니다. 시스템이 완전히 동작하지 않는 상태여도 NIC의 일부 블록은 대기 전원으로 살아 있으며, 매직 패킷이나 드라이버가 허용한 웨이크 패턴을 감시합니다.

실무에서는 S3(대기), S4(디스크 절전), S5(소프트 오프)에서 WoL을 기대하지만, 실제 지원 범위는 메인보드 전원 설계, BIOS/UEFI 정책, NIC의 D3hot/D3cold 동작에 따라 달라집니다. 커널은 시스템을 절전 상태로 넘기기 전에 NIC 드라이버에 웨이크 패턴을 프로그래밍하고, 이후 NIC는 패턴이 일치하면 PME# 같은 웨이크 이벤트를 플랫폼에 전달합니다.

매직 패킷은 데이터 페이로드 어디에 있어도 되지만, 일반적으로는 같은 L2 세그먼트에서 브로드캐스트 주소로 보내는 방식이 가장 단순합니다. NIC는 운영체제가 거의 꺼진 상태에서도 이 패턴을 비교할 수 있도록 최소한의 수신 경로를 유지합니다.

# WoL 지원 확인
ethtool eth0 | grep Wake-on

# WoL 활성화 (Magic Packet)
ethtool -s eth0 wol g

# WoL 비활성화
ethtool -s eth0 wol d

# 매직 패킷 전송 (다른 시스템에서)
wakeonlan AA:BB:CC:DD:EE:FF

디버깅과 진단

ethtool 진단

# 드라이버 정보
ethtool -i eth0

# NIC 통계 (드라이버별)
ethtool -S eth0

# 링크 상태 상세
ethtool eth0

# PHY 레지스터 덤프
ethtool -d eth0

# NIC 자가진단 (지원 시)
ethtool -t eth0 online

# 모듈(SFP) 정보
ethtool -m eth0

이더넷 오류 유형

이더넷 통신에서 발생하는 주요 오류 유형과 원인, 증상, 해결 방법을 정리합니다.

ethtool -S 출력에서 오류 카운터를 해석하는 예시입니다.

# NIC 오류 통계 확인
ethtool -S eth0 | grep -i error

# 주요 오류 카운터 해석
# rx_crc_errors    — CRC 불일치 (물리 계층 문제)
# rx_missed_errors — 링 버퍼 부족으로 누락
# rx_length_errors — 길이 필드 불일치
# rx_over_errors   — RX FIFO 오버플로우
# tx_aborted_errors — 전송 중단 (과도한 충돌)
# tx_fifo_errors   — TX FIFO 언더런

# 시간 경과에 따른 오류 증가율 모니터링
watch -n 1 'ethtool -S eth0 | grep -i error'

# sysfs 오류 카운터 직접 확인
for f in /sys/class/net/eth0/statistics/*error*; do
    echo "$(basename $f): $(cat $f)"
done

패킷 카운터 확인

# 인터페이스 통계
ip -s link show eth0

# 상세 오류 카운터
cat /sys/class/net/eth0/statistics/rx_errors
cat /sys/class/net/eth0/statistics/rx_dropped
cat /sys/class/net/eth0/statistics/tx_carrier_errors

# SNMP MIB 카운터
cat /proc/net/snmp | grep Ip

# 드롭 원인 추적
dropwatch -l kas
# 또는 perf를 사용
perf trace -e 'skb:kfree_skb'

패킷 캡처

# 이더넷 헤더 포함 캡처
tcpdump -i eth0 -e -nn -c 10

# VLAN 태그 포함 캡처
tcpdump -i eth0 -e vlan

# ARP만 캡처
tcpdump -i eth0 arp -e

# 특정 EtherType 캡처
tcpdump -i eth0 ether proto 0x88cc  # LLDP

이더넷 드라이버 작성 가이드

리눅스 이더넷 드라이버의 핵심 구조를 이해하면 NIC 관련 문제를 디버깅하고 커스텀 드라이버를 작성하는 데 큰 도움이 됩니다. 최소한의 이더넷 드라이버 스켈레톤을 통해 핵심 콜백과 초기화 흐름을 살펴봅니다.

최소 드라이버 스켈레톤

/* 최소 이더넷 드라이버 구조 (개요) */
#include <linux/module.h>
#include <linux/pci.h>
#include <linux/netdevice.h>
#include <linux/etherdevice.h>

struct my_priv {
    struct pci_dev   *pdev;
    void __iomem     *hw_addr;      /* MMIO base */
    struct napi_struct napi;
    /* TX/RX descriptor rings, DMA 주소 등 */
};

/* ---- TX 경로 ---- */
static netdev_tx_t my_xmit(struct sk_buff *skb, struct net_device *dev)
{
    struct my_priv *priv = netdev_priv(dev);

    /* 1. TX descriptor에 skb 매핑 */
    dma_addr_t dma = dma_map_single(&priv->pdev->dev,
                                     skb->data, skb->len, DMA_TO_DEVICE);
    /* 2. Descriptor에 DMA 주소/길이 기록 */
    /* 3. Doorbell (tail pointer) 업데이트 */
    writel(new_tail, priv->hw_addr + TX_TAIL_REG);

    return NETDEV_TX_OK;
}

/* ---- RX 경로 (NAPI poll) ---- */
static int my_poll(struct napi_struct *napi, int budget)
{
    struct my_priv *priv = container_of(napi, struct my_priv, napi);
    int cleaned = 0;

    while (cleaned < budget) {
        /* RX descriptor에서 완료된 패킷 확인 */
        if (!rx_desc_done(priv))
            break;

        struct sk_buff *skb = napi_alloc_skb(napi, pkt_len);
        /* DMA 언맵 + 데이터 복사 (또는 page flip) */
        skb->protocol = eth_type_trans(skb, priv->ndev);
        napi_gro_receive(napi, skb);
        cleaned++;
    }

    if (cleaned < budget) {
        napi_complete_done(napi, cleaned);
        /* 인터럽트 재활성화 */
        my_irq_enable(priv);
    }
    return cleaned;
}

/* ---- IRQ 핸들러 ---- */
static irqreturn_t my_irq(int irq, void *data)
{
    struct my_priv *priv = data;
    /* 인터럽트 비활성화 (NAPI가 처리) */
    my_irq_disable(priv);
    napi_schedule(&priv->napi);
    return IRQ_HANDLED;
}

/* ---- net_device_ops ---- */
static const struct net_device_ops my_netdev_ops = {
    .ndo_open           = my_open,       /* ip link set up */
    .ndo_stop           = my_close,      /* ip link set down */
    .ndo_start_xmit     = my_xmit,       /* 패킷 송신 */
    .ndo_set_rx_mode    = my_set_rx_mode,/* 프로미스큐어스/멀티캐스트 */
    .ndo_set_mac_address = eth_mac_addr,  /* 기본 MAC 변경 */
    .ndo_change_mtu     = my_change_mtu, /* MTU 변경 */
    .ndo_get_stats64    = my_get_stats,  /* 통계 */
};

/* ---- PCI probe ---- */
static int my_probe(struct pci_dev *pdev, const struct pci_device_id *id)
{
    struct net_device *ndev;
    struct my_priv *priv;

    pci_enable_device(pdev);
    pci_set_master(pdev);
    dma_set_mask_and_coherent(&pdev->dev, DMA_BIT_MASK(64));

    ndev = alloc_etherdev(sizeof(*priv));
    priv = netdev_priv(ndev);
    priv->pdev = pdev;
    priv->hw_addr = pci_ioremap_bar(pdev, 0);

    ndev->netdev_ops = &my_netdev_ops;
    ndev->ethtool_ops = &my_ethtool_ops;

    /* MAC 주소 읽기 (NIC EEPROM/레지스터에서) */
    my_read_mac(priv, ndev->dev_addr);

    netif_napi_add(ndev, &priv->napi, my_poll);
    register_netdev(ndev);
    pci_set_drvdata(pdev, ndev);

    return 0;
}

자주 하는 실수와 트러블슈팅

이더넷 환경에서 반복적으로 발생하는 문제와 해결 방법을 정리합니다.

1. 듀플렉스 불일치 (Duplex Mismatch)

# 진단
ethtool eth0 | grep -E "Speed|Duplex|Auto-negotiation"
ethtool -S eth0 | grep -i "late_collision\|crc"

# 해결: 양단 Auto-Negotiation 활성화
ethtool -s eth0 autoneg on

2. MTU 불일치

# 경로 MTU 확인
tracepath -n 10.0.0.1
ping -M do -s 8972 10.0.0.1  # Jumbo Frame 경로 테스트

# 모든 장비 MTU 확인
ip link show | grep mtu

3. 오프로드 문제 (체크섬/TSO 오류)

# tcpdump "bad checksum"이 TX 오프로드 때문인지 확인
ethtool -k eth0 | grep "tx-checksum"

# 오프로드 비활성화로 문제 격리
ethtool -K eth0 tx off rx off tso off gro off
# 문제가 사라지면 오프로드 관련 드라이버 버그

# 하나씩 다시 켜며 원인 특정
ethtool -K eth0 rx on       # RX checksum
ethtool -K eth0 tx on       # TX checksum
ethtool -K eth0 tso on      # TSO
ethtool -K eth0 gro on      # GRO

4. FEC 불일치로 링크 미연결

ethtool --show-fec eth0
ethtool --set-fec eth0 encoding auto

5. RGMII 지연 이중 적용

# Device Tree 확인
cat /sys/firmware/devicetree/base/ethernet*/phy-mode

# PHY 레지스터에서 지연 설정 확인 (MDIO)
ethtool -d eth0  # 또는 phytool

# RGMII 모드 종류:
# "rgmii"     — 지연 없음 (PCB 트레이스로 추가)
# "rgmii-id"  — PHY가 TX+RX 지연 모두 추가
# "rgmii-txid" — PHY가 TX 지연만 추가
# "rgmii-rxid" — PHY가 RX 지연만 추가

6. 링 버퍼 부족으로 패킷 드롭

# 현재 Ring 크기 확인
ethtool -g eth0

# 최대로 설정
ethtool -G eth0 rx 4096 tx 4096

# Adaptive Coalescing 활성화
ethtool -C eth0 adaptive-rx on adaptive-tx on

# 드롭 원인 상세 추적
dropwatch -l kas

7. IRQ 편중 (단일 CPU 과부하)

# IRQ 분포 확인
grep eth0 /proc/interrupts

# IRQ를 CPU별로 분산 (예: 8큐 NIC)
# Queue 0 → CPU 0, Queue 1 → CPU 1, ...
for i in $(seq 0 7); do
    irq=$(grep "eth0-TxRx-$i" /proc/interrupts | awk '{print $1}' | tr -d :)
    echo $((1 << $i)) > /proc/irq/$irq/smp_affinity
done

# 또는 Intel 제공 스크립트
set_irq_affinity eth0

8. EEE로 인한 지연 증가

ethtool --show-eee eth0
ethtool --set-eee eth0 eee off

종합 트러블슈팅 체크리스트

커널 소스 참조