저자: 게리 왕

원본 기사 최초 게시: Arweave Oasis Twitter

이전 기사에서는 @ArweaveEco의 핵심 메커니즘에 대한 많은 이론적 내용을 공유했습니다. 그러나 실천이 없는 말은 언제나 말일 뿐입니다. 이번 글에서는 이론을 바탕으로 $AR을 채굴할 수 있는 채굴기를 실제로 구축하는 방법을 소개하겠습니다.

원본 문서 링크:

https://docs.arweave.org/developers/mining/mining-hardware

✨✨✨✨✨✨✨✨✨✨✨✨✨✨✨✨✨✨✨✨

Arweave 마이닝에는 두 가지 주요 단계가 있습니다.

이 기사에서는 이 채굴 단계에 필요한 채굴 기계 구성 요소 구성에 중점을 둘 것입니다.

Arweave 데이터 세트("Weave"라고 함)는 여러 개의 3.6TB 파티션(3,600,000,000,000바이트)으로 나뉩니다.

2024년 3월 기준으로 파티션 수가 50개에 도달했습니다. 이 숫자는 시간이 지남에 따라 사용자 데이터가 업로드되고 향후 AO 플랫폼에 더 많은 데이터가 유입됨에 따라 증가할 것입니다.

Arweave 프로토콜은 채굴자가 채굴을 위해 전체 데이터 세트 또는 전체 데이터 세트의 여러 복사본("전체 복사본"이라고 함)을 저장하도록 강력하게 장려합니다.

전체 복사본을 저장하는 채굴자는 단일 노드를 작동하여 50개 파티션 모두에서 데이터를 읽을 수 있습니다. 또한 여러 노드를 운영할 수 있으며, 각 노드는 데이터 하위 집합에서 블록을 읽고 서로 조정하여 완전한 복사본을 조립할 수 있습니다. 이것을 "협동적 마이닝"이라고 합니다(협동적 마이닝은 버전 2.7.2의 새로운 기능입니다. " Arweave 최신 버전 2.7.2에서 업그레이드된 사항은 무엇입니까? "를 읽을 수 있습니다).

모든 경우에 채굴의 주요 병목 현상은 일반적으로 하드 디스크의 읽기 대역폭입니다. 즉, 3.6TB 파티션당 최소 200MB/s의 평균 읽기 처리량을 유지해야 합니다.

아래에서는 채굴 장비 설정에 대한 주요 고려 사항을 간략하게 설명하고 몇 가지 구성 예를 제공합니다.

마이닝 구성은 기계마다 다르며 아직 특정 구성 요소 간의 호환성을 입증할 수 없습니다. 따라서 자체 채굴 장비를 구축할 때는 구성 요소 간의 호환성을 확인해야 합니다.

채굴 플랫폼

현재 두 가지 마이닝 구성이 있습니다.

마이닝 구성은 기계마다 다르며 아직 특정 구성 요소 간의 호환성을 입증할 수 없습니다. 따라서 자체 채굴 장비를 구축할 때는 구성 요소 간의 호환성을 확인해야 합니다.

채굴 플랫폼

현재 두 가지 마이닝 구성이 있습니다.

지금까지의 주요 전략은 다중 노드/협업 채굴 접근 방식을 채택하는 것이었습니다. **Weave가 지속적으로 성장함에 따라 이 전략이 점점 더 대중화될 것이라고 믿습니다.

이제 하나의 노드가 16개의 파티션 데이터를 저장하는 경우를 살펴보겠습니다. 구성 테이블은 다음과 같습니다.

그런 다음 3개 이상의 노드와 함께 작동하여 데이터의 전체 복사본을 덮어씁니다.

참고: 물론 채굴자는 전체 50개의 파티션이 있는 단일 노드와 같이 16개 이상의 파티션을 저장하도록 단일 노드를 구성할 수도 있습니다. 하지만 부분적인 복사본만 소유한 채굴자로서 다른 채굴자들과 협력하여 효율적으로 채굴할 수 있는 채굴 풀에 참여할 수도 있습니다.

스토리지 대역폭

채굴자가 직면하게 될 가장 큰 병목 현상은 저장 및 읽기를 위한 대역폭입니다. 특히 각 3.6TB 파티션은 스토리지 디스크에서 CPU까지 최소 200MB/s의 평균 읽기 처리량을 유지해야 합니다. 관련된 주요 구성 요소는 다음과 같습니다.

각 구성 요소에 대해 더 자세히 살펴보겠습니다.

1. 기계식 하드디스크(HDD)

기계식 하드 디스크 HDD의 주요 요구 사항은 3.6TB 파티션당 200MB/s의 평균 읽기 처리량을 제공할 수 있어야 합니다.

최신 7200rpm HDD의 정격은 일반적으로 200MB/s이므로 가장 간단하고 권장되는 접근 방식은 채굴하려는 각 파티션에 대해 4TB HDD를 구입하는 것입니다. Weave 데이터와 관련된 메타데이터 정보를 저장하기 위해 추가로 0.4TB가 사용됩니다.

그러나 채굴자는 다음과 같은 다양한 상황에서 다양한 구성이 더 수익성이 높다는 것을 알 수 있습니다.

마찬가지로 SATA 및 SAS 드라이브 모두 잘 작동하므로 드라이브, 케이블 및 기타 구성 요소 간의 호환성만 확인하면 됩니다. 그러나 결론을 내리기 전에 하드웨어 구성 요소 간의 충분한 테스트가 필요합니다.

2. 호스트 버스 어댑터 HBA

대부분의 마더보드에는 16개 이상의 스토리지 디스크를 지원하기에 충분한 SATA 커넥터가 통합되어 있지 않으므로 최소한 하나의 HBA 카드가 필요할 것입니다. 시중에는 다양한 HBA가 있습니다.

첫 번째 질문은 HBA에 몇 개의 디스크를 연결할 것인가입니다. 이 번호가 있으면 다음 속성을 기준으로 HBA를 선택할 수 있습니다.

노드당 16개의 SATA 디스크를 가정하는 예를 사용하여 구성해 보겠습니다.

총 16개의 SATA 하드 드라이브에는 16 × 1.2Gbps = 25.6Gbps의 지속적인 평균 읽기 처리량이 필요합니다.

참고: RAID를 사용하지 않는 것이 좋습니다. 일반적으로 소프트웨어와 하드웨어 RAID 모두 비용과 복잡성을 정당화하지 못하며 특정 구성에서는 성능을 저하시킬 수 있습니다.

SAS 버전

SAS(직렬 SCSI)는 데이터 전송 프로토콜로, SAS에는 3가지 속도 표준이 있습니다.

모든 표준은 상호 운용 가능하지만 다양한 SAS 표준에 따라 케이블과 주변 장치를 결합할 때 데이터 전송 처리량은 가장 느린 구성 요소에 따라 결정됩니다. 예를 들어 SAS-1 확장기를 SAS-3 HBA에 연결하면 처리량은 채널당 12Gbps가 아닌 채널당 3Gbps가 됩니다.

따라서 조기에 표준을 파악하고 해당 표준 이상을 충족하는 모든 구성 요소를 선택하는 것이 좋습니다.

나중에 디스크를 추가하기로 결정한 경우 SAS 속도로 인해 병목 현상이 발생하지 않도록 하려면 SAS-2 또는 SAS-3을 사용하는 것이 좋습니다 .

SAS 채널 수

HBA 카드의 제품 이름은 8i, 16i, 16e와 같이 숫자와 문자로 끝납니다. HBA 카드에서 지원하는 SAS 채널 수를 나타냅니다.

각 HBA 커넥터(일반적으로 Mini-SAS 커넥터이지만 다른 포트도 있음)에는 4개의 레인이 있습니다. 따라서 "SAS-2 LSI HBA 16i" 카드에는 각각 4개의 SAS 채널이 있는 4개의 커넥터가 있어 총 16개의 채널이 있습니다. 16레인 × 6gbps = 96gbps 총 처리량.

SAS 확장기를 사용하지 않고도 각 HBA 카드의 채널을 단일 HDD 하드 디스크에 직접 연결할 수 있습니다. 따라서 16개의 하드 드라이브를 지원하려면 16채널(16포트라고도 함) HBA 카드가 필요합니다. 각 하드 디스크에는 1.2Gbps의 읽기 대역폭이 필요하며 이는 SAS의 대역폭보다 훨씬 낮습니다.

16개의 하드 드라이브를 연결하려면 16i 또는 16e HBA 카드를 사용하는 것이 좋습니다.

이론적으로 각 HBA 카드 채널에는 여러 하드 드라이브를 지원하기에 충분한 대역폭이 있다는 것을 알 수 있습니다. 예를 들어, 6Gbps SAS-2 채널은 이론적으로 5개의 1.2Gbps 하드 드라이브를 지원할 수 있습니다. 이를 위해서는 SAS 확장기를 추가해야 합니다.

SAS 확장기

SAS 확장기를 사용하여 여러 하드 드라이브를 HBA 카드의 각 SAS 채널에 연결합니다. SAS 버전 조정은 SAS 확장기를 사용할 때 특히 중요합니다. 예를 들어 SAS-2 HBA 카드와 함께 SAS-1 확장기를 사용하고 각 SAS 채널에 4개의 드라이브를 연결하려고 하면 SAS-1 처리량이 3Gbps로 낮아 읽기 속도가 제한됩니다.

SAS 확장기를 사용하려면 추가 PCIe 슬롯도 필요하며 문제 해결 및 교체 유지 관리가 필요한 구성 요소입니다. 이러한 이유로 추가적인 복잡성을 처리할 준비가 되어 있지 않은 경우 SAS 확장기를 사용하지 않는 것이 좋습니다.

PCIe 레인 번호 및 PCIe 버전 번호

구성 요소의 최종 연결은 PCIe 슬롯을 통해 HBA 카드에서 마더보드로 연결됩니다.

PCIe 레인 번호 및 PCIe 버전 번호

구성 요소의 최종 연결은 PCIe 슬롯을 통해 HBA 카드에서 마더보드로 연결됩니다.

PCIe 대역폭이 전체 처리량에 대한 병목 현상을 일으키지 않도록 하려면 8개의 PCIe 버전 3.0 레인이 있는 어댑터를 사용하는 것이 좋습니다. 이 8개의 PCIe 3.0은 62.4Gbps 대역폭을 제공할 수 있으며 최대 39개의 하드 드라이브를 사용할 수 있습니다.

내부 대 외부

HBA에 대한 또 다른 참고 사항: 제품 번호 끝에 있는 문자(예: 16i 및 16e)는 "내부" 및 "외부" 커넥터를 나타냅니다. 16i HBA 카드는 미니-SAS 커넥터를 섀시 내부에 노출시키고, 16e HBA 카드는 미니-SAS 커넥터를 섀시 외부에 노출시킵니다. 하드 드라이브를 장착하려는 위치에 따라 달라지므로 여기에는 권장 사항이 없습니다.

기타 매개변수

컴퓨터 시스템은 복잡하고 구성 요소가 매우 다양하기 때문에 시스템에는 HBA 및 하드 드라이브와 달리 추가적인 대역폭 제약이 있을 수 있습니다. 읽기 대역폭에 병목 현상이 발생하지 않도록 시스템의 다른 구성 요소 사양을 확인하는 것이 좋습니다.

3. 마더보드의 PCIe 슬롯

위의 HBA 섹션에서 언급했듯이 8레인 PCIe 3.0 이상을 사용하여 HBA와 SAS 확장기를 연결하는 것이 좋습니다. 이는 마더보드를 구입할 때 HBA 카드 및 SAS 확장기를 수용할 수 있는 올바른 유형의 슬롯이 충분한지 확인하기 위해 명심해야 할 사항입니다.

참고: 동기화 및 패킹 단계

이전 하드웨어 구성은 주로 채굴 단계에 중점을 두었습니다. 채굴을 시작하기 전에 전체 사본(2024년 3월 기준 177TB)을 다운로드하고 채굴 주소로 패키징해야 합니다. 패키징은 CPU 집약적인 암호화 프로세스입니다(직조 데이터는 채굴 주소를 사용하여 대칭적으로 암호화됩니다). 일반적으로 채굴자는 데이터를 다운로드하고 데이터를 패키지화합니다.

이 단계의 병목 현상은 네트워크 다운로드 대역폭과 CPU 용량입니다. 예를 들어 다운로드 대역폭이 1Gbps인 경우 전체 데이터 세트를 다운로드하는 데 16일 이상이 소요됩니다. 다운로드 속도가 빠를수록 데이터 세트를 더 빠르게 동기화할 수 있습니다. 그러나 일단 채굴을 시작하면 100~200mbps의 속도이면 충분합니다.

일부 데이터를 다운로드한 후에는 데이터를 패키징하고 채굴 주소 아래의 고유한 복사본으로 변환해야 합니다. 16코어 Ryzen 9 7950x는 초당 약 90MB의 데이터를 담을 수 있습니다. 즉, 단일 16코어 Ryzen 9 7950x를 사용하여 전체 데이터 세트를 담는 데 약 22일이 소요됩니다. 이 두 단계(동기화 및 패키징)가 병렬로 발생할 수 있으므로 1Gbps 다운로드 대역폭과 16코어 Ryzen 9 7950x를 갖춘 이 예시 마이너는 22일 안에 전체 데이터 세트를 동기화하고 패키징할 수 있습니다.

이 모든 것의 장점은 데이터를 복사본당 한 번만 다운로드하고 패키징하면 된다는 것입니다. 일부 채굴자는 이 단계의 시간을 줄이기 위해 CPU 시간과 대역폭을 임대합니다.

🔗 PermaDAO 소개 : 웹사이트 | 텔레 그램 매체 |

💡 PermaDAO 커뮤니티는 EverVision이 시작하고 Forward Research(Arweave 공식)가 후원하는 Arweave 합의 스토리지를 주제로 구축된 "공동 빌더 커뮤니티"입니다. 기여자의 모든 작업은 데이터 합의가 됩니다. "데이터 합의"부터 시작하여 낯선 사람의 업무 협업의 새로운 모델인 분산형 자율 조직을 살펴보겠습니다.

"버그 잡기" 계획

이 글에서 오타, 잘못된 문장, 잘못된 설명, 불명확한 의미, 중복된 설명, 기타 문제 등의 오류를 발견한 경우 피드백을 보내주시면 인센티브를 지급해 드립니다. 의견을 보내려면 " 여기 "를 클릭하세요.

피드백 유효기간 : 기사 게재 후 30일 이내.