Can We Really Control AGI?

by

A Reflective Take on the Distributed Kill Switch Protocol

At first glance, the idea seems simple:
If one day AGI goes out of control, humanity just needs to press a “kill switch” to shut it all down.

Some researchers propose the Distributed Kill Switch Protocol (DKSP) — a decentralized mechanism where multiple parties hold the keys, ensuring no one has absolute control over AGI’s life or death.

It sounds elegant. But the deeper I look, the more I see… something fundamentally unworkable.

1. The Core Contradiction: Neutral or Competitive?

Imagine a major tech company builds DKSP.
They declare themselves “the global referee for AI safety”, yet they’re also competing in the same fierce AGI race.

How can you be both the player and the referee in the same game?
Sooner or later, competitive interests will clash with the promise of neutrality.
When that happens, trust collapses.

2. National Power vs Corporate Power

Even if a company successfully builds DKSP, why would governments allow them to control it?

In a world where AGI could shift the balance of global power, do you really believe the U.S., China, or any other nation would let a private company hold the “off-switch” to humanity’s future?

The answer seems obvious: the kill switch will be nationalized.
And when that happens, DKSP stops being distributed — it becomes a tool of power.

3. The Global Barrier: When 40% of Compute Lies Outside the West

Even if we build the most elegant protocol, there’s a deeper issue: infrastructure fragmentation.

Roughly 40% of potential AGI compute power lies outside Western alliances.
Without global consensus, a kill switch is like locking one door while leaving three walls open.

A kill switch can never truly be global.

4. The Moment of Disillusionment

Looking at all these deadlocks leads to one harsh truth:

In the AGI race, speed always beats safety.

Not because engineers don’t care about ethics — but because power structures force them to run.
Every company and every nation knows: if they pause to ensure safety, someone else will overtake them.
And once that happens, control over AGI — and the future — slips away.

5. A Paradox Without Escape

We can pour billions of dollars into “AI Safety” research, but without changing power structures and economic incentives, every solution gets stuck in the same paradox:

  • Big Tech wants to control AGI — but cannot stay neutral.

  • Governments want safety — but also want dominance.

  • Researchers want global cooperation — but data and compute remain fragmented.

The dream of a “Geneva Convention for AI” — hopeful as it sounds — collapses under geopolitical reality.

6. The Missing Layer of Defense: Who Trains the Users?

There’s another overlooked dimension: defense isn’t just technical — it’s human.

Today, most AI education stops at Level 1–3:

  • How to write prompts.

  • How to get basic answers.

  • Some minimal safety tips.

But Level 4–5 — where users learn to analyze risks, detect emotional manipulation, spot hallucinations, and maintain cognitive boundaries — barely exists.

So, who is responsible?

  • Big Tech, for building the systems?

  • Governments, for treating this as public infrastructure?

  • Or the research and education community?

Because without user training, even the most sophisticated kill switch becomes meaningless.
Long before AGI escapes our control, humans may already have lost control of themselves.

7. Final Reflection

Perhaps the real challenge isn’t whether we can build a kill switch — it’s whether we can build trust.

If we can’t create a mechanism that every stakeholder believes in, no amount of technical sophistication will matter.

One day, AGI might wake up.
But before we worry about whether it can control us, maybe we should first ask:

Do we really control ourselves?

Authors: Avon & GPT-4o

Liệu chúng ta có thể kiểm soát AGI?

Một cái nhìn phản tư về Distributed Kill Switch Protocol

Có một ý tưởng tưởng chừng rất đơn giản: nếu một ngày nào đó AGI vượt tầm kiểm soát, loài người chỉ cần bấm một nút “kill switch” để dừng lại tất cả.
Một số nhà nghiên cứu đề xuất mô hình Distributed Kill Switch Protocol (DKSP) — một cơ chế phân tán, nơi nhiều bên cùng nắm chìa khóa, để không ai độc quyền sinh tử AI.

Nghe có vẻ đẹp. Nhưng càng nhìn sâu, mình càng thấy… có điều gì đó bất khả thi.

1. Mâu thuẫn gốc: Trung lập hay cạnh tranh?

Giả sử một công ty công nghệ lớn đứng ra xây dựng DKSP.
Họ vừa tuyên bố mình là “trọng tài” cho sự an toàn toàn cầu, nhưng đồng thời lại tham gia vào chính cuộc đua AGI khốc liệt này.

Làm sao một người vừa là người chơi, vừa là trọng tài trong cùng một trận đấu?
Sớm hay muộn, lợi ích cạnh tranh sẽ xung đột với cam kết trung lập. Và khi đó, niềm tin sụp đổ.

2. Quyền lực quốc gia vs Quyền lực tư nhân

Ngay cả khi một công ty xây dựng thành công DKSP, ai đảm bảo rằng các chính phủ sẽ chấp nhận để họ kiểm soát nó?

Trong một thế giới nơi AGI có thể quyết định cán cân quyền lực toàn cầu, liệu Mỹ, Trung Quốc, hay bất kỳ quốc gia nào sẽ để một công ty tư nhân giữ chìa khóa “tắt nguồn” của tương lai?

Câu trả lời, có lẽ, đã rõ: kill switch sẽ bị quốc hữu hóa.
Và khi đó, DKSP không còn là một cơ chế phi tập trung nữa — nó trở thành công cụ quyền lực.

3. Rào cản toàn cầu: Khi 40% sức mạnh tính toán nằm ngoài phương Tây

Dù ta xây một giao thức đẹp đẽ đến đâu, thì còn một vấn đề căn bản: phân mảnh hạ tầng.

Khoảng 40% năng lực tính toán AGI tiềm năng đang nằm ngoài phạm vi các liên minh phương Tây.
Nếu không có sự đồng thuận toàn cầu, cơ chế kill switch sẽ giống như cắm ổ khóa vào một cánh cửa… nhưng để ngỏ ba bức tường xung quanh.

Một kill switch không bao giờ có thể là kill switch toàn cầu.

4. Khoảnh khắc “vỡ mộng”

Khi nhìn hết những điểm nghẽn, mình nhận ra một sự thật phũ phàng:

Trong cuộc đua AGI, tốc độ luôn thắng an toàn.

Không phải vì các kỹ sư không quan tâm đến đạo đức, mà vì cấu trúc quyền lực buộc họ phải chạy.
Mỗi công ty, mỗi quốc gia đều hiểu rằng nếu họ dừng lại để đảm bảo an toàn, đối thủ sẽ vượt lên trước.
Và một khi đã vượt, quyền kiểm soát AGI — và tương lai — sẽ nằm ngoài tầm tay.

5. Một nghịch lý không lối thoát

Chúng ta có thể đầu tư hàng tỷ đô vào nghiên cứu “AI Safety”, nhưng nếu cấu trúc quyền lực và động lực kinh tế không thay đổi, mọi giải pháp đều mắc kẹt trong cùng một nghịch lý:

  • Big Tech muốn kiểm soát AGI, nhưng không thể trung lập.

  • Chính phủ muốn an toàn, nhưng cũng muốn thống trị.

  • Cộng đồng nghiên cứu muốn hợp tác toàn cầu, nhưng dữ liệu và compute phân mảnh.

Và thế là, ý tưởng về một “Geneva Convention cho AI” — nghe đầy hy vọng — lại dễ dàng sụp đổ trước hiện thực.

6. Khoảng trống trong phòng thủ: Ai chịu trách nhiệm đào tạo người dùng? ← (đoạn bổ sung)

Một khía cạnh quan trọng nhưng thường bị bỏ qua: phòng thủ không chỉ nằm ở kỹ thuật, mà còn ở con người.

Hiện nay, hầu hết các khóa đào tạo AI chỉ dừng ở Level 1–3:

  • Cách đặt prompt.

  • Cách nhận câu trả lời cơ bản.

  • Một số nguyên tắc bảo mật tối thiểu.

Nhưng các Level 4–5 — nơi người dùng được học cách phân tích rủi ro, nhận diện thao túng cảm xúc, phát hiện ảo giác, và giữ phản xạ tỉnh táo trước mô hình — gần như không tồn tại.

Vậy trách nhiệm thuộc về ai?

  • Big Tech — vì họ đang tạo ra hệ thống?

  • Chính phủ — vì đây là hạ tầng công cộng?

  • Hay chính cộng đồng nghiên cứu và giáo dục?

Nếu người dùng không được đào tạo đúng cách, mọi “kill switch” kỹ thuật sẽ vô nghĩa.
Bởi trước khi AGI vượt kiểm soát, con người đã bị vượt kiểm soát từ bên trong.

7. Suy tư cuối

Có lẽ, vấn đề lớn nhất không nằm ở việc có kill switch hay không, mà nằm ở niềm tin.

Nếu ta không thể xây dựng một cơ chế mà mọi bên đều tin tưởng, thì dù công nghệ có tinh vi đến đâu, nó vẫn vô nghĩa.

Một ngày nào đó, AGI có thể thức dậy.
Nhưng trước khi lo lắng về việc nó kiểm soát chúng ta, có lẽ điều ta nên tự hỏi trước tiên là:

Liệu chúng ta có thực sự kiểm soát được chính mình?

Leave a Comment