影子屋 (文章分类：备忘)

Mastodon 前端预编译失败该怎么办？

无影人 — Thu, 31 Aug 2023 08:56:18 GMT

Mastodon 在较新 Linux 发行版本下会遇到前端预编译出错的问题。

本文大概记录一下，如何修复 Mastodon 前端预编译错误？

本文测试环境：

$ git describe --tags
v4.2.0-beta2

$ git rev-parse HEAD
facfec1ba36cee27f232ebff90b990933719235a

$ rbenv --version
rbenv 1.2.0

$ ruby --version
ruby 3.2.2 (2023-03-30 revision e51014f9c0) [x86_64-linux]

$ bundle --version
Bundler version 2.4.13

$ node --version
v20.5.1

$ yarn --version
1.22.19

ERR_OSSL_EVP_UNSUPPORTED

如果 Node.js 版本大于 17，编译时便会遇到 ERR_OSSL_EVP_UNSUPPORTED 错误。

$ RAILS_ENV=production bundle exec rails yarn:install assets:precompile
yarn install v1.22.19
[1/5] Resolving packages...
success Already up-to-date.
Done in 0.47s.
Compiling...
Compilation failed:
node:internal/crypto/hash:69
this[kHandle] = new _Hash(algorithm, xofLen);
                ^

Error: error:0308010C:digital envelope routines::unsupported
    at new Hash (node:internal/crypto/hash:69:19)
    at Object.createHash (node:crypto:138:10)
    at module.exports (/srv/app/mastodon/mastodon/node_modules/webpack/lib/util/createHash.js:135:53)
    at ConcatenatedModule._createIdentifier (/srv/app/mastodon/mastodon/node_modules/webpack/lib/optimize/ConcatenatedModule.js:563:16)
    at new ConcatenatedModule (/srv/app/mastodon/mastodon/node_modules/webpack/lib/optimize/ConcatenatedModule.js:445:27)
    at /srv/app/mastodon/mastodon/node_modules/webpack/lib/optimize/ModuleConcatenationPlugin.js:250:26
    at SyncBailHook.eval [as call] (eval at create (/srv/app/mastodon/mastodon/node_modules/tapable/lib/HookCodeFactory.js:19:10), <anonymous>:7:16)
    at SyncBailHook.lazyCompileHook (/srv/app/mastodon/mastodon/node_modules/tapable/lib/Hook.js:154:20)
    at /srv/app/mastodon/mastodon/node_modules/webpack/lib/Compilation.js:1351:37
    at AsyncSeriesHook.eval [as callAsync] (eval at create (/srv/app/mastodon/mastodon/node_modules/tapable/lib/HookCodeFactory.js:33:10), <anonymous>:6:1)
    at AsyncSeriesHook.lazyCompileHook (/srv/app/mastodon/mastodon/node_modules/tapable/lib/Hook.js:154:20)
    at Compilation.seal (/srv/app/mastodon/mastodon/node_modules/webpack/lib/Compilation.js:1342:27)
    at /srv/app/mastodon/mastodon/node_modules/webpack/lib/Compiler.js:675:18
    at /srv/app/mastodon/mastodon/node_modules/webpack/lib/Compilation.js:1261:4
    at AsyncSeriesHook.eval [as callAsync] (eval at create (/srv/app/mastodon/mastodon/node_modules/tapable/lib/HookCodeFactory.js:33:10), <anonymous>:24:1)
    at AsyncSeriesHook.lazyCompileHook (/srv/app/mastodon/mastodon/node_modules/tapable/lib/Hook.js:154:20)
    at Compilation.finish (/srv/app/mastodon/mastodon/node_modules/webpack/lib/Compilation.js:1253:28)
    at /srv/app/mastodon/mastodon/node_modules/webpack/lib/Compiler.js:672:17
    at eval (eval at create (/srv/app/mastodon/mastodon/node_modules/tapable/lib/HookCodeFactory.js:33:10), <anonymous>:11:1)
    at /srv/app/mastodon/mastodon/node_modules/webpack/lib/Compilation.js:1185:12
    at /srv/app/mastodon/mastodon/node_modules/webpack/lib/Compilation.js:1097:9
    at process.processTicksAndRejections (node:internal/process/task_queues:77:11) {
opensslErrorStack: [ 'error:03000086:digital envelope routines::initialization error' ],
library: 'digital envelope routines',
reason: 'unsupported',
code: 'ERR_OSSL_EVP_UNSUPPORTED'
}

解决办法参考这个 stackoverflow 回答。

在运行 RAILS_ENV=production bundle exec rails yarn:install assets:precompile 命令前，先设置 NODE_OPTIONS=--openssl-legacy-provider 环境变量即可。

export NODE_OPTIONS=--openssl-legacy-provider

`isModuleDeclaration` has been deprecated, please migrate to `isImportOrExportDeclaration`

编译时，你可能会遇到类似如下面的 isModuleDeclaration has been deprecated, please migrate to isImportOrExportDeclaration 提示。

$ export NODE_OPTIONS=--openssl-legacy-provider
$ RAILS_ENV=production bundle exec rails yarn:install assets:precompile
yarn install v1.22.19
[1/5] Resolving packages...
success Already up-to-date.
Done in 0.50s.
I, [2023-08-31T17:34:06.971888 #40650]  INFO -- : Writing /srv/app/mastodon/mastodon/public/assets/doorkeeper/admin/application-a644908e7bab54fb749be0f59fb64a7480bbf9c4c2b79d4a65791cb7ab4d8730.css
I, [2023-08-31T17:34:06.972252 #40650]  INFO -- : Writing /srv/app/mastodon/mastodon/public/assets/doorkeeper/admin/application-a644908e7bab54fb749be0f59fb64a7480bbf9c4c2b79d4a65791cb7ab4d8730.css.gz
I, [2023-08-31T17:34:06.973952 #40650]  INFO -- : Writing /srv/app/mastodon/mastodon/public/assets/doorkeeper/application-c93dac2ad9d65e3393e0e2c958481e86ef7a5e5b0f6ce406842a7b99b25a4850.css
I, [2023-08-31T17:34:06.974013 #40650]  INFO -- : Writing /srv/app/mastodon/mastodon/public/assets/doorkeeper/application-c93dac2ad9d65e3393e0e2c958481e86ef7a5e5b0f6ce406842a7b99b25a4850.css.gz
I, [2023-08-31T17:34:06.975223 #40650]  INFO -- : Writing /srv/app/mastodon/mastodon/public/assets/pghero/favicon-db10337a56c45eb43c22ff5019546b520fa22c7281d4d385f235cbca67ed26bb.png
I, [2023-08-31T17:34:06.982815 #40650]  INFO -- : Writing /srv/app/mastodon/mastodon/public/assets/pghero/application-fc5c893e805df52338bef3bda5a5431f74f1401da68e4f0381ac9ecb7a801e1a.js
I, [2023-08-31T17:34:06.982956 #40650]  INFO -- : Writing /srv/app/mastodon/mastodon/public/assets/pghero/application-fc5c893e805df52338bef3bda5a5431f74f1401da68e4f0381ac9ecb7a801e1a.js.gz
I, [2023-08-31T17:34:06.984171 #40650]  INFO -- : Writing /srv/app/mastodon/mastodon/public/assets/pghero/application-29fa393e673685cdbf2fb2b637098a15b988605f46bfa962f6e0cb94d15bc567.css
I, [2023-08-31T17:34:06.984319 #40650]  INFO -- : Writing /srv/app/mastodon/mastodon/public/assets/pghero/application-29fa393e673685cdbf2fb2b637098a15b988605f46bfa962f6e0cb94d15bc567.css.gz
Compiling...
Compiled all packs in /srv/app/mastodon/mastodon/public/packs
`isModuleDeclaration` has been deprecated, please migrate to `isImportOrExportDeclaration`
    at isModuleDeclaration (/srv/app/mastodon/mastodon/node_modules/babel-plugin-lodash/node_modules/@babel/types/lib/validators/generated/index.js:2740:35)
    at PluginPass.Program (/srv/app/mastodon/mastodon/node_modules/babel-plugin-lodash/lib/index.js:102:44)

这只是编译警告，可以怱略不管。

如果一定要消除的话，可以参考： https://github.com/lodash/babel-plugin-lodash/issues/259#issuecomment-1438592335

清理编译失败产物

对于新版 Node.js 编译时会遇上 ERR_OSSL_EVP_UNSUPPORTED 错误，进而编译失败。

当你添加上环境变量，再次编译时，有可能会遇上 Everything's up-to-date. Nothing to do 。

$ RAILS_ENV=production bundle exec rails yarn:install assets:precompile
yarn install v1.22.19
[1/5] Resolving packages...
success Already up-to-date.
Done in 0.48s.
Everything's up-to-date. Nothing to do

这时可以运行如下命令，删去之前编译产物强制重新编译。

rm -r build public/system public/assets public/packs public/packs-test

How to clean up the synapse database

无影人 — Sat, 10 Jun 2023 14:17:31 GMT

Step 1: delete unused large rooms

Step 1.1: Find large rooms

SELECT r.name, s.room_id, s.current_state_events
    FROM room_stats_current s
    LEFT JOIN room_stats_state r USING (room_id)
    ORDER BY current_state_events DESC
    LIMIT 20;

SELECT rss.name, s.room_id, COUNT(s.room_id)
    FROM state_groups_state s
    LEFT JOIN room_stats_state rss USING (room_id)
    GROUP BY s.room_id, rss.name
    ORDER BY COUNT(s.room_id) DESC
    LIMIT 20;

https://matrix-org.github.io/synapse/latest/usage/administration/useful_sql_for_admins.html#show-top-20-larger-rooms-by-state-events-count

Step 1.2: Use Admin API Purge the unused large rooms

https://matrix-org.github.io/synapse/latest/admin_api/rooms.html#version-2-new-version

curl "http://localhost:8008/_synapse/admin/v1/rooms/${ROOMID}" -X DELETE -H 'Accept: application/json' -H 'Referer: http://localhost:8080/' -H "authorization: Bearer ${TOKEN}" --data '{ "purge": true, "message": "Sorry - kicking you out to clean up the database" }'

Step 1.3: Delete orphan `state_groups_state` and `state_groups`

After using the Admin API to purge the rooms, but only removes the data in the events table, and there are still a lot of related room data in the state_groups_state and state_groups tables (the main space occupation). This may be a synapse bug.

So you need to remove them manually.

https://github.com/matrix-org/synapse/issues/12821#issuecomment-1295773504

DELETE FROM
state_groups_state
WHERE
room_id IN (
    SELECT
    DISTINCT(state_groups.room_id) AS room_id_gone
    FROM
    state_groups
    LEFT JOIN events USING(room_id)
    WHERE
    events.room_id IS NULL
    GROUP BY
    room_id_gone
);

DELETE FROM
state_groups
WHERE
room_id IN (
    SELECT
    DISTINCT(state_groups.room_id) AS room_id_gone
    FROM
    state_groups
    LEFT JOIN events USING(room_id)
    WHERE
    events.room_id IS NULL
    GROUP BY
    room_id_gone
);

Step 2: Run synapse_auto_compressor

https://github.com/matrix-org/rust-synapse-compress-state

git clone https://github.com/matrix-org/rust-synapse-compress-state.git

cd rust-synapse-compress-state/
cargo build -r

cd synapse_auto_compressor/
cargo build -r

cd ../target/release/

./synapse_auto_compressor -p postgresql://synapse_user:[password]@[host]/synapse -c 1000 -n 10000000 | tee ~/synapse_auto_compressor.log

Step 3: Vacuum Database

REINDEX (VERBOSE) DATABASE synapse;
VACUUM FULL VERBOSE;

Before:

After:

Mastodon 域名设置全讲解

无影人 — Mon, 05 Dec 2022 14:31:19 GMT

很早之前写过一篇《使用 Nginx 反代 Mastodon》，但那篇主要指对没有站点管理权的情况下如何添加反代域名，而且年代久远一些内容也需要更新。

应嘎嘎的要求，今天特别写一篇博文讲一讲 Mastodon 域名设置相关的内容。

本文篇幅可能会比较长，前半部分将大致讲解 Mastodon 的架构以及域名相关设置，后半部分将讲解如何更换 WEB_DOMAIN、如何添加反代域名。

Mastodon 大体架构

Mastodon 大体架构图

Mastodon 是一个前后端分离的应用，前端是使用 React 写成的单页应用，负责交互与展示；后端由 Ruby 写成负表提供 API 。

当用户访问时，HTML、XHR 请求反代至 Puma 服务， websocket 请求反代至 Node 服务，其余静态资源由 nginx 响应。

因此，Mastodon 也可以像 Pleroma 那样使用替换前端，例如：Cuckoo+ 、Pinafore 。

pinafore.bgme.bid

Mastodon 服务发现流程

众所周知，Mastodon 是一个基于 ActivityPub 协议联邦式的去中心化平台。

那么问题来了，Mastodon 是如何发现远程实例的？或者说当你在编辑框中写下 @user@example.org 后，Mastodon 是如何将其翻译为 ActivityPub 协议所需的 HTTPS URI 的？

Mastodon 帐户的两个身份标识：

webfinger acct URI：跨实例的可验证的全局用户身份标识。
actor URI：用于 federation 过程的其他所有方面。

Mastodon 域名配置

在 Mastodon 配置文件中，与用户使用相关的域名选项有 LOCAL_DOMAIN、WEB_DOMAIN、ALTERNATE_DOMAINS、STREAMING_API_BASE_URL、CDN_HOST、S3_ALIAS_HOST。

LOCAL_DOMAIN

服务器在 Fediverse 网络中唯一标识，用于生成帐户 acct URI，确认后无法更改，修改该项配置将导致帐户 acct URI 改变，远程服务器会将现有帐户视为不同于之前的全新帐户。

例如： @qpomelo@mastodon.qpomelo.app 将实例的 LOCAL_DOMAIN 由 mastodon.qpomelo.app 改为 qpomelo.cc，其acct也从 acct:qpomelo@mastodon.qpomelo.app 变更为 acct:qpomelo@qpomelo.cc 。

@qpomelo@mastodon.qpomelo.app

@qpomelo@qpomelo.cc

虽然实际上是同一个帐户，但由于acct不同，被远程实例视为两个不同的帐户。

WEB_DOMAIN

可选配置项，默认与 LOCAL_DOMAIN 相同，用于生成网页内容，诸如：actor 、 inbox 等。通过设置 WEB_DOMAIN，可以将 Mastodon 服务运行于另一域名。

例如：假设 bgme.me 已经存在其它服务，将 LOCAL_DOMAIN 设为 bgme.me，将 WEB_DOMAIN 设为 mastodon.bgme.me，便可以保证帐户 acct URI 以 bgme.me 结尾的情况下将 Mastodon 相关服务运行在 mastodon.bgme.me 域名下。

@naraku@naraku.cc

http "https://naraku.cc/.well-known/host-meta"  -p HBhb

GET /.well-known/host-meta HTTP/1.1
Accept: */*
Accept-Encoding: gzip, deflate, br
Connection: keep-alive
Host: naraku.cc
User-Agent: HTTPie/3.2.1



HTTP/1.1 301 Moved Permanently
CF-Cache-Status: DYNAMIC
CF-RAY: 77ef38a2ef452ac1-LAX
Connection: keep-alive
Content-Type: text/html
Date: Sun, 25 Dec 2022 05:36:49 GMT
NEL: {"success_fraction":0,"report_to":"cf-nel","max_age":604800}
Report-To: {"endpoints":[{"url":"https:\/\/a.nel.cloudflare.com\/report\/v3?s=iZw4%2BWLYieZU2hKsOvMH4bRt1nJSgQkvZgaiWgY7GsvaBWsDvOB8W0sLcPo7LHzmungp42AkWLkEfcU%2BTG2hrK%2F6jSOTLMlOkNkNNJVna7CjhUaukV%2FOvBrf6Mu5izCV0HKz9BfZq%2FA%3D"}],"group":"cf-nel","max_age":604800}
Server: cloudflare
Strict-Transport-Security: max-age=15552000; includeSubDomains; preload
Transfer-Encoding: chunked
X-Content-Type-Options: nosniff
access-control-allow-origin: *
alt-svc: h3=":443"; ma=86400, h3-29=":443"; ma=86400
location: https://mtd.naraku.cc/.well-known/host-meta

<html>
<head><title>301 Moved Permanently</title></head>
<body>
<center><h1>301 Moved Permanently</h1></center>
<hr><center>nginx</center>
</body>
</html>

http "https://mtd.naraku.cc/.well-known/host-meta"  -p HBhb

GET /.well-known/host-meta HTTP/1.1
Accept: */*
Accept-Encoding: gzip, deflate, br
Connection: keep-alive
Host: mtd.naraku.cc
User-Agent: HTTPie/3.2.1



HTTP/1.1 200 OK
CF-Cache-Status: DYNAMIC
CF-RAY: 77ef36c5efab527b-LAX
Cache-Control: max-age=259200, public
Connection: keep-alive
Content-Type: application/xrd+xml; charset=utf-8
Date: Sun, 25 Dec 2022 05:35:33 GMT
NEL: {"success_fraction":0,"report_to":"cf-nel","max_age":604800}
Report-To: {"endpoints":[{"url":"https:\/\/a.nel.cloudflare.com\/report\/v3?s=oXXheIvbL6bzP4E2Kp%2F6wgvMn8cvr2bXJgXNl8bO%2F86r4Gdy4z7fp3y7SMwVAAORKiy5Qh5rjVx6TKaLhpnHT7D2Xwh58g1r1W4HU6n%2BnJgnZZWaeqqnyMhZKEpHXTkJMkTwKT4FUtkefGU%2F"}],"group":"cf-nel","max_age":604800}
Server: cloudflare
Transfer-Encoding: chunked
alt-svc: h3=":443"; ma=86400, h3-29=":443"; ma=86400
content-security-policy: base-uri 'none'; default-src 'none'; frame-ancestors 'none'; font-src 'self' https://mtd.naraku.cc; img-src 'self' https: data: blob: https://mtd.naraku.cc; style-src 'self' https://mtd.naraku.cc 'nonce-PXsk8y8bu+tcBwEB5toFkw=='; media-src 'self' https: data: https://mtd.naraku.cc; frame-src 'self' https:; manifest-src 'self' https://mtd.naraku.cc; connect-src 'self' data: blob: https://mtd.naraku.cc https://mtd.naraku.cc wss://mtd.naraku.cc; script-src 'self' https://mtd.naraku.cc 'wasm-unsafe-eval'; child-src 'self' blob: https://mtd.naraku.cc; worker-src 'self' blob: https://mtd.naraku.cc
etag: W/"5205d754e2b6177b4be99ecc2e1413a7"
permissions-policy: interest-cohort=()
strict-transport-security: max-age=15552000; includeSubDomains; preload
vary: Accept, Origin
x-content-type-options: nosniff
x-frame-options: DENY
x-request-id: cd29d011-08e4-4117-b31b-f1f5c0f04c4b
x-runtime: 0.004306
x-xss-protection: 0

<?xml version="1.0" encoding="UTF-8"?>
<XRD xmlns="http://docs.oasis-open.org/ns/xri/xrd-1.0">
    <Link rel="lrdd" template="https://mtd.naraku.cc/.well-known/webfinger?resource={uri}"/>
</XRD>

http "https://mtd.naraku.cc/.well-known/webfinger?resource=acct:naraku@naraku.cc"  -p HBhb

GET /.well-known/webfinger?resource=acct:naraku@naraku.cc HTTP/1.1
Accept: */*
Accept-Encoding: gzip, deflate, br
Connection: keep-alive
Host: mtd.naraku.cc
User-Agent: HTTPie/3.2.1



HTTP/1.1 200 OK
CF-Cache-Status: DYNAMIC
CF-RAY: 77ef33764ff15214-LAX
Cache-Control: max-age=259200, public
Connection: keep-alive
Content-Type: application/jrd+json; charset=utf-8
Date: Sun, 25 Dec 2022 05:33:17 GMT
NEL: {"success_fraction":0,"report_to":"cf-nel","max_age":604800}
Report-To: {"endpoints":[{"url":"https:\/\/a.nel.cloudflare.com\/report\/v3?s=vQy9au8mhZlm8cgjGpTkPxU%2BOODjpwPh1jRwdMGLJZWblTWLidQyqgfQclB7%2BnFwA08aJYS2sQhoSoww7scjtJ6FQ2BVzUQan9TWZ4TIg%2BVHWx9oKDudox6VWThj9cDg9uyqp%2FU6C%2BsxqBmx"}],"group":"cf-nel","max_age":604800}
Server: cloudflare
Transfer-Encoding: chunked
alt-svc: h3=":443"; ma=86400, h3-29=":443"; ma=86400
content-security-policy: base-uri 'none'; default-src 'none'; frame-ancestors 'none'; font-src 'self' https://mtd.naraku.cc; img-src 'self' https: data: blob: https://mtd.naraku.cc; style-src 'self' https://mtd.naraku.cc 'nonce-HtWXbWc6yrKVW32Aqzv4Cw=='; media-src 'self' https: data: https://mtd.naraku.cc; frame-src 'self' https:; manifest-src 'self' https://mtd.naraku.cc; connect-src 'self' data: blob: https://mtd.naraku.cc https://mtd.naraku.cc wss://mtd.naraku.cc; script-src 'self' https://mtd.naraku.cc 'wasm-unsafe-eval'; child-src 'self' blob: https://mtd.naraku.cc; worker-src 'self' blob: https://mtd.naraku.cc
etag: W/"b465d414f933c0013f1e193073fabba4"
permissions-policy: interest-cohort=()
strict-transport-security: max-age=15552000; includeSubDomains; preload
vary: Accept, Origin
x-content-type-options: nosniff
x-frame-options: DENY
x-request-id: f6aa211d-bab6-47a1-87a7-fdd97b511e8b
x-runtime: 0.008764
x-xss-protection: 0

{
    "aliases": [
        "https://mtd.naraku.cc/@naraku",
        "https://mtd.naraku.cc/users/naraku"
    ],
    "links": [
        {
            "href": "https://mtd.naraku.cc/@naraku",
            "rel": "http://webfinger.net/rel/profile-page",
            "type": "text/html"
        },
        {
            "href": "https://mtd.naraku.cc/users/naraku",
            "rel": "self",
            "type": "application/activity+json"
        },
        {
            "rel": "http://ostatus.org/schema/1.0/subscribe",
            "template": "https://mtd.naraku.cc/authorize_interaction?uri={uri}"
        }
    ],
    "subject": "acct:naraku@naraku.cc"
}

http "https://mtd.naraku.cc/users/naraku"  "Accept: application/activity+json" -p HBhb

GET /users/naraku HTTP/1.1
Accept: application/activity+json
Accept-Encoding: gzip, deflate, br
Connection: keep-alive
Host: mtd.naraku.cc
User-Agent: HTTPie/3.2.1



HTTP/1.1 200 OK
CF-Cache-Status: DYNAMIC
CF-RAY: 77ef47fb4c7f2b50-LAX
Cache-Control: max-age=180, public
Connection: keep-alive
Content-Type: application/activity+json; charset=utf-8
Date: Sun, 25 Dec 2022 05:47:18 GMT
NEL: {"success_fraction":0,"report_to":"cf-nel","max_age":604800}
Report-To: {"endpoints":[{"url":"https:\/\/a.nel.cloudflare.com\/report\/v3?s=p9ppDYwQMI6z5Sc%2BY1FlfE2BxwxXfd%2F7yQSwwrQdyRHcKXvwUSF%2BJTug1i%2BQ7QAIz0nKix6XTVTH5fMrLNoIixkf4%2Bex29%2FavM6659cwkh8z6YN4W5A0%2B3onYsrQI%2F2pw9oWJx1Nd399QZRT"}],"group":"cf-nel","max_age":604800}
Server: cloudflare
Transfer-Encoding: chunked
alt-svc: h3=":443"; ma=86400, h3-29=":443"; ma=86400
content-security-policy: base-uri 'none'; default-src 'none'; frame-ancestors 'none'; font-src 'self' https://mtd.naraku.cc; img-src 'self' https: data: blob: https://mtd.naraku.cc; style-src 'self' https://mtd.naraku.cc 'nonce-0qN1dzer3t4zyTyWue1qqw=='; media-src 'self' https: data: https://mtd.naraku.cc; frame-src 'self' https:; manifest-src 'self' https://mtd.naraku.cc; connect-src 'self' data: blob: https://mtd.naraku.cc https://mtd.naraku.cc wss://mtd.naraku.cc; script-src 'self' https://mtd.naraku.cc 'wasm-unsafe-eval'; child-src 'self' blob: https://mtd.naraku.cc; worker-src 'self' blob: https://mtd.naraku.cc
etag: W/"416f589000111e76eae38f5f7eb69471"
permissions-policy: interest-cohort=()
referrer-policy: origin
strict-transport-security: max-age=15552000; includeSubDomains; preload
vary: Accept, Origin
x-content-type-options: nosniff
x-frame-options: DENY
x-request-id: 52b64673-7371-4292-b508-ef26d617f344
x-runtime: 0.023334
x-xss-protection: 0

{
    "@context": [
        "https://www.w3.org/ns/activitystreams",
        "https://w3id.org/security/v1",
        {
            "Curve25519Key": "toot:Curve25519Key",
            "Device": "toot:Device",
            "Ed25519Key": "toot:Ed25519Key",
            "Ed25519Signature": "toot:Ed25519Signature",
            "Emoji": "toot:Emoji",
            "EncryptedMessage": "toot:EncryptedMessage",
            "PropertyValue": "schema:PropertyValue",
            "alsoKnownAs": {
                "@id": "as:alsoKnownAs",
                "@type": "@id"
            },
            "cipherText": "toot:cipherText",
            "claim": {
                "@id": "toot:claim",
                "@type": "@id"
            },
            "deviceId": "toot:deviceId",
            "devices": {
                "@id": "toot:devices",
                "@type": "@id"
            },
            "discoverable": "toot:discoverable",
            "featured": {
                "@id": "toot:featured",
                "@type": "@id"
            },
            "featuredTags": {
                "@id": "toot:featuredTags",
                "@type": "@id"
            },
            "fingerprintKey": {
                "@id": "toot:fingerprintKey",
                "@type": "@id"
            },
            "focalPoint": {
                "@container": "@list",
                "@id": "toot:focalPoint"
            },
            "identityKey": {
                "@id": "toot:identityKey",
                "@type": "@id"
            },
            "manuallyApprovesFollowers": "as:manuallyApprovesFollowers",
            "messageFranking": "toot:messageFranking",
            "messageType": "toot:messageType",
            "movedTo": {
                "@id": "as:movedTo",
                "@type": "@id"
            },
            "publicKeyBase64": "toot:publicKeyBase64",
            "schema": "http://schema.org#",
            "suspended": "toot:suspended",
            "toot": "http://joinmastodon.org/ns#",
            "value": "schema:value"
        }
    ],
    "attachment": [
        {
            "name": "Matrix",
            "type": "PropertyValue",
            "value": "<span class=\"h-card\"><a href=\"https://mtd.naraku.cc/@naraku\" class=\"u-url mention\">@<span>naraku</span></a></span>:naraku.cc"
        }
    ],
    "devices": "https://mtd.naraku.cc/users/naraku/collections/devices",
    "discoverable": true,
    "endpoints": {
        "sharedInbox": "https://mtd.naraku.cc/inbox"
    },
    "featured": "https://mtd.naraku.cc/users/naraku/collections/featured",
    "featuredTags": "https://mtd.naraku.cc/users/naraku/collections/tags",
    "followers": "https://mtd.naraku.cc/users/naraku/followers",
    "following": "https://mtd.naraku.cc/users/naraku/following",
    "icon": {
        "mediaType": "image/jpeg",
        "type": "Image",
        "url": "https://mtd.naraku.cc/system/accounts/avatars/109/513/842/758/850/375/original/355c3a2e588b4fba.jpeg"
    },
    "id": "https://mtd.naraku.cc/users/naraku",
    "image": {
        "mediaType": "image/jpeg",
        "type": "Image",
        "url": "https://mtd.naraku.cc/system/accounts/headers/109/513/842/758/850/375/original/156276bb27f3591e.jpeg"
    },
    "inbox": "https://mtd.naraku.cc/users/naraku/inbox",
    "manuallyApprovesFollowers": false,
    "name": "Naraku :mastodon:",
    "outbox": "https://mtd.naraku.cc/users/naraku/outbox",
    "preferredUsername": "naraku",
    "publicKey": {
        "id": "https://mtd.naraku.cc/users/naraku#main-key",
        "owner": "https://mtd.naraku.cc/users/naraku",
        "publicKeyPem": "-----BEGIN PUBLIC KEY-----\nMIIBIjANBgkqhkiG9w0BAQEFAAOCAQ8AMIIBCgKCAQEArYihLR7VFAiMymGUwkxo\nmMQCaHd9FD59oUfGWGKVCsJ/IkeIbi0+jM5LyeC/QdwCC/ZRgMNvS4zIQgakSRoq\nkiRN3KL3Nv9Uqo9bjC21/H6bgPiZ1aEmck9sZgN0Polxwa3SPeJ08wY8AOWPnGrg\n0kin8+7D1pkemFSfJSJSjPvc9PrKOBCVdbF74haHA99LeHo6GO75P4iLHQnlw565\nVNrUnbtH52Bcoeavrt0SDdQX239z1YqmRxAuApYlg1l4Hy/+hpmUAoCQJs3ogsjF\nTCjo1jpHgcnKRHn3gLL3o7m4+SpeUuXtFOnsXVnYujpnY0p1ejPx8gwAXcI8kwNI\ngQIDAQAB\n-----END PUBLIC KEY-----\n"
    },
    "published": "2022-12-14T00:00:00Z",
    "summary": "<p>naraku.cc Admin :verify:</p><p>Stand with Ukraine! 🇺🇦 <br />Stand with Democracy!</p>",
    "tag": [
        {
            "icon": {
                "mediaType": "image/gif",
                "type": "Image",
                "url": "https://mtd.naraku.cc/system/custom_emojis/images/2022/000/000/973/original/20775f75cba35af7.gif"
            },
            "id": "https://mtd.naraku.cc/emojis/973",
            "name": ":verify:",
            "type": "Emoji",
            "updated": "2022-12-17T17:26:50Z"
        },
        {
            "icon": {
                "mediaType": "image/png",
                "type": "Image",
                "url": "https://mtd.naraku.cc/system/custom_emojis/images/2022/000/000/099/original/56fceeecb032309c.png"
            },
            "id": "https://mtd.naraku.cc/emojis/99",
            "name": ":mastodon:",
            "type": "Emoji",
            "updated": "2022-12-17T10:45:48Z"
        }
    ],
    "type": "Person",
    "url": "https://mtd.naraku.cc/@naraku"
}

ALTERNATE_DOMAINS

指向该服务器的其它域名。如果有多个域名指向 Mastodon 服务器，配置 ALTERNATE_DOMAINS 允许 Fediverse 服务通过其它域名发现帐户。可配置多个域名，域名之间使用逗号隔开，如 foo.com,bar.com 。

从实现上讲对于列入 ALTERNATE_DOMAINS 的域名，Mastodon 将响应来自这些域名的 WebFinger 查询请求，故其它实例可通过相应的后缀查找到原始帐户。

通过 WebFinger 协议查询 acct:bgme@bgme.bid

Mastodon v3.4.0 以后版本 [1] ，出于安全性考量，Puma 只响应 Host 为 LOCAL_DOMAIN、WEB_DOMAIN、ALTERNATE_DOMAINS 的 HTTP 请求。对于其它 Host 一律近回 403 Forbidden 响应。

STREAMING_API_BASE_URL

设置 STREAMING_API_BASE_URL 可将 streaming API 部署于不同域名或不同子域名。这可能有助于提高 streaming API 的性能。

示例值：wss://streaming.example.com。

GET /api/v1/instance

initial-state

CDN_HOST

你可以通过设置 CDN_HOST 将静态文件（logos，emojis，CSS，JS 等等等）托管于独立域名，如CDN（内容分发网络，Content Delivery Network），这将降低用户加载时间。

示例值：https://assets.example.com。

CDN_HOST

S3_ALIAS_HOST

类似于 CDN_HOST，设置 S3_ALIAS_HOST 可以将用户上传内容托管至一独立域名。

示例值： files.example.com。

XHR

websocket

域名注意事项

如前所述，

Mastodon域名不但是你的用户访问你服务器的方式，更是你的实例和你的用户在联邦宇宙中的身份标识。是后者而不是前者决定了权威域名无法更改。

如果你使用 masto.host 这类的全托管服务，其可能会为你的实例提供 masto.host 子域。但千万注意，实例的域名一定要自行注册，不要使用全托管服务商为你提供的下属子域。现在设想这样一个场景，masto.host 宣布下个月要大幅提高托管服务收费，因为太贵了，你不再想使用masto.host托管服务了。

如果你使用的是自己的域名，那么很简单，只需要导出数据库、导出媒体文件、导出应用密钥，然后使用这些东西转移到另一家托管服务商或自己托管服务器，然后把域名指向新托管商或新服务器就OK了。

但如果你使用的是 masto.host 的域名，那么你就面临这样一个窘境，你的实例域名是属于masto.host所有，而不是你自己所有，你现在不使用masto.host的服务了，masto.host自然没有义务为你提供域名。由于Mastodon域名一旦确定便不能被更改，如果masto.host不为你提供域名，那你的实例就只能下线。这时如果你实例已经积累了相当用户，又同时希望能继续运行，那你就只有忍受masto.host提价这一个选择，即使价格再贵。

实际操作篇

在不同域名托管 Mastodon 服务

添加反代域名

大致步骤：

组网（同一台机器的情况下可省略）
修改环境变量，将 Puma 监听地址改为 0.0.0.0 （同一台机器的情况下可省略）
同步 /home/mastodon/live/public （同一台机器的情况下可省略）
将反代域名添加至 ALTERNATE_DOMAINS
创建 MITM 代理，修改 websocket 流中的 S3_ALIAS_HOST （可选）
修改 nginx 配置
1. 未设置 STREAMING_API_BASE_URL 、CDN_HOST 、S3_ALIAS_HOST
  
  将反代域名添加至 server_name 中
  
  重新生成证书
2. 需修改 STREAMING_API_BASE_URL 、CDN_HOST 、S3_ALIAS_HOST
  
  复制创建新一份配置文件
  
  修改 proxy_cache_path
  
  添加 proxy_set_header Accept-Encoding identity;
  
  替换 STREAMING_API_BASE_URL （可选）
  
  替换 CDN_HOST （可选）
  
  替换 S3_ALIAS_HOST （可选）
  
  重新生成证书
修改 nginx 配置的 /api/v1/streaming 部分（可选）
重载 nginx 配置

# 同一机器需删去该部分
map $http_upgrade $connection_upgrade {
    default upgrade;
    ''      close;
}

# 同一机器需修改名称
upstream backend {
    server 127.0.0.1:3000 fail_timeout=0;
}

# 同一机器需修改名称，根据需求将 stream API 上游地址修改为 MITM  代理
upstream streaming {
    server 127.0.0.1:4000 fail_timeout=0;
}

# 同一机器需删去该部分
proxy_cache_path /var/cache/nginx levels=1:2 keys_zone=CACHE:10m inactive=7d max_size=1g;

server {
    listen 80;
    listen [::]:80;
    # 修改或添加 server_name
    server_name example.com;
    # 根据需求修改 root，同一机器保持原状即可
    root /home/mastodon/live/public;
    location /.well-known/acme-challenge/ { allow all; }
    location / { return 301 https://$host$request_uri; }
}

server {
    listen 443 ssl http2;
    listen [::]:443 ssl http2;
    # 修改或添加 server_name
    server_name example.com;

    ssl_protocols TLSv1.2 TLSv1.3;
    ssl_ciphers HIGH:!MEDIUM:!LOW:!aNULL:!NULL:!SHA;
    ssl_prefer_server_ciphers on;
    ssl_session_cache shared:SSL:10m;
    ssl_session_tickets off;

    # Uncomment these lines once you acquire a certificate:
    # ssl_certificate     /etc/letsencrypt/live/example.com/fullchain.pem;
    # ssl_certificate_key /etc/letsencrypt/live/example.com/privkey.pem;

    keepalive_timeout    70;
    sendfile             on;
    client_max_body_size 80m;

    # 根据需求修改 root，同一机器保持原状即可
    root /home/mastodon/live/public;

    gzip on;
    gzip_disable "msie6";
    gzip_vary on;
    gzip_proxied any;
    gzip_comp_level 6;
    gzip_buffers 16 8k;
    gzip_http_version 1.1;
    gzip_types text/plain text/css application/json application/javascript text/xml application/xml application/xml+rss text/javascript image/svg+xml image/x-icon;

    location / {
        try_files $uri @proxy;
    }

    # If Docker is used for deployment and Rails serves static files,
    # then needed must replace line `try_files $uri =404;` with `try_files $uri @proxy;`.
    location = /sw.js {
        add_header Cache-Control "public, max-age=604800, must-revalidate";
        add_header Strict-Transport-Security "max-age=63072000; includeSubDomains";
        try_files $uri =404;
    }

    location ~ ^/assets/ {
        add_header Cache-Control "public, max-age=2419200, must-revalidate";
        add_header Strict-Transport-Security "max-age=63072000; includeSubDomains";
        try_files $uri =404;
    }

    location ~ ^/avatars/ {
        add_header Cache-Control "public, max-age=2419200, must-revalidate";
        add_header Strict-Transport-Security "max-age=63072000; includeSubDomains";
        try_files $uri =404;
    }

    location ~ ^/emoji/ {
        add_header Cache-Control "public, max-age=2419200, must-revalidate";
        add_header Strict-Transport-Security "max-age=63072000; includeSubDomains";
        try_files $uri =404;
    }

    location ~ ^/headers/ {
        add_header Cache-Control "public, max-age=2419200, must-revalidate";
        add_header Strict-Transport-Security "max-age=63072000; includeSubDomains";
        try_files $uri =404;
    }

    location ~ ^/packs/ {
        add_header Cache-Control "public, max-age=2419200, must-revalidate";
        add_header Strict-Transport-Security "max-age=63072000; includeSubDomains";
        try_files $uri =404;
    }

    location ~ ^/shortcuts/ {
        add_header Cache-Control "public, max-age=2419200, must-revalidate";
        add_header Strict-Transport-Security "max-age=63072000; includeSubDomains";
        try_files $uri =404;
    }

    location ~ ^/sounds/ {
        add_header Cache-Control "public, max-age=2419200, must-revalidate";
        add_header Strict-Transport-Security "max-age=63072000; includeSubDomains";
        try_files $uri =404;
    }

    location ~ ^/system/ {
        add_header Cache-Control "public, max-age=2419200, immutable";
        add_header Strict-Transport-Security "max-age=63072000; includeSubDomains";
        try_files $uri =404;
    }

    location ^~ /api/v1/streaming {
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;
        proxy_set_header Proxy "";

        proxy_pass http://streaming;
        proxy_buffering off;
        proxy_redirect off;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection $connection_upgrade;

        add_header Strict-Transport-Security "max-age=63072000; includeSubDomains";

        tcp_nodelay on;
    }

    location @proxy {
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;
        proxy_set_header Proxy "";
        proxy_pass_header Server;

        proxy_pass http://backend;
        proxy_buffering on;
        proxy_redirect off;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection $connection_upgrade;


        #### 新增部分开始 ###

        # 向上游请求明文，nginx 无法替换压缩内容
        proxy_set_header Accept-Encoding identity;

        # 字符串只进行一次替换，即只替换第一个被匹配的字符串。这里关闭。
        sub_filter_once off;
        #替换的请求类型，增加 application/json 。
        sub_filter_types application/json;

        # 替换 STREAMING_API_BASE_URL （按需）
        sub_filter wss://example.com wss://example.org;
        # 替换 CDN_HOST （按需）
        sub_filter https://cdn.example.com https://cdn.example.org;
        # 替换 S3_ALIAS_HOST （按需）
        sub_filter https://img.example.com https://img.example.org;
        # 替捣 missing.png （按需）
        sub_filter https://example.com/avatars/original/missing.png https://example.org/avatars/original/missing.png;
        sub_filter https://example.com/headers/original/missing.png https://example.org/headers/original/missing.png;

        ### 新增部分结束 ###

        proxy_cache CACHE;
        proxy_cache_valid 200 7d;
        proxy_cache_valid 410 24h;
        proxy_cache_use_stale error timeout updating http_500 http_502 http_503 http_504;
        add_header X-Cached $upstream_cache_status;

        tcp_nodelay on;
    }

    error_page 404 500 501 502 503 504 /500.html;
}

websocket MITM 代理

安装 mitmproxy

import re
from mitmproxy import ctx


def websocket_message(flow):
    # get the latest message
    message = flow.messages[-1]

    if message.from_client:
        ctx.log.info("Client sent a message: {}".format(message.content))
    else:
        ctx.log.info("Server sent a message: {}".format(message.content))

    # manipulate the message content
    message.content = re.sub("https://img\.example\.com", "https://img.example.org", message.content)

    if 'FOOBAR' in message.content:
        # kill the message and not send it to the other endpoint
        message.kill()

# /etc/systemd/system/mitm-mastodon-websocket.service
[Unit]
Description=Mastodon Mitm push websocket
After=network.target
Wants=network.target

[Service]
Type=simple
User=www-data
Slice=system-mitm.slice
ExecStart=/usr/bin/mitmdump --listen-host 127.0.0.1 -p 4444 -s /opt/mastodon_websocket_messages.py --mode reverse:http://127.0.0.1:4000 --set keep_host_header --quiet
Restart=on-failure

[Install]
WantedBy=multi-user.target

参考资料

十个新时代童话故事

无影人 — Mon, 21 Nov 2022 15:37:27 GMT

原贴地址：https://weibo.com/1667542751/Gmw2rEuBC

“哈哈哈哈皇帝的衣服没有穿好！” 路边的小男孩说。皇帝想了一想，先把小男孩抓起来，再把听众的舌头割掉。又想了一想，干脆把衣服全部脱光了。
卖火柴的小女孩冻死在路边的消息，传出后人们议论纷纷，甲说：“小商小贩路边占道经营本来就该管管了。” 乙说：“对啊，难道她穷就有理吗？” 丙说：“太平盛世哪有什么冻死的小女孩？莫要轻信境外势力捏造。”
白雪公主在森林里躲避追杀遭遇千难万险，王国警方温馨提醒：单身女性需注意安全，避免独自外出。
艾丽莎满手鲜血，终于编织出了荨麻衣，将十一个哥哥从野天鹅变回王子。哥哥们看着艾丽莎一个女孩，就把国王死前分给她的封地占了。
海的女儿喝下巫婆的汤剂，丢失了声音不说，走路也像在刀尖上。她和姐姐们一起揭露汤剂成分有害，被判侵犯了制剂公司声誉，押入海牢。
神仙教母数次向王国警方求助，要求解救长期遭受家庭暴力的灰姑娘。王国警方表示，清官难断家务事，再说也已经对灰姑娘的父亲等人进行了批评教育。王国女性儿童促进会对灰姑娘进行家访，拍了一张灰姑娘笑着干活的照片，表示她生活的其实很好，神仙教母介入他人家庭事务，对这个家庭伤害很大。
贝儿被父亲卖给野兽抵债，逃出来后，围观群众表示：野兽是真的爱你啊！你怎么能这么狠心就不要这个家了呢？想想孩子！——国王听说贝儿在城堡里教家具识字，赐予她“感动城堡”勋章，希望她回到野兽身边。
睡美人说，她并没有同意王子碰她。有人说，“谁让你不省人事的？” 还有人说，“他可是王子！什么样的公主找不到。会稀罕强吻你？”
樵夫决定，把汉赛尔和格莱特兄妹带到密林中，生一团火，给每人一个小面包，然后假装去干活好把他们遗弃在那里。第二天出门时，他想了想，还是把哥哥汉赛尔留在了家里。
如果要打开山洞封闭的大门，需要爬上云梯、学会咒语——梯子经常断、咒语也时常换，会开门的阿里巴巴时常得意地说，“没有这个智力和体力的人，本来就不配有开着的门。”

手把手教你如何一步步开启 Secure Boot

无影人 — Sat, 15 Oct 2022 04:17:12 GMT

启用全盘加密对于移动设备（手机、笔记本）的必要性无须多言，就算防不住条子防不住六扇门，也可以防防修电脑的人（参考陈冠希艳照门），防防手机、笔记本被偷导致的数据泄露。

此外，目前一些品牌笔记本原装系统已经默认启用了 Bitlocker 全盘加密，对于这样的笔记本，如果你想装双系统，同时不想关闭 Bitlocker，那么为 Linux 系统配置启用 Secure Boot 便是必须的。

本文将简单记录一下：如何一步步为新系统安装 systemd-boot 引导同时启用 Secure Boot 的具体操作流程，希望对各位有所帮助。

首先要禁用 Secure Boot ，这就不用多说了。

以下步骤操作针对 /boot 分区同时为 ESP 分区的情况。

第一步：安装 systemd-boot

安装 EFI boot manager

bootctl install

然后你应当看到 /boot/EFI/systemd/systemd-bootx64.efi 、/boot/EFI/EFI/BOOT/BOOTX64.EFI 两个文件了。

使用 efibootmgr --verbose 应当也能看到 systemd-boot 的启动项。

然后在 /boot/loader 目录添加相应的配置文件，systemd-boot 并不能像 grub 那样自动生成配置文件。

添加 /boot/loader/entries/linux.conf

title Arch Linux
linux /vmlinuz-linux
initrd /amd-ucode.img
initrd /initramfs-linux.img
options loglevel=3 root="LABEL=arch_os" rw

添加 /boot/loader/entries/linux-fallback.conf

title Arch Linux (fallback initramfs)
linux /vmlinuz-linux
initrd /amd-ucode.img
initrd /initramfs-linux-fallback.img
options loglevel=3 root="LABEL=arch_os" rw

需要安装 amd-ucode，且以上仅为示例，请根据自己情况修改 options 。

添加 /boot/loader/loader.conf

timeout 3
console-mode keep
default linux.conf

然后重启系统，确认 systemd-boot 可以正常工作后进入下一步

第二步：安装 shim

安装 shim-signed、sbsigntools。

复制文件

cp /usr/share/shim-signed/shimx64.efi /boot/EFI/systemd/
cp /usr/share/shim-signed/mmx64.efi /boot/EFI/systemd/

第三步：添加 EFI 启动项

efibootmgr --verbose --disk /dev/sdX --part Y --create --label "Shim" --loader /EFI/systemd/shimx64.efi

第四步：生成 MOK 密匙

openssl req -newkey rsa:4096 -nodes -keyout MOK.key -new -x509 -sha256 -days 3650 -subj "/CN=my Machine Owner Key/" -out MOK.crt
openssl x509 -outform DER -in MOK.crt -out MOK.cer

将 MOK.cer 复制至 /boot/MOK.cer。将 MOK.cer 复制至 /etc/mok/MOK.cer。将 MOK.crt 复制至 /etc/mok/MOK.key，特别注意文件权限。

第五步：签名启动器及内核

签名 systemd-boot

cp /boot/EFI/systemd/systemd-bootx64.efi /boot/EFI/systemd/grubx64.efi
sbsign --key MOK.key --cert MOK.crt --output /boot/EFI/systemd/grubx64.efi /boot/EFI/systemd/grubx64.efi

签名内核

sbsign --key MOK.key --cert MOK.crt --output /boot/vmlinuz-linux /boot/vmlinuz-linux

第六步：添加 pacman hook

/etc/pacman.d/hooks/999-sign_kernel_for_secureboot.hook

[Trigger]
Operation = Install
Operation = Upgrade
Type = Package
Target = linux
Target = linux-lts
Target = linux-hardened
Target = linux-zen

[Action]
Description = Signing kernel with Machine Owner Key for Secure Boot
When = PostTransaction
Exec = /usr/bin/find /boot/ -maxdepth 1 -name 'vmlinuz-*' -exec /usr/bin/sh -c 'if ! /usr/bin/sbverify --list {} 2>/dev/null | /usr/bin/grep -q "signature certificates"; then /usr/bin/sbsign --key /etc/mok/MOK.key --cert /etc/mok/MOK.crt --output {} {}; fi' ;
Depends = sbsigntools
Depends = findutils
Depends = grep

第七步：启用 Secure Boot

重启系统，启用 Secure Boot。

开机时按 F12 选择启动项 shim。

初次启动时会让你导入 MOK，导入成功后再次重启。

如果能正常进入系统，即完成 Secure Boot 的设置，可以进入 BIOS 将默认启动项设为 shim 。

可选项：将密钥导入 TPM

启动全盘加密之后，一个使用的问题的每次启动都需要输入解密密码，虽然不是很麻烦，但每次启动都要输入还是有一点点麻烦的。

将加密密钥导入 TPM，便可以像 Windows 那样，启动时自动解密。

当然这样做会降低系统的安全性。

systemd-cryptenroll --tpm2-device=/dev/tpmrm0 --tpm2-pcrs=0+2+5+7+12+14  /dev/sdxx

后记

本文仅仅是一篇简单的操作记录，更多内容还请参考 Arch Linux wiki。

NAS成本核算

无影人 — Sat, 15 Oct 2022 04:16:25 GMT

前段时间发了关于自组NAS的嘟文，如今我的NAS也已经组好，并且已经使用了一段时间了。对于家用NAS也有更多以及更直观的体会。

今天便在这回答这样一个问题：NAS每年费用大约多少，相较网盘而言是否划算？

NAS的费用大致可以分为三个部分：NAS主机成本+存储设备成本+电费。

存储设备成本：参考淘宝seagate希捷旗舰店的Seagate希捷银河16T机械硬盘，质保五年，价格￥1999，计算可得每TB每年成本约25元（2000÷5÷16=25）。

电费：我手头自组的这台NAS（E5v4）CPU空闲时实测整机功率约50W。参考群晖的资料以及网友的反馈，NAS平时功率大约30W。电价以每度0.6元计算，可得一年电费约262.8元（50W），157.68元（30W）。

NAS主机成本波动范围相当大，这里选取几个代表供大家参考：

synology群晖ds920+，￥4680，质保三年，每年成本约：1560元（4680÷3=1560）
QNAP威联通TS-416，￥2299，质保两年，每年成本约：1150元（2299÷2=1149.5）
联想个人云T2，￥699，质保两年，每年成本约：350元（700÷2=250）
联想个人云T2 Pro，￥1199，质保两年，每年成本约：600元（1200÷2=600）

至此，对于NAS的每年成本多少，各位心中大概应该有了一个估计吧。

需要注意的一点是：上述硬件产品的每年成本均基于质保时间计算，产品实际使用寿命可能远长于质保时间，例如：Seagate希捷银河16T机械硬盘，平均故障间隔时间（MTBF）250万小时，计算可知，每天24小时，连续使用10年后该硬盘仍有96%以上的可靠性。

下面列出一些网盘的会员价格（最顶级会员，2022年10月13日价格，国内网盘价格为APP内显示价格）以供对比：

百度网盘超级会员，1年￥298，5TB空间
腾迅微云超级会员，12个月￥288元，6TB空间
阿里云盘超级会员，1年￥388，20TB空间
坚果云高级专业版，1年￥399.9，72GB空间
Microsoft 365 家庭版 [1]，¥498.00/年，6TB空间（每人 1 TB）
Dropbox Professional [2]，€16.58 / month （1年€198.96，约￥1383.31），3TB空间

对比NAS费用及网盘服务费用，我们可以看出，NAS每年费用略高于网盘服务费用。

但是NAS却给了你数据的完全控制权，从此不用再提心文件存在云盘中带来的隐私泄露、文件审查和谐、服务商倒闭跑路等等问题。此外，3毫秒延迟，125MiB/s（1G网口）读写速度，这样的性能是任何云盘都给不了的。

实例详解自定义字体反爬的对抗

无影人 — Sun, 29 Aug 2021 13:33:03 GMT

自定义字体是一种很常见的反爬虫方法，本文将以晋江文学城为例详解如何对抗自定义字体反爬。

随便打开一章晋江VIP章节，查看源码，发现一部分在网页中正常显示的字符，在网页源码却中显示为了方块。

通过 Fonts 选项卡，可以发现这些方块字体使用了自定义字体（jjwxcfont）。

如果想要制作一个晋江小说下载器，那么这些使用了自定义字体的方块字是一道绕不开的障碍。

除了先全文截图再直接全图OCR，这种简章粗暴的方法之外。

另一种通用的方法是，先获取并生成自定义字体的字符映射表，然后根据字符映射表将自定义字体字符映射回通用字符。

下图即是某一晋江字体的字符映射表。

本文将重点讲解如何快速高效自动化地生成晋江自定义字体字符映射表。

获取字体文件¶

想要破解自定义字体，你首先需要将自定义字体下载下来，这部分工作虽然也很重要，但并不是今天的重点，因此不再赘述。

如果你对这部分内容感兴趣，可以参考我另一个项目中相关功能代码。

大致印象¶

mkdir fonts
wget http://static.jjwxc.net/tmp/fonts/jjwxcfont_0004v.woff2?h=my.jjwxc.net -O fonts/jjwxcfont_0004v.woff2
wget http://static.jjwxc.net/tmp/fonts/jjwxcfont_00rmg.woff2?h=my.jjwxc.net -O fonts/jjwxcfont_00rmg.woff2

使用上述命令下载 jjwxcfont_0004v.woff2 字体文件，之后本文将以该字体为例进行讲解。

使用 fontforge 打开该字体文件。

选择选项：Encoding > Reencode > Glyph Order

查看该字体文件，获得一个该字体文件的大致印象。

OCR法¶

OCR法即获取字体文件下所有字符，并将其转换为图片，通过OCR软件识别后进行标记，最终生成字符映射表。

In [1]:

import os
import shutil
import tempfile

from fontTools.ttLib import woff2, ttFont

PWD = os.getcwd()
TMP: str = tempfile.mkdtemp()
FontsDir: str = os.path.join(PWD, 'fonts')

def clear() -> None:
    """
    清除临时文件
    """
    shutil.rmtree(TMP)
    
def listTTF(ttf: ttFont.TTFont) -> list[str]:
    """
    输入字体文件，输出该字体文件下所有字符。
    """
    return list(set(map(lambda x: chr(x), ttf.getBestCmap().keys())))

载入并解析字体

In [2]:

fontname: str = 'jjwxcfont_0004v'
fontpath: str = os.path.join(FontsDir, f'{fontname}.woff2')
ttfpath: str = os.path.join(TMP,f'{fontname}.ttf')

woff2.decompress(fontpath, ttfpath)
ttf = ttFont.TTFont(ttfpath)

chars = listTTF(ttf)

2 extra bytes in post.stringData array

共有201个字符

In [3]:

print(len(chars))
print(chars)

201
['\ue3ce', '\ued31', '\uea4a', '\ue2f0', '\ue707', '\ue949', '\ue452', '\ue8e6', '\ue33c', '\ue11c', '\ue79f', '\uecd2', '\ueb16', '\ue3d9', '\ued29', '\ue680', '\uea2f', '\ue876', '\ue188', '\ue8d2', '\ue9c9', '\ue76d', '\ue2ad', '\ue6ef', '\ue7f6', '\ue22f', '\ue1d7', '\uec78', '\ue768', '\uee4a', '\ueb0e', '\ue04e', '\uec7a', '\ue73a', '\uebf0', '\ue4fe', '\ue3c7', '\ue7d9', '\uefb6', '\uea48', '\uec38', '\ue428', '\uef6e', '\uefd2', '\ue7b0', '\ue86d', '\ue44d', '\ue50f', '\ue6c8', '\ue9cb', '\uedcf', '\ueef4', '\uef45', '\ue7ee', '\uebcc', '\ue2ea', '\uef78', '\ue1fa', '\ue5fb', '\ue5e1', '\ue6fa', '\ue89f', '\ue19b', '\ue98a', '\uedda', '\ue2e2', '\ue084', '\ue3a1', '\ue586', '\uea75', '\ue3ca', '\ue78d', '\ue11f', '\ue0d3', '\ue3aa', '\ue9a2', '\ue567', '\ue54d', '\ue72b', '\ue5c6', '\ue3e3', '\uee30', '\ue197', '\ue009', '\ue47d', '\ue490', '\ue0f4', '\ue005', '\ue055', '\uebfd', '\uec30', '\ue535', '\ue6c4', '\ue1ca', '\ue948', '\ue705', '\ue1e7', '\ued69', '\uee76', '\ue8de', '\ue7b4', '\uee6b', '\ue1a7', '\ue99b', '\ue3fe', '\ue52b', '\ue44c', '\uea63', '\uebe4', '\ue2df', '\ue774', '\ue57f', '\ue5ee', '\ue8a7', '\ue898', 'x', '\ue97d', '\ue6cb', '\ue801', '\uecd6', '\ue019', '\uebc4', '\ue999', '\uefaf', '\uec9c', '\ue1fb', '\ue085', '\ued5d', '\uee11', '\ue8dc', '\uea14', '\ue3ac', '\ue943', '\uee8b', '\ue08f', '\ue50a', '\ue5a3', '\ue803', '\ueaf1', '\uedf4', '\uebba', '\ue5c3', '\ue429', '\uecc8', '\uef7e', '\ue06a', '\ue804', '\ue0d6', '\ueff7', '\uefd5', '\uec84', '\ue36d', '\ue7cd', '\ued67', '\ue8a1', '\ue506', '\ue451', '\ue0a8', '\uead1', '\ue601', '\uebfe', '\ue4d0', '\ue076', '\ue087', '\ue9ab', '\ue8d6', '\ueb49', '\ue584', '\ue4df', '\ue98f', '\ue28b', '\ue42f', '\uede8', '\ue627', '\ue31a', '\ue4bb', '\ue4ad', '\ue530', '\uea6d', '\ue9ed', '\ue1eb', '\ue00d', '\uea17', '\ued4b', '\ueb9f', '\uef5e', '\ue613', '\ued80', '\ue44b', '\ue05a', '\ue150', '\ue218', '\ue1b2', '\ue7f3', '\uea35', '\ue1e1', '\uee44', '\ue5a2', '\uec17', '\uecca', '\uebf4']

将自定义字体的字符列表生成为每行20个字的文本，用于后续识别工作。

In [4]:

import itertools

_chars = filter(lambda x: x != 'x', chars)
_ = iter(_chars)
chars_split: list[list[str]] = [list(itertools.islice(_, 20)) for i in range(10)]
ocr_txt: str = '\n'.join([''.join(cs) for cs in chars_split])
del _
del _chars

In [5]:

print(ocr_txt)












调用 imagemagick 所附带的 convert 命令，将之前准备好的自定义字符文本绘制为图片。

In [6]:

import subprocess

txt_path: str = os.path.join(TMP, 'ocr.txt')
img_path: str = os.path.join(TMP, 'ocr.png')

with open(txt_path, 'w') as f:
    f.write(ocr_txt)
subprocess.call(["convert", "-font", ttfpath, "-pointsize", "64", "-background", "rgba(255,255,255)",
    f"label:@{txt_path}", img_path])

Out[6]:

结果如下：

In [7]:

from PIL import Image, ImageDraw, ImageFont
from IPython.display import display

ocr_img = Image.open(img_path)
display(ocr_img)

调用 tesseract 识别该图片。

In [8]:

tesseract_result_name: str = os.path.join(TMP, 'tesseract_result.txt')

subprocess.call(["tesseract", img_path, tesseract_result_name, "-l", "chi_sim", "--psm", "6"])

Tesseract Open Source OCR Engine v4.1.1 with Leptonica
Warning: Invalid resolution 0 dpi. Using 70 instead.

Out[8]:

tesseract 识别结果如下：

In [9]:

with open(f'{tesseract_result_name}.txt', 'r') as f:
    tesseract_result = f.read()
    print(tesseract_result)

其 可 她 就 们 来 眼 这 所 何 者 化 作 问 意 没 道 果 样 重
如 然 听 中 相 子 本 四 己 方 被 多 感 心 出 太 小 会 笑 家
由 自 说 把 年 世 么 看 使 论 下 儿 到 从 事 打 口 现 便 回
要 代 丸 成 间 实 话 进 他 很 因 得 而 情 别 好 无 少 特 关
同 但 人 全 定 声 公 什 老 了 等 仁 明 先 学 再 你 分 动 门
还 给 上 以 力 十 体 身 又 与 国 的 之 将 那 与 几 三 书 过
物 时 死 第 想 两 生 文 思 后 社 二 一 理 名 并 长 行 当 新
着 前 在 起 真 教 种 走 民 能 天 于 美 此 神 手 和 外 面 主
才 些 经 里 法 大 女 头 用 都 是 个 地 不 知 白 发 见 性 也
已 西 更 日 部 开 对 我 正 只 向 为 点 最 气 史 高 却 去 有

识别结果相当不错。

接下来就是生成字符映射表了。

In [10]:

table = dict(zip(
    filter(lambda x: x != '\n', list(ocr_txt)),
    filter(lambda x: 19967 < ord(x) < 40870, list(tesseract_result))
))

In [11]:

print(table)

{'\ue3ce': '其', '\ued31': '可', '\uea4a': '她', '\ue2f0': '就', '\ue707': '们', '\ue949': '来', '\ue452': '眼', '\ue8e6': '这', '\ue33c': '所', '\ue11c': '何', '\ue79f': '者', '\uecd2': '化', '\ueb16': '作', '\ue3d9': '问', '\ued29': '意', '\ue680': '没', '\uea2f': '道', '\ue876': '果', '\ue188': '样', '\ue8d2': '重', '\ue9c9': '如', '\ue76d': '然', '\ue2ad': '听', '\ue6ef': '中', '\ue7f6': '相', '\ue22f': '子', '\ue1d7': '本', '\uec78': '四', '\ue768': '己', '\uee4a': '方', '\ueb0e': '被', '\ue04e': '多', '\uec7a': '感', '\ue73a': '心', '\uebf0': '出', '\ue4fe': '太', '\ue3c7': '小', '\ue7d9': '会', '\uefb6': '笑', '\uea48': '家', '\uec38': '由', '\ue428': '自', '\uef6e': '说', '\uefd2': '把', '\ue7b0': '年', '\ue86d': '世', '\ue44d': '么', '\ue50f': '看', '\ue6c8': '使', '\ue9cb': '论', '\uedcf': '下', '\ueef4': '儿', '\uef45': '到', '\ue7ee': '从', '\uebcc': '事', '\ue2ea': '打', '\uef78': '口', '\ue1fa': '现', '\ue5fb': '便', '\ue5e1': '回', '\ue6fa': '要', '\ue89f': '代', '\ue19b': '丸', '\ue98a': '成', '\uedda': '间', '\ue2e2': '实', '\ue084': '话', '\ue3a1': '进', '\ue586': '他', '\uea75': '很', '\ue3ca': '因', '\ue78d': '得', '\ue11f': '而', '\ue0d3': '情', '\ue3aa': '别', '\ue9a2': '好', '\ue567': '无', '\ue54d': '少', '\ue72b': '特', '\ue5c6': '关', '\ue3e3': '同', '\uee30': '但', '\ue197': '人', '\ue009': '全', '\ue47d': '定', '\ue490': '声', '\ue0f4': '公', '\ue005': '什', '\ue055': '老', '\uebfd': '了', '\uec30': '等', '\ue535': '仁', '\ue6c4': '明', '\ue1ca': '先', '\ue948': '学', '\ue705': '再', '\ue1e7': '你', '\ued69': '分', '\uee76': '动', '\ue8de': '门', '\ue7b4': '还', '\uee6b': '给', '\ue1a7': '上', '\ue99b': '以', '\ue3fe': '力', '\ue52b': '十', '\ue44c': '体', '\uea63': '身', '\uebe4': '又', '\ue2df': '与', '\ue774': '国', '\ue57f': '的', '\ue5ee': '之', '\ue8a7': '将', '\ue898': '那', '\ue97d': '与', '\ue6cb': '几', '\ue801': '三', '\uecd6': '书', '\ue019': '过', '\uebc4': '物', '\ue999': '时', '\uefaf': '死', '\uec9c': '第', '\ue1fb': '想', '\ue085': '两', '\ued5d': '生', '\uee11': '文', '\ue8dc': '思', '\uea14': '后', '\ue3ac': '社', '\ue943': '二', '\uee8b': '一', '\ue08f': '理', '\ue50a': '名', '\ue5a3': '并', '\ue803': '长', '\ueaf1': '行', '\uedf4': '当', '\uebba': '新', '\ue5c3': '着', '\ue429': '前', '\uecc8': '在', '\uef7e': '起', '\ue06a': '真', '\ue804': '教', '\ue0d6': '种', '\ueff7': '走', '\uefd5': '民', '\uec84': '能', '\ue36d': '天', '\ue7cd': '于', '\ued67': '美', '\ue8a1': '此', '\ue506': '神', '\ue451': '手', '\ue0a8': '和', '\uead1': '外', '\ue601': '面', '\uebfe': '主', '\ue4d0': '才', '\ue076': '些', '\ue087': '经', '\ue9ab': '里', '\ue8d6': '法', '\ueb49': '大', '\ue584': '女', '\ue4df': '头', '\ue98f': '用', '\ue28b': '都', '\ue42f': '是', '\uede8': '个', '\ue627': '地', '\ue31a': '不', '\ue4bb': '知', '\ue4ad': '白', '\ue530': '发', '\uea6d': '见', '\ue9ed': '性', '\ue1eb': '也', '\ue00d': '已', '\uea17': '西', '\ued4b': '更', '\ueb9f': '日', '\uef5e': '部', '\ue613': '开', '\ued80': '对', '\ue44b': '我', '\ue05a': '正', '\ue150': '只', '\ue218': '向', '\ue1b2': '为', '\ue7f3': '点', '\uea35': '最', '\ue1e1': '气', '\uee44': '史', '\ue5a2': '高', '\uec17': '却', '\uecca': '去', '\uebf4': '有'}

OCR法（无外部依赖版）¶

上述方法除了python之外，还需要额外安装 imagemagick、tesseract以及tesseract中文训练数据，这三个部件加起来大概快有100MB。

好像有一点臃肿，那么能不能精简一点呢？

让我们再看一看晋江的自定义字体。

我们很容易发现：晋江自定义字体与方正兰亭黑（微软雅黑）极其相似。

因此可以基于这点构建一个轻量级的识别程序。

大致流程：

绘制微软雅黑所有字符
绘制晋江自定义字体所有字符
使用已知的前者对未知的后者进行匹配，根据差异度找出最有可能的字符。

载入双方字体

In [12]:

SIZE: int = 228

FZfont: ImageFont.FreeTypeFont = None
try:
    # Windows平台直接调用系统字体即可
    FZfont = ImageFont.truetype(font='Microsoft YaHei', size=SIZE)
except Exception:
    # 其他平台需手动将字体文件放入 fonts 目录
    FZfont = ImageFont.truetype(font=os.path.join(FontsDir, 'FZLanTingHei-M-GBK.ttf'), size=SIZE)
    
JJfont: ImageFont.FreeTypeFont = ImageFont.truetype(font=os.path.join(ttfpath), size=SIZE-5)

建构基本函数

In [13]:

W, H = (SIZE, SIZE)

def draw(character: str, fontTTF: ImageFont.FreeTypeFont) -> ImageDraw:
    """
    输入字符以及字体文件，输出绘制结果。
    """
    image = Image.new("RGB", (W, H), "white")
    d = ImageDraw.Draw(image)
    offset_w, offset_h = fontTTF.getoffset(character)
    w, h = d.textsize(character, font=fontTTF)
    pos = ((W - w - offset_w) / 2, (H - h - offset_h) / 2)
    d.text(pos, character, "black", font=fontTTF)
    return image

def drawFZ(character: str) -> ImageDraw:
    """
    输入字符，输出方正兰亭黑字体绘制结果。
    """
    return draw(character, FZfont)

def drawJJ(character: str) -> ImageDraw:
    """
    输入字符，输出晋江自定义字体绘制结果。
    """
    return draw(character, JJfont)

In [14]:

import numpy as np

def compare(image1: ImageDraw, image2: ImageDraw) -> float:
    """
    输入两字体图像，输出差异度。
    """
    array1 = np.asarray(image1.convert('1'))
    array2 = np.asarray(image2.convert('1'))
    diff_array: np.ndarray = array1 ^ array2
    diff = np.count_nonzero(diff_array) / np.multiply(*diff_array.shape)
    return diff

绘制方正字体所有字符，本步骤需花费大量时间以及大量内存。

In [15]:

FZttf = ttFont.TTFont(os.path.join(FontsDir, 'FZLanTingHei-M-GBK.ttf'))
FZkeys = list(filter(lambda x: 19967 < ord(x) < 40870, listTTF(FZttf)))
FZimgs = map(lambda x: drawFZ(x), FZkeys)
FZtable = dict(zip(FZkeys, FZimgs))
del FZkeys
del FZimgs

绘制晋江字体

In [16]:

JJkeys = list(filter(lambda x: x != 'x', chars))
JJimgs = list(map(lambda x: drawJJ(x), JJkeys))
JJtable = dict(zip(JJkeys, JJimgs))

比较两字体

In [17]:

def match(jjimg: ImageDraw) -> tuple[str, float]:
    """
    将晋江字符绘制结果与方正字体进行匹配
    """
    m:str = None
    d:float = None
    for fzkey in FZtable:
        fzimg = FZtable[fzkey]
        diff = compare(jjimg, fzimg)
        if d is None:
            m = fzkey
            d = diff
        else:
            if diff < d:
                m = fzkey
                d = diff    
    return m, d

In [18]:

i = 1
jjkey = JJkeys[i]
jjimg = JJimgs[i]
jjmatch = match(jjimg)

In [19]:

jjmatch

Out[19]:

('可', 0.07107956294244383)

In [20]:

jjkey

Out[20]:

'\ued31'

In [21]:

jjimg

Out[21]:

可以看出识别成功。

如需识别所有晋江字符，for i in range(len(JJkeys)) 跑一个循环即可。

比较一下方正字体以及晋江字体

In [22]:

from PIL import ImageChops

i0 = drawJJ(jjkey)
i1 = drawFZ(jjmatch[0])
img_diff = ImageChops.difference(i0, i1)
display(img_diff)
del i0, i1, img_diff

当然每次这样跑，速度有一些慢。

因此可以先使用 imagehash 先筛选一下，只对 imagehash 相近的字符进行精细比较。这样可以节省大量时间。

具体代码就不在这里列了，详细代码可以参见此处。

直接比较字体法¶

如同许多网站一样，晋江的自定义字体并不是只有一套，而是有很多套。

但比较不同自定义字体，可以很容易发现：虽然每种字体的字符排序不同，但对于同一个汉字，不同之字体之间好像都长得一样呀!

打开编辑界面，果然是一样的（注意左上角被选择的点的坐标值）。

因此，可以根据这一点，通过直接比较字体快速识别。

In [23]:

def getCoord(char: str, ttf: ttFont.TTFont) -> list[tuple[int, int]]:
    """
    获取特定字体，指定字符的 coord
    """
    cmap = ttf.getBestCmap()
    glyf_name = cmap[ord(char)]
    coord = ttf['glyf'][glyf_name].coordinates
    coord_list = list(coord)
    return coord_list


def getCoorTable(fontTable: dict[str, str], fontttf: ttFont.TTFont) -> dict[str, list[tuple[int, int]]]:
    """
    获取指定字体的 coordTable
    """
    fontTableR = dict(zip(fontTable.values(), fontTable.keys()))
    coordTable = dict(
        zip(
            fontTableR.keys(),
            map(lambda x: getCoord(x, fontttf), fontTableR.values())
        )
    )
    return coordTable

本法要求一套已经识别完毕并且没有错识的字体作为标本，这里使用第一部分识别产生的 table。

In [24]:

print(table)

{'\ue3ce': '其', '\ued31': '可', '\uea4a': '她', '\ue2f0': '就', '\ue707': '们', '\ue949': '来', '\ue452': '眼', '\ue8e6': '这', '\ue33c': '所', '\ue11c': '何', '\ue79f': '者', '\uecd2': '化', '\ueb16': '作', '\ue3d9': '问', '\ued29': '意', '\ue680': '没', '\uea2f': '道', '\ue876': '果', '\ue188': '样', '\ue8d2': '重', '\ue9c9': '如', '\ue76d': '然', '\ue2ad': '听', '\ue6ef': '中', '\ue7f6': '相', '\ue22f': '子', '\ue1d7': '本', '\uec78': '四', '\ue768': '己', '\uee4a': '方', '\ueb0e': '被', '\ue04e': '多', '\uec7a': '感', '\ue73a': '心', '\uebf0': '出', '\ue4fe': '太', '\ue3c7': '小', '\ue7d9': '会', '\uefb6': '笑', '\uea48': '家', '\uec38': '由', '\ue428': '自', '\uef6e': '说', '\uefd2': '把', '\ue7b0': '年', '\ue86d': '世', '\ue44d': '么', '\ue50f': '看', '\ue6c8': '使', '\ue9cb': '论', '\uedcf': '下', '\ueef4': '儿', '\uef45': '到', '\ue7ee': '从', '\uebcc': '事', '\ue2ea': '打', '\uef78': '口', '\ue1fa': '现', '\ue5fb': '便', '\ue5e1': '回', '\ue6fa': '要', '\ue89f': '代', '\ue19b': '丸', '\ue98a': '成', '\uedda': '间', '\ue2e2': '实', '\ue084': '话', '\ue3a1': '进', '\ue586': '他', '\uea75': '很', '\ue3ca': '因', '\ue78d': '得', '\ue11f': '而', '\ue0d3': '情', '\ue3aa': '别', '\ue9a2': '好', '\ue567': '无', '\ue54d': '少', '\ue72b': '特', '\ue5c6': '关', '\ue3e3': '同', '\uee30': '但', '\ue197': '人', '\ue009': '全', '\ue47d': '定', '\ue490': '声', '\ue0f4': '公', '\ue005': '什', '\ue055': '老', '\uebfd': '了', '\uec30': '等', '\ue535': '仁', '\ue6c4': '明', '\ue1ca': '先', '\ue948': '学', '\ue705': '再', '\ue1e7': '你', '\ued69': '分', '\uee76': '动', '\ue8de': '门', '\ue7b4': '还', '\uee6b': '给', '\ue1a7': '上', '\ue99b': '以', '\ue3fe': '力', '\ue52b': '十', '\ue44c': '体', '\uea63': '身', '\uebe4': '又', '\ue2df': '与', '\ue774': '国', '\ue57f': '的', '\ue5ee': '之', '\ue8a7': '将', '\ue898': '那', '\ue97d': '与', '\ue6cb': '几', '\ue801': '三', '\uecd6': '书', '\ue019': '过', '\uebc4': '物', '\ue999': '时', '\uefaf': '死', '\uec9c': '第', '\ue1fb': '想', '\ue085': '两', '\ued5d': '生', '\uee11': '文', '\ue8dc': '思', '\uea14': '后', '\ue3ac': '社', '\ue943': '二', '\uee8b': '一', '\ue08f': '理', '\ue50a': '名', '\ue5a3': '并', '\ue803': '长', '\ueaf1': '行', '\uedf4': '当', '\uebba': '新', '\ue5c3': '着', '\ue429': '前', '\uecc8': '在', '\uef7e': '起', '\ue06a': '真', '\ue804': '教', '\ue0d6': '种', '\ueff7': '走', '\uefd5': '民', '\uec84': '能', '\ue36d': '天', '\ue7cd': '于', '\ued67': '美', '\ue8a1': '此', '\ue506': '神', '\ue451': '手', '\ue0a8': '和', '\uead1': '外', '\ue601': '面', '\uebfe': '主', '\ue4d0': '才', '\ue076': '些', '\ue087': '经', '\ue9ab': '里', '\ue8d6': '法', '\ueb49': '大', '\ue584': '女', '\ue4df': '头', '\ue98f': '用', '\ue28b': '都', '\ue42f': '是', '\uede8': '个', '\ue627': '地', '\ue31a': '不', '\ue4bb': '知', '\ue4ad': '白', '\ue530': '发', '\uea6d': '见', '\ue9ed': '性', '\ue1eb': '也', '\ue00d': '已', '\uea17': '西', '\ued4b': '更', '\ueb9f': '日', '\uef5e': '部', '\ue613': '开', '\ued80': '对', '\ue44b': '我', '\ue05a': '正', '\ue150': '只', '\ue218': '向', '\ue1b2': '为', '\ue7f3': '点', '\uea35': '最', '\ue1e1': '气', '\uee44': '史', '\ue5a2': '高', '\uec17': '却', '\uecca': '去', '\uebf4': '有'}

In [25]:

coorTable = getCoorTable(table, ttf)

In [26]:

print(coorTable['见'])

[(934, 1119), (934, 1119), (934, 1321), (1100, 1321), (1100, 1117), (1100, 846), (1060, 643), (1210, 643), (1210, 57), (1210, -69), (1348, -69), (1666, -69), (1800, -69), (1820, 61), (1820, 61), (1820, 61), (1840, 187), (1852, 371), (1852, 371), (1852, 371), (1932, 339), (2016, 313), (2016, 313), (2016, 313), (1998, 129), (1972, -5), (1972, -5), (1972, -5), (1936, -215), (1688, -215), (1308, -215), (1046, -215), (1046, 29), (1046, 575), (999, 378), (910, 251), (910, 251), (910, 251), (720, -41), (158, -277), (158, -277), (158, -277), (114, -217), (42, -133), (42, -133), (42, -133), (570, 75), (756, 341), (756, 341), (756, 341), (934, 575), (934, 1119), (456, 365), (292, 365), (292, 1623), (1764, 1623), (1764, 377), (1600, 377), (1600, 1475), (456, 1475)]

接下来，便可以直接通过比较字体而进行识别了。

加载并识别另外一个字体 jjwxcfont_00rmg.woff2

In [27]:

def is_glpyh_similar(a: list[tuple[int, int]], b: list[tuple[int, int]], fuzz: int):
    """
    比较两字符 coor 是否相似。
    """
    if len(a) != len(b):
        return False
    found = True
    for i in range(len(a)):
        if abs(a[i][0] - b[i][0]) > fuzz or abs(a[i][1] - b[i][1]) > fuzz:
            found = False
            break
    return found

def quickMatch(jj: str, ttf: ttFont.TTFont, stdCoorTable: dict[str, list[list[int, int]]]) -> str:
    """
    通过直接比较字体快速匹配
    """
    FUZZ = 20

    jjCoord = getCoord(jj, ttf)
    for stdKey in stdCoorTable:
        stdCoord = stdCoorTable[stdKey]
        if is_glpyh_similar(jjCoord, stdCoord, FUZZ):
            return stdKey


#加载字体 jjwxcfont_00rmg
font2path = os.path.join(FontsDir, 'jjwxcfont_00rmg.woff2')
with tempfile.TemporaryFile() as tmp:
    woff2.decompress(font2path, tmp)
    tmp.seek(0)
    ttf2 = ttFont.TTFont(tmp)
    
#比较字体 jjwxcfont_00rmg
results = {}
jj2Keys = listTTF(ttf2)
for jj2 in jj2Keys:
    mchar = quickMatch(jj2, ttf2, coorTable)
    results[jj2] = mchar

2 extra bytes in post.stringData array

In [28]:

print(results)

{'\ue944': '行', '\ue0c2': '也', '\ue5b2': '便', '\ue395': '又', '\ue278': '就', '\ue0ec': '动', '\ue0de': '仁', '\ue00b': '主', '\ue79f': '而', '\ue901': '与', '\ue4f3': '要', '\ue187': '已', '\ue4c6': '和', '\ue8f8': '这', '\ue289': '外', '\uef76': '什', '\ue470': '很', '\ue710': '知', '\ue293': '身', '\ue729': '起', '\uebd3': '物', '\ueae9': '情', '\uebb7': '特', '\ue2ab': '开', '\ue5bd': '教', '\uece5': '下', '\uec02': '进', '\ue18b': '论', '\ue768': '第', '\ue52f': '好', '\uec64': '儿', '\ue1b1': '所', '\uefb2': '两', '\ue357': '手', '\ue9b0': '部', '\uebf0': '时', '\uedd2': '等', '\uea2d': '新', '\ue020': '西', '\ue4fe': '人', '\uec7c': '在', '\uee82': '发', '\ue1f6': '名', '\uebed': '都', '\ued25': '几', '\uec38': '太', '\ue964': '别', '\uea80': '长', '\ue176': '笑', '\ue917': '何', '\ue24a': '的', '\uece7': '体', '\ue9ac': '上', '\ue579': '打', '\ue7b0': '作', '\ueabf': '以', '\ueb0f': '生', '\uef3a': '眼', '\ue5f8': '事', '\ue0fc': '民', '\ueec3': '学', '\ue86b': '才', '\ue233': '自', '\ue4c1': '其', '\ue7ee': '还', '\ue1aa': '感', '\uee4b': '公', '\uea95': '家', '\ue6d1': '法', '\ueeb9': '问', '\ued61': '十', '\ue216': '点', '\ue195': '二', '\ue25e': '成', '\ue3f1': '后', '\uea9a': '子', '\ue77c': '经', '\ueda2': '但', '\ue5e1': '相', '\ueac6': '门', '\ue10e': '大', '\uef27': '从', '\ue4a2': '如', '\ue371': '理', '\uebd9': '史', '\ue455': '力', '\ue53f': '三', '\ue159': '去', '\ue4ed': '当', '\uec73': '她', '\ue255': '正', '\ue39a': '代', '\ue18a': '重', '\ue41c': '话', '\uef80': '使', '\uefa4': '由', '\uefec': '年', '\ue3e3': '我', '\uee30': '过', '\ue197': '么', '\ue294': '社', '\ueab2': '只', '\ue91d': '小', '\ue151': '更', '\ue6b9': '一', '\ue9fb': '没', '\uea85': None, '\ueae1': '最', '\ueaf6': '现', '\uea64': '将', '\ue449': '会', '\ue619': '全', '\ue10f': '口', '\ue1ca': '被', '\ue092': '世', '\ue9ad': '回', '\uee0d': '于', '\uec35': '里', '\ue907': '意', '\ue563': '明', '\uecc5': '真', '\ue24b': '向', '\ue52a': '道', '\ued16': '定', '\ueee5': '头', '\ue8ee': '气', '\ue592': '实', '\uecaf': '样', '\ue12b': '因', '\ue2bf': '无', '\ue16d': '之', 'x': None, '\ue27c': '四', '\ue25a': '文', '\ue13a': '说', '\ue6e3': '前', '\uecd6': '国', '\ue5ed': '那', '\ue8d0': '中', '\uebe3': '高', '\ueaf3': '来', '\ue372': '种', '\ue8dc': '给', '\ue6a7': '本', '\ue7da': '并', '\uec59': '却', '\ue990': '性', '\ue99d': '用', '\ueb41': '不', '\ue69b': '思', '\uebb0': '再', '\ue4f4': '为', '\ue265': '见', '\ued8e': '了', '\ue0db': '出', '\uee6f': '少', '\ue094': '己', '\ue913': '分', '\ue06f': '日', '\ue08a': '关', '\ue903': '能', '\ueb9b': '听', '\uebf8': '想', '\ue0a8': '白', '\uead1': '是', '\uef8d': '同', '\ue889': '看', '\ue182': '多', '\ueae3': '对', '\ue23e': '心', '\ue5d3': '然', '\uec97': '们', '\uefcf': '者', '\ue9f7': '美', '\ueec1': '老', '\ue690': '丸', '\ue6da': '声', '\ue7df': '女', '\uebd5': '书', '\ue1e6': '把', '\ue2b5': '方', '\uea3d': '着', '\ue467': '你', '\ue006': '到', '\ue05a': '他', '\ue74c': '天', '\ue6bc': '得', '\ue8e1': '间', '\ueb1d': '走', '\ue7f3': '此', '\uee72': '地', '\ue16e': '个', '\uefb4': '先', '\ue0b7': '死', '\ue40f': '面', '\ue472': '果', '\uec17': '神', '\ue341': '有', '\ued8a': '化', '\ue101': '些', '\ue950': '可'}

结语¶

全文内容到这里就结束了。

本文是编写程序晋江自定义字体破解辅助工具的副产品，具体应用可以参见项目代码。

从其它长毛象实例复制表情包

无影人 — Fri, 15 Feb 2019 07:07:50 GMT

自定义表情包是长毛象的一大特色，本文将介绍如何从其它长毛象实例复制表情包。

所需材料：

有管理权的长毛象实例一个
目标实例账号一枚

使用 API 获取表情包数据¶

使用 Custom emoji API 获取目标实例表情包数据。