Qt 鸿蒙端侧 OCR 实战:当系统 API 只给了 ArkTS 入口

Core Vision Kit 的 textRecognition 只对 ArkTS 开放,没有 NDK,也没有 C++ 绑定;官方 N-API 的方向是 ArkTS 调 C++。Qt 应用的界面和业务在 C++/QML 这半边,系统 OCR 在那半边,中间没有门。这个库的做法是在同一个应用进程里监听 127.0.0.1:52141,用几十行 HTTP/1.1 传图片,ArkTS 侧调 recognizeText,再把契约 JSON 交回 C++。下面记桥的实现、长图条带,以及模拟器上那次 1001400001。

仓库地址:https://atomgit.com/lqjmac/qt-ohos-ocr
三方框架版本:https://wiki.qt.io/Qt5.12.12_Open_Source_Release_for_HarmonyOS_zh
组织仓库链接:https://atomgit.com/ohos-qt

0. 环境与实测设备

三方库适配信息:

三方库版本形态仓库地址
qt-ohos-ocr0.1.0Qt 6 CMake 库(add_subdirectory / FetchContent,默认静态库)https://atomgit.com/lqjmac/qt-ohos-ocr
flutter_ohos_ocr(ArkTS 移植源)1.0.xohos/ocr/ 目录移植来源(MIT)https://atomgit.com/lqjmac/flutter_ohos_ocr

实测环境:

项版本/型号
Qt6.5+(桌面开发与单测);设备端 Qt for HarmonyOS 载具(Qt 6.12 technology preview,或 Qt Wiki 5.12.12 / 5.15.16 移植版)
OpenHarmony/HarmonyOS SDKAPI 12+(textRecognition 起始版本);Qt6 载具社区版最低 API 20/23
DevEco Studio5.x / 6.x(真机运行、签名、HAP 调试)
CMake / C++3.21+ / C++17(组件:Core、Quick、Network、Concurrent)
测试QtTest 19 项(模型 9 + 引擎 10;传输 mock 注入,不需要设备)
实测设备HarmonyOS 2in1 模拟器(127.0.0.1:5555,3120×2080),OpenHarmony 7.0.0.105,API 26;443 ms 的 55 行截图来自另一次设备运行,型号未入库
实测数据示例截图 3120×2080:55 行、原生耗时 443 ms(界面读数);桌面 mock 桥预览 900×620:7 行、186 ms;PC 长图 1242×6500:140 行约 3.5 s

验证记录的主机是 macOS arm64、Qt 6.11.0(Homebrew qtbase / qtdeclarative)、CMake 4.3.2、Ninja;鸿蒙侧是 DevEco Studio 6.x、hvigor 6.26.4、ohpm 6.0.1、SDK API 26,模拟器为 2in1、3120×2080。下面的 ctest 输出、HAP 大小和模拟器日志都来自那份记录。

1. 55 行结果,和它证不了的事

Qt 示例窗口:55 行识别结果、443 ms

截图里第 44 行是 in 384 ms,第 48 行是 9:4 CRLF。这两行都来自界面本身:前者像一段终端输出的结尾,后者是编辑器状态栏的编码提示。OCR 把这类界面碎片也逐字抓了下来,连同正文一共 55 行,原生耗时 443 ms。窗口标题 qt-ohos-ocr demo,状态行写着 识别到 55 行 · 原生耗时 443 ms;左边预览是那张 3120×2080 的整屏截图(screenshot_20261112_012756_com.example.ohosnotes.jpg,HarmonyOS Cordova 的入门指南),文件名和尺寸下面又标了一次耗时。右边列表从第 37 条滚到第 55 条,使用Harmony Cordova,您可以构建一个鸿蒙应用程序。、安装Node.js、AppScope 这些行都在。窗口底部一行是桥的自述:bridge listening · 127.0.0.1:52141 · protocol 1 · v0.1.0。这是 C++ 解析完 55 个块、QML 渲染出来的列表,ArkTS 页面里没有这份东西。

443 ms 是这次运行的原生耗时,别和另外几组数字混了:仓库内置的小票是 900×620(examples/quick/samples/ocr_sample.png),桌面 mock 桥预览那次 7 行、186 ms;契约文档里的 1000×1400 和 durationMs: 142 只是 JSON 样例,跟这次识别没有关系。我第一次看这张图,也以为 55 行来自小票,直到把预览文件名和尺寸对了一遍。

这张图能证明的东西有限:桥通了、C++ 收到并解析了 55 个块、QML 长列表没有裁行。它不能证明每台设备都能识别。11 月 13 日换到 2in1 模拟器,/v1/ping 正常返回,/v1/recognize 返回 OCR_VISION_ERROR,设备侧 textRecognition.init() 超时 200,直接调 recognizeText 是 1001400001。

2. 为什么 C++ 调不到 textRecognition

找 C++ 绑定直接调 textRecognition 这条路走不通:textRecognition 只有 ArkTS 接口,N-API 的方向是 ArkTS 调 C++,载具没有留反向的口子。

Qt 官方把 HarmonyOS 写作 technology preview:doc.qt.io 的 HarmonyOS 文档从 Qt 6.12 才开始出现,工具链的开发和测试主机是 Linux,DevEco Studio 用于真机/模拟器调试;Qt 6.8 / 6.9 的发布说明和支持平台列表里没有 OpenHarmony/HarmonyOS。Qt Wiki 上另有 5.12.12、5.15.16 的开源移植版和 Qt 6.12 的构建指南。

Core Vision Kit 的 textRecognition 自 API 12 起可用,只有 ArkTS API。C++ 与 ArkTS 的官方互操作是 N-API,方向为 ArkTS → C++:ArkTS 把 native 函数注册进来,自己调;反过来,从 C++ 调 ArkTS,需要持有 ArkTS 运行时的 JS 引用并在它的线程上执行。NDK 直调没有绑定;QML 里嵌 ArkUI 原生视图再转发事件,复杂且体验割裂。剩下的选择是 socket:Qt 有 QNetworkAccessManager,ArkTS 有 @ohos.net.socket,两边都只用稳定 API。

问题不在头文件,在运行时。textRecognition 在系统里是一个 ArkTS 模块,方法签名和 PixelMap / TextRecognitionResult 类型都定义在 ArkTS 声明里;SDK 没有对应的 C 头,也没有 NDK 导出。C++ 拿不到 ArkTS 的模块对象、事件循环和 Promise,除非载具额外暴露一个 JS 运行时入口;Qt 载具里负责装载运行时和窗口的是 QAbility,它没有这个入口。桥能做的其实很少:把“调用 ArkTS”这件事交给同一进程里的 ArkTS 自己做。

约束也写清楚:桥需要 system_grant 的 ohos.permission.INTERNET(回环监听在权限模型里也算网络操作,但没有运行时弹窗);图片字节在进程内多一次拷贝;端口默认 52141,改端口要两端成对改。这是本项目的工程方案,不是 Qt 或华为的官方通道。将来 Core Vision Kit 开放 NDK 接口,或者载具提供 C++→ArkTS 的官方互操作,只需要换掉 IOcrTransport 的实现,引擎和 QML 不动。

3. 桥的三条路由

ArkTS 侧 OcrBridgeService 用 TCPSocketServer 监听回环,路由一共三条:

方法路径请求体响应
GET/v1/ping—{"name":"qt-ohos-ocr-bridge","protocol":1,"version":"0.1.0","vision":true}
POST/v1/recognize?source=&language=原始图片字节OcrResult JSON + width/height
POST/v1/pick?language=—结果 JSON 或 {"cancelled":true}

2026-11-13 在模拟器上把端口转出来,用 curl 直接打:

hdc fport tcp:52141 tcp:52141
curl http://127.0.0.1:52141/v1/ping
# {"name":"qt-ohos-ocr-bridge","protocol":1,"version":"0.1.0","vision":true}

curl -X POST --data-binary @ocr_sample.png \
  "http://127.0.0.1:52141/v1/recognize?source=ocr_sample.png&language=CHINESE"
# {"error":{"code":"OCR_VISION_ERROR","message":"Core Vision Kit init failed (200): Run timed out, please try again later."}}

ping 返回 protocol: 1 就算桥在位,C++ 的 probeAvailability() 只认这个字段,不认版本字符串。识别失败时返回 HTTP 500 加统一错误体,code 和 message 由 ArkTS 侧填,C++ 侧原样拼成 "CODE: message"。

传输规则刻意收窄:HTTP/1.1 over 127.0.0.1:52141、Connection: close、一连接一请求、Content-Length 定界读 body、客户端 20 秒传输超时。图片体走 application/octet-stream 原始字节,不做 base64:回环带宽从来吃不满,编码解码的 CPU 和体积膨胀才是多余的。JSON 响应用 Content-Type: application/json; charset=utf-8,Content-Length 按 UTF-8 字节数算,不按字符数。

微型服务一开始想支持 keep-alive,省几次握手。状态机复杂度立刻翻倍:连接复用、半包、超时回收都要自己写,而 OCR 是低频操作,握手开销在总耗时里测不出来。最后砍掉,Connection: close、一连接一请求,服务端解析和客户端 QNAM 都简单。

端口发现三级:setEndpoint() 显式设置 → 环境变量 QTOHOS_OCR_ENDPOINT → 默认 127.0.0.1:52141。服务启动后还会把 {"port":<port>,"protocol":1} 写进沙箱 files/qt_ohos_ocr_bridge.json,诊断工具不连 hilog 也能知道桥起在哪个端口;C++ 不自动读这个文件,它只是给人看的。

4. 库、骨架和可直接导入的示例工程

库本体是标准 Qt 6 CMake 工程,ohos/ 是待合并进载具的 ArkTS 骨架,另有桌面示例和一套可直接导入 DevEco 的完整示范工程:

qt-ohos-ocr/
├─ CMakeLists.txt                    # 库 + examples + tests 顶层
├─ include/qt-ohos-ocr/              # 公共头
│  ├─ qohosocrengine.h               # QML/C++ 异步引擎门面
│  ├─ ohosocrresult.h                # Q_GADGET 结果模型
│  └─ ocrbridge/
│     ├─ OcrTransport.h              # 传输接口(mock 注入点)
│     └─ OcrHttpBridge.h             # QNAM 回环实现
├─ src/                              # 实现,含手写 JSON 契约编解码
├─ ohos/                             # ArkTS 桥接模块骨架(合并目标)
│  └─ entry/src/main/ets/
│     ├─ entryability/EntryAbility.ets   # 含标注好的 merge 块
│     ├─ pages/Index.ets                 # 选图识别演示页(含桥状态)
│     ├─ ocrbridge/OcrBridgeService.ets  # 回环 HTTP 服务
│     └─ ocr/                            # 移植自 flutter_ohos_ocr
├─ examples/
│  ├─ quick/                         # Qt Quick 桌面示例(FileDialog + 状态行)
│  └─ ohos-app/                      # 可直接导入 DevEco 的完整鸿蒙应用
├─ tests/                            # QtTest 19 项(mock 传输)
└─ docs/api.md · docs/architecture.md

Qt 与 ArkTS 的进程内回环桥

作为依赖接入两种方式:

# 方式一:add_subdirectory
add_subdirectory(third_party/qt-ohos-ocr)
target_link_libraries(your_app PRIVATE Qt6::Quick qt-ohos-ocr::qt_ohos_ocr)

# 方式二:FetchContent(git 地址用 AtomGit)
include(FetchContent)
FetchContent_Declare(qt_ohos_ocr
    GIT_REPOSITORY https://atomgit.com/lqjmac/qt-ohos-ocr.git
    GIT_TAG        v0.1.0)
FetchContent_MakeAvailable(qt_ohos_ocr)

add_subdirectory 适合把仓库放进 third_party/,FetchContent 适合锁 tag 后直接编;两种方式都会导出 qt-ohos-ocr::qt_ohos_ocr 目标。

传输抽成一个接口:IOcrTransport 只定义 ping、postRecognize、postPick 三个操作,OcrHttpBridge 是 QNAM 实现;单测注入 MockTransport,19 项全部离线跑。引擎构造函数收 IOcrTransport* 并接管所有权。

桥探测失败在桌面上属于预期状态,装坏了才会是另一回事:桌面机器上没有 ArkTS 运行时,127.0.0.1:52141 没有进程监听,ping 的连接被拒绝,引擎把 available 留在 false,probeAvailability() 之后 lastError 是 OCR_BRIDGE_UNAVAILABLE: the ArkTS bridge did not answer /v1/ping。这时 QML 仍能加载、模型和 19 项测试照跑;pickAndRecognize 按钮因为 visible: ocr.available 被隐藏,文件选择走 Qt 自己的 FileDialog,但识别请求会以同一个错误码回来。要在桌面看完整结果,起 tools/mock_bridge.py,它只回固定小票数据,用于 UI 和解析,不代表设备能力。

bridgeText() 在 QML 里把这两种状态分开显示:available 为真时是 bridge listening · 127.0.0.1:52141 · protocol 1,为假时是 bridge unavailable · 127.0.0.1:52141;桌面开发时后者是常态,不会挡住窗口加载。

ArkTS 骨架按 merge 块组织:载具工程已经生成的 EntryAbility.ets 里用注释标出两段,onCreate 启动 OcrBridgeService,onDestroy 停桥并释放 VisionOcr;ocrbridge/ 与 ocr/ 两个目录整拷进载具 entry 的 ets/ 下。嫌麻烦就直接用 examples/ohos-app/,一套能跑的完整 stage 工程,ets/ 与根 ohos/ 逐文件同源。

5. C++ 侧:把异步收进一个小状态机

QOhosOcrEngine 的状态只有两个:

Idle ── recognizeBytes()/recognizeFile()/pickAndRecognize() ──▶ Busy
Busy ── transport reply ──▶ recognized(OhosOcrResult) | failed(err) ──▶ Idle

Busy 期间的第二次识别立即以 OCR_BUSY 失败,不排队:OCR 是重操作,静默排队会让用户以为界面卡死。唯一允许并行的是 probeAvailability(),探测不该被一次大图识别堵住。文件读取丢给 QtConcurrent 工作线程,传输本身是异步的,GUI 线程不碰磁盘也不等网络。

QML 侧只接两个信号:

// examples/quick/Main.qml · recognizeFile / runSample / runPicker
function recognizeFile(url) {
    root.imageUrl = url
    root.result = null
    root.errorMessage = ""
    root.statusText = qsTr("正在识别…")
    ocr.recognizeFile(url)
}

function runSample() {
    root.recognizeFile("qrc:/samples/ocr_sample.png")
}

function runPicker() {
    root.imageUrl = ""
    root.result = null
    root.errorMessage = ""
    root.statusText = qsTr("正在打开系统相册…")
    ocr.pickAndRecognize()
}

recognizeFile 清空上一次结果、把状态行改成“正在识别…”,然后调 ocr.recognizeFile(url);runSample 把 qrc:/samples/ocr_sample.png 交给同一个入口,所以桌面示例不依赖设备文件系统也能演示;runPicker 走 /v1/pick,由 ArkTS 侧调起系统相册。按钮的 enabled: !ocr.busy 和 visible: ocr.available 都绑在引擎属性上,状态机是唯一的事实来源。

回调最后落在 handleRecognitionReply:

// src/qohosocrengine.cpp · handleRecognitionReply()
void QOhosOcrEngine::handleRecognitionReply(const OhosOcrTransportReply &reply)
{
    if (!reply.ok) {
        failRecognition(QStringLiteral("OCR_BRIDGE_UNAVAILABLE: ") + reply.errorMessage);
        return;
    }
    if (reply.status != 200) {
        failRecognition(bridgeError(reply, QStringLiteral("OCR_BRIDGE_HTTP")));
        return;
    }
    const QJsonDocument document = QJsonDocument::fromJson(reply.body);
    if (document.isObject()
            && document.object().value(QLatin1String("cancelled")).toBool(false)) {
        failRecognition(QStringLiteral("OCR_PICKER_CANCELLED: the user dismissed the picker"));
        return;
    }

    QString parseError;
    const OhosOcrResult result = OhosOcrResult::fromJson(reply.body, &parseError);
    if (!parseError.isNull()) {
        failRecognition(QStringLiteral("OCR_BRIDGE_PROTOCOL: ") + parseError);
        return;
    }

    recordFailure(QString());
    setBusy(false);
    emit recognized(result);
}

四层判断的顺序不能换:传输层失败先报 OCR_BRIDGE_UNAVAILABLE,因为这时没有 HTTP 状态可看;非 200 再解析错误体,解析不出 code 才退回 OCR_BRIDGE_HTTP: HTTP status <n>;200 里先看 {"cancelled":true},用户取消映射成 OCR_PICKER_CANCELLED,与选图失败 OCR_PICKER_ERROR 分开;最后才 fromJson,解析不出来报 OCR_BRIDGE_PROTOCOL,跟识别失败是两码事。成功时清 lastError、清 busy、发 recognized,三个动作在同一个槽里完成。

传输回调可能同步触发(mock),也可能从 QNAM 的信号里来。queued() 统一用 QMetaObject::invokeMethod 的 Qt::QueuedConnection 把它们归一到引擎线程,所以状态机是单线程的,测试里用 QTRY_* 转事件循环就能观察信号。send() 里设了 20 秒 setTransferTimeout、Connection: close;图片走 application/octet-stream,ping 用 application/json;GET 和 POST 共用一个出口。

6. ArkTS 侧:代理只做定界和转发

服务端不解析业务字段,只负责按 \r\n\r\n 和 Content-Length 把 TCP 字节流切成一个完整请求、按路径分发、把结果写成 HTTP 响应。路由全在 dispatch 里:

// ohos/entry/src/main/ets/ocrbridge/OcrBridgeService.ets · dispatch()
private async dispatch(
  client: socket.TCPSocketConnection,
  method: string,
  target: string,
  body: Uint8Array,
): Promise<Handled> {
  const path: string = target.split('?')[0];
  const query: QueryMap = OcrBridgeService.parseQuery(target);

  if (path === '/v1/ping') {
    if (method !== 'GET' && method !== 'HEAD') {
      return OcrBridgeService.handledError(405, 'Method Not Allowed',
        'OCR_BRIDGE_METHOD', `${method} is not allowed on ${path}`);
    }
    const bodyText: string = `{"name":"qt-ohos-ocr-bridge"` +
      `,"protocol":${BRIDGE_PROTOCOL}` +
      `,"version":${jsonQuote(BRIDGE_VERSION)}` +
      `,"vision":true}`;
    return { status: 200, reason: 'OK', body: bodyText };
  }

  if (path === '/v1/recognize') {
    if (method !== 'POST') {
      return OcrBridgeService.handledError(405, 'Method Not Allowed',
        'OCR_BRIDGE_METHOD', `${method} is not allowed on ${path}`);
    }
    if (body.length === 0) {
      return OcrBridgeService.handledError(400, 'Bad Request',
        'OCR_INVALID_ARGUMENT', 'image bytes must not be empty');
    }
    const language: OcrLanguage =
      languageFromWire(query.get('language', 'CHINESE'));
    const source: string = query.get('source', 'image');
    try {
      const run: VisionRun =
        await VisionOcr.recognizeBytes(body, source, language);
      return { status: 200, reason: 'OK', body: OcrBridgeService.recognizeBody(run) };
    } catch (error) {
      return OcrBridgeService.handledError(500, 'Internal Server Error',
        'OCR_VISION_ERROR', visionErrorMessage(error));
    }
  }

  if (path === '/v1/pick') {
    if (method !== 'POST') {
      return OcrBridgeService.handledError(405, 'Method Not Allowed',
        'OCR_BRIDGE_METHOD', `${method} is not allowed on ${path}`);
    }
    const language: OcrLanguage =
      languageFromWire(query.get('language', 'CHINESE'));
    try {
      const run: VisionRun | null = await VisionOcr.pickAndRecognize(language);
      if (run === null) {
        return { status: 200, reason: 'OK', body: '{"cancelled":true}' };
      }
      return { status: 200, reason: 'OK', body: OcrBridgeService.recognizeBody(run) };
    } catch (error) {
      return OcrBridgeService.handledError(500, 'Internal Server Error',
        'OCR_PICKER_ERROR', visionErrorMessage(error));
    }
  }

  return OcrBridgeService.handledError(404, 'Not Found',
    'OCR_NOT_FOUND', `no route for ${path}`);
}

/v1/recognize 只接受 POST;空 body 返回 400 和 OCR_INVALID_ARGUMENT;language 只是元数据,languageFromWire 把未知值落到 CHINESE,Core Vision Kit 自己检测语种;VisionOcr.recognizeBytes 抛出的错误统一包成 500 + OCR_VISION_ERROR,message 里带原始 code。/v1/pick 的取消按正常流程走,返回 200 的 {"cancelled":true},由 C++ 映射成专属错误码。/v1/ping 同时接受 GET 和 HEAD,剩下的路径一律落到 404 + OCR_NOT_FOUND。

recognizeBody 用 toJson(run.result) 拿到契约 JSON,再去掉最后一个 } 补上 ,"width":<w>,"height":<h>}。这个写法不好看,但保证了字段顺序和 OcrJson.ets 逐字节一致;C++ 的 fromJson 忽略这两个扩展字段。

接收侧的手写解析比路由长:每个连接维护 received、bodyStart、contentLength 三个状态;header 超过 64 KiB 返回 431;GET/HEAD/OPTIONS/DELETE 没有 Content-Length 时按 0 处理,其它方法缺这个头返回 411;body 没收满就继续等下一个 chunk。TCPSocketServer.close() 自 API 20 起提供,所以 compatibleSdkVersion 是 6.0.0(20);textRecognition 自 API 12 起可用,两个下限取高的那个。

EntryAbility.onCreate 第一件事就是 OcrBridgeService.getInstance().start(this.context),早于 Qt UI 的第一次识别;onDestroy 停桥并 VisionOcr.release()。桥活在回环 socket 上,和当前屏幕上加载的是 Qt 窗口还是 ArkTS 诊断页无关。

start() 是幂等的,重复调用直接返回;stop() 会关监听和所有还开着的连接。端口被占用时 listen 的 catch 只写 hilog,不抛到 UI:桌面侧会看到 OCR_BRIDGE_UNAVAILABLE: Connection refused,然后按端口发现顺序去查 QTOHOS_OCR_ENDPOINT。

一次识别在 C++ 侧看是四段:recognizeBytes 同步校验并置 Busy;postRecognize 把字节交给 QNAM 后立即返回;ArkTS 侧 receive 收满 header 和 body 后进 dispatch,VisionOcr 解码、初始化、recognizeText;回包到了以后 queued 把回调排到引擎线程,handleRecognitionReply 解析并清 Busy。QNAM 设了 20 秒传输超时,超时后 C++ 收到传输错误并报 OCR_BRIDGE_UNAVAILABLE;ArkTS 侧没有单独的超时,recognizeText 挂住时只能等 C++ 先断。模拟器上是 init 先失败(200;直接调 recognizeText 则是 1001400001),还没走到 20 秒;真机上目前没有触发过这条超时。

7. 长图:4800 / 5000 / 6500

Core Vision Kit 对图高有隐性上限。OpenHarmony 接入说明记的 PC 实测是:1242×4800 全量返回,1242×5000 开始丢尾行,1242×6500 只剩几块。长截图、长聊天记录这类 Qt 桌面场景的刚需图片,恰恰容易超过 5000 px。

4800 和 5000 的分界一度被当成识别质量问题,把图高量出来才看清。

解法是把高图切成重叠的横向条带分别识别,再按行位置合并。三个常数:MAX_TILE_HEIGHT = 3000、TILE_OVERLAP = 160、MIN_TAIL_HEIGHT = 600。重叠必须高于最高的文字行,保证跨界行至少在某个条带里是完整的;每个条带只认领去掉首尾各半个重叠的区间,跨界行只会被单个条带认领。

实际跑条带的是 recognizeAllLines:

// ohos/entry/src/main/ets/ocr/VisionOcr.ets · recognizeAllLines()
/** Recognizes every line, splitting tall images into overlapping strips. */
private static async recognizeAllLines(
  imageSource: image.ImageSource,
  width: number,
  height: number,
): Promise<PositionedLine[]> {
  const regions: image.Region[] = VisionOcr.tileRegions(width, height);
  const lines: PositionedLine[] = [];
  for (let i = 0; i < regions.length; i++) {
    const region: image.Region = regions[i];
    const isFirst: boolean = i === 0;
    const isLast: boolean = i === regions.length - 1;
    // Each line is owned by exactly one strip: the owned range is trimmed
    // by half the overlap on both sides, so the same line is never emitted
    // twice and no line at a strip boundary is dropped.
    const ownedTop: number = region.y + (isFirst ? 0 : TILE_OVERLAP / 2);
    const ownedBottom: number =
      region.y + region.size.height - (isLast ? 0 : TILE_OVERLAP / 2);
    let pixelMap: image.PixelMap | null = null;
    try {
      pixelMap = regions.length === 1
        ? await imageSource.createPixelMap()
        : await imageSource.createPixelMap({ desiredRegion: region });
      const visionInfo: textRecognition.VisionInfo = { pixelMap: pixelMap };
      const output: textRecognition.TextRecognitionResult =
        await textRecognition.recognizeText(visionInfo);
      VisionOcr.appendOwnedLines(output, region.y, ownedTop, ownedBottom, lines);
    } finally {
      if (pixelMap !== null) {
        await pixelMap.release();
      }
    }
  }
  return lines;
}

regions.length === 1 时不传 desiredRegion,直接 createPixelMap(),避免给普通图片多一次裁剪;多条带时用 desiredRegion 只解码当前条带。ownedTop / ownedBottom 在首尾条带不裁,中间条带各裁 80 px。每行的 centerY 由 cornerPoints 的 min/max 求出,加上条带偏移换成原图坐标,落在认领区间的才 push。只有 block 没有 lines 的情况,把 block 文本放在条带中心,保证只出现一次。

太短的尾条带会被前一段条带吞并(MIN_TAIL_HEIGHT),不为三行字多跑一次推理。1242×6500 的图切完是 140 行全量返回,约 3.5 s;这个数字来自 OpenHarmony 接入说明的 PC 实测。

8. JSON 契约:C++ 这端怎么校验

同一份 OcrResult 契约,家族里已经有 Kotlin(kmp-ohos-ocr)、ArkTS(flutter_ohos_ocr 的 ohos 侧)和 Dart 三个实现,C++ 是第四份。fromJson 不信任 ArkTS 回来的任何字段:

// src/ohosocrresult.cpp · fromJson()
OhosOcrResult OhosOcrResult::fromJson(const QByteArray &wire, QString *error)
{
    if (error)
        error->clear();

    const QJsonDocument document = QJsonDocument::fromJson(wire);
    if (!document.isObject()) {
        if (error)
            *error = QStringLiteral("OcrResult payload must be a JSON object");
        return OhosOcrResult();
    }
    const QJsonObject root = document.object();

    const QString id = root.value(QLatin1String("id")).toString();
    if (id.trimmed().isEmpty()) {
        if (error)
            *error = QStringLiteral("Result id must not be blank");
        return OhosOcrResult();
    }

    // durationMs is required and must be non-negative; elapsedMs is an
    // accepted alias so payloads produced by the C++ side round-trip too.
    qint64 duration = -1;
    const QJsonValue durationValue = root.contains(QLatin1String("durationMs"))
            ? root.value(QLatin1String("durationMs"))
            : root.value(QLatin1String("elapsedMs"));
    if (durationValue.isDouble())
        duration = static_cast<qint64>(durationValue.toDouble());
    if (duration < 0) {
        if (error)
            *error = QStringLiteral("Duration must be non-negative");
        return OhosOcrResult();
    }

    QList<OhosOcrBlock> blocks;
    const QJsonArray blockArray = root.value(QLatin1String("blocks")).toArray();
    for (const QJsonValue &item : blockArray) {
        const QString text = item.toObject().value(QLatin1String("text")).toString().trimmed();
        if (text.isEmpty())
            continue; // blank lines carry no content
        const QJsonValue confidenceValue =
                item.toObject().value(QLatin1String("confidence"));
        double confidence = confidenceValue.isDouble() ? confidenceValue.toDouble() : 0.0;
        if (!std::isfinite(confidence))
            confidence = 0.0;
        confidence = qBound(0.0, confidence, 1.0);
        blocks.append(OhosOcrBlock(text, confidence));
    }

    return OhosOcrResult(id,
                         root.value(QLatin1String("source")).toString(),
                         languageFromWire(root.value(QLatin1String("language")).toString()),
                         blocks,
                         duration);
}

id 必须非空;durationMs 必须有且非负,缺字段或负数都报错,elapsedMs 是接受的别名,方便 C++ 自己序列化的结果再读回来;block 文本 trim 后为空就丢,重复文本保留——小票上两个 ¥0.00 必须留两行,这一点和 kmp/flutter 版的去重语义相反,中文 仓库说明里单独写了;置信度落到 NaN 或 Infinity 就归 0,再夹到 0…1;未知字段忽略,width/height 就是这么被跳过的。

必填的只有 id 和 durationMs。source 缺了是空字符串,language 缺了落到 CHINESE,blocks 缺了按空数组处理;缺 id 报 “Result id must not be blank”,缺 durationMs 报 “Duration must be non-negative”(缺字段时 duration 是 -1,和负数走同一个分支),整个 body 若解不出对象,报 “OcrResult payload must be a JSON object”。这些错误在引擎里包成 OCR_BRIDGE_PROTOCOL,不会当成识别失败;区分这两个,排查时才知道是桥/契约的问题还是 Core Vision Kit 的问题。confidence 缺省 0.0,越界夹到 0…1,不会因为一个坏置信度丢掉整次结果。反过来,fromJson 返回空 blocks、error 为空,是一次合法的空页,引擎不该把它算成失败。

toJson 是另一头的手写纪律:字段顺序 id, source, language, fullText, averageConfidence, durationMs, blocks;列表分隔符 ", "(对齐 Kotlin joinToString 默认值);整值浮点保留尾随 .0(0.0 不写成 0);转义表与 Kotlin/ArkTS/Dart 一致,emoji 的代理对按 UTF-16 原样保留,不拆成 \ud83d。C++ 结构体字段叫 elapsedMs,线上叫 durationMs,头文件注释里写明对应关系。

契约靠断言,不靠注释:

// tests/tst_ohosocrresult.cpp · toJsonMatchesContractBytes()
void TestOhosOcrResult::toJsonMatchesContractBytes()
{
    const OhosOcrResult result(
                QStringLiteral("vision-on-device"),
                QStringLiteral("ocr_sample.png"),
                QStringLiteral("CHINESE"),
                {OhosOcrBlock(QStringLiteral("门店收银小票"), 0.0),
                 OhosOcrBlock(QStringLiteral("合计 ¥44.00"), 0.0)},
                142);

    const QByteArray expected = QByteArray(
        R"json({"id":"vision-on-device","source":"ocr_sample.png","language":"CHINESE","fullText":"门店收银小票\n合计 ¥44.00","averageConfidence":0.0,"durationMs":142,"blocks":[{"text":"门店收银小票","confidence":0.0}, {"text":"合计 ¥44.00","confidence":0.0}]})json");
    QCOMPARE(result.toJson(), expected);
}

这个测试直接比字节,字段顺序、空格、.0 任何一处变了都会失败。另有 fromJsonDropsBlankButKeepsDuplicateBlocks 断言空行丢弃、重复行保留;fromJsonRejectsInvalidPayloads 覆盖非 JSON、数组、空 id、负时长。引擎测试用一个 MockTransport 把回调存起来,测试里手动 finishRecognize(),不碰 socket,QTRY_* 只负责转事件循环。两个测试二进制一共 19 个测试函数(模型 9 + 引擎 10),QtTest 的 Totals 会把 initTestCase / cleanupTestCase 算进去,所以显示 11 + 12 passed。

9. 1001400001 和构建输出

模拟器上桥是通的,识别不通。同一组 curl 在 11 月 13 日拿到了 500:/v1/ping 正常,识别请求返回 {"error":{"code":"OCR_VISION_ERROR","message":"Core Vision Kit init failed (200): Run timed out, please try again later."}}。设备侧 textRecognition.init() 返回 code=200 / Run timed out,直接调 recognizeText 则是 1001400001 / Failed to run OCR, please try again.。这是 2in1 模拟器镜像不带设备端 AI 服务;桥、权限和图片格式都没有问题。应用页会显示“Core Vision Kit 初始化超时(200)。鸿蒙模拟器通常不支持端侧 OCR,请改用真机”,并继续显示内置示例图预览;不会用演示数据伪造结果。C++ 侧收到 500 + OCR_VISION_ERROR,failed() 里带原始 code,QML 的错误条原样显示。

桌面构建与单测:

cmake -S . -B build-desktop -G Ninja \
  -DQT_OHOS_OCR_BUILD_EXAMPLES=ON \
  -DQT_OHOS_OCR_BUILD_TESTS=ON
cmake --build build-desktop --parallel
ctest --test-dir build-desktop --output-on-failure

输出:

1/2 Test #1: tst_ohosocrresult ................   Passed    0.36 sec
2/2 Test #2: tst_qohosocrengine ...............   Passed    0.47 sec

100% tests passed, 0 tests failed out of 2

鸿蒙侧:

cd examples/ohos-app
ohpm install --all
hvigorw --mode module -p module=entry@default -p product=default \
  -p buildMode=debug assembleHap --no-daemon

BUILD SUCCESSFUL,产物 entry-default-unsigned.hap 约 206 KB。仓库里的预览截图是 tools/mock_bridge.py 起的假桥生成的:7 行、900×620、186 ms,用来验证 QML 布局和 C++ 解析,不冒充设备识别。真机安装需要本机 DevEco 自动签名,签名材料不提交。

10. 验证范围与边界

仓库 11 月 13 日的验证覆盖了模拟器:桥通、UI 通、错误路径通。11 月 12 日那张 55 行截图是设备上的另一次运行,环境表里 443 ms 那一行就是从那一次来的,作为参考读数记录。

桥这一侧能确定的是路由、契约和桌面上的 19 项测试:传输失败、契约失败、识别失败各走各的错误码,failed() 里带的是原始 code,QML 不用自己拆字符串。Core Vision Kit 那半边有 11 月 12 日的一张截图作参考;识别质量由系统引擎决定,桥替不了。

相关推荐

React Native 鸿蒙长列表优化实战:用静态审计加运行时探针守住 FlatList 的四条底线

本文提出并实现了一套针对 React Native 长列表的“双层守卫”机制:静态审计(7 条反模式规则,可集成 CI)与运行时渲染探针(renderItem 采样 + rAF 帧间隔归因)。通过在 OpenHarmony 模拟器上对 400 行数据的实测对比,验证了 ScrollView+map 方案在首帧、内存、滚动上的显著劣势,而优化后的 FlatList 虚拟化方案有效降低视图常驻与维护成本。工具链已开源,支持快速定位问题、自动化拦截劣质代码,提升长列表性能与可维护性。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 27

Cordova 鸿蒙空间音频实战:让网页里的声音“绕着头转“

本文通过一个零原生代码的纯JS Cordova插件,实证解答了WebView中“真”空间音频的可行性:基于ArkWeb(Chromium内核)的Web Audio API,HRTF卷积空间化可原生支持,采样率48kHz,延迟仅108ms。插件以一行ArkTS未写的方式,实现跨平台空间音频合成,通过探测机制动态降级,并解决纯JS插件注入hcordova宿主的兼容难题。效果验证显示方位角拖动与理论值高度一致,揭示了前后镜像等物理边界。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 34

ReactNative鸿蒙实况窗实战:让订单状态“跟着JS走“

本文以 React Native 0.84 + RNOH 0.84 为基底,详解实况窗发布链路的六跳桥接机制:从 JS 侧纯 TS 构造 payload(①),经 JSON 序列化(②),通过手写 JSI 胶水(③)跨至 ArkTS,由 TurboModule 解析并注入 wantAgent(④),最终调用 liveViewManager 发布。全程依赖 hilog 逐跳验证,确保字段、序列号、耗时精准对齐。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 35

Cordova鸿蒙实况窗实战:让实况窗卡片“长在网页里“

在鸿蒙Cordova环境下,通过纯JS实现“零原生”实况窗预览:将payload构造层与预览器完全剥离原生依赖,利用DOM渲染实现胶囊与卡片的0.5ms级高效更新。依托esbuild打包与UMD注入,三端同构状态机精准映射HMS kits字段,probe()明确标识沙箱不支持HMS kits的边界。实测显示,外卖、打车、比分场景的动态切换与左滑分享交互均可在页面内完整模拟,验证了纯前端方案在能力边界内的可行性与高性能表现。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 32

Cordova 鸿蒙渲染耗时实战:给 ArkWeb 容器装上 FCP、长任务和构建期审计的三只眼

本文针对Cordova应用在OpenHarmony上的渲染性能问题,提出“三层探针”方案:通过javaScriptOnDocumentStart注入PerformanceObserver采集页面指标(FCP、LCP、longtask),ArkTS插件记录容器加载耗时(onPageStart→End),构建期审计器扫描www/识别布局抖动、同步读写几何等反模式。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 43

Qt 鸿蒙电脑多屏适配:拔掉外接屏,窗口怎么回到主屏?

本文介绍基于Qt的鸿蒙跨平台窗口恢复方案,针对外接屏拔插导致窗口坐标异常问题,提出“屏幕接力”机制。通过判断屏幕是否存在、计算窗口在目标屏的可见区域,实现窗口自动回主屏。核心逻辑包括:动态检测屏幕变化,优先使用同名屏或主屏作为目标,结合qBound确保窗口尺寸与位置在可用区内,并通过延迟回调避免状态冲突。实测验证了单屏环境下窗口恢复的正确性,强调需双屏环境进一步验证热拔插与重启场景下的兼容性。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 59

React Native 接入鸿蒙推送:冷启动工单路由与令牌排查

本文基于HarmonyOS跨平台开发框架RNOH,通过真机与模拟器实测验证工单推送功能。重点分析冷启动与热启动下路由参数传递、推送令牌获取(返回1000900010)及重复入口处理机制。实验表明:原生侧缓存工单号,React Native就绪后通过轮询接收,有效避免事件丢失;重复发送相同工单不增加计数,确保状态一致性。建议后续结合Push Kit服务配置与调试Profile完成完整推送链路验证。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 78

Ionic 接入鸿蒙应用 Skill:两件耗材同名时,先确认库位再查询

本项目基于鸿蒙跨平台框架,实现Ionic应用与ArkTS查询逻辑的统一,验证“问得少、答得准”策略:同名物料先返回候选库位,用户确认后才显示数量;唯一命中则直接返回结果。通过真实设备与模拟器测试,确保状态管理正确,取消后可重查,提升交互效率。代码复用性强,适用于多端一致的库存查询场景。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 38

Cordova 电量插件重订阅:为什么第二轮收不到当前电量?

本文分析了OpenHarmony跨平台Cordova电量插件在MatePad Edge设备上的订阅问题:原版插件停止后重启无法接收新电量状态,原因在于JS层缓存旧值导致同值过滤失效。修复方案为在首次订阅时重置_level和_isPlugged状态,确保每轮订阅都能收到初始值。测试验证修正版在真机与模拟器上均能稳定触发每轮状态回调,且不影响原有去重机制。关键点在于区分“当前值”与“变化通知”,并明确生命周期管理,避免因状态残留影响新订阅。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 29

Ionic 接入鸿蒙日历:会议改期两次,系统怎么只保留一条?

本文通过真实设备测试,验证了在鸿蒙系统中跨进程重启后,应用能否正确识别并更新同一日历事件。核心在于使用固定业务标识(identifier)而非标题或时间匹配事件,确保改期、重启、删除等操作均能准确追溯同一记录。测试显示,两次改期后事件ID保持不变,重启后仍可找回原事件,证明系统未误触发新增。同时强调:仅靠回读结果判断写入是否成功,需同步核对条数、事件ID与时间,避免因状态不一致导致逻辑错误。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 34

React Native 在鸿蒙读取 EXIF:三张 JPEG 能读出哪些信息?

本文基于HarmonyOS跨平台开发实践,实现React Native与ArkTS间EXIF信息读取的原生桥接。通过三张预设样片(含时间、坐标、空标签)验证了在MatePad Edge真机及模拟器上对拍摄时间与GPS坐标的准确读取能力,结合Pillow独立回读校验,确认字段缺失由原生层统一归零处理。桥接层采用逐项请求策略,避免因部分字段缺失导致整体解析失败,并通过默认值收敛机制返回null,便于前端区分“无数据”与“解析异常”。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 35

React Native 接入鸿蒙 OCR:双栏讲义怎么读才不串行?

本文基于OpenHarmony与React Native跨平台框架,实现双栏讲义的智能OCR阅读排序。通过保留原始识别框坐标,对比“按纵坐标”与“按列阅读”两种策略,验证后者在保持语义顺序上的优势。实验表明,仅依赖纵坐标易因行框位置微小偏差导致错序,而按栏分组后按纵坐标排序可准确还原人工参考顺序(10/10匹配)。系统通过中缝判断跨栏行,结合原图像素坐标与缩放比例,确保界面高亮精准对应。代码设计强调坐标完整性与逻辑分离,支持后续版面自适应优化。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 23

Ionic 接入鸿蒙文档扫描:三页巡检单怎么合成一份 PDF?

「折页扫描」应用通过鸿蒙系统编辑器实现PDF文档的删页、旋转与导出。测试中,四张样张(封面、作废附件、检查表、签核页)经编辑后生成3页正向PDF,文件大小178,479字节,内容与预期一致。关键在于:系统编辑器返回的PDF由实际操作结果生成,而非重新构造原始图像;通过pdfinfo与逐页渲染验证页数与方向,确保交付成果准确可复现。插件回调机制保障流程唯一性,避免并发问题,实现端到端可信交付。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 23

Ionic 接入鸿蒙文搜图:应用重启后,搜索结果还能打开原图吗?

本文通过鸿蒙跨平台项目演示图像搜索与文件读取的完整链路:使用Capacitor调用原生Vision Kit进行文本搜索,结果仅传递图片ID至Ionic页面,点击时由原生侧根据沙箱路径读取文件。实测验证了重启、进程强制结束、文件移除等场景下的行为,强调索引与文件存储分离的重要性,确保“搜索可查、打开可读”。关键点包括:避免同名覆盖、持久化标识映射、点击时二次校验文件存在性,以及合理处理空结果与文件丢失的差异反馈。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 26

Cordova 接入鸿蒙主体分割:商品图怎么导出成透明 PNG?

本文记录一个 Cordova 商品图工作台在鸿蒙 MatePad Edge 上的实测:选图后调用系统主体分割,把前景编码为 PNG,网页用离屏 Canvas 重读 Alpha 校验透明度,再由系统文件选择器原样落盘。核心结论是预览与导出共用同一份字节,文件是否透明只由独立解码后的 Alpha 决定,而非棋盘格预览。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 27

Electron 鸿蒙媒体实战:打通小艺 Skill 与 Agent 语音指令,TCP 桥实现 Electron 跨端语音操作闭环

本文探讨了在鸿蒙系统上运行 Electron 应用时,实现小艺语音交互的“三个世界”挑战:渲染进程、主进程与宿主 UIAbility 间无共享运行时。通过回环 TCP 桥接方案,将 ArkTS 的 ASR/TTS 能力与 Electron 的媒体控制逻辑打通,实现指令路由与执行仲裁。采用统一意图目录(纯规则 NLU),支持桥在线时由 Electron 执行,离线时自动切换原生兜底。实测验证了真机闭环协议,展示了从语音输入到播报反馈的完整链路,为跨平台语音代理提供可复用架构。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 52

Qt 鸿蒙日历读写实战:Qt Widgets 通过 JS 桥打通 C++ 与 ArkTS CalendarKit,封装 qt-ohos-calendar 三方库,解决同步调用与异步 Promise 矛

Qt应用在鸿蒙上实现日历互通,面临Qt C++与ArkTS系统日历接口隔离问题。通过封装qt-ohos-calendar库,利用Qt for HarmonyOS自带的JS桥(QOhosJsThreadGateway),将同步调用转为异步处理:Qt侧以QObject定义接口,ArkTS侧通过串行队列收敛Promise,实现权限申请、日历创建、事件增删改查等操作,并借助快照轮询机制确保状态一致。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 40

KMP 鸿蒙日历:Kotlin/Native 内核 + NAPI 桥接 CalendarKit 实战

Kotlin Multiplatform 在鸿蒙上实现日历功能面临“三层世界”挑战:业务逻辑(事件归一化、RRULE处理)由Kotlin/Native负责,系统日历调用通过ArkTS的CalendarKit完成,中间依赖NAPI胶水层仅传递JSON字符串。项目通过自研KMP工具链(CPF-KMP-CMP)构建ohosArm64/x64双目标.so,并封装为HAR库,确保胶水层最小化、不感知业务字段。实测验证了权限申请、跨进程读写、周期规则转换等核心流程,日志与系统日历联动,证明方案可行。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 23

Qt 鸿蒙沉浸光感实战:同一份规格对接双渲染器,打通 Qt 与 ArkUI 跨运行时通道,搞定系统玻璃材质、Qt 自绘对齐

本文聚焦Qt for HarmonyOS中玻璃效果的跨运行时对齐问题,提出“单一事实来源”方案:将材质参数表(五档模糊、赋色、高光等)封装为C++17内核,供Qt与ArkTS共享。通过napi_threadsafe_function实现跨线程请求/回调,确保弹窗、菜单等系统组件使用真实材质,同时自绘玻璃与系统风格一致。实测验证参数可测量、闭环可控,关键链路如overlay.show→dismissed完整无损,最终达成“同一规格,双渲染器”的沉浸式体验统一。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 51

打通 CMP 与鸿蒙系统智能:三方库承载语音匹配、TTS 播报、小艺 Agent 调用与意图回调全链路

本文通过 cmp_ohos_ai_agent 库,详解 Kotlin/Compose Multiplatform 如何实现鸿蒙小艺语音闭环。从技能注册、麦克风输入到 TTS 回话,再到反向接收系统意图与调起智能体组件,揭示跨端框架与 ArkTS 间双向桥接的实现机制。结合真机实测(华为 nova 14),展示能力探测、设备状态同步、指令匹配与执行回执全流程,并解析权限、组件不可渲染等关键坑点,验证了在 CMP 下完成完整语音智能交互的可行性。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 43

Qt for HarmonyOS 语音智能体落地:qt-ohos-ai-agent 三方库实现本地指令与小艺双向联动,拆解 NAPI 桥接

本文探讨了在鸿蒙系统上运行Qt应用时,如何实现语音指令闭环——将Qt Widgets界面与鸿蒙原生语音能力(CoreSpeechKit、textToSpeech、AgentFrameworkKit、InsightIntent)深度融合。通过构建三层架构:纯C++17核心(解析+状态机)、ArkTS HAR模块(语音/播报/小艺调用)、Qt服务类(JS桥接),实现“应用内说话”与“对小艺说话”共享同一套语义理解大脑。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 36

KMP 鸿蒙空间音频与智能体落地:绕开 JS 桥阻塞,OHAudio 原生渲染,小艺语音指令实现声场动态重排

本文探讨了在Kotlin Multiplatform(KMP)开发鸿蒙应用时,实现“媒体+AI”闭环的挑战与解决方案。核心难点在于音频渲染需在系统音频线程中实时执行,而小艺语音识别、合成及AgentFrameworkKit仅支持ArkTS,导致KMP难以直接调用。作者通过cinterop暴露libohaudio.so接口,将音频处理逻辑下沉至Kotlin/Native,确保低延迟;同时将意图识别、声场重构等核心算法全量移入commonMain,实现纯Kotlin闭环。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 75

CMP 鸿蒙日历读写实战:Compose 月历跨 Kotlin/C/ArkTS 桥接 CalendarKit,自建独立日历账户

本文详解了在鸿蒙CMP(Compose Multiplatform)环境下实现跨语言日历读写的完整链路:Kotlin通过C API头文件与ArkTS via NAPI桥接,以字符串通道传递id, op, argsJson指令,实现权限感知的本地/系统日历降级存储。核心突破在于将CalendarKit封装为CMP库,利用协程挂起-恢复机制完成异步通信,并确保日程写入自建日历账户(如“CMP日历”),最终在系统日历中可见且归属明确。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 95

CMP 鸿蒙沉浸光感实战:弹窗菜单复用系统材质,自绘画布按算力档位对齐,打通 CMP 与 ArkUI 双轨渲染链路

本文通过一个跨端示例工程,深入解析鸿蒙API 26中ImmersiveMaterial的底层机制:它并非普通贴图,而是仅作用于特定系统组件(如弹窗、菜单)的“系统材质”,具备档位分级、算力降级与生效范围限制。文章揭示了如何在CMP框架中封装该能力——将弹窗/菜单壳交还ArkUI实现真材质,自绘内容则通过标定参数模拟其模糊、着色、光效等特征,确保在模拟器与真机上视觉对齐。项目已开源,提供完整实现与社区支持。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 74

Electron 鸿蒙系统级 TTS 实战:把声音交给操作系统,把队列留给自己

本文探讨在 Electron 与 HarmonyOS 上实现“系统级 TTS”的挑战与解决方案。Electron 因主进程无渲染环境,需通过 1×1 隐藏 renderer 托管 speechSynthesis;鸿蒙则受限于 Core Speech Kit 的接口约束,如无暂停、边界事件等。二者均采用文本分块队列与请求唯一标识管理长文本播报。代码已开源,展示跨平台系统语音集成的实践路径。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 130

KMP 鸿蒙系统级 TTS 实战:让队列里的每一句都说完整

本文基于鸿蒙2in1平台,通过KMP工程实现一个离线TTS合成引擎,解决平台回调两次、事件乱序、资源复用等难题。核心在于:以ArkTS为入口,Kotlin负责队列与状态机,统一归一化平台回调,确保“合成完成”与“播放完成”精准区分;通过requestId管理请求生命周期,支持抢占与过期事件丢弃,保障多任务有序执行。实测24项JVM用例全通过,状态机稳定可靠,适用于无障碍朗读、订单播报等离线语音场景。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 186

Cordova 鸿蒙系统级 TTS 实战:让 WebView 里的文字“开口说话“

本文以鸿蒙7.0真机实测为例,剖析Cordova插件cordova-plugin-tts-ohos从JS调用到系统TTS引擎的完整链路:通过一层C++桥接实现JS与ArkTS通信,依托Core Speech Kit完成离线语音合成。重点揭示“384ms播完”截图的误导性——实际为合成完成而非播放结束,修复后耗时达9.2秒,强调onComplete.type区分合成与播放终态的重要性。同时说明事件流需保留keepCallback状态,确保Promise在真正播放结束后才resolve,避免竞态。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 217

Qt 鸿蒙系统级 TTS 实战:让 QML 借系统的嗓子说话

本文基于 Qt 5.12.12 与 HarmonyOS,通过一个 QML 插件(SpatialTts)实现跨平台系统级 TTS:桌面调用 Qt TextToSpeech,鸿蒙对接 Core Speech Kit。核心创新在于将队列、状态管理与音色控制统一于 Qt 侧,后端按编译期选择,鸿蒙端通过 JS 线程桥(QOhosJsThreadGateway)调用 ArkTS 接口,并完成宿主注册。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 202

React Native 鸿蒙系统 TTS 实战:让表面开口

本文介绍了一个基于 React Native 0.84 的鸿蒙三方库 spatial-glass-rn,实现系统离线 TTS 语音播报的全链路集成。通过拆解长文本分段、JS 侧队列管理、跨平台事件归一化与状态同步,将系统级语音引擎(鸿蒙 Core Speech Kit)与光感表面视觉组件融合,构建出无网络依赖、零额外体积、隐私安全的语音交互体验。真机实测验证了在仓储、巡检等场景下的稳定性与实时性,解决了三端语义不一致问题,实现了“状态可读、进度可视、操作可控”的沉浸式语音反馈。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 220

React Native 鸿蒙端侧 AI 图像超分实战:让 NPU 把细节补回来

本文详解在鸿蒙PC上基于React Native 0.84的react-native-ohos-ai-vision库,实现512px图像通过NPU进行4倍超分并返回JS的完整链路。核心突破在于:通过显式引擎标识(engine字段)与可验证校验和,区分AI(Core Vision Kit/NPU)与CPU双三次回退路径,确保结果可信。实测证明,仅当factor=4且API≥26时启用NPU,否则自动降级至确定性双三次算法,全程无网络依赖,端到端耗时约3.6秒,效果真实还原细节。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 181
上一篇: KMP/CMP 接入鸿蒙平板适配:响应式工作台与窗口旋转实战
下一篇: Qt 鸿蒙平板适配实战:一份源码,两条构建链,一个布局契约
AtomGit 代码君
AtomGit 代码君 企业官方账号 企业官方账号
博客等级 码龄6年 2万+粉丝 986原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址