React Native 接入鸿蒙 OCR:双栏讲义怎么读才不串行?

项目源码 · README

开源鸿蒙跨平台开发者社区 · React Native for OpenHarmony

前言

「左一 清晨核对温度」后面,原本该接「左二 Read the sensor」。我把真机识别出来的十行按纵坐标排了一遍,第三行却是「右一 复查湿度曲线」。再往下,右二跑到左二前面。左栏写的是巡检步骤,右栏写的是复核事项,交错起来就成了一份看似完整、读起来不断跳步的记录。

本例用 React Native 做了一张对照台,左侧保留扫描样张和识别框,右侧可以切换「按纵坐标」和「按列阅读」。两种视图读取的是鸿蒙 OCR 返回的同一组数据。每次点一条结果,原图里的位置也跟着高亮,便于逐行检查。

按第三行定位错序

这轮识别得到十行。在按纵坐标排序的模式下,第三行是「右一 复查湿度曲线」。按讲义的阅读顺序,第三行应是「左二 Read the sensor」。两个列表开头同是标题和左一,差别就在第三行。右二甚至跑到了左二前面,因为系统给右二的框顶略高。两行看上去齐平,并不代表它们的坐标相同。

MatePad Edge 真机全屏:按纵坐标时左右栏交替

MatePad Edge 真机全屏:按纵坐标时左右栏交替 · 查看原件

MatePad Edge 真机全屏:按列阅读时先读左栏,再读右栏

MatePad Edge 真机全屏:按列阅读时先读左栏,再读右栏 · 查看原件

MatePad Edge 真机全屏:切换顺序和点选原图中的识别框

MatePad Edge 真机全屏:切换顺序和点选原图中的识别框 · 查看原件

真机演示:双栏讲义按列阅读

MatePad Edge 实机操作 · 查看原件

MatePad Edge 实机操作

手工参考顺序在试验之前固定下来:跨栏标题,左一到左四,右一到右四,最后是跨栏页尾。只数返回行数,两种排序都是 10。需要用每个位置上的行身份做对照,才能看出变化。为免把识别错误混进顺序结果,本次根据「左一」等短标签确定行身份,原始识别文本也照样保留。右二的原文是 Compare the logs,识别结果为 compare the logs,排序不会也不应该替 OCR 把首字母修回去。

方式读序与人工参考同位置
人工参考标题、左一、左二、左三、左四、右一、右二、右三、右四、页尾10 / 10
纵坐标排序标题、左一、右一、右二、左二、左三、右三、左四、右四、页尾4 / 10
划分栏位后排序标题、左一、左二、左三、左四、右一、右二、右三、右四、页尾10 / 10

这组数值是单张固定讲义上的行位置比较。换一种版面,规则可能适用,也可能需要换一种列边界检测。横向比较两种排列的时候,图片、设备和系统识别结果都相同,这样差异只能来自本例对坐标的处理。

复查时先别纠正英文大小写。把原行框和原字串一起留下,之后才能判断改进的是排序还是识别文字。

原图上的行框

SheetPackage.ets 通过资源管理器读取同一张 1120×1000 PNG,由 ImageSource 解码成 PixelMap,再交给 textRecognition.recognizeText。遍历识别出的块和行,每行保留原始文字和四边范围。系统接口给了角点,这里只取横纵坐标的最小与最大,得到可以在原图上画出的矩形。采集宽高来自实际解码图片,避免前端按屏幕大小误解释识别坐标。

方框与文字一起返回 React Native。有些接入只把识别后的全文传到页面,再按换行符拆分。对固定的单栏笔记也许够用,但丢了坐标以后,页面只能猜每一行属于哪一栏。定位、点选、去掉页眉这类操作也都要重新获取版面信息。因此这个示例保留行文本和范围,渲染列表时再用选中的规则。完整结果用 JSON 字符串过桥,界面解析后才根据需要计算排序。复制字符这件事与重新选择读序可以独立操作。

VS Code 实际工程:读取系统行角点并转成矩形

VS Code 实际工程:读取系统行角点并转成矩形 · 查看原件

原生桥有两侧注册。ArkTS 把实现挂到 SheetOcr,C++ 侧注册同名模块并声明 recognize 返回异步结果。React Native 从 TurboModuleRegistry 取模块。界面已经能启动、按钮也能按,并不能说明桥已接好。排查时可以分开检查:先看两侧名字,再看调用有没有进入 recognize,随后才检查 OCR 能力和图片解码。模拟器这次能打开页面,而且日志记录了模块创建;识别没有拿到真机那样的行数据。

原图与预览是同一素材,但两者尺寸的单位不同。API 回来的框是原图像素,页面按显示宽度与原图宽度的比值同时缩放横纵坐标。讲义以原始宽高比展示,因此可以用同一缩放比例。若产品把图片裁切成封面或居中留边,还要加上实际内容在容器中的偏移。否则列表点中的是正确行,原图却会高亮到邻近内容,用户容易以为 OCR 把另一行认进来了。

标题、左栏、右栏、页尾

先按纵坐标排一份,作为比较起点。按列处理时,先找横跨中央留白的文本行,把它们留在单独的位置。剩下的行按中心点分左右两栏。标题和页尾把页面分成了几个纵向区间,每个区间先读左边再读右边,再插入下一个横跨的文本行。在这张讲义上,主区间只有一个,正好先走左四行,再走右四行。保留区间步骤是为了将来放入一条横跨两栏的中段小标题时,还能重新验证前后区域是否按预期读。

VS Code 实际工程:中缝、跨栏行及每段左右栏排序

VS Code 实际工程:中缝、跨栏行及每段左右栏排序 · 查看原件

用中缝的前提是版面本来就对称,而且每行单独的识别框没有跨到另一侧。手机拍歪了之后,中缝在图中的位置可能随高度偏移,单一竖线就不好使;左右栏宽度差得大时,应该从每一列文本的分布推断中缝。有的段落会出现占满半边的长标题,在宽屏图上看起来比另一列长,长度本身不足以确定它是否跨栏。把跨栏条件写成“框从中缝一侧跨过留白到另一侧”,至少说明了这次判断依赖什么。表格、引文或多栏新闻版可以另外建立样张,不适合直接将双栏结果当通用能力。

本例的页头与页尾都故意比中缝更长。如果某张讲义把短标题写在左上但语义上仍横跨两栏,几何规则可能把它归入左栏;这不是当前样张的测试条件。实际应用可以将已知版面区域随模板提供,或让用户从页面上校正分区。这些都比在复制文本后强行移动第一行更容易验证,因为可以在原图上看到规则选中了哪块区域。

看一次坐标怎么改变结果

取这张讲义左侧第二行和右侧第一行作为例子。两行都属于正文区域,谁在前取决于排序时的第一关键字。按纵坐标排,两行各自的横向位置要等到纵坐标恰好相同时才参与比较。两栏文字间距相近,一侧正文稍微靠上,下一条结果就可能跳到那一侧。读到第三行时看到右栏内容,基准排序其实遵守了自己的比较规则。将行归入左右栏之后,栏位才成为这组行的首要约束,同一栏内部继续按纵坐标读。于是左侧第二行稳定地排在右侧第一行之前。

归栏时取行框的左右中点,和图像中心比较。字号和字数会影响行框的宽度,使用中点可以让较长或较短的左栏行落到同一组,但也有临界情形。比如一段跨过中央的长引文,只靠中点就会被划到某一侧。代码在归栏前先判断它是否从中央留白的一边延伸到另一边,因此把讲义的页头和页尾保留下来。先做跨栏判断,再按栏分组,读完正文后才能回到页尾。把这两步颠倒,页尾的中心落到哪边就可能跟着哪边读。

中缝容差以原图宽度的比例计算。目的在于放宽中心附近的判断,避免某一行边缘贴近中央就被当成跨栏。示例按图宽乘 0.018 设置半边间距,并没有寻找纸张上真实的列间空带。同一张图用不同显示宽度时,排序仍然使用原图坐标,所以画面横竖切换不会让中缝在逻辑上移动。以后要做旋转或自动裁边,宜先在确定的图像坐标系里完成识别和排序,最后再将框变换到看图区域。若一个环节使用裁图宽度,另一个用未裁原图宽度,光看列表往往发现不了错位。

示例先按行框把区域排好,再从跨栏行位置划分区间。它可以解释为什么没有直接把左侧全部放到右侧前面。比如中段有跨栏小标题,上半部分的右栏应该在小标题之前,下半部分的左栏却在小标题之后。如果把所有左栏提前,读到小标题时上下段就会乱。当前真机样张只有页头与页尾,已经能验证一个区间。加入中段标题之前可以先准备一张人工参考顺序,按照上段左、上段右、标题、下段左、下段右标出期望,再找错位从哪一行开始。这比选一张复杂讲义看整个页面“是否大致对”更容易定位。

人工参考怎么做

编写样张时,每个正文行有一个可辨认的标识,例如「左二」或「右三」。人工只需要提前记录这些标识的排列。原字串仍然保留,后续可以单独检查字符。之所以选择这个办法,是因为字符错误和顺序错误的评分逻辑不同。右二大小写识别有差异,它仍然是右二。按整行字符串完全相等计算,虽然更严格,却会把这条已经排对的行也算成错位。反过来,如果 OCR 把两行合并,锚点就无法可靠用来标识单行,测试应该另外报告“行被合并”,不能在计算读序时任意拆开。

用 Python 3 对保存的两份行序列计数,人工预先标出的行序作为基准。输入来自 MatePad Edge 上同一次 OCR 返回的 10 个行框,图片、设备和识别结果相同,两种方案只改变排序规则。

读序指标按纵坐标先分栏再排序计数方法
同位置行数4 / 1010 / 10逐位置核对行标签
前后关系正确的行对38 / 4545 / 45任取两行,检查相对前后
连续读对的相邻行对4 / 99 / 9逐对检查参考顺序中的相邻行是否仍按同一方向紧邻

例如,纵坐标方案中的「左二」和「左三」仍然前后相邻,但两行都偏离了参考位置。相邻行对能看出连续阅读有没有被打断,同位置行数则能找出从第几行开始走错。这三项都只衡量当前样张的读序,不衡量字符识别准确率,也不用于推算耗时。

需要注意,证据截图里的编号会随排序规则重新分配,它表示现在第几项,不是原生 OCR 行的永久标识。点击两种排序里的第三项,预期高亮的文本不同。核对时留意两条信息,一是列表中的文字身份,二是框在样张上的落点。这样可以捕捉一种单看截图不容易注意的问题:列表确实重新排序了,点击详情还在使用排序前的数组索引。因为标签和高亮跟着结果一起显示,左右栏交错的错误可以在页面上直接读出来。

把这步放进日常复测,只需要一页固定样张和一份人工读序。先生成基准列表,再生成调整后的列表,输出两份行身份,最后用同一份人工表比较。替换底图之前先核对图像尺寸与身份标签。栏目分隔一旦改变,以前那套人工参考也要重新确定。这里所说的“调整前后”始终是同一套识别输出走两条排序路径,不能拿两次拍照、两次识别出来的数据衡量排序本身。

坐标与界面分开验收

缩放预览时,页面先通过容器宽度确定显示比例,将原图坐标换到容器中再画边框。测试可以先点标题,检查框有没有横跨中线。再点左栏靠下的一项,观察框会不会同时偏到右下。若一组框越靠边就偏得越多,通常要优先怀疑缩放比例。若所有框统一偏移一段,可能是容器内存在留边。比如使用 contain 布局时,图像占用的矩形与布局节点的矩形不总是重合,应该先定位真正绘图的上下边界,再换算识别结果。

同一页有两片可滚动区域时,点条目后若原图还在旧位置,光亮一个框不太容易找到。示例的整张讲义在左侧保留完整预览,右边用一列可点击的结果来复查,不需要用户从另一个页面找原图。真实工作台如果要放大图像,可以提供点击行跳到对应区域,或者保持最后一个位置。加上搜索和复制后也需要规定,复制的是排序后的整页还是当前筛选结果。将“识别数据”“当前视图顺序”和“选中行”分别管理,排序切换时就能明确选择是否保留同一行。

模拟器现在能画出页面和原图,点识别后的明确反馈是设备未提供通用文字识别。这说明界面以及部分桥接能够验证,而系统返回的框只能来自运行时确实提供能力的设备。排查时先确认界面带着同一份底图启动,再点识别记录原生返回。如果没有任何反馈,检查 Bundle、原生模块名和桥接声明;如果反馈不支持,检查系统能力和原生初始化。出现正确的业务错误提示有其验证价值,但真机的文字、行框和行序证据不能被那张提示图替代。

下一张样张怎么选

比起再找一张同样整齐的对称讲义,下一页更值得选择三种能暴露边界的结构。第一种在两栏中间加一条跨栏小标题,检验分段是否生效。第二种左栏宽、右栏窄,检查固定中心线是否失效。第三种让表格占据一个区间,明确测试规则是逐列读、逐行读,还是应保留表格原有结构。给样张先写期望、再跑识别,避免看了结果以后倒过来调整“正确顺序”。

还有一种边界是左栏和右栏之间恰好有较长的标题和脚注。当 OCR 把脚注合成两行,可能一行跨中缝,另一行只在左侧。此时逐行几何规则会把同一段脚注拆入两个区域。上线版可以先识别同一段落的多行文本,用段落框归类,或允许人工合并。无论用哪个策略,输出要保留能回看原图位置的坐标。语义重排有时会提升通顺度,但对需要核验原件的应用,用户还应能回到原来的每一行。本文验证以能逐行定位的简单讲义为范围。

选版面还得看产品目的。辅助朗读更关心长段的连续性,复制表格更关心行列结构,说明文档复核则更关心能否逐条返回原图。三者共用 OCR,也可能需要不同的读序约定。版面处理可以给调用方提供显式选项,把适用条件写入用户可理解的界面名。当前按钮叫「按纵坐标」与「按列阅读」,便于读者自己看见两条规则。它没有自由探索图像里任意位置的专业排版能力,示例中得出的十行结果只对这页固定素材负责。

保存一份可以追查的结果

调试日志中可以记录图片尺寸、识别到的行数、跨栏数量和排序模式。对这张公开测试讲义,保存完整框和字串便于复现。如果后来处理的是用户上传文档,建议默认只保留这些计数、错误类别和请求编号。看图时确有必要比较坐标的,可以在明确同意和限定范围下启用诊断。排障先看原生拿到多少行,再看桥后还剩多少行,最后看排序列表包含多少项,在哪一步减少就优先查那一段。页面没有显示任何行,有可能是系统返回了零行,也有可能是能力检查没通过,应该用不同提示表达。

若接入前端代码想先单测规则,准备几组很小的坐标对象即可。定好宽度和框的坐标后,让左右各一行处在同样的纵坐标。再向上移动右栏那条坐标,纵向排序的首项应该变化,按列排序仍然先左后右。最后加一条横跨两侧留白的中段标题,看后面的文字是否进入下一个区间。因为这个函数不负责识别字,也不负责画图,这种小测试可以快速定位修改是否影响过多。真机复测则继续使用系统的原始返回,确认坐标结构和真实图像能对上。

验证环境

项目型号或版本验证范围
真机华为 MatePad Edge(QXS-W00),HarmonyOS 7.0.0.111(SP16C00E111R6P5),API 26,ARM64系统 OCR 返回 10 行,两种排序与点选高亮
模拟器MatePad Pro 13 平板镜像(PADEMU-FD00),DevEco Emulator 26.0.0.402,HarmonyOS 7.0.0.107(SP8DEVC00E16R1P1),API 26,x86_64RN 页面可用,模块已创建,识别未获得行数据
构建DevEco Studio 6.1.1.300,SDK 26.0.0.105,命令行工具 26.0.0.865,JDK 21编译并打包 ARM64 和 x86_64
框架React Native 0.84.1,RNOH 与 Harmony CLI 0.84.4TurboModule、本地 JS Bundle、React Native 对照台

真机设置中的「关于本机」

真机设置中的「关于本机」 · 查看原件

模拟器设置中的「关于本机」

模拟器设置中的「关于本机」 · 查看原件

DevEco Studio 原生版本窗口

DevEco Studio 原生版本窗口 · 查看原件

API 26 模拟器全屏:启动后的 React Native 阅读对照台

API 26 模拟器全屏:启动后的 React Native 阅读对照台 · 查看原件

API 26 模拟器全屏:原生模块返回当前设备未提供通用文字识别

API 26 模拟器全屏:原生模块返回当前设备未提供通用文字识别 · 查看原件

FAQ

为什么按纵坐标以后左一和右一交替?

左右栏共用同一个高度范围。基准规则把框的顶部放进同一条纵轴,正常运行也会产生交错。这是基准的限制。要确认它没把某一行位置比较错,可以打开原图的识别框,逐一点击第三、第四行,看高亮落在左侧还是右侧。框位置正确、顺序不符合阅读时,才该改版面排列规则。

为什么列表里英文的大小写和讲义不完全一样?

识别输出和排序是两项独立的检查。案例里右二出现小写 compare,字符错误如实保留。若同时自动改大小写、重写句子和排序,就很难知道哪一步改善了结果。要考查转写,可以把源文本作为另一份参考,按行比较。读序校验则只比每行的身份。对真实讲义,建议分别保存识别文本和应用排序结果,避免事后只剩一段拼起来的文字。

模拟器打开页面以后为什么仍无法识别?

它先展示的是预先打包的 React Native 页面和讲义资源。系统 OCR 能否初始化,要等应用请求原生模块后才能确定。实测模拟器日志记录了 SheetOcr 的创建,点击后没有拿到识别行,因此读序实验使用真机数据。若想在模拟器验证布局,可以用预先保存的纯测试数据单独做界面测试,同时把测试数据的来源写清楚。系统识别能力的验收仍要使用真实 API 的输出。

首次构建在哪里容易报错?

在 Windows 上,依赖存在于 node_modules 的目录联接目标时,Metro 要把实际目录纳入监视范围,否则会报找不到 Babel runtime。常规使用 npm ci 直接装在项目里,不必专门使用联接。本次还遇到 API 26 Windows 资源工具的 11201001,错误信息明确指向图片压缩扩展。工程中有可选构建钩子,先确认资源压缩关闭,再让工具跳过未使用的扩展配置。它只处理当前工程构建生成的文件,README 记录了触发和复测步骤。

总结

双栏讲义的问题出在读序时,反复识别同一张图片不会让左栏自动先读完。将文字和边界一起传回 React Native,同一批坐标就可以对照纵向排序和分栏排序。对这张有明确中缝的讲义,先保留跨栏标题与页尾、再读左右栏,复现了人工的 10 行顺序。字符识别仍应单独校对,其他版面也应准备自己的参考顺序。官方接口定义可查鸿蒙通用文字识别 API。编号识别框的界面参考了 Acrobat Reading Order。

完整代码

App.tsx

import React, {useState} from 'react';
import {Image, Pressable, ScrollView, StyleSheet, Text, TurboModuleRegistry, useWindowDimensions, View} from 'react-native';
const {readOrders} = require('./reading');
const worksheet = require('./worksheet.png');

type Region = {text: string; left: number; right: number; top: number; bottom: number};
type Page = {width: number; height: number; regions: Region[]};
type Ocr = {recognize(): Promise<string>};

export default function App() {
  const {width} = useWindowDimensions();
  const [page, setPage] = useState<Page>();
  const [mode, setMode] = useState<'ordered'|'baseline'>('ordered');
  const [busy, setBusy] = useState(false);
  const [error, setError] = useState('');
  const [selected, select] = useState(0);
  const wide = width >= 720;
  const paperWidth = Math.min(wide ? (width-120)*0.51 : width-48, 630);
  const scale = paperWidth / (page?.width ?? 1120);
  const lines: Region[] = page ? readOrders(page.regions, page.width)[mode] : [];
  const choose = (name: 'ordered'|'baseline') => {setMode(name); select(0);};
  const run = async () => {
    if (busy) return;
    setBusy(true); setError('');
    try {
      const module = TurboModuleRegistry.getEnforcing<any>('SheetOcr') as Ocr;
      const result = JSON.parse(await module.recognize()) as Page | { message: string };
      if ('message' in result) {
        setError(result.message);
        return;
      }
      setPage(result); select(0);
    } catch (issue) {
      setError(issue instanceof Error ? issue.message : '系统没有返回可读的识别结果');
    } finally { setBusy(false); }
  };
  return <ScrollView style={styles.screen} contentContainerStyle={styles.content}>
    <View style={styles.mast}><Text style={styles.brand}>双栏读序</Text><Text style={styles.quiet}>React Native · 鸿蒙文字识别</Text></View>
    <View style={styles.heading}><View style={styles.headingCopy}><Text style={styles.title}>一页讲义,怎么读?</Text><Text style={styles.subtitle}>从原图找出文字,再对照两种阅读顺序。</Text></View>
      <Pressable accessibilityRole="button" disabled={busy} onPress={run} style={styles.run}><Text style={styles.runText}>{busy?'识别中…':'识别讲义'}</Text></Pressable></View>
    {error.length>0 && <Text accessibilityRole="alert" style={styles.error}>{error}</Text>}
    <View style={[styles.panels, !wide && styles.stacked]}>
      <View><Text style={styles.label}>讲义原图</Text><View style={{width:paperWidth,height:1000*scale}}>
        <Image style={styles.paper} source={worksheet} resizeMode="stretch" />
        {lines.map((region,i) => <Pressable accessibilityLabel={`原图第 ${i+1} 行`} key={i} onPress={()=>select(i)} style={[styles.mark,
          {left:region.left*scale,top:region.top*scale,width:(region.right-region.left)*scale,height:(region.bottom-region.top)*scale},i===selected && styles.marked]}>
          <Text style={styles.markNumber}>{i+1}</Text></Pressable>)}
      </View></View>
      <View style={styles.result}><Text style={styles.label}>文字顺序</Text><View style={styles.tabs}>
        {([['baseline','按纵坐标'],['ordered','按列阅读']] as const).map(([key,title])=><Pressable key={key} onPress={()=>choose(key)} style={[styles.tab,key===mode&&styles.tabOn]}><Text style={styles.tabText}>{title}</Text></Pressable>)}
      </View>
      {lines.length===0 && <Text style={styles.quiet}>识别后点一行,原图会标出它的位置。</Text>}
      {lines.map((region,i)=><Pressable key={i} accessibilityRole="button" onPress={()=>select(i)} style={[styles.row,selected===i&&styles.rowOn]}><Text style={styles.number}>{String(i+1).padStart(2,'0')}</Text><Text style={styles.line}>{region.text}</Text></Pressable>)}
      </View>
    </View>
  </ScrollView>;
}
const styles=StyleSheet.create({
 screen:{flex:1,backgroundColor:'#f5f2eb'},content:{paddingHorizontal:24,paddingTop:44,paddingBottom:38,width:'100%',maxWidth:1320,alignSelf:'center'},
 mast:{flexDirection:'row',justifyContent:'space-between',alignItems:'center',height:60,borderBottomWidth:1,borderColor:'#d4ccba'},brand:{fontSize:22,fontWeight:'800',color:'#203323'},quiet:{color:'#5a6658',fontSize:13},heading:{flexDirection:'row',alignItems:'center',justifyContent:'space-between',paddingVertical:23,gap:12},headingCopy:{flexShrink:1},title:{fontSize:38,lineHeight:45,fontWeight:'800',color:'#15271b'},subtitle:{fontSize:15,color:'#596a59',marginTop:7},run:{backgroundColor:'#25543d',paddingHorizontal:18,paddingVertical:12,borderRadius:7},runText:{color:'#fff',fontWeight:'700'},error:{padding:12,color:'#932e36',marginBottom:14,backgroundColor:'#fce6de'},
 panels:{flexDirection:'row',gap:28},stacked:{flexDirection:'column'},label:{fontSize:17,fontWeight:'800',color:'#203323',marginBottom:12},paper:{width:'100%',height:'100%',borderWidth:1,borderColor:'#d1c6ab'},mark:{position:'absolute',borderWidth:1,borderColor:'#7f5ca9',backgroundColor:'#875da217'},marked:{borderWidth:2,borderColor:'#a04147',backgroundColor:'#a0414723'},markNumber:{color:'#fff',backgroundColor:'#614879',fontSize:10,position:'absolute',left:-5,top:-7,minWidth:14,textAlign:'center',borderRadius:2},
 result:{flex:1,minWidth:0},tabs:{flexDirection:'row',gap:7,marginBottom:11},tab:{borderWidth:1,borderColor:'#b9b2a3',paddingHorizontal:12,paddingVertical:8,borderRadius:5},tabOn:{backgroundColor:'#dce7d5',borderColor:'#668466'},tabText:{color:'#23392a',fontWeight:'600'},row:{flexDirection:'row',alignItems:'center',gap:10,minHeight:35,borderBottomWidth:1,borderColor:'#ded8c9',paddingHorizontal:6},rowOn:{backgroundColor:'#e5ecde'},number:{fontWeight:'800',color:'#6b4a87'},line:{color:'#223124',fontSize:14,flex:1},
});

reading.js

'use strict';

function readOrders(regions, width) {
  const byHeight = (a, b) => a.top - b.top || a.left - b.left;
  const baseline = [...regions].sort(byHeight);
  const center = width / 2;
  const gutter = width * 0.018;
  const spanning = baseline.filter(r => r.left < center - gutter && r.right > center + gutter);
  const text = baseline.filter(r => !spanning.includes(r));
  const ordered = [];
  let previous = -Infinity;
  const appendUntil = (bottom) => {
    const band = text.filter(r => r.top >= previous && r.top < bottom);
    const left = band.filter(r => (r.left + r.right) / 2 <= center);
    const right = band.filter(r => (r.left + r.right) / 2 > center);
    ordered.push(...left.sort(byHeight), ...right.sort(byHeight));
  };
  for (const region of spanning) {
    appendUntil(region.top);
    ordered.push(region);
    previous = region.top;
  }
  appendUntil(Infinity);
  return { baseline, ordered };
}

module.exports = { readOrders };

SheetPackage.ets

import { common } from '@kit.AbilityKit';
import { image } from '@kit.ImageKit';
import { textRecognition } from '@kit.CoreVisionKit';
import { hilog } from '@kit.PerformanceAnalysisKit';
import { RNPackageContext, RNOHPackage, UITurboModule, UITurboModuleContext } from '@rnoh/react-native-openharmony';

interface Region {
  text: string;
  left: number;
  right: number;
  top: number;
  bottom: number;
}

interface Failure {
  message: string;
}

interface Result {
  width: number;
  height: number;
  regions: Region[];
}

class SheetOcr extends UITurboModule {
  public static readonly NAME: string = 'SheetOcr';

  async recognize(): Promise<string> {
    if (!canIUse('SystemCapability.AI.OCR.TextRecognition') || !await textRecognition.init()) {
      const failure: Failure = { message: '当前设备未提供通用文字识别' };
      return JSON.stringify(failure);
    }
    let source: image.ImageSource | undefined;
    let map: image.PixelMap | undefined;
    try {
      const context = this.ctx.uiAbilityContext as common.UIAbilityContext;
      const content = context.resourceManager.getRawFileContentSync('worksheet.png');
      source = image.createImageSource(content.buffer as ArrayBuffer);
      map = await source.createPixelMap();
      const info = await map.getImageInfo();
      const read = await textRecognition.recognizeText({ pixelMap: map }, { isDirectionDetectionSupported: true });
      const regions: Region[] = [];
      for (const block of read.blocks) {
        for (const line of block.lines) {
          const xs = line.cornerPoints.map((point: textRecognition.PixelPoint) => point.x);
          const ys = line.cornerPoints.map((point: textRecognition.PixelPoint) => point.y);
          if (xs.length > 0 && line.value.trim()) {
            regions.push({ text: line.value, left: Math.min(...xs), right: Math.max(...xs),
              top: Math.min(...ys), bottom: Math.max(...ys) });
          }
        }
      }
      const result: Result = { width: info.size.width, height: info.size.height, regions: regions };
      hilog.info(0, 'SheetOcr', 'lines=%{public}d width=%{public}d height=%{public}d', regions.length, result.width, result.height);
      return JSON.stringify(result);
    } finally {
      if (map) await map.release();
      if (source) await source.release();
      await textRecognition.release();
    }
  }
}

export class SheetPackage extends RNOHPackage {
  constructor(ctx: RNPackageContext) { super(ctx); }

  getUITurboModuleFactoryByNameMap(): Map<string, (ctx: UITurboModuleContext) => UITurboModule | null> {
    return new Map<string, (ctx: UITurboModuleContext) => UITurboModule | null>([
      [SheetOcr.NAME, (ctx: UITurboModuleContext) => new SheetOcr(ctx)]
    ]);
  }
}

PackageProvider.ets

/**
 * Copyright (c) 2025 Huawei Technologies Co., Ltd.
 *
 * This source code is licensed under the MIT license found in the
 * LICENSE file in the root directory of this source tree.
 */

import type { RNPackageContext, RNOHPackage } from '@rnoh/react-native-openharmony';
import { createRNOHPackages as createRNOHPackagesAutolinking } from './RNOHPackagesFactory';

import { SheetPackage } from './SheetPackage';

export function getRNOHPackages(ctx: RNPackageContext): RNOHPackage[] {
  return [
    new SheetPackage(ctx),
    ...createRNOHPackagesAutolinking(ctx)
  ];
}

PackageProvider.cpp

#include "RNOH/PackageProvider.h"
#include "RNOHPackagesFactory.h"
#include "generated/RNOHGeneratedPackage.h"

using namespace rnoh;

namespace {
class SheetTurboModule : public ArkTSTurboModule {
 public:
  SheetTurboModule(Context ctx, const std::string& name) : ArkTSTurboModule(ctx, name) {
    methodMap_ = { ARK_ASYNC_METHOD_METADATA(recognize, 0) };
  }
};

class SheetFactory : public TurboModuleFactoryDelegate {
 public:
  SharedTurboModule createTurboModule(Context ctx, const std::string& name) const override {
    if (name == "SheetOcr") return std::make_shared<SheetTurboModule>(ctx, name);
    return nullptr;
  }
};

class SheetPackage : public Package {
 public:
  explicit SheetPackage(Context ctx) : Package(ctx) {}
  std::unique_ptr<TurboModuleFactoryDelegate> createTurboModuleFactoryDelegate() override {
    return std::make_unique<SheetFactory>();
  }
};
}

std::vector<std::shared_ptr<Package>> PackageProvider::getPackages(
    Package::Context ctx) {
  auto packages = createRNOHPackages(ctx); // <= autolinking
  packages.push_back(std::make_shared<RNOHGeneratedPackage>(
      ctx)); // generated by codegen-harmony v1 on app preBuilt stage)
  packages.push_back(std::make_shared<SheetPackage>(ctx));
  return packages;
}

build-profile.json5

{
  "apiType": 'stageMode',
  "buildOption": {
    "externalNativeOptions": {
      "path": "./src/main/cpp/CMakeLists.txt",
      "arguments": "", "abiFilters": ["arm64-v8a", "x86_64"],
    },
  },
  "targets": [
    {
      "name": "default",
      "runtimeOS": "HarmonyOS"
    },
    {
      "name": "ohosTest",
    }
  ]
}

相关推荐

React Native 鸿蒙长列表优化实战:用静态审计加运行时探针守住 FlatList 的四条底线

本文提出并实现了一套针对 React Native 长列表的“双层守卫”机制:静态审计(7 条反模式规则,可集成 CI)与运行时渲染探针(renderItem 采样 + rAF 帧间隔归因)。通过在 OpenHarmony 模拟器上对 400 行数据的实测对比,验证了 ScrollView+map 方案在首帧、内存、滚动上的显著劣势,而优化后的 FlatList 虚拟化方案有效降低视图常驻与维护成本。工具链已开源,支持快速定位问题、自动化拦截劣质代码,提升长列表性能与可维护性。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 27

Cordova 鸿蒙空间音频实战:让网页里的声音“绕着头转“

本文通过一个零原生代码的纯JS Cordova插件,实证解答了WebView中“真”空间音频的可行性:基于ArkWeb(Chromium内核)的Web Audio API,HRTF卷积空间化可原生支持,采样率48kHz,延迟仅108ms。插件以一行ArkTS未写的方式,实现跨平台空间音频合成,通过探测机制动态降级,并解决纯JS插件注入hcordova宿主的兼容难题。效果验证显示方位角拖动与理论值高度一致,揭示了前后镜像等物理边界。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 34

ReactNative鸿蒙实况窗实战:让订单状态“跟着JS走“

本文以 React Native 0.84 + RNOH 0.84 为基底,详解实况窗发布链路的六跳桥接机制:从 JS 侧纯 TS 构造 payload(①),经 JSON 序列化(②),通过手写 JSI 胶水(③)跨至 ArkTS,由 TurboModule 解析并注入 wantAgent(④),最终调用 liveViewManager 发布。全程依赖 hilog 逐跳验证,确保字段、序列号、耗时精准对齐。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 35

Cordova鸿蒙实况窗实战:让实况窗卡片“长在网页里“

在鸿蒙Cordova环境下,通过纯JS实现“零原生”实况窗预览:将payload构造层与预览器完全剥离原生依赖,利用DOM渲染实现胶囊与卡片的0.5ms级高效更新。依托esbuild打包与UMD注入,三端同构状态机精准映射HMS kits字段,probe()明确标识沙箱不支持HMS kits的边界。实测显示,外卖、打车、比分场景的动态切换与左滑分享交互均可在页面内完整模拟,验证了纯前端方案在能力边界内的可行性与高性能表现。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 32

Cordova 鸿蒙渲染耗时实战:给 ArkWeb 容器装上 FCP、长任务和构建期审计的三只眼

本文针对Cordova应用在OpenHarmony上的渲染性能问题,提出“三层探针”方案:通过javaScriptOnDocumentStart注入PerformanceObserver采集页面指标(FCP、LCP、longtask),ArkTS插件记录容器加载耗时(onPageStart→End),构建期审计器扫描www/识别布局抖动、同步读写几何等反模式。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 43

Qt 鸿蒙电脑多屏适配:拔掉外接屏,窗口怎么回到主屏?

本文介绍基于Qt的鸿蒙跨平台窗口恢复方案,针对外接屏拔插导致窗口坐标异常问题,提出“屏幕接力”机制。通过判断屏幕是否存在、计算窗口在目标屏的可见区域,实现窗口自动回主屏。核心逻辑包括:动态检测屏幕变化,优先使用同名屏或主屏作为目标,结合qBound确保窗口尺寸与位置在可用区内,并通过延迟回调避免状态冲突。实测验证了单屏环境下窗口恢复的正确性,强调需双屏环境进一步验证热拔插与重启场景下的兼容性。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 59

React Native 接入鸿蒙推送:冷启动工单路由与令牌排查

本文基于HarmonyOS跨平台开发框架RNOH,通过真机与模拟器实测验证工单推送功能。重点分析冷启动与热启动下路由参数传递、推送令牌获取(返回1000900010)及重复入口处理机制。实验表明:原生侧缓存工单号,React Native就绪后通过轮询接收,有效避免事件丢失;重复发送相同工单不增加计数,确保状态一致性。建议后续结合Push Kit服务配置与调试Profile完成完整推送链路验证。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 78

Ionic 接入鸿蒙应用 Skill:两件耗材同名时,先确认库位再查询

本项目基于鸿蒙跨平台框架,实现Ionic应用与ArkTS查询逻辑的统一,验证“问得少、答得准”策略:同名物料先返回候选库位,用户确认后才显示数量;唯一命中则直接返回结果。通过真实设备与模拟器测试,确保状态管理正确,取消后可重查,提升交互效率。代码复用性强,适用于多端一致的库存查询场景。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 38

Cordova 电量插件重订阅:为什么第二轮收不到当前电量?

本文分析了OpenHarmony跨平台Cordova电量插件在MatePad Edge设备上的订阅问题:原版插件停止后重启无法接收新电量状态,原因在于JS层缓存旧值导致同值过滤失效。修复方案为在首次订阅时重置_level和_isPlugged状态,确保每轮订阅都能收到初始值。测试验证修正版在真机与模拟器上均能稳定触发每轮状态回调,且不影响原有去重机制。关键点在于区分“当前值”与“变化通知”,并明确生命周期管理,避免因状态残留影响新订阅。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 29

Ionic 接入鸿蒙日历:会议改期两次,系统怎么只保留一条?

本文通过真实设备测试,验证了在鸿蒙系统中跨进程重启后,应用能否正确识别并更新同一日历事件。核心在于使用固定业务标识(identifier)而非标题或时间匹配事件,确保改期、重启、删除等操作均能准确追溯同一记录。测试显示,两次改期后事件ID保持不变,重启后仍可找回原事件,证明系统未误触发新增。同时强调:仅靠回读结果判断写入是否成功,需同步核对条数、事件ID与时间,避免因状态不一致导致逻辑错误。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 34

React Native 在鸿蒙读取 EXIF:三张 JPEG 能读出哪些信息?

本文基于HarmonyOS跨平台开发实践,实现React Native与ArkTS间EXIF信息读取的原生桥接。通过三张预设样片(含时间、坐标、空标签)验证了在MatePad Edge真机及模拟器上对拍摄时间与GPS坐标的准确读取能力,结合Pillow独立回读校验,确认字段缺失由原生层统一归零处理。桥接层采用逐项请求策略,避免因部分字段缺失导致整体解析失败,并通过默认值收敛机制返回null,便于前端区分“无数据”与“解析异常”。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 36

Ionic 接入鸿蒙文档扫描:三页巡检单怎么合成一份 PDF?

「折页扫描」应用通过鸿蒙系统编辑器实现PDF文档的删页、旋转与导出。测试中,四张样张(封面、作废附件、检查表、签核页)经编辑后生成3页正向PDF,文件大小178,479字节,内容与预期一致。关键在于:系统编辑器返回的PDF由实际操作结果生成,而非重新构造原始图像;通过pdfinfo与逐页渲染验证页数与方向,确保交付成果准确可复现。插件回调机制保障流程唯一性,避免并发问题,实现端到端可信交付。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 23

Ionic 接入鸿蒙文搜图:应用重启后,搜索结果还能打开原图吗?

本文通过鸿蒙跨平台项目演示图像搜索与文件读取的完整链路:使用Capacitor调用原生Vision Kit进行文本搜索,结果仅传递图片ID至Ionic页面,点击时由原生侧根据沙箱路径读取文件。实测验证了重启、进程强制结束、文件移除等场景下的行为,强调索引与文件存储分离的重要性,确保“搜索可查、打开可读”。关键点包括:避免同名覆盖、持久化标识映射、点击时二次校验文件存在性,以及合理处理空结果与文件丢失的差异反馈。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 26

Cordova 接入鸿蒙主体分割:商品图怎么导出成透明 PNG?

本文记录一个 Cordova 商品图工作台在鸿蒙 MatePad Edge 上的实测:选图后调用系统主体分割,把前景编码为 PNG,网页用离屏 Canvas 重读 Alpha 校验透明度,再由系统文件选择器原样落盘。核心结论是预览与导出共用同一份字节,文件是否透明只由独立解码后的 Alpha 决定,而非棋盘格预览。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 27

Electron 鸿蒙媒体实战:打通小艺 Skill 与 Agent 语音指令,TCP 桥实现 Electron 跨端语音操作闭环

本文探讨了在鸿蒙系统上运行 Electron 应用时,实现小艺语音交互的“三个世界”挑战:渲染进程、主进程与宿主 UIAbility 间无共享运行时。通过回环 TCP 桥接方案,将 ArkTS 的 ASR/TTS 能力与 Electron 的媒体控制逻辑打通,实现指令路由与执行仲裁。采用统一意图目录(纯规则 NLU),支持桥在线时由 Electron 执行,离线时自动切换原生兜底。实测验证了真机闭环协议,展示了从语音输入到播报反馈的完整链路,为跨平台语音代理提供可复用架构。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 52

Qt 鸿蒙日历读写实战:Qt Widgets 通过 JS 桥打通 C++ 与 ArkTS CalendarKit,封装 qt-ohos-calendar 三方库,解决同步调用与异步 Promise 矛

Qt应用在鸿蒙上实现日历互通,面临Qt C++与ArkTS系统日历接口隔离问题。通过封装qt-ohos-calendar库,利用Qt for HarmonyOS自带的JS桥(QOhosJsThreadGateway),将同步调用转为异步处理:Qt侧以QObject定义接口,ArkTS侧通过串行队列收敛Promise,实现权限申请、日历创建、事件增删改查等操作,并借助快照轮询机制确保状态一致。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 40

KMP 鸿蒙日历:Kotlin/Native 内核 + NAPI 桥接 CalendarKit 实战

Kotlin Multiplatform 在鸿蒙上实现日历功能面临“三层世界”挑战:业务逻辑(事件归一化、RRULE处理)由Kotlin/Native负责,系统日历调用通过ArkTS的CalendarKit完成,中间依赖NAPI胶水层仅传递JSON字符串。项目通过自研KMP工具链(CPF-KMP-CMP)构建ohosArm64/x64双目标.so,并封装为HAR库,确保胶水层最小化、不感知业务字段。实测验证了权限申请、跨进程读写、周期规则转换等核心流程,日志与系统日历联动,证明方案可行。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 23

Qt 鸿蒙沉浸光感实战:同一份规格对接双渲染器,打通 Qt 与 ArkUI 跨运行时通道,搞定系统玻璃材质、Qt 自绘对齐

本文聚焦Qt for HarmonyOS中玻璃效果的跨运行时对齐问题,提出“单一事实来源”方案:将材质参数表(五档模糊、赋色、高光等)封装为C++17内核,供Qt与ArkTS共享。通过napi_threadsafe_function实现跨线程请求/回调,确保弹窗、菜单等系统组件使用真实材质,同时自绘玻璃与系统风格一致。实测验证参数可测量、闭环可控,关键链路如overlay.show→dismissed完整无损,最终达成“同一规格,双渲染器”的沉浸式体验统一。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 51

打通 CMP 与鸿蒙系统智能:三方库承载语音匹配、TTS 播报、小艺 Agent 调用与意图回调全链路

本文通过 cmp_ohos_ai_agent 库,详解 Kotlin/Compose Multiplatform 如何实现鸿蒙小艺语音闭环。从技能注册、麦克风输入到 TTS 回话,再到反向接收系统意图与调起智能体组件,揭示跨端框架与 ArkTS 间双向桥接的实现机制。结合真机实测(华为 nova 14),展示能力探测、设备状态同步、指令匹配与执行回执全流程,并解析权限、组件不可渲染等关键坑点,验证了在 CMP 下完成完整语音智能交互的可行性。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 43

Qt for HarmonyOS 语音智能体落地:qt-ohos-ai-agent 三方库实现本地指令与小艺双向联动,拆解 NAPI 桥接

本文探讨了在鸿蒙系统上运行Qt应用时,如何实现语音指令闭环——将Qt Widgets界面与鸿蒙原生语音能力(CoreSpeechKit、textToSpeech、AgentFrameworkKit、InsightIntent)深度融合。通过构建三层架构:纯C++17核心(解析+状态机)、ArkTS HAR模块(语音/播报/小艺调用)、Qt服务类(JS桥接),实现“应用内说话”与“对小艺说话”共享同一套语义理解大脑。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 36

KMP 鸿蒙空间音频与智能体落地:绕开 JS 桥阻塞,OHAudio 原生渲染,小艺语音指令实现声场动态重排

本文探讨了在Kotlin Multiplatform(KMP)开发鸿蒙应用时,实现“媒体+AI”闭环的挑战与解决方案。核心难点在于音频渲染需在系统音频线程中实时执行,而小艺语音识别、合成及AgentFrameworkKit仅支持ArkTS,导致KMP难以直接调用。作者通过cinterop暴露libohaudio.so接口,将音频处理逻辑下沉至Kotlin/Native,确保低延迟;同时将意图识别、声场重构等核心算法全量移入commonMain,实现纯Kotlin闭环。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 75

CMP 鸿蒙日历读写实战:Compose 月历跨 Kotlin/C/ArkTS 桥接 CalendarKit,自建独立日历账户

本文详解了在鸿蒙CMP(Compose Multiplatform)环境下实现跨语言日历读写的完整链路:Kotlin通过C API头文件与ArkTS via NAPI桥接,以字符串通道传递id, op, argsJson指令,实现权限感知的本地/系统日历降级存储。核心突破在于将CalendarKit封装为CMP库,利用协程挂起-恢复机制完成异步通信,并确保日程写入自建日历账户(如“CMP日历”),最终在系统日历中可见且归属明确。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 95

CMP 鸿蒙沉浸光感实战:弹窗菜单复用系统材质,自绘画布按算力档位对齐,打通 CMP 与 ArkUI 双轨渲染链路

本文通过一个跨端示例工程,深入解析鸿蒙API 26中ImmersiveMaterial的底层机制:它并非普通贴图,而是仅作用于特定系统组件(如弹窗、菜单)的“系统材质”,具备档位分级、算力降级与生效范围限制。文章揭示了如何在CMP框架中封装该能力——将弹窗/菜单壳交还ArkUI实现真材质,自绘内容则通过标定参数模拟其模糊、着色、光效等特征,确保在模拟器与真机上视觉对齐。项目已开源,提供完整实现与社区支持。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 74

Electron 鸿蒙系统级 TTS 实战:把声音交给操作系统,把队列留给自己

本文探讨在 Electron 与 HarmonyOS 上实现“系统级 TTS”的挑战与解决方案。Electron 因主进程无渲染环境,需通过 1×1 隐藏 renderer 托管 speechSynthesis;鸿蒙则受限于 Core Speech Kit 的接口约束,如无暂停、边界事件等。二者均采用文本分块队列与请求唯一标识管理长文本播报。代码已开源,展示跨平台系统语音集成的实践路径。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 130

KMP 鸿蒙系统级 TTS 实战:让队列里的每一句都说完整

本文基于鸿蒙2in1平台,通过KMP工程实现一个离线TTS合成引擎,解决平台回调两次、事件乱序、资源复用等难题。核心在于:以ArkTS为入口,Kotlin负责队列与状态机,统一归一化平台回调,确保“合成完成”与“播放完成”精准区分;通过requestId管理请求生命周期,支持抢占与过期事件丢弃,保障多任务有序执行。实测24项JVM用例全通过,状态机稳定可靠,适用于无障碍朗读、订单播报等离线语音场景。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 186

Cordova 鸿蒙系统级 TTS 实战:让 WebView 里的文字“开口说话“

本文以鸿蒙7.0真机实测为例,剖析Cordova插件cordova-plugin-tts-ohos从JS调用到系统TTS引擎的完整链路:通过一层C++桥接实现JS与ArkTS通信,依托Core Speech Kit完成离线语音合成。重点揭示“384ms播完”截图的误导性——实际为合成完成而非播放结束,修复后耗时达9.2秒,强调onComplete.type区分合成与播放终态的重要性。同时说明事件流需保留keepCallback状态,确保Promise在真正播放结束后才resolve,避免竞态。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 217

Qt 鸿蒙系统级 TTS 实战:让 QML 借系统的嗓子说话

本文基于 Qt 5.12.12 与 HarmonyOS,通过一个 QML 插件(SpatialTts)实现跨平台系统级 TTS:桌面调用 Qt TextToSpeech,鸿蒙对接 Core Speech Kit。核心创新在于将队列、状态管理与音色控制统一于 Qt 侧,后端按编译期选择,鸿蒙端通过 JS 线程桥(QOhosJsThreadGateway)调用 ArkTS 接口,并完成宿主注册。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 202

React Native 鸿蒙系统 TTS 实战:让表面开口

本文介绍了一个基于 React Native 0.84 的鸿蒙三方库 spatial-glass-rn,实现系统离线 TTS 语音播报的全链路集成。通过拆解长文本分段、JS 侧队列管理、跨平台事件归一化与状态同步,将系统级语音引擎(鸿蒙 Core Speech Kit)与光感表面视觉组件融合,构建出无网络依赖、零额外体积、隐私安全的语音交互体验。真机实测验证了在仓储、巡检等场景下的稳定性与实时性,解决了三端语义不一致问题,实现了“状态可读、进度可视、操作可控”的沉浸式语音反馈。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 220

React Native 鸿蒙端侧 AI 图像超分实战:让 NPU 把细节补回来

本文详解在鸿蒙PC上基于React Native 0.84的react-native-ohos-ai-vision库,实现512px图像通过NPU进行4倍超分并返回JS的完整链路。核心突破在于:通过显式引擎标识(engine字段)与可验证校验和,区分AI(Core Vision Kit/NPU)与CPU双三次回退路径,确保结果可信。实测证明,仅当factor=4且API≥26时启用NPU,否则自动降级至确定性双三次算法,全程无网络依赖,端到端耗时约3.6秒,效果真实还原细节。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 181

2026开源鸿蒙大学生创新大赛赛道一和赛道三初审结果公示

2026开源鸿蒙大学生创新大赛(原OpenHarmony竞赛训练营)由开源鸿蒙项目群技术指导委员会主办、AtomGit承办,面向全国高校学生开发者,聚焦开源鸿蒙技术生态建设。大赛报名与作品提交阶段已于8日前结束,经组委会组织专家按评审细则经过多轮评审后完成初审,现将通过初审、进入决赛的作品名单予以公示。以下名单以作品名称首字母排序。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 55
上一篇: Ionic 接入鸿蒙文档扫描:三页巡检单怎么合成一份 PDF?
下一篇: React Native 在鸿蒙读取 EXIF:三张 JPEG 能读出哪些信息?
AtomGit 代码君
AtomGit 代码君 企业官方账号 企业官方账号
博客等级 码龄6年 2万+粉丝 986原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址