Flutter 修复 desktop_drop 鸿蒙电脑自由窗口文件拖拽:让非原点窗口准确命中并读取附件

📦 desktop_drop 用于接收拖入 Flutter 页面的文件。我用鸿蒙电脑双窗口 Example 复现了放置框下半区不响应、收到文件后无法读取的问题,并修正坐标换算与文件路径交付。
完整代码已提交 PR 至官方仓库 CPF-Flutter/fluttertpc_desktop_drop,有问题可以到仓库提 Issue,也可以来 鸿蒙系统Flutter开源库社区 交流。

前言

我做了一个鸿蒙电脑附件校验页面:左边的小窗口放几份本地文档,右边的 Flutter 窗口接收文件,显示大小和首行摘要。接入社区版 desktop_drop 后,我把文档拖到框的下半区,页面没有反应;往中间挪一些,回调来了,读取内容却报错。

我先查鼠标落点,再查收到的文件地址。原来,插件算坐标时漏掉了窗口标题栏的高度,读取时又把带协议头的 URI 当成了文件路径。改完坐标和路径转换后,我顺着交付链路继续补了异步复制、接收区二次判断与失败清理,再回到同一台电脑模拟器上重新跑完两次拖入,确认两份附件都能准确命中并读出摘要。

一、使用场景与原版问题

1.1 把附件拖进校验页面

用户把说明文档或配置文件拖进框里,就能查看文件名、字节数和开头内容,省去复制路径、再打开编辑器查看的操作。我把 Example 的功能停在预览这一步:文件格式是否符合业务要求、是否允许上传,留给接入插件的应用判断。

为了让每次拖入的内容和窗口位置都能对上,我在 Example 里放了两个窗口。左侧用 ArkUI 发起 UDMF 文件拖拽,右侧通过 Flutter 引擎把事件传给 desktop_drop。两个窗口属于同一个应用、同一个沙箱,文件也是 Example 自己生成的;这组操作没有经过系统文件管理器或另一款应用。

系统负责产生拖拽事件、提供窗口位置和处理文件授权,desktop_drop 把坐标和文件标识转成 Dart 能用的数据,Example 再据此改变边框颜色、读取摘要。这次补丁集中在插件的坐标换算和文件交付上,电脑设备声明仍由宿主配置,JSON 字段校验则由业务处理。

我检查这次拖入是否成功,先看松手位置:框内接收,框外不开始读取。收到文件后,再调用 length() 或 openRead() 确认内容可读。边框变色、列表多出一条,只说明页面收到了事件,还不能保证预览成功。

同一台鸿蒙电脑中从样本窗口拖入附件预览,经系统事件、desktop_drop 与 Flutter 页面显示摘要

图1 附件拖入流程

1.2 检查已有库,再确定修复基线

我先检查了上游 MixinNetwork/flutter-plugins 的 desktop_drop 子目录和 pub.dev 发布页,又查了 oh-Flutter、CPF-Flutter 中与这个包对应的仓库入口。上游提供通用 Dart 接口和各平台实现,CPF-Flutter 的适配分支里已经有 ohos 原生代码。我便沿着这份实现继续排查,在已有包里修正问题。

MixinNetwork 仓库中的 desktop_drop 目录与 0.9.2 发布提交

图2 上游源码

查库时,上游发布版是 0.9.2,最低要求 Flutter 3.47.7、Dart 3.13.5,拖拽 API 也已经换过一套。我使用的是 Flutter 3.41.9 的鸿蒙工具链,社区适配包则基于 0.6.1,所以没有直接切到上游最新版。下文的 onDragDone、DropDoneDetails 和 DropItem 都是旧版接口,接入时要看对应版本的示例。

desktop_drop 的 pub.dev 发布页面

图3 包发布页

我逐文件对照了社区 br_3.27_dev 分支与稳定标签 desktop_drop-0.6.1-ohos.1.0.0,两个固定提交中的 packages/desktop_drop 源码一致。许可也要看子包:desktop_drop 的 LICENSE 是 Apache-2.0,多包仓库主页显示的是根目录许可。至于 oh-Flutter,我在这次检查的对应包名入口中没有找到另一份适配仓。

CPF-Flutter 仓库的 br_3.27_dev 分支和项目介绍

图4 社区适配仓

打开社区网页时,文件列表提示访问频次受限,我便用匿名 Git 取回固定提交,继续对照源码。图里的页面保留了仓库来源,具体实现以取回的源码为准。社区原始标签中还没有本文的修复补丁;主线合入前,完整的插件修订与双窗口 Example 保存在公开复现分支 fix/ohos-desktop-drop-window-offset 中。

1.3 框内松手,却漏接或读不出文件

我用上述社区 0.6.1 的鸿蒙实现运行 Example,把带标题栏的主窗口摆在桌面右侧。Flutter 放置框相对渲染视图的位置是横向 24~934、纵向 84~269 逻辑像素。在这个布局下,复现步骤如下:

  1. 从左侧样本窗拖动 release_notes.md,落到右侧框的下半区。预期显示高亮并读取文档;原版没有触发完成回调。
  2. 将 window_metrics.json 拖到框的中部。预期读出配置摘要;原版触发了回调,却在读取长度时抛出 PathNotFoundException。
  3. 在相同窗口布局和样本下更换插件实现,重复两个动作,核对落点、接收条目和读取结果。

第一份文件连完成回调都没来,我先看插件有没有把鼠标判到框外;第二份文件已经触发回调,就继续查 Dart 收到的地址,以及读取报错的位置。

检查工程时,我还遇到了另一处问题:仓库里留有未被入口导出的平台接口模板及模板测试,其中引用了未声明的依赖,静态分析曾报告 14 项问题。我清理了这些遗留文件,让全包检查能继续运行。它们与拖拽故障分开处理,鼠标下半区不响应仍要回到坐标代码里找原因。

二、同条件对照与验证范围

2.1 窗口、样本与工具链

我在 MateBook Pro 电脑模拟器上做对照,设备类型为 2in1,镜像是 7.0.0.107,系统属性回报 OpenHarmony-7.0.0.105,API 26。屏幕分辨率为 3120 × 2080 物理像素,像素密度比为 1.90。开发工具是 Flutter 3.41.9+ohos-1.0.2、Dart 3.11.5 和 DevEco Studio 26.0.0.865。宿主构建配置中的兼容版本、目标版本都设为 5.1.0(API 18),与运行镜像的版本不同。

两个窗口的位置由同一套 Example 布局代码设置。左侧样本窗的物理矩形为 [280, 340, 700, 1000],右侧主窗为 [1080, 260, 1820, 1260],四个数依次是左、上、宽、高。右窗离桌面原点有一段距离,标题栏在这次布局中占 36.84 逻辑像素。我分别用 com.example.pgc21base、com.example.pgc21fix 两个包名安装原版和修复版,窗口布局、页面与样本保持一致。

下面的截图、动图和日志都在这份包含坐标对齐、路径转换与双阶段交付校验的修订上采集,记录了两个小文件的落点与读取过程。跨应用外部 URI 授权、媒体和大文件等未测边界列在第四节。

2.2 两次拖入的结果

原版中下半区未接收,第二份文件读取失败

图5 原版拖入

修复版本接收并校验两份同沙箱文件

图6 修复拖入

两段动图分别约 4.3 秒和 6.5 秒,保留了电脑模拟器的设备外框。我先把文件拖到框的下半区,落点在 Flutter 视图中约为 (478.9, 247.4)。鼠标还在框内,原版拿去判断的纵坐标却是 284.2,已经超过下边界 269。扣掉标题栏偏移后,修复版收到的框内局部坐标约为 (454.9, 163.4),随后读出了 220 B 的说明文档。

接着拖入中部的 JSON 文件,原版能触发完成回调,但传给 Dart 的地址仍带着 file:// 协议头,读取就卡在这里。修复版把地址转成同一沙箱里的普通路径,读出了 70 B 的 JSON 内容,页面上也出现了摘要。这两个样本走的都是同沙箱路径转换,没有经过跨应用复制。

原版校验页面中的读取异常与偏移坐标

图7 原版结果

修复后页面列出两份可读样本

图8 修复结果

观测项目社区原版当前修复版
下半区释放后的完成回调0 次1 次 🟢↑
两次操作中可读文件数0 份2 份 🟢↑
中部落点的纵向偏差约 +36.8 逻辑像素与测得的布局换算一致
读取内容长度读取报错文档 220 B、JSON 70 B

表1 同条件结果

我这里只重复了两种固定动作,没有采集成功率、延迟分布或大文件吞吐量。两次操作中,鼠标的横向落点还有些轨迹差异,所以我没有拿它计算横向精度。纵向则能和窗口几何数据对上:漏掉的标题栏高度,正好解释了框内下半区为什么会被判成框外。

2.3 顺着日志继续排查

原版读取异常与修复版本的拖拽交付日志

图9 运行日志

我把窗口位置、进入事件坐标、文件路径转换和业务读取结果放在一起看。修复版的日志依次记下了进入坐标、同沙箱文件直通、Drop delivery finished: accepted=true 回执和页面的首行摘要。日志里还有个容易让人误判的细节:已经采集到的进入事件中,getDisplayX/Y() 和 getWindowX/Y() 打印出的数值相同。只看这一行,还分不清数值相同发生在哪一层。

于是我检查了对应 FlutterPage 的事件转发代码:它直接把原始 DragEvent 交给 FlutterManager,并没有改写坐标。我能确认的原因是,插件没有扣除渲染表面在窗口内的偏移,通道两端又混用了像素密度。修改时选用窗口坐标接口,是因为它明确以窗口为参照;不能把日志里的相同数值解释为引擎替插件换算过。

修改交付逻辑后,我用 Dart 测试检查框内、框外、禁用、销毁、缺少业务回调,以及复制期间出现新悬停位置的情况。原生逻辑测试则用替身文件系统和通道构造失败条件,检查复制失败、长度不符、目录拒绝、回执超时及生命周期变化。这样可以看到某条失败路径有没有清理文件,但 UDMF 的临时授权和系统结束动效仍需要实际拖拽来检查。

三、原理与核心代码

3.1 坐标必须落在同一个参照系

🔍 查坐标时,我先分清三个起点:整个桌面的左上角、应用窗口的左上角,以及 Flutter 内容的左上角。窗口可以挪动,窗口里面还可能有标题栏;Flutter 内容从标题栏下面开始。插件要拿落点和 Flutter 组件的范围比较,就得先把它们放到同一个坐标系里。

我从当前 Ability 的主窗口取得 UIContext,找到挂载的 FlutterView 节点,再调用 getPositionToWindow() 读取渲染表面相对窗口的偏移。窗口坐标减去这个偏移,才是 Dart 需要的视图坐标。DesktopDropPlugin.ets 中的完整换算函数如下;同文件的 validateCoordinate 会拒绝非有限数,其余数值原样保留。

function resolveFlutterLocalOffset(
  event: DragEvent,
  abilityBinding: AbilityPluginBinding | null
): number[] {
  const winX: number = event.getWindowX();
  const winY: number = event.getWindowY();
  let surfaceOffsetX: number = 0;
  let surfaceOffsetY: number = 0;

  if (abilityBinding != null) {
    try {
      const ability = abilityBinding.getAbility();
      const windowStage: window.WindowStage | undefined =
        FlutterManager.getInstance().getWindowStage(ability);
      const mainWindow: window.Window | undefined = windowStage?.getMainWindowSync();
      const uiContext: UIContext | undefined = mainWindow?.getUIContext();
      if (uiContext != undefined) {
        const viewMap: Map<String, FlutterView> = FlutterManager.getInstance().getFlutterViewList();
        viewMap.forEach((_view: FlutterView, viewIdKey: String) => {
          const node = uiContext.getAttachedFrameNodeById(viewIdKey.toString());
          if (node != null) {
            const pos = node.getPositionToWindow();
            surfaceOffsetX = Number(pos.x ?? 0);
            surfaceOffsetY = Number(pos.y ?? 0);
          }
        });
      }
    } catch (err) {
      hilog.warn(
        LOG_DOMAIN,
        LOG_TAG,
        'Failed to query FlutterSurface window offset, fallback to window origin: %{public}s',
        String(err)
      );
    }
  }

  // 扣除标题栏等窗口内偏移,保持逻辑像素单位传给 Dart。
  const localX: number = validateCoordinate(winX - surfaceOffsetX);
  const localY: number = validateCoordinate(winY - surfaceOffsetY);
  return [localX, localY];
}

这个函数用到了 AbilityPluginBinding、FlutterManager 和窗口模块,日志常量定义在同一文件顶部。若查询偏移时抛出异常,函数会记录警告并回退到窗口原点;带标题栏的页面在这种情况下仍可能错位。我会先检查 FlutterView 节点是否已经挂载,再看后面的坐标。当前实现只按主窗口中的单个 Flutter 视图处理,同一 UIContext 下的多引擎布局还没有测过。

接下来还要看 Dart 的 _scaleHoverPoint。依赖中的平台判断把未识别系统当成 Android,鸿蒙因此也走了除以像素密度的分支。原生先乘一次、Dart 再除一次,部分值虽然抵消了,原始监听器和组件回调看到的却不是同一套单位,而且标题栏那段偏移一直都在。我保留其他平台的处理,只让鸿蒙直接使用传入的逻辑坐标:

Offset _scaleHoverPoint(BuildContext context, Offset point) {
  // 鸿蒙通道已传入逻辑坐标,不再按 Android 的物理像素换算。
  if (defaultTargetPlatform != TargetPlatform.ohos &&
      (UniversalPlatform.isWindows || UniversalPlatform.isAndroid)) {
    return point.scale(
      1 / MediaQuery.of(context).devicePixelRatio,
      1 / MediaQuery.of(context).devicePixelRatio,
    );
  }
  return point;
}

到这里,原生发送的是 Flutter 视图内的位置,DropTarget 再把它换成相对自身左上角的位置。原始监听器看到的值和完成回调里的局部坐标仍可能不同,但这时差的是组件位置,不是像素密度。排查业务页面时,应先确认日志记录的是哪一个位置,再与框的边界比较。

我没有把标题栏高度写死为 36.84,而是读取节点的实际偏移。最大化窗口、隐藏标题栏时,偏移理论上也会变化。不过,这些切换动作,以及连接不同 DPI 副屏的情况,我还没有采集过运行结果。

3.2 URI 与路径分别处理

坐标对上以后,我继续看文件为什么读不出来。UDMF 文件记录给的是资源标识,而 Dart 的 File 接口需要一个当前应用能访问的本地路径。如果文件属于当前应用,插件就解析 FileUri,打开文件、确认它是普通文件,再把沙箱路径交给 Dart。前面修复版读到的两份小文件都走这条路径,内容本身不用复制。

换成其他应用提供的 URI,就不能照着同沙箱路径直接处理了。即使去掉协议头,接收方也没有因此拿到对方沙箱的访问权限。我在这个分支里保留原始授权 URI,通过鸿蒙文件接口打开只读句柄,再异步复制到接收应用的缓存目录。系统若拒绝打开,插件会记录错误并跳过该文件,继续处理其他记录。

复制部分我改用了系统异步接口,拖拽回调不再自己跑同步读写循环。每次先创建一个独立目录,再把副本按原文件名放进去,这样两份同名文件不会互相覆盖。复制完,我把副本长度与打开源文件时记下的长度比较;如果不一致,就按复制失败处理。

长度检查只能帮助发现截断。两个文件长度相同,内容仍可能不同;源文件若在复制期间被其他线程改写,也没有一致快照的保证。因此,这里的校验不能替代内容哈希。

同一原生文件中的复制函数如下。临时文件带着所属目录一起返回,后面的清理函数就能找到本次创建的副本。对于同沙箱直通的原文件,临时目录标记为空,清理时会跳过它,避免把用户交给页面预览的源文件一起删掉。

async function copyAuthorizedFile(
  source: fs.File,
  context: common.UIAbilityContext,
  name: string,
  expectedSize: number
): Promise<ReadableDropFile> {
  const root: string = `${context.cacheDir}/desktop_drop`;
  if (!await fs.access(root)) {
    try {
      await fs.mkdir(root);
    } catch (err) {
      // 两次拖拽同时首次建目录时,只接受目录已经存在的竞争结果。
      if (!await fs.access(root) || !(await fs.stat(root)).isDirectory()) {
        throw err as Error;
      }
    }
  }
  const directory: string = await fs.mkdtemp(`${root}/drop_`);
  const result: ReadableDropFile = { path: `${directory}/${name}`, temporaryDirectory: directory };
  try {
    // 系统异步复制处理完整写入,避免同步循环阻塞 ArkUI 线程。
    await fs.copyFile(source.fd, result.path);
    if ((await fs.stat(result.path)).size !== expectedSize) {
      throw new Error('Copied file size differs from the opened source');
    }
    return result;
  } catch (err) {
    await removeTemporaryFile(result);
    throw err as Error;
  }
}

打开的源句柄由外层 bridgeUriToReadablePath 在 finally 中关闭,复制成功或失败都会执行。文件名会过滤路径分隔符和控制字符;如果文件属性表明它是目录,插件直接拒绝交付。代码里也有图片、视频和音频记录的 URI 提取分支,不过这些类型还没有实际拖入成功的样本。

3.3 交付前后都核对接收区

把复制改为异步以后,文件准备期间的页面变化也得考虑进去。用户可能切走页面,也可能开始下一次拖拽。假如完成事件仍然读取全局保存的最后一次悬停坐标,上一份文件就会带上下一次拖拽的位置,业务收到的文件和落点便对不上了。

我保留 DropTarget 的公开用法,按下面的顺序调整鸿蒙内部通道:

  1. 松手时保存本次最终位置,并同步取出 UDMF 记录,后续不再借用全局悬停位置。
  2. 原生层先询问 Dart,该位置是否落在仍启用且提供完成回调的接收区内;拒绝时不复制文件。
  3. 文件准备好后,把路径列表和同一次位置一起送到 Dart,再检查组件是否存在、是否启用、是否命中。
  4. 只有收到明确的接收回执,才设置成功结果;没有可读文件或接收区拒绝时设置失败,并清理尚未交付的副本。

鸿蒙原生与Dart双阶段拖拽交付时序

图10 跨端交付时序

我也顺手去掉了坐标里的极小小数偏移。此前用它让整数按浮点类型传过通道,数值却跟着变了。现在 Dart 同时接受整数和浮点数,再统一转换为 double;坐标项数不对、包含无穷值或非数字,就直接拒绝。这样到了边界判断处,使用的仍是松手时记录的原始落点。

还有一种情况发生在原生侧:文件尚未准备好,Ability 或引擎已经分离。我给插件加了一个生命周期标识,分离时递增;异步任务恢复后,发现标识与开始时不同,就停止交付并清理。Dart 侧则在组件创建、更新和销毁时维护接收区状态,页面已经禁用,即使矩形位置没变,也不再接收。

这里的成功回执只表示 Dart 已经命中接收区,并发出了业务事件。旧版 onDragDone 是通知式回调,不会等应用保存、解析或上传完毕;业务里的异步读取出错,还需要页面自己处理。我显式设置结果,是为了通知系统插件是否接受了这次交付。原版的失败动效没有实际复现依据,官方文档也未规定不调用 setResult 就一定播放失败动画。

四、踩坑与边界条件

4.1 缓存何时能够删除

清理文件时,我把“明确拒绝”和“没有收到回信”分开处理。复制失败,或 Dart 明确拒绝接收,插件就删除自己创建的副本与目录。收到成功回执则保留文件,让业务继续读取。棘手的是最终回执超时:Dart 可能已经拿到路径,只是回信迟了。这时删文件会打断正在进行的读取,所以我选择保留副本,并在日志中记下回执不确定。

需要长期保留的附件,应用应另存到业务目录。清理临时副本时,范围限定在插件创建的缓存根目录,并避开仍在读取的文件;不能只看路径里是否含有某个字符串就递归删除。同沙箱直通的源文件不属于这些副本。

文件变大以后,磁盘剩余空间、源文件是否还能访问、复制花多久,以及多次拖拽之间的竞争,都可能影响结果。改用异步接口解决的是回调里同步复制的问题;大文件的吞吐量和内存曲线我还没有测,暂时无法判断它在这些负载下的表现。

4.2 被弹层遮住的页面仍可能接收文件

接入页面时还要留意弹层。一个 DropTarget 即使被新路由或弹层挡住,也可能仍挂在组件树上,矩形检测本身看不出业务页面是否允许接收。我会在页面不可接收时设置 enable: false。嵌套或重叠多个接收框则沿用旧版事件分发方式,并没有接入上游新版只选择最上层目标的行为。

如果原来只订阅原始事件、页面里没有 DropTarget,也要调整接入方式。这份鸿蒙修订会检查有效接收区和完成回调,两者缺一就不交付文件。公开方法签名虽然没改,原始监听器现在只能观察坐标,不能单独让文件被接受。

宿主中需要声明 "2in1",应用才能以电脑设备形态安装运行。声明之后,页面仍要自己适应窗口尺寸;Example 为了比较落点而固定的窗口矩形,不适合原样搬进业务布局。还有一点容易漏掉:修改原生插件后,需要重新构建和安装 HAP。只热重载 Dart,运行的仍可能是之前那份 ArkTS 文件桥接代码。

宿主 2in1 声明与鸿蒙逻辑坐标缩放条件

图11 关键配置

4.3 已测范围和接入限制

范围证据与适用边界
自由窗口中的两个小文本文件当前修订已完成模拟器双包同轨迹截图、动图与运行日志核验
框外、禁用、销毁后的拒绝有 7 项 Dart 回归测试覆盖接收区命中、禁用与销毁边界
异步复制、失败清理、回执异常有原生逻辑测试与 HAP 构建,不代表系统授权实测
目录、媒体与大文件目录拒绝;媒体和大文件没有运行成功结论
多引擎、外接副屏、其他平台未验证;不能从单模拟器结果外推

表2 验证边界

如果接入场景也是同应用中的文本附件预览,可以先参考前面的坐标与路径处理。若文件要从系统文件管理器或另一款应用拖过来,我建议再检查真实来源授予的 URI 权限,以及文件在业务读取期间是否仍然可用。单元测试里的虚拟 URI 能帮助检查处理顺序,系统是否授权还得由实际来源来确认。

五、结论与可直接复用的建议

对于开头的附件预览页面,坐标与路径交付修复后,用户已经可以把两份小文件拖进框里查看内容,业务仍通过 desktop_drop 的公开接口接收。我接入的这份源码基于社区 0.6.1,包名没有改;pub.dev 的同名版本、社区原始标签和带补丁的源码分支不是同一份实现,所以依赖来源也要固定。社区主仓发布新标签前,可以在 pubspec.yaml 中直接引用公开复现分支(若已克隆到本地同级目录,也可改用 path: ../desktop_drop):

dependencies:
  desktop_drop:
    git:
      url: https://atomgit.com/abaoge/fluttertpc_desktop_drop.git
      path: packages/desktop_drop
      ref: fix/ohos-desktop-drop-window-offset

页面继续导入 package:desktop_drop/desktop_drop.dart。把下面两个完整方法放进页面的 State,并准备两个状态成员:_hovering 初值为 false,_message 初值为“拖入文本附件”;同时导入 dart:convert 和 Flutter Material。这里先取文件总长度,再最多读前 4096 字节作为摘要,首行预览就不用把整个附件装进内存。

Future<void> _handleDrop(DropDoneDetails details) async {
  if (details.files.isEmpty) return;
  final item = details.files.first;
  try {
    final length = await item.length();
    final end = length < 4096 ? length : 4096;
    final bytes = await item.openRead(0, end).fold<List<int>>(
      <int>[], (buffer, chunk) => buffer..addAll(chunk),
    );
    final firstLine = utf8.decode(bytes, allowMalformed: true)
        .split('\n').first.trim();
    // 异步读取回来后,页面可能已经关闭。
    if (!mounted) return;
    setState(() {
      _hovering = false;
      _message = '${item.name}($length B):$firstLine';
    });
  } catch (error) {
    if (!mounted) return;
    setState(() {
      _hovering = false;
      _message = '读取失败:$error';
    });
  }
}


Widget build(BuildContext context) {
  final active = ModalRoute.of(context)?.isCurrent ?? true;
  return DropTarget(
    enable: active,
    onDragEntered: (_) => setState(() => _hovering = true),
    onDragExited: (_) => setState(() => _hovering = false),
    onDragDone: _handleDrop,
    child: ColoredBox(
      color: _hovering ? const Color(0xFFE0F2FE) : const Color(0xFFF8FAFC),
      child: SizedBox(height: 160, child: Center(child: Text(_message))),
    ),
  );
}

我在这段预览里按 UTF-8 解码,并允许截断处出现不完整字符,所以它只适合看摘要。要核对内容是否完整,需要另外做校验。一次拖入多份文件时,可以逐份处理 details.files;接收二进制内容时则直接使用字节流,再按业务要求检查大小和内容,不能只看扩展名或 UDMF 记录类型。

💡 接入业务页面时,我会让提示文字跟着读取结果走:读完再展示摘要,出错则显示失败提示。页面被遮挡时关闭 enable,需要长期保留的附件另存到业务目录。普通接入只需放置框和读取处理,Example 的固定窗口布局不用搬过来。

小结

两份附件终于能在页面里显示摘要,问题也落到了具体代码上:标题栏偏移影响命中判断,URI 与路径的混用阻断了读取。我排查时先看完成回调有没有到,再沿着文件地址往下查,这个顺序帮我把两处故障分开。加入异步复制后,还得考虑文件会被用到什么时候;最终回执不确定时先保留副本,是为了给可能已经开始的业务读取留出时间。

参考资料

  1. desktop_drop 上游文档与源码
  2. HarmonyOS 拖拽事件与 DragEvent
  3. HarmonyOS UnifiedDataChannel
  4. HarmonyOS 文件访问接口

相关推荐

React Native 鸿蒙长列表优化实战:用静态审计加运行时探针守住 FlatList 的四条底线

本文提出并实现了一套针对 React Native 长列表的“双层守卫”机制:静态审计(7 条反模式规则,可集成 CI)与运行时渲染探针(renderItem 采样 + rAF 帧间隔归因)。通过在 OpenHarmony 模拟器上对 400 行数据的实测对比,验证了 ScrollView+map 方案在首帧、内存、滚动上的显著劣势,而优化后的 FlatList 虚拟化方案有效降低视图常驻与维护成本。工具链已开源,支持快速定位问题、自动化拦截劣质代码,提升长列表性能与可维护性。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 27

Cordova 鸿蒙空间音频实战:让网页里的声音“绕着头转“

本文通过一个零原生代码的纯JS Cordova插件,实证解答了WebView中“真”空间音频的可行性:基于ArkWeb(Chromium内核)的Web Audio API,HRTF卷积空间化可原生支持,采样率48kHz,延迟仅108ms。插件以一行ArkTS未写的方式,实现跨平台空间音频合成,通过探测机制动态降级,并解决纯JS插件注入hcordova宿主的兼容难题。效果验证显示方位角拖动与理论值高度一致,揭示了前后镜像等物理边界。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 34

ReactNative鸿蒙实况窗实战:让订单状态“跟着JS走“

本文以 React Native 0.84 + RNOH 0.84 为基底,详解实况窗发布链路的六跳桥接机制:从 JS 侧纯 TS 构造 payload(①),经 JSON 序列化(②),通过手写 JSI 胶水(③)跨至 ArkTS,由 TurboModule 解析并注入 wantAgent(④),最终调用 liveViewManager 发布。全程依赖 hilog 逐跳验证,确保字段、序列号、耗时精准对齐。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 35

Cordova鸿蒙实况窗实战:让实况窗卡片“长在网页里“

在鸿蒙Cordova环境下,通过纯JS实现“零原生”实况窗预览:将payload构造层与预览器完全剥离原生依赖,利用DOM渲染实现胶囊与卡片的0.5ms级高效更新。依托esbuild打包与UMD注入,三端同构状态机精准映射HMS kits字段,probe()明确标识沙箱不支持HMS kits的边界。实测显示,外卖、打车、比分场景的动态切换与左滑分享交互均可在页面内完整模拟,验证了纯前端方案在能力边界内的可行性与高性能表现。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 32

Cordova 鸿蒙渲染耗时实战:给 ArkWeb 容器装上 FCP、长任务和构建期审计的三只眼

本文针对Cordova应用在OpenHarmony上的渲染性能问题,提出“三层探针”方案:通过javaScriptOnDocumentStart注入PerformanceObserver采集页面指标(FCP、LCP、longtask),ArkTS插件记录容器加载耗时(onPageStart→End),构建期审计器扫描www/识别布局抖动、同步读写几何等反模式。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 43

Qt 鸿蒙电脑多屏适配:拔掉外接屏,窗口怎么回到主屏?

本文介绍基于Qt的鸿蒙跨平台窗口恢复方案,针对外接屏拔插导致窗口坐标异常问题,提出“屏幕接力”机制。通过判断屏幕是否存在、计算窗口在目标屏的可见区域,实现窗口自动回主屏。核心逻辑包括:动态检测屏幕变化,优先使用同名屏或主屏作为目标,结合qBound确保窗口尺寸与位置在可用区内,并通过延迟回调避免状态冲突。实测验证了单屏环境下窗口恢复的正确性,强调需双屏环境进一步验证热拔插与重启场景下的兼容性。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 59

React Native 接入鸿蒙推送:冷启动工单路由与令牌排查

本文基于HarmonyOS跨平台开发框架RNOH,通过真机与模拟器实测验证工单推送功能。重点分析冷启动与热启动下路由参数传递、推送令牌获取(返回1000900010)及重复入口处理机制。实验表明:原生侧缓存工单号,React Native就绪后通过轮询接收,有效避免事件丢失;重复发送相同工单不增加计数,确保状态一致性。建议后续结合Push Kit服务配置与调试Profile完成完整推送链路验证。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 78

Ionic 接入鸿蒙应用 Skill:两件耗材同名时,先确认库位再查询

本项目基于鸿蒙跨平台框架,实现Ionic应用与ArkTS查询逻辑的统一,验证“问得少、答得准”策略:同名物料先返回候选库位,用户确认后才显示数量;唯一命中则直接返回结果。通过真实设备与模拟器测试,确保状态管理正确,取消后可重查,提升交互效率。代码复用性强,适用于多端一致的库存查询场景。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 38

Cordova 电量插件重订阅:为什么第二轮收不到当前电量?

本文分析了OpenHarmony跨平台Cordova电量插件在MatePad Edge设备上的订阅问题:原版插件停止后重启无法接收新电量状态,原因在于JS层缓存旧值导致同值过滤失效。修复方案为在首次订阅时重置_level和_isPlugged状态,确保每轮订阅都能收到初始值。测试验证修正版在真机与模拟器上均能稳定触发每轮状态回调,且不影响原有去重机制。关键点在于区分“当前值”与“变化通知”,并明确生命周期管理,避免因状态残留影响新订阅。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 29

Ionic 接入鸿蒙日历:会议改期两次,系统怎么只保留一条?

本文通过真实设备测试,验证了在鸿蒙系统中跨进程重启后,应用能否正确识别并更新同一日历事件。核心在于使用固定业务标识(identifier)而非标题或时间匹配事件,确保改期、重启、删除等操作均能准确追溯同一记录。测试显示,两次改期后事件ID保持不变,重启后仍可找回原事件,证明系统未误触发新增。同时强调:仅靠回读结果判断写入是否成功,需同步核对条数、事件ID与时间,避免因状态不一致导致逻辑错误。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 34

React Native 在鸿蒙读取 EXIF:三张 JPEG 能读出哪些信息?

本文基于HarmonyOS跨平台开发实践,实现React Native与ArkTS间EXIF信息读取的原生桥接。通过三张预设样片(含时间、坐标、空标签)验证了在MatePad Edge真机及模拟器上对拍摄时间与GPS坐标的准确读取能力,结合Pillow独立回读校验,确认字段缺失由原生层统一归零处理。桥接层采用逐项请求策略,避免因部分字段缺失导致整体解析失败,并通过默认值收敛机制返回null,便于前端区分“无数据”与“解析异常”。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 35

React Native 接入鸿蒙 OCR:双栏讲义怎么读才不串行?

本文基于OpenHarmony与React Native跨平台框架,实现双栏讲义的智能OCR阅读排序。通过保留原始识别框坐标,对比“按纵坐标”与“按列阅读”两种策略,验证后者在保持语义顺序上的优势。实验表明,仅依赖纵坐标易因行框位置微小偏差导致错序,而按栏分组后按纵坐标排序可准确还原人工参考顺序(10/10匹配)。系统通过中缝判断跨栏行,结合原图像素坐标与缩放比例,确保界面高亮精准对应。代码设计强调坐标完整性与逻辑分离,支持后续版面自适应优化。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 23

Ionic 接入鸿蒙文档扫描:三页巡检单怎么合成一份 PDF?

「折页扫描」应用通过鸿蒙系统编辑器实现PDF文档的删页、旋转与导出。测试中,四张样张(封面、作废附件、检查表、签核页)经编辑后生成3页正向PDF,文件大小178,479字节,内容与预期一致。关键在于:系统编辑器返回的PDF由实际操作结果生成,而非重新构造原始图像;通过pdfinfo与逐页渲染验证页数与方向,确保交付成果准确可复现。插件回调机制保障流程唯一性,避免并发问题,实现端到端可信交付。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 23

Ionic 接入鸿蒙文搜图:应用重启后,搜索结果还能打开原图吗?

本文通过鸿蒙跨平台项目演示图像搜索与文件读取的完整链路:使用Capacitor调用原生Vision Kit进行文本搜索,结果仅传递图片ID至Ionic页面,点击时由原生侧根据沙箱路径读取文件。实测验证了重启、进程强制结束、文件移除等场景下的行为,强调索引与文件存储分离的重要性,确保“搜索可查、打开可读”。关键点包括:避免同名覆盖、持久化标识映射、点击时二次校验文件存在性,以及合理处理空结果与文件丢失的差异反馈。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 26

Cordova 接入鸿蒙主体分割:商品图怎么导出成透明 PNG?

本文记录一个 Cordova 商品图工作台在鸿蒙 MatePad Edge 上的实测:选图后调用系统主体分割,把前景编码为 PNG,网页用离屏 Canvas 重读 Alpha 校验透明度,再由系统文件选择器原样落盘。核心结论是预览与导出共用同一份字节,文件是否透明只由独立解码后的 Alpha 决定,而非棋盘格预览。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 27

Electron 鸿蒙媒体实战:打通小艺 Skill 与 Agent 语音指令,TCP 桥实现 Electron 跨端语音操作闭环

本文探讨了在鸿蒙系统上运行 Electron 应用时,实现小艺语音交互的“三个世界”挑战:渲染进程、主进程与宿主 UIAbility 间无共享运行时。通过回环 TCP 桥接方案,将 ArkTS 的 ASR/TTS 能力与 Electron 的媒体控制逻辑打通,实现指令路由与执行仲裁。采用统一意图目录(纯规则 NLU),支持桥在线时由 Electron 执行,离线时自动切换原生兜底。实测验证了真机闭环协议,展示了从语音输入到播报反馈的完整链路,为跨平台语音代理提供可复用架构。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 52

Qt 鸿蒙日历读写实战:Qt Widgets 通过 JS 桥打通 C++ 与 ArkTS CalendarKit,封装 qt-ohos-calendar 三方库,解决同步调用与异步 Promise 矛

Qt应用在鸿蒙上实现日历互通,面临Qt C++与ArkTS系统日历接口隔离问题。通过封装qt-ohos-calendar库,利用Qt for HarmonyOS自带的JS桥(QOhosJsThreadGateway),将同步调用转为异步处理:Qt侧以QObject定义接口,ArkTS侧通过串行队列收敛Promise,实现权限申请、日历创建、事件增删改查等操作,并借助快照轮询机制确保状态一致。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 40

KMP 鸿蒙日历:Kotlin/Native 内核 + NAPI 桥接 CalendarKit 实战

Kotlin Multiplatform 在鸿蒙上实现日历功能面临“三层世界”挑战:业务逻辑(事件归一化、RRULE处理)由Kotlin/Native负责,系统日历调用通过ArkTS的CalendarKit完成,中间依赖NAPI胶水层仅传递JSON字符串。项目通过自研KMP工具链(CPF-KMP-CMP)构建ohosArm64/x64双目标.so,并封装为HAR库,确保胶水层最小化、不感知业务字段。实测验证了权限申请、跨进程读写、周期规则转换等核心流程,日志与系统日历联动,证明方案可行。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 23

Qt 鸿蒙沉浸光感实战:同一份规格对接双渲染器,打通 Qt 与 ArkUI 跨运行时通道,搞定系统玻璃材质、Qt 自绘对齐

本文聚焦Qt for HarmonyOS中玻璃效果的跨运行时对齐问题,提出“单一事实来源”方案:将材质参数表(五档模糊、赋色、高光等)封装为C++17内核,供Qt与ArkTS共享。通过napi_threadsafe_function实现跨线程请求/回调,确保弹窗、菜单等系统组件使用真实材质,同时自绘玻璃与系统风格一致。实测验证参数可测量、闭环可控,关键链路如overlay.show→dismissed完整无损,最终达成“同一规格,双渲染器”的沉浸式体验统一。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 51

打通 CMP 与鸿蒙系统智能:三方库承载语音匹配、TTS 播报、小艺 Agent 调用与意图回调全链路

本文通过 cmp_ohos_ai_agent 库,详解 Kotlin/Compose Multiplatform 如何实现鸿蒙小艺语音闭环。从技能注册、麦克风输入到 TTS 回话,再到反向接收系统意图与调起智能体组件,揭示跨端框架与 ArkTS 间双向桥接的实现机制。结合真机实测(华为 nova 14),展示能力探测、设备状态同步、指令匹配与执行回执全流程,并解析权限、组件不可渲染等关键坑点,验证了在 CMP 下完成完整语音智能交互的可行性。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 43

Qt for HarmonyOS 语音智能体落地:qt-ohos-ai-agent 三方库实现本地指令与小艺双向联动,拆解 NAPI 桥接

本文探讨了在鸿蒙系统上运行Qt应用时,如何实现语音指令闭环——将Qt Widgets界面与鸿蒙原生语音能力(CoreSpeechKit、textToSpeech、AgentFrameworkKit、InsightIntent)深度融合。通过构建三层架构:纯C++17核心(解析+状态机)、ArkTS HAR模块(语音/播报/小艺调用)、Qt服务类(JS桥接),实现“应用内说话”与“对小艺说话”共享同一套语义理解大脑。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 36

KMP 鸿蒙空间音频与智能体落地:绕开 JS 桥阻塞,OHAudio 原生渲染,小艺语音指令实现声场动态重排

本文探讨了在Kotlin Multiplatform(KMP)开发鸿蒙应用时,实现“媒体+AI”闭环的挑战与解决方案。核心难点在于音频渲染需在系统音频线程中实时执行,而小艺语音识别、合成及AgentFrameworkKit仅支持ArkTS,导致KMP难以直接调用。作者通过cinterop暴露libohaudio.so接口,将音频处理逻辑下沉至Kotlin/Native,确保低延迟;同时将意图识别、声场重构等核心算法全量移入commonMain,实现纯Kotlin闭环。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 75

CMP 鸿蒙日历读写实战:Compose 月历跨 Kotlin/C/ArkTS 桥接 CalendarKit,自建独立日历账户

本文详解了在鸿蒙CMP(Compose Multiplatform)环境下实现跨语言日历读写的完整链路:Kotlin通过C API头文件与ArkTS via NAPI桥接,以字符串通道传递id, op, argsJson指令,实现权限感知的本地/系统日历降级存储。核心突破在于将CalendarKit封装为CMP库,利用协程挂起-恢复机制完成异步通信,并确保日程写入自建日历账户(如“CMP日历”),最终在系统日历中可见且归属明确。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 95

CMP 鸿蒙沉浸光感实战:弹窗菜单复用系统材质,自绘画布按算力档位对齐,打通 CMP 与 ArkUI 双轨渲染链路

本文通过一个跨端示例工程,深入解析鸿蒙API 26中ImmersiveMaterial的底层机制:它并非普通贴图,而是仅作用于特定系统组件(如弹窗、菜单)的“系统材质”,具备档位分级、算力降级与生效范围限制。文章揭示了如何在CMP框架中封装该能力——将弹窗/菜单壳交还ArkUI实现真材质,自绘内容则通过标定参数模拟其模糊、着色、光效等特征,确保在模拟器与真机上视觉对齐。项目已开源,提供完整实现与社区支持。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 74

Electron 鸿蒙系统级 TTS 实战:把声音交给操作系统,把队列留给自己

本文探讨在 Electron 与 HarmonyOS 上实现“系统级 TTS”的挑战与解决方案。Electron 因主进程无渲染环境,需通过 1×1 隐藏 renderer 托管 speechSynthesis;鸿蒙则受限于 Core Speech Kit 的接口约束,如无暂停、边界事件等。二者均采用文本分块队列与请求唯一标识管理长文本播报。代码已开源,展示跨平台系统语音集成的实践路径。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 130

KMP 鸿蒙系统级 TTS 实战:让队列里的每一句都说完整

本文基于鸿蒙2in1平台,通过KMP工程实现一个离线TTS合成引擎,解决平台回调两次、事件乱序、资源复用等难题。核心在于:以ArkTS为入口,Kotlin负责队列与状态机,统一归一化平台回调,确保“合成完成”与“播放完成”精准区分;通过requestId管理请求生命周期,支持抢占与过期事件丢弃,保障多任务有序执行。实测24项JVM用例全通过,状态机稳定可靠,适用于无障碍朗读、订单播报等离线语音场景。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 186

Cordova 鸿蒙系统级 TTS 实战:让 WebView 里的文字“开口说话“

本文以鸿蒙7.0真机实测为例,剖析Cordova插件cordova-plugin-tts-ohos从JS调用到系统TTS引擎的完整链路:通过一层C++桥接实现JS与ArkTS通信,依托Core Speech Kit完成离线语音合成。重点揭示“384ms播完”截图的误导性——实际为合成完成而非播放结束,修复后耗时达9.2秒,强调onComplete.type区分合成与播放终态的重要性。同时说明事件流需保留keepCallback状态,确保Promise在真正播放结束后才resolve,避免竞态。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 217

Qt 鸿蒙系统级 TTS 实战:让 QML 借系统的嗓子说话

本文基于 Qt 5.12.12 与 HarmonyOS,通过一个 QML 插件(SpatialTts)实现跨平台系统级 TTS:桌面调用 Qt TextToSpeech,鸿蒙对接 Core Speech Kit。核心创新在于将队列、状态管理与音色控制统一于 Qt 侧,后端按编译期选择,鸿蒙端通过 JS 线程桥(QOhosJsThreadGateway)调用 ArkTS 接口,并完成宿主注册。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 202

React Native 鸿蒙系统 TTS 实战:让表面开口

本文介绍了一个基于 React Native 0.84 的鸿蒙三方库 spatial-glass-rn,实现系统离线 TTS 语音播报的全链路集成。通过拆解长文本分段、JS 侧队列管理、跨平台事件归一化与状态同步,将系统级语音引擎(鸿蒙 Core Speech Kit)与光感表面视觉组件融合,构建出无网络依赖、零额外体积、隐私安全的语音交互体验。真机实测验证了在仓储、巡检等场景下的稳定性与实时性,解决了三端语义不一致问题,实现了“状态可读、进度可视、操作可控”的沉浸式语音反馈。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 220

React Native 鸿蒙端侧 AI 图像超分实战:让 NPU 把细节补回来

本文详解在鸿蒙PC上基于React Native 0.84的react-native-ohos-ai-vision库,实现512px图像通过NPU进行4倍超分并返回JS的完整链路。核心突破在于:通过显式引擎标识(engine字段)与可验证校验和,区分AI(Core Vision Kit/NPU)与CPU双三次回退路径,确保结果可信。实测证明,仅当factor=4且API≥26时启用NPU,否则自动降级至确定性双三次算法,全程无网络依赖,端到端耗时约3.6秒,效果真实还原细节。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 181
上一篇: Flutter 鸿蒙电脑三栏窗口适配:修复 desktop_window 尺寸缩水与全屏切换
下一篇: Flutter 修复鸿蒙平板方向控制:阅读页与全屏内容切换
AtomGit 代码君
AtomGit 代码君 企业官方账号 企业官方账号
博客等级 码龄6年 2万+粉丝 986原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址