ApowerMirror付録情報
ここでは本編の「WindowsのApowerMirrorからのiPhone操作」で説明していなかった情報を紹介致します。
2台のPCを使用するケースの情報も扱っていますが、ここで利用している2台のPCというのはHyper-Vのホストマシン(実機)とその仮想マシンです。
- 環境
- 1台目のWindowsマシン(実機)
OS:Windows 11 Pro (22H2)
ApowerMirror:v1.7.15.3[安定版]
ApowerMirrorの設定ではPC側からのミラーリング時の音声設定は次のようにしています。
両方とも音声を再生 | 受信側だけ音声を再生 | 音声再生のされ方 |
オン | オン | ミラーリング先のデバイスのみで再生される (Windows側では音声再生されません: 自動的にミュートモード設定になります) |
Hyper-Vのホストマシンとしても使用しています。
PC名:BIRD27(任意の名称です)
- 2台目のWindowsマシン
OS:Windows 11 Pro (22H2)
ApowerMirror:v1.7.15.3[安定版]
ApowerMirrorの設定ではPC側からのミラーリング時の音声設定は次のようにしています。
両方とも音声を再生 | 受信側だけ音声を再生 | 音声再生のされ方 |
オン | オン | ミラーリング先のデバイスのみで再生される (Windows側では音声再生されません: 自動的にミュートモード設定になります) |
Hyper-Vの仮想マシンとして実行します。
PC名:HVWIN11A(任意の名称です)
- iPhone側
iPhone 8 Plus/iPhone 12
ApowerMirror:v1.4.15.4
Assistive Touch:オン(ホーム画面に戻す際に使用します)
iPhoneをWi-Fi接続してWindows側と通信できるようにしておきます。
- Bluetoothペアリング
iPhoneとWindows(実機)のBluetoothペアリングの実施(iPhoneをWindows側からマウス操作する際に必要となります)
今回はiPhoneへの文字入力は実機操作同様にオンスクリーンキーボードを使用する形態にするためBIRD27へのペアリングは一つだけとしています。
- PC画面の擬似分割について
Smart TV BoxのT96 miniには画面分割モードがありますが、PC(Windows)には画面分割モードがありません。
そこでPC実機の画面と仮想マシンの画面を使って擬似的な画面分割としています。
つまりPC実機と仮想マシンの両方でApowerMirrorを使用するという形態です。
下記は擬似的画面分割モードの様子です。
(擬似的画面分割の利用ケースによっては仮想マシンの画面を左側画面と見立てて、PC実機の画面を右側画面と見立てている場合もありますが、どちらを左側にしても動きは基本的に同じかと思いますが...実際には違いが生じています)
- PC実機の画面を左側画面と見立てた擬似的画面分割
- 仮想マシンの画面を左側画面と見立てた擬似的画面分割
- PC画面の擬似分割利用例
PC画面の擬似分割利用例としてiPhoneの「写真」アプリの画像/動画のサムネイルを左側に表示して、選択した動画を右側(実機側)で再生させてみました。
ここで利用しているアプリは「TV Cast(D)」アプリで、iPhoneのミラーリング先(レシーバ)を左側の仮想マシンとし、「TV Cast(D)」アプリでのキャスティング先を右側のホストマシンにしています。
(1)PCから音声再生されます。
(2)動画選択での再生では問題ありませんが、画像選択では右側にはその画像は表示されませんでした(左側を実機画面にしても同様)。
(3)左側(サムネイル表示側)を仮想マシンにすると動画再生終了しても右側との接続は切れませんが、左側(サムネイル表示側)を実機画面にすると動画再生終了すると右側との接続が自動切断されました(実機と仮想マシンでのApowerMirrorの動作が違ってくるのでしょうか...)。
(4)画像しか扱えない「PhotoCast」アプリでも右側にはその画像は表示されませんでした。
- PCミラーリング時のiPhoneからのジェスチャ操作
ApowerMirrorの[PCをスマホにミラーリング]を実行するとiPhoneの右側に縦長のツールバーが表示されます。
そのツールバーの中の[(?)]というヘルプツールをタップするとiPhoneでのジェスチャとPCマウス操作との対応関係の説明が表示されます。
この説明画面でそれぞれの対応関係はすぐに分かると思いますが、一番右上の「ワンフィンガーでタップして移動(デスクトップ画面を移動)」というのは単純にマウスポインタの移動のことを指しています。
iPhoneへのPCミラーリングではiPhone画面に大小2個のマウスポインタ(後述)が表示されます。
- 大きいマウスポインタ(正式な呼び名は特に決まっていません)
ワンフィンガーでタップしてからの指の動き通りに動くマウスポインタです。
尚、この大きなマウスポインタはPCミラーリング開始時は一番左上隅にあります。
- 小さなマウスポインタ(正式な呼び名は特に決まっていません)
大きいマウスポインタの跡を追いかけるように付いてくるマウスポインタであり、この小さなマウスポインタの位置が左クリックとか右クリックとかの操作対象位置となります。
(小さなマウスポインタは大きなマウスポインタの追随マウスポインタ的存在なのですが、この小さなマウスポインタの位置こそが操作の対象となります)
- 大きなマウスポインタと小さなマウスポインタの重なり
小さなマウスポインタが大きなマウスポインタに完全に追い付いた場合、両者を区別せずに「iPhone側マウスポインタ」または単に「マウスポインタ」と呼ぶことがあります。
ここではiPhone側(iPhone 12)でのジェスチャ操作だけによる「PC側のメモ帳起動から文字入力及びテキストファイル保存」までの手順の流れを簡単に紹介致します。
- メモ帳の起動
iPhone側でのマウスポインタを「スタート」メニューから「メモ帳」に移動させて「メモ帳」のところでタップして起動します。
- メモ帳ウィンドウの移動
マウスポインタ(ワンフィンガー長押しドラッグ)を使って「メモ帳」ウィンドウを使いやすい位置に移動させます。
- メモ帳ウィンドウへの文字入力
キーボードツールを使って文字入力します。
- メモ帳のテキストファイルの保存
まず、マウスポインタでメモ帳の「ファイル」メニューを開きます。
次に、「ファイル」メニューの「名前を付けて保存」を選択してファイル名称を指定します。
最後にマウスポインタを「保存」に位置付けてタップして完了です。
保存したテキストファイルの簡易プロパティ表示も可能です。
- 文字入力のポイント
- キーボードツールの構成
ApowerMirrorのオンスクリーンキーボードは次のような構成になっています(「日本語ローマ字」の場合)。
(1)通常のiPhoneのキーボードと比べると一番上に「Send」と書かれた「文字入力バー」があります。
(2)入力した文字は一旦この文字入力バーに表示され、変換予測候補から候補を確定させて[Send]をタップして初めてメモ帳に送られます。
(3)[×]マークの「Back Space」キーは文字入力バー用のBack Spaceキーであって、メモ帳の中の文字カーソル(|)のある場所に対するBack Spaceキーではありません。
(4)「改行」キーは何の働きもしません。
- 入力モードの設定
PC側での入力モードは「A」(つまり「半角英数字」)にしておくのがお勧めです。
入力モードを「ひらがな」にしておくと文字入力バーで文字が確定されていない状態で[Send]をタップするとメモ帳の中でも確定されていない状態(Sendした文字への点線下線表示)になります。
- IMEパッドの活用
ApowerMirrorのオンスクリーンキーボードの「改行」キーではメモ帳での改行はできません。
更に、メモ帳での改行削除もできません。
そこで活用したいものがIMEパッドです。
IMEパッドを起動して常時表示させておくと改行操作や改行削除操作だけでなく文字カーソルの移動も楽に行えます。
(1)改行はIMEパッドの[Enter]のタップで行えます。
(2)改行削除は削除したい改行場所に文字カーソルを移動させてIMEパッドの[BS](Back Space)または[Del]で行えます。
(3)文字列削除もIMEパッドの[BS]や[Del]で行えます。
(4)文字カーソルの移動は矢印キー(←、→、↑、↓)で行えます。
(5)オンスクリーンキーボードからSendした文字入力の取り消しはIMEパッドではできないのでメモ帳の[編集]-[元に戻す]で行います。
- 入力された文字を見やすくする
ミラーリングされた画面をピンチアウトしておくとiPhoneからのマスウポインタ操作や文字入力操作もし易くなります。
- PCミラーリング時のiPhoneからのジェスチャ操作(Hyper-V仮想マシン編)
Windows 11のHyper-V仮想マシンに対するiPhoneからのジェスチャ操作の可否を試してみました。
結果的にはiPhoneからのマウス制御は不可となりました。
- 「仮想マシン接続」ウィンドウのメニュー操作不可
Hyper-V仮想マシンを起動してもそのホストマシンについてはiPhone側からのジェスチャ操作はできます。
しかし「仮想マシン接続」ウィンドウについては次のようになります。
- 「仮想マシン接続」ウィンドウの「ファイル」メニュー展開不可
マウスポインタで「仮想マシン接続」ウィンドウの例えば「ファイル」メニュー自体は選択できます。
しかし、その「ファイル」メニューの展開はできませんでした。
- 他の「操作」メニュー等についても同様でした。
- 仮想マシン自体へのマウス操作不可
Hyper-V仮想マシン自体へのマウス操作はできません(Hyper-V仮想マシンとのミラーリング接続がされている訳ではないので当然です)。
- 仮想マシン自体へのマウス操作不可対策
ApowerMirrorでホストマシンをiPhoneにミラーリングしている最中にHyper-V仮想マシンもマウス操作したい場合はどうすればいいのでしょうか?
答えは単純でそのiPhoneとHyper-V仮想マシン同士をLetsViewでPC画面ミラーリングすれば一応の対策にはなるかと思います。
iPhoneのApowerMirrorからはホストマシンをマウス操作できて、LetsViewからはHyper-V仮想マシンをマウス操作できます。
ApowerMirror画面とLetsView画面の切り替えはiPhoneのホームボタンを2回連続の早押しでのアプリ一覧からの切り替えで済みます。
尚、ApowerMirror画面とLetsView画面の切り替えを頻繁に行うとどちらかのマウス操作の反応が遅くなる現象が発生したことを付け加えておきます。
- PCミラーリング時のiPhoneからのジェスチャ操作(Virtual PC 2007仮想マシン編)
Windows 7上のVirtual PC 2007仮想マシンとしてWindows 3.1を実行し、iPhoneからそのホストマシンのWindows 7に対する[PCをスマホにミラーリング]を実行してみました。
iPhoneによるマウス操作はHyper-V仮想マシン同様にできません(これも仮想マシンとのミラーリング接続がされている訳ではないので当然です)。
下記はWindows 7に対する[PCをスマホにミラーリング]の画面をiPhone側でピンチアウトして拡大表示した画面です。
- Virtual PC仮想マシンのWindows 3.1デスクトップ
Virtual PC仮想マシンのWindows 3.1でのサウンドはPCから遅延再生されました。
- Virtual PC仮想マシンのWindows 3.1の動画
Virtual PC仮想マシンのWindows 3.1からwww.yahoo.co.jpへのping実行動画を公開致します。
・Windows 3.1でのping実行動画(送信/受信パケット数の映像のコマ落ちが目立ちます)
- 補足
(1)Virtual PC 2007はサウンドデバイスとしてSound Blaster 16をエミュレートします。
(2)Sound Blaster 16用のWindows 3.1用ドライバは存在しますがWindows 7用ドライバは現時点では存在しないようです。
(3)このオープンギャラリーでもiPhoneからWindows 3.1を操作する例(Windows 3.1デスクトップのVNCでの操作について)としていくつかご紹介してきましたがWindows 3.1のサウンドをiPhone側で再生できたのはこのApowerMirrorが初めてでした。
- オーディオデバイスなしの仮想マシンへの動画ミラーリングでの音声再生例
Hyper-Vの仮想マシンとしてWindows 7を実行するとコントロールパネルの[サウンド]では「オーディオデバイスがインストールされていません。」と表示されます。
Hyper-Vの仮想マシンとしてのWindows 7をここでは「Windows 7仮想マシン」と呼ぶことにします。
Windows 7仮想マシンでオーディオデバイスが使用できなければそのWindows 7仮想マシンに動画をミラーリングしても音声再生がされません。
また、Windows 7仮想マシンはHyper-Vの「拡張セッション」には対応していません。
もしWindows 7仮想マシンがWindows 11等のようにHyper-Vの「拡張セッション」に対応していれば、リモートオーディオ再生の「設定」もできるのですが...。
しかし、Hyper-VのホストマシンからWindows 7仮想マシンにリモートデスクトップ接続する際は、リモートデスクトップ接続の設定が可能となります。
その設定の中でリモートオーディオの設定で[このコンピュータで再生する]をオンにしておくとリモートデスクトップ接続の中では音声再生が可能となります。
リモートデスクトップ接続で音声再生が可能になったWindows 7に対してiPhoneから動画ミラーリングしてみます。
この場合の映像・音声の再生のされ方は以下の通りです。
| iPhone | Windows 7仮想マシン (リモートデスクトップ接続) |
映像 | 映像再生あり | 映像再生あり |
音声 | 音声再生あり | 音声再生あり |
Hyper-V環境と同様に、Windows 7(ホスト)のVirtual PC 2007の仮想マシンとしてWindows 7を実行してその「Windows 7仮想マシン」に対してリモートデスクトップ接続する際にリモートオーディオの設定で[このコンピュータで再生する]をオンにしておくとリモートデスクトップ接続の中では音声再生が可能となります。
Virtual PC 2007の仮想マシンへのリモートデスクトップ接続で音声再生が可能になったWindows 7に対してiPhoneから動画ミラーリングしてみます。
この場合の映像・音声の再生のされ方はHyper-V環境のWindows 7仮想マシンへの動画ミラーリングと同じになります。
- 1台のiPhoneによるPCホストマシンと仮想マシンの同時操作例
ホストマシンのデスクトップ上でHyper-V仮想マシンを起動した状態で1台のiPhoneからホストマシンと仮想マシンの両方を同時操作できるようにしてみました。
PCのホスト側でApowerMirrorを起動してiPhoneへのミラーリングを開始すると(実際にはiPhoneからホストマシンにApowerMirror接続して[PCをスマホにミラーリング]を実施)、そのiPhoneからホストマシンを操作(ジェスチャー操作/マウス操作、キーボード入力等)ができるようになります。
しかし、そのiPhoneからHyper-V仮想マシンのデスクトップ操作はできません。
それは仮想マシンがそのApowerMirrorにとってApowerMirror接続されていない別マシンとして扱われるからです。
それでは、そのiPhoneからHyper-V仮想マシンのデスクトップもホストマシンのデスクトップと同時に操作できるようにするにはどうすればよいのでしょうか。
その一つの解決策は「Hyper-V仮想マシンへRDP接続(リモ−トデスクトップ接続)すること」です。
これによって、iPhoneからホスト側デスクトップとRDP接続デスクトップを同時に操作できるようになります。
たとえば次のようなことが行えるようになります。
- 仮想マシンでのUSB接続デバイス(Webカメラ等)の接続とそのデバイスの利用
下記はリモートデスクトップ接続オプションでRemoteFX USB デバイスとしてWebカメラを選択し、iPhone側から操作利用している様子です。
- 仮想マシンへのキーボード入力
・オンスクリーンキーボードの文字入力バーへの確定文字列の蓄積
・文字入力バーの確定文字列の[Send]結果
上記の「リモートデスクトップ接続」利用方式はWindows 7(ホスト)上のVirtual PC 2007仮想マシンでも同じように使えます。