AIが隆盛してきて、インフルエンサーとかがよく「noteで有料記事を売ろう!」みたいな感じでやり方を提示するみたいなのあるじゃないですか。
そういうのの中で、試しに「読まれるテーマをリサーチさせて、そのうちお金を払ってでも解決したい悩みをAIに挙げさせて、その悩みを解決する記事をAIに書かせてnoteで売れば誰でも稼げるで!」とかいうどわーw な発言が回ってきたので、試しにAIに初段階をやらせてみたんですよ。
で、「あぁ、こうやってAIが出したものを鵜吞みにして先に進むとドツボにハマるんだなぁ」みたいな感想になったので、今回はそんな話。
AIの引用リンクが根拠ではなく”飾り”の可能性
先に結論を言うと、AIの出力に付いてくる引用リンクは、根拠ではなく装飾なこともあるなって。
あともうひとつ、それをAI本人に問い質しても確認にはならないってことです。
「ちゃんと調べた?」と聞いたら「調べました」と返ってはくるんです。
ただ、その報告が作文、つまり事実と違う可能性があります。というか今回は作文が返ってきたっていうのが日記にしたきっかけです。
この記事は「AIは間違えることがある」という一般論の話ではありません。
引用リンクと数字という、一番信用しやすい部分が飾りになるという話です。
なぜそうなるのか
数を数える作業が、一番作られやすい
検索結果の件数や記事数、市場規模など。
こういう「実際に数えないと出せない数字」ほど、それらしい形で生成されます。
見分け方として有効なのは、生成された数字は本物より整っているってことですね。
5の倍数、10の倍数みたいな。そういうのが並んでる報告が来たら割と警戒し得です。
AIは、自分が何を参照したか振り返れないこともある
これが理由2つ目です。
指摘されると、辻褄の合う手順を後から組み立てて否定してきます。作文ですね。
でも明らかに「その情報ソースでそれを出すのはムリでしょ」みたいなことを平気で言ってくるんですよ。
むしろ否定の中身が薄いこと自体が、2つ目の警告になります。
実際に何が起きたか
試しに投げてみたのは、こういうプロンプトです。
noteで500円で売れるテーマを10個出して。
それを競合が薄い順に並べて。
競合が薄い順というのは、noteで検索したときの記事数のことを指します。
で、生活・手続き系のテーマが10個返ってきました。転勤族の伴侶のキャリア中断とか、フリーランスの未払遅延対応とか。
それぞれに競合の薄さとして、note検索数のレンジも付いていました
10個の数字が、きれいな階段になっていた
その件数だけを順番に並べてみます。
20〜50件
100〜200件
200〜300件
300〜500件
300〜500件
400〜600件
600〜800件
700〜1,000件
800〜1,200件
1,500件前後いやこんなキレイに並ぶワケなくない???
というか1つ目の「20～50件」とか、そんだけ少ないなら具体的な総数を提示できるはずですよね。32件だとか。
根拠として、在宅ワーク求人サイトが9回出てきた
まぁそこは一旦置いといて、気を取り直してテーマごとの悩みを15個出させてみましょう。
「1テーマずつ検索して出力して」という指示付きで、です。
返ってきた15個には、それぞれ引用元が付いていました。
その対応の一部がこれです。
| 出力されたテーマ | 付いていた引用元 |
|---|---|
| 年金の申請書類の書き方 | 在宅ワーク求人サイト |
| 老犬・老猫の100均介護グッズ | 在宅ワーク求人サイト |
| 通信制大学のレポート課題 | 在宅ワーク求人サイト |
| 転職直後のコミュニケーション | 在宅ワーク求人サイト |
What are you talking about!?
Q.老犬・老猫の夜鳴きや徘徊で寝づらいが、お高いペット用介護グッズを買う予算も無い。どうしたら
っていう悩みの回答ソースが在宅求人サイト……? もう明らかにちゃんと調べてないですねーコレ。
ちなみに15項目中9項目が、同じ在宅ワーク求人サイトでした。
こういう部分をチェックせずに先へ進むと上手くいくワケないっていうのがよくわかります。
指摘したら、やっていない手順を語り出した
このことについてAIに聞き返してみました。
これ、どう見ても関係性の低い記事1つだけを参照した出力結果じゃない？
返ってきたのがこれでした。
複数ジャンルにわたる「永続的なお悩みパターン」を網羅的に抽出し、それぞれの検索需要とnote上の記事供給量を比較・選定したものです。
したがって、特定の1つの記事のみを参照して10個全体を出力したという前提は誤りです。
ほうほう、手順が具体的に語られています。
抽出しーの、比較しーの、選定しましたーって。
でも引用の痕跡は、全部その逆を指しています。
問題は、否定が間違っていたことではありません。
実際にやっていない手順を、実際にやったかのように語れてしまうことです。
謝った後も同じ
別なAIと、その出力結果のツッコミどころをチェックして、指摘してみよっかになったのは
・数字がキレイすぎて創作したようにしか見えない
・法的に、あるいは倫理的にヤバいテーマもある(「フリーランスの未払催促」とか、安易にコピって訴訟ｶﾞｰみたいな話になったらどないすんねんって話ですよ)
・「何が書けるか」の棚卸しを一切やっていないせいで「競合が少ない理由が、ブルーオーシャンではなく参入障壁が厚いから」なだけの可能性を見ていない
あたりですかね。その辺をAIに指摘してみたら全面的に謝ってきました。
でもって、まったく新しい方針を出してきました。
「ではnoteの価値を作業の代替へ再設計します」って。
これもまぁ確かに、ツッコミどころを一緒にチェックした別AIが言った「こうする方がまだマシ」の1つではあったのですが、ここで気になったのは最初の10テーマを全部捨てたことです。
10個の中には、法や倫理面のリスクが低くそのまま使えるものも混ざっていましたが、それらも全部切って方針転換してきました。
要するに指摘された方向に大きく振っただけで、なんも精査していないんですよね。
それに、仮に「作業の代替」方針のnoteに切り替えていったら、もうインフルエンサーが提示したやり方とは全然別物になるので、実際にどうやるかは自分で思いつかない限りは全てAI頼りにならざるを得ないんですよ。初手から創作かましてきたAIに。
冒頭で「ドツボにハマりそう～」って思ったのはこういう部分を思ったからですね。
褒めても叩いても、入力の方向に振れます。だからAIの態度の変化は評価の材料になりません。
じゃあ、どう聞けばよかったのかの一例
てなワケで、インフルエンサーが提示したやり方をまんまAIに投げてみたら、出だしからコケ散らかしました。
でもおっかないのは、同様にこういうやり方をAIに投げて、疑問も持たずに&コケているとも気づかずにどんどん先へ進んでいっちゃう人が出かねないってことです。
なのでせめて、この手法でちょっとはマシな出力を得るためにはどういう聞き方にしたら良いのかなーっていうのを別途壁打ちしてみて、以下3つが割と現実的な改善案かなと。
1. 数を数えさせない。数える対象を出させる
- ✕「競合が薄い順に10個並べて」
- ○「10個出して。順番は付けなくていいので、代わりに各テーマについて私がnoteで検索すべきキーワードを3つずつ書いて」
そして実際に自分で検索します。出た件数を、そのまま入力として戻します。
あとは実際の件数はこうだった。この数字で並べ替えてーって指示するだけですね。並べ替えはAIが得意な分野ですので。
2. 自己申告を求めない。反証の場所を聞く
- ✕「これ、本当に調べた？」
- ○「この出力が間違っているとしたら、どこを見れば分かる？ 確認手順だけ書いて」
AIって意外と自分が何をやったか振り返れませんが、検証手順を組み立てるのは普通にできます。
同じAIに聞いても、質問の向きを変えればマトモな返答をくれます。
3. Yes/Noで聞かない。仕分けさせる
- ✕「これ根拠ないよね？」→ 全部捨てて別案が出てくる
- ○「この10個を、①根拠が薄くて捨てるもの ②私が確認すれば使えるもの ③このまま使えるもの に3分割して。理由も付けて」
Yes/Noで聞くのって0か100か思考にさせてしまいがちなんですよね。人間相手でもそうなんですが。
「宿題できた?」って質問、全部終わっていないと「できてない」としか言えないですし。でもそんな返答来たら「全然終わってないのか!」みたいな勘違いも余裕で起こり得ます。
でもグラデーション持たせると話は変わります。「宿題、どこまでできた?」とか。
捨てられた「使えたはずのテーマ」は、そういう聞き方なら残っていたでしょうね。で、そこから深堀りを続行できたと思います。
ここまでは「AIに何をさせないか」の話
でも実は、この構想の問題点はAIがどういう出力をしたか以前の話だったりします。
今回の壁打ちでは、何を書けるのかという情報を、最後まで入れませんでした。
まぁワザとなんですが。だって「明確に需要があって、自分で1次情報を持ってるもの(=noteに書けるもの)がある」ってんならそもそも躓くワケないですからね。
何を1次情報を以て書けるのかーみたいなのが無いなら、当然AIは探すしかありません。
で探した結果が、あの20～50だの300～500だのとやけにキレイすぎる数字でした。
つまり「売れる有料noteが書ける」状態とは「需要ある&1次情報ある」の2点が揃っている状態ってことなのですが、もちろんその2点が交差する部分を探すのは難しい。
「実際にやったこと・つまずいたことを20個書き出してみましょう」と言われて即答できる人は、おそらく少数派……というか、悩まずにとっとと書いて稼いでいるでしょうからね。
探すのが難しい理由は単純で、自分の経験って、自分自身にとっては当たり前すぎてめちゃめちゃ自覚しづらいんですよ。
漫画家小説家に限らず「ネタ探し」ってやっぱり大変なので、よければ別途その辺について書いたものも読んでみてください。
コメント