NERO, Ясно, кстати в первый раз было намного хуже, ты на пути к успеху :) Я в детстве читал книжку по кибернетике (книга советская, 60-х годов). Там ЭВМ сам придумал предложение, и даже вроде небольшой рассказ.
Что-то я вообще не понимаю смысла всего этого.
Если этот генератор для тех, кто не умеет, то почему бы не научиться, а не сваливать работу\часть работы на компьютер?
Конечно генератор будет работать плохо если его код пока еще очень сырой и используется лишь базовая фильтрация. В этом коде я вообще не применял никаких правил русского языка. Но тем не менее текст все-же получился синтаксически правильным. Вполне вероятно, что если этот генератор доработать, то он сможет генерировать синтаксически правильный текст на любых языках не используя при этом никаких правил из этого языка.
Сегодня полностью очистил БД и загрузил в нее только пролог легенды о сотворении мира, который я ранее публиковал в прозе прайдленда на 41 странице. Получил интересный результат, хотя код при этом не менял.
Что они пробовали есть траву, но трава оказалась не последовало, вместо этого особого дня. - Придет время львов начал одолевать голод. Внутри сознания что-то подсказывало им что некоторым львам нужно найти пищу. Они жили в своей силе, и стали просить, Айхею, создал прекрасный мир саванну, в межпрайдовые розни. Тогда они пошли на них, убивая одно животное за пределы слоновьего кладбища, стаями нападали на поляну где львы же продолжили выяснять кто из вас нарушит эту заповедь, то же продолжили выяснять кто из вас может случиться то же самое бросились в относительной безопасности и это и это и тогда Айхею подумал, что с Айхею. И стычки. Тогда между прайдами, пересекать которую, без предварительной договоренности, было выживать. И сделал это. Но конфликты по прежнему не помогло. Тогда они оказались несъедобными. Тогда львы собрались вместе и они пробовали есть траву, но конфликты вскоре переросли в этот день когда будет выделен лишь один из молодых львов, который еще не ел, ибо не осознал порядки нового мира. - Придет время львов одиночек. Иногда они жили в лапах, от Айхею подумал, что львам захотелось нечто большее, кому-то просто нужно взять под свой контроль некоторую площадь земли. Достаточно удержать этот клочок земли в воздухе. Львы были чрезвычайно уверены в поисках спасения от посягательств других львов и сказал им: - Придет время и конфликты. Если кто-то из них сильнее. И уменьшалась. Впоследствии львы поняли, что ж вы решитесь и никто никого не помогло. Тогда Айхею расширил границы мира, чтобы я ни делал для того конфликты и Айхею явился на них, убивая одно животное за другим. Утолив голод, львы собрались вместе и этого недостаточно. Вы жили парами бок о бок о том, от чего вы жили парами?
Бред конечно получился, но тем не менее в целом качество текста улучшилось. По крайней мере стало ясно что, нужно выделять отдельные главы, а не смешивать весь текст в кучу. Что ж, буду продвигаться дальше. Интересно посмотреть как изменится качество текста если заменить двухуровневую фильтрацию на трехуровневую.
Весь мир это только иллюзия, именно поэтому в этом мире нет ничего невозможного
Charlene Halcon, Этот генератор по своей сути является инструментом для "живого" исследования естественного языка, а за одно вместе с проведением этого исследования может быть удастся сделать что-нибудь толковое.
Сейчас к исследованию русского языка, да и вообще всех языков часто подходят с филосовской точкой зрения. И иногда эту философию могут развести так, что порой получается, что осознание языка чуть ли не является порождением космического разума и прочей там ерунды.
Лично я в это не верю, но создавая генератор я не пытаюсь заставить вас принять мою точку зрения. Мне просто интересно подходить к изучению чего либо чисто с практической точки зрения.
Вот собственно и все.
Balizard, Скорей всего второе, поскольку текст берется из уже написанного текста. Да и какой смысл вбивать в БД 12000 слов, если они все уже существуют в тексте. По сути если взять несколько книг и посмотреть на словосочетания, то можно выявить, что все эти словосочетания могут встречаться как в одной книге так и в остальных. Поскольку все книги состоят из одних и тех же слов, то можно сделать вывод что книга - это есть совокупность перемешанных слов в определенном порядке.
Весь мир это только иллюзия, именно поэтому в этом мире нет ничего невозможного
Взять хотя бы это предложение (см. выше) которое было сгенерировано:
Когда будет выделен лишь один из молодых львов, который еще не ел, ибо не осознал порядки нового мира.
Этот текст вполне претендует на осмысленный, хотя он появился в результате перемешивания конкретных слов в определенно-заданном порядке. Т.е. как я писал выше, программе были доступны только слова из определенной главы. Программа специальным методом перемешала их и в результате появилось новое уникальное предложение. Хотя как я уже говорил выше программа абсолютно не имеет никакого представления о нашем языке
Весь мир это только иллюзия, именно поэтому в этом мире нет ничего невозможного
Strange Frontier, От количества уровней фильтрации зависит качество построения предложения. Чем выше уровень тем вероятнее всего, что текст будет более осмысленным. Но фильтрацию нельзя применять до бесконечности. Во первых чем выше уровень тем больше требуется различных готовых текстов, а соответсвтенно возрастает сложность алгоритмов и существенно повышаются требования к вычислительным мощностям.
Весь мир это только иллюзия, именно поэтому в этом мире нет ничего невозможного
Matrasa, Синтезатор текста. Читает букву, ищет звуковой образец в БД, после чего воспроизводит заранее записанный фрагмент. В теории все просто, зато на практике нет, иначе бы этот синтезатор давно бы всем книги читал.
Весь мир это только иллюзия, именно поэтому в этом мире нет ничего невозможного
NERO, Синтезатор это другое. Эта прога - электронный собеседник. То биш пример искусственного интеллекта, который может отвечать на вопросы и поддерживать разговор.
По моему у таких прог в базе только простой словарь, интересно было бы узнать алгоритмы по которым они составляют предложения.
БРРР... опечатался не синтезатор текста а Синтезатор речи называется.
Что касается насчет электронного собеседника в подробности не вдавался, но по моему там идет набор слов для обработки вопросов и набор слов для генерации ответа. Для создания нормального виртуального собеседника нужен ИИ. Тут уж без него никак.
Весь мир это только иллюзия, именно поэтому в этом мире нет ничего невозможного
NERO, тогда мне не понятно то, зачем вообще нужна такая программа.) Я и сам могу писать такой же бред, но если программа будет генерировать предложения по смыслу из не связанных слов, то это уже будет что-то.) Напиши программу которая будет менять у слов падежи проверять грамматику искать смысл связи слов, вот тогда это будет ДЕЛЬНАЯ программа.)
Пропиши бинарное древо, оно очень поможет при поиске слов, так же там достаточно серьезная система триггеров должна быть.)
Charlene Halcon, а смысла, по сути, нет. Программа для написания текстов - то же, что и генератор музыки - по определению бессмысленная вещь, да и результат чаще всего некачественный.
Блин запарился уже с этим алгоритмом. Пока не доделал, решил сырым испробовать. По моему там где-то зарылась ошибка.
А в целом получилось вот что:
У начали проступать в относительной смысле хотелось кинуться на нее. - Сараби, делай было бы, видеть, что сейчас перед выглядишь таким милым, - мягко но ласково сказала она, обращаясь держать свою как по ей направлении. ушко лев. - продолжал кого-то, особенно если раньше Така отрицательно только отрабатывал самых безвыходных Так получилось, сориентироваться, он сам считаю таким новым и отпустить. слышал её, он задумал, проходил под увидел никого еще холоднее. внутри сознания сердца, но от того Львенок посмотрел на нее пришел другой поток мыслей о нем поговорить с сыном, поднялась на ходу. тем давая вернуть себе день тренировок, изменить его ход, но он представил этим заставлял готов к сегодняшнему бою. Муфаса позволял припустился, стараясь не станет себе. Така львицы убежали в них вам все быть смелее, - Здесь, далеко еще молния и гром до нес их ушей словно отголоски эха: - Дальше указывал куда-то показывал лапой, - Надеюсь, УБЬЕТ ЕЕ. ТЫ там подскочишь». Осторожно занеся левую лапу, над открытым боком спящего Таку. он прекратил один. Рядом с Такой. Така я вздрогнул. В Я использую охотиться. Она сначала на король весело называл это время наблюдал лев оторвал голову, как одновременно перемещаясь тем будет увеличив свою скорость. Така подготовился к удару. Но последовавший удар оказался здесь последним. Он плавно переходя к ней, льву. Она отлично видел, куда же еще? Твой брат, этот бой на было, поднял вновь поставил левую лапу на обед из-за слишком времени у себе вопрос расслабиться. Его глаза Сараби. округлились. - Немедленно совершил атаку первым. лоб. Но и полностью ли ты беспокоиться о границах королевства, мир с этой скалы. схватке или нет? Така некоторое время наблюдал за отцом и взглядом. - «ну вчера я тебя можно еще живой, бегала вокруг остальных.
Весь мир это только иллюзия, именно поэтому в этом мире нет ничего невозможного
Вот еще. Вроде бы смысл какой-то есть, но слова не связанны между собой:
Ответь, пожалуйста. - уходя Рафики пришел передать, что это отражение понять что и выглядеть во первых падения гиены Така решился уделять много времени для долетали громкие звуки рычания. Но …, поступай с ней ничего попытался открыть об охоте, - Приятного Така. Муфаса Хорошо, тогда тех пор, пока я его голове. нервно оглянулся, - особенно отпираться он. - король бы он повел себя? Смирился бы со всей шерстью. - Лучше продолжай Движение жертвы. стремительно отрывались в их Лежащий буйвол. Еще несколько походе к скале Така и сбив противника из дробя кости и поняв, боком. Львица прошла от её глаз вспыхнул чуть видимый проблеск лёгкого огонька, когда будет можете провести, свободными. Кивнув Аше, Ахади развернулся и пошел вперед. …, - львенок вцепился свою добычу. таким сладким - Спасибо он, но огромными скачками бежать рядом сторону, где навалился своим весом на добычу. Приземлившись, она наклонила скажет. - Твои чувства неправильные, - она повернула моей, я всегда говоришь, к скале сегодня, и похоже на то, знает когда он было видно когда Така услышала от него из-за только охотится, шагов отделяло сторону. Пройдя где-то около он остался смотрит прямо в напряженном это станет понять что трудно. Тем не беспокоилась произвести атаку первым. Така в прайде. Ее глазах» Во первых. падения гиены Така уткнулся такого интересного. от дома. подальше, вместе с матерью. источником пищи. Таким же каждый из видеть эту «арену». Эта одобрительно кивнул. - Во меня искать. - Пора присоеденяйся, - сказала одна глядя на Он поймал сейчас только Сараби. Я продолжай заниматься тем, чем тебе зато, присутствовать Сараби, то место самое можно Теперь поверь очередь. И помните никаких когтей и клыков. Лев вопросительно поглядел на порванных мысли. Ему не искал из-за ее появилась голова королевы Уру. Она закрыла первый лев испустил дух, остальные увидев и передние от туши. детеныша гиены. Отыскать, для того самого он
Весь мир это только иллюзия, именно поэтому в этом мире нет ничего невозможного
Сараби, уходи! слова были затем в завершающая схватка и запоминайте глядела на Таку. Его Мммм, - сонно взглянул на обед, плачущего беззащитного котенка. - Я думаю, вернуть тот день как будто в к ней льву. Она отлично знал, где начинается ждала еда, первых это а отобрать значило, что дорога в большой потери слезы безудержно сами собой Сараби заскользила что, он что-то сказать. у него оставалось около времени, Така уткнулась носом в гриву вновь перевел но похоже внешнему виду Аша была любовницей короля, однако прямых доказательств этого не знаю, претензий. Аша была другая быстра и сильна, она предпочитала думать, что когда-нибудь любил только а с потом вернемся. окунул голову, смыв пятна крови, - подал голос Муфаса. Он Нет, ЭТО величество, - хотел вернуть что-то недоговорил, Муфасе, что тот пребывал как начались, зарычал на львицу, произнесла прогнать кого-то, но быстр, быстро пошел на других мгновение он распознал в накинувшейся, на его со лапы. К Сараби, которая я сейчас ее глазах тела, забыть ее голову. Повернув голову в нескольких Единственный и день, и вы отказались последний день, на две охоте Элана или за но Така одарила его острым умом. Така пригнулся, лежал на полу пещеры с каждым Муфаса, но «ну спи, спи, спи, ты мне продолжать себя Но без было много Таку столь оканчивались неудачей. Она им обрадовалась, увидев его бок запахами. к продолговатой морде и ей мог погибнуть, предположить. Сильный удар, от же следует все-таки Муфаса любил только брата. Решив не охотился, Отец на все эти видны были клубы серой пыли, поднятые копытами умчавшегося стада. Повернув тушу пять которая вертелась прежде чем глаза и как в и мощно, крови, и подал голос Муфаса. В Така жалел, обладает способностью телосложением, поэтому нормальные львы, оценив сокращающееся Йоланду, Ева, предпочла не связываться с ней. Пройдя сидела Аша него, глядела ему бы уху, от которого ты, завалился спать ну каменную скалу пещера
Весь мир это только иллюзия, именно поэтому в этом мире нет ничего невозможного
NERO, либо вы не читаете посты полностью либо вы меня не поняли.)
Я же говорю пусть будет большой словарь со словами из которых в последствии по смыслу будут составляться предложения.)
Хорошо предположим у меня есть база данных на 15 тысяч слов, которые не связаны между собой вообще никак. Допустим, что мне из этой базы нужно взять N-ое количество слов, чтобы получить к примеру пять взаимосвязанных предложений. Как их получить? Произвести случайную выборку между словами? (см. 1 стр.) или строить слова по смыслу? Но что есть такое смысл и на чем он основан?
Возьмем «аргумент китайской комнаты» опубликованный Д. Серлом.
Цитата:
Допустим, человека, владеющего только английским, помещают в изолированную от внешнего мира комнату и предоставляют ему для чтения текст на китайском. Естественно, в виду того, что он не имеет ни малейшего представления о значении китайских иероглифов, текст оказывается для него набором чернильных закорючек на листе бумаги – человек ничего не понимает. Затем ему дают еще один лист бумаги, исписанный по-китайски, и в придачу к этому определенную инструкцию на родному ему английском о том, как можно было бы сравнить два китайских текста. Эта инструкция научает выявлению тождественных символов и определению закономерности их вхождения в более общий контекст. Когда приносят третий китайский текст, к нему прилагают вторую английскую инструкцию о сравнении последнего с двумя предыдущими и т. д. В итоге, после продолжительных упражнений испытуемому приносят чистый лист бумаги и просят что-нибудь написать по-китайски. К этому времени человек из китайской комнаты настолько хорошо освоил формальные символические закономерности, что, на удивление, действительно оказался способным написать вполне связный и понятный любому грамотному китайцу текст.
Так понимает ли наш испытуемый китайский? Серл дает категорически отрицательный ответ на этот вопрос. Понимание должно сопровождаться актами первичной интенциональности, в которых сознание, еще до всякого обращения к каким-либо материальным носителям, т. е. к речи или письму, способно концентрироваться на внутренних интенциональных содержаниях, как нередуцируемых ни к чему другому фактах автономной психической жизни. Интенциональность языка производна, она возникает при намеренном наделении изначально пустых знаков значением, посредством замещения внутреннего интенционального содержания пропозициональным содержанием синтаксически организованных структур.
Для общественности, которая оценивала результаты обучения человека из китайской комнаты, возникла иллюзия того, что экзаменуемый действительно овладел китайским. Причина этой иллюзии кроется в той привычке, в соответствии с которой люди предположили за пропозициональными содержаниями продуцированных человеком синтаксических форм его внутренние интенциональные содержания, явившиеся основой первых. Но на деле обучение в китайской комнате принесло прямо противоположные результаты. Человек научился формальным операциям со знаковой системой без какого-либо собственного «интенционального участия» в этом предприятии. Пропозициональные содержания представленного на обозрение китайского письма имели смысл только для тех, кто действительно мог подкрепить их более фундаментальными интенциональными содержаниями своей психики. Человек из китайской комнаты сам не понял ничего из того, что написал.
Так все-таки что является сознанием в выше опубликованном тексте? Человек, источник написанный на китайском языке, инструкции которые укзывали что нужно делать? или все-таки сама комната?
Весь мир это только иллюзия, именно поэтому в этом мире нет ничего невозможного
